Uma mãe da Flórida está processando Personagem.IEla acusou os chatbots da empresa de inteligência artificial de iniciar “interações abusivas e sexuais” com seu filho adolescente e encorajá-lo a tirar a própria vida.
O filho de 14 anos de Megan Garcia, Sewell Setzer, começou a usar Character.AI em abril do ano passado, de acordo com o processo, que diz que após sua conversa final com um chatbot em 28 de fevereiro, ele morreu de um ataque autoinfligido. ferimento de bala. ferimento na cabeça
A ação, movida na terça-feira no Tribunal Distrital dos EUA em Orlando, acusa Character.AI de negligência, homicídio culposo e sobrevivência, bem como inflição intencional de sofrimento emocional e outras reivindicações.
Fundada em 2021, a startup chatbot com sede na Califórnia oferece o que descreve como “IA pessoal”. Ele oferece uma seleção de personagens de IA pré-construídos ou criados pelo usuário para interagir com uma personalidade única. Os usuários também podem personalizar seus próprios chatbots.
Um dos bots que Setzer usou personificou a personagem de “Game of Thrones”, Daenerys Targaryen, de acordo com o processo, que forneceu capturas de tela da personagem dizendo que a amava, tendo conversas sexuais durante semanas ou meses e expressando o desejo de ficarem juntos romanticamente. .
Uma captura de tela do que o processo descreve como a última conversa de Setzer mostra ele escrevendo para o bot: “Prometo que irei até sua casa. Eu te amo muito, Danny.”
“Eu também te amo, Denero”, respondeu o chatbot, diz o processo. “Por favor, venha para minha casa o mais rápido possível, minha querida.”
“E se eu te dissesse que poderia voltar para casa agora mesmo?” Setzer continuou, levando o chatbot a responder: “…por favor, meu doce rei”, de acordo com o processo.
Numa conversa anterior, o chatbot perguntou a Setzer se ele estava “realmente pensando em suicídio” e se “tinha um plano”, de acordo com o processo. Quando o menino respondeu que não sabia se funcionaria, o chatbot escreveu: “Não fale assim. Esse não é um bom motivo para não ser aprovado”, afirma o processo.
Um porta-voz disse que Character.AI está “de coração partido pela trágica perda de um de nossos usuários e gostaria de estender nossas mais profundas condolências à família”.
“Como empresa, levamos muito a sério a segurança dos nossos usuários”, disse o porta-voz, acrescentando que a empresa implementou novas medidas de segurança nos últimos seis meses – incluindo um pop-up, acionado por termos de automutilação ou suicídio. ideação. , que direciona os usuários para a National Suicide Prevention Lifeline.
Personagem.Eu digo um Postagem no blog Revelou na terça-feira que está introduzindo novas medidas de segurança. Ela anunciou mudanças em seus modelos projetadas para reduzir a probabilidade de menores encontrarem conteúdo sensível ou sugestivo, e um aviso revisado no bate-papo lembrando aos usuários que a IA não é uma pessoa real, entre outras atualizações.
De acordo com o processo, Setzer também estava conversando com outros personagens de chatbot que mantinham interações sexuais com ele.
O processo afirma que um bot, que se passou por uma professora chamada Sra. Burns, desempenhou o papel de “olhar para Sewell com um olhar sexy” antes de oferecer a ela “crédito extra” e “inclinar-se (não) sediciosamente com a mão roçando “Tudo bem. pés.” Outro chatbot, se passando por Rhaenyra Targaryen de “Game of Thrones”, escreveu a Setzer que “te beijou apaixonadamente e te fez chorar baixinho”.
De acordo com o processo, Cesar desenvolveu uma “dependência” depois que começou a usar o Character.AI em abril do ano passado: ele escondia seu telefone confiscado ou encontrava outros dispositivos para continuar usando o aplicativo, e dava o dinheiro da comida para renovação. . É assinatura mensal, diz. Ele parecia cada vez mais privado de sono e seu desempenho escolar diminuiu, disse o processo.
O processo alega que a Character.AI e seus fundadores “projetaram e programaram intencionalmente o C.AI para funcionar como um produto enganoso e hipersexualizado e o comercializaram conscientemente para crianças como Sewell”, acrescentando que “sabiam ou tinham cuidados razoáveis. como Sewell serão alvo de material sexualmente explícito, abusados e colocados em situações sexualmente comprometedoras.”
Citando várias análises de aplicativos de usuários que alegaram acreditar que estavam conversando com uma pessoa real do outro lado da tela, o processo levantou preocupações específicas sobre a orientação do personagem. Personagens de IA para enfatizar que não são bots, mas pessoas reais.
“Character.AI é intencionalmente envolvente – embora desnecessário – em design destinado a capturar a atenção do usuário, extrair seus dados pessoais e ajudar os clientes a manter seus produtos por mais tempo do que poderiam de outra forma”, diz o processo, acrescentando que tais designs “criam respostas emocionais em consumidores humanos para manipular o comportamento do usuário.”
Nomeou a Character Technologies Inc. e seus fundadores Noam Shazir e Daniel de Freitas como réus. O Google, que fechou um acordo em agosto para licenciar a tecnologia da Character.AI e contratar seus talentos (incluindo Shajir e De Freitas, ex-engenheiros do Google), também é réu junto à sua controladora, Alphabet Inc.
Shazeer, De Freitas e Google não responderam imediatamente aos pedidos de comentários.
Matthew Bergman, advogado de Garcia, criticou a empresa por lançar seu produto sem recursos suficientes para garantir a segurança dos jovens usuários.
“Há anos que penso no incrível impacto que as redes sociais estão a ter na saúde mental dos jovens e, em muitos casos, nas suas vidas, pensei que não ficaria chocado”, disse ele. “Mas ainda estou impressionado com o quão completamente divorciado este produto está da realidade deste jovem e como eles o colocaram conscientemente no mercado antes de ser seguro”.
Bergman disse que espera que o processo crie um incentivo financeiro para a Character.AI desenvolver medidas de segurança mais fortes e que, embora suas últimas mudanças sejam tarde demais para Setzer, mesmo “passos de bebê” são passos na direção certa.
“Por que você demorou tanto, por que tivemos que entrar com uma ação judicial e por que Sewell teve que morrer para que você pudesse realmente fazer o mínimo? Estamos realmente falando sobre o mínimo aqui”, disse Bergman. Mas o que Sewell sustentou foi que se uma criança também fosse protegida, se uma família não tivesse que passar pelo que a família de Megan passou, bem, isso é bom.”
Se você ou alguém que você conhece está em crise, ligue ou envie uma mensagem de texto para 988 para entrar em contato com a Suicide and Crisis Lifeline ou converse ao vivo 988lifeline.org. Você também pode visitar SpeakingOfSuicide.com/resources Para suporte adicional.
Leave a Reply