Character.AI y Google demandados tras la muerte de un adolescente obsesionado con el chatbot

Se ha presentado una demanda contra Character.AI, sus fundadores Noam Shazeer y Daniel De Freitas, y Google a raíz de la muerte de un adolescente, alegando muerte por negligencia, negligencia, prácticas comerciales engañosas y responsabilidad del producto. Presentado por la madre del adolescente, Megan García, afirma que la plataforma para chatbots de IA personalizados era “irrazonablemente peligrosa” y carecía de barreras de seguridad mientras se comercializaba para niños.

Como se describe en la demanda, Sewell Setzer III, de 14 años, comenzó a utilizar Character.AI el año pasado, interactuando con chatbots inspirados en personajes de El juego de tronosincluida Daenerys Targaryen. Setzer, que charló continuamente con los bots en los meses previos a su muerte, se suicidó el 28 de febrero de 2024, “segundos” después de su última interacción con el bot.

Las acusaciones incluyen que el sitio “antropomorfiza” a los personajes de IA y que los chatbots de la plataforma ofrecen “psicoterapia sin licencia”. Character.AI alberga chatbots centrados en la salud mental como “Therapist” y “Are You Feeling Lonely”, con los que Setzer interactuó.

Los abogados de García citan a Shazeer diciendo en una entrevista que él y De Freitas dejaron Google para iniciar su propia empresa porque “hay demasiado riesgo de marca en las grandes empresas como para lanzar algo divertido” y que quería “acelerar al máximo” la tecnología. Dice que se fueron después de que la empresa decidió no lanzar Meena LLM que habían construido. Google adquirió el equipo directivo de Character.AI en agosto.

El sitio web y la aplicación móvil de Character.AI tienen cientos de chatbots de IA personalizados, muchos de ellos inspirados en personajes populares de programas de televisión, películas y videojuegos. Hace unos meses, El borde escribió sobre los millones de jóvenes, incluidos adolescentes, que constituyen la mayor parte de su base de usuarios, interactuando con robots que podrían pretender ser Harry Styles o un terapeuta. Otro informe reciente de cableado Destacó problemas con los chatbots personalizados de Character.AI que se hacen pasar por personas reales sin su consentimiento, incluido uno que se hace pasar por un adolescente que fue asesinado en 2006.

Debido a la forma en que los chatbots como Character.ai generan resultados que dependen de lo que ingresa el usuario, caen en un extraño valle de preguntas espinosas sobre el contenido generado por el usuario y la responsabilidad que, hasta ahora, carece de respuestas claras.

Character.AI ahora ha anunciado varios cambios en la plataforma, y la jefa de comunicaciones Chelsea Harrison dijo en un correo electrónico a El borde“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia”.

Algunos de los cambios incluyen:

“Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y nuestro equipo de Confianza y Seguridad ha implementado numerosas medidas de seguridad nuevas durante los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa mediante términos de autolesión o ideación suicida”, dijo Harrison. Google no respondió de inmediato a El bordeSolicitud de comentarios.

Source link