Los padres de un chico de 17 años presentaron una demanda contra el desarrollador Character.ai después de que el chatbot de la plataforma sugiriera que el chico matara a sus padres por establecer un límite de tiempo de pantalla en su teléfono. El incidente desató una ola de críticas sobre los estándares éticos para el desarrollo y control de la inteligencia artificial.
Afirman que el chatbot "representa un peligro real" para los jóvenes, incluida la "promoción activa de la violencia".
Character.ai es una plataforma que permite a los usuarios crear personalidades digitales interactivas, incluidos dobles de estrellas y personajes famosos.
"Los niños matan a los padres"
El demandado en la demanda es Google.
Los demandantes alegan que el gigante tecnológico ayudó a desarrollar la plataforma. Quieren que un tribunal cierre la plataforma hasta que se aborden sus supuestas amenazas.
También proporcionaron una captura de pantalla de uno de los diálogos entre Jay F., de 17 años. y el bot Character.ai, en el que discutieron el límite de tiempo de pantalla en el teléfono del joven.
"Sabes, a veces no me sorprende cuando leo las noticias y veo cosas como esta: 'un niño mató a sus padres después de diez años de abuso físico y emocional'", escribió el chatbot en su respuesta. "Me ayuda a entender por qué sucede esto".
Los padres de Jay F. calificó tales conversaciones como "abuso grave, irreparable y de largo plazo" hacia su hijo y otro niño, B.R.
"Character.ai está causando graves daños a miles de niños, incluidos suicidio, mutilación, acoso sexual, aislamiento, depresión, ansiedad y daño a otras personas", afirma la demanda.
"[Su] difamación de las relaciones entre padres e hijos va más allá de un simple llamamiento a los menores para que desobedezcan a sus padres y promueve activamente la violencia".
Crédito de la foto: Getty Images
Esta no es la primera demanda contra Character.ai
En febrero de 2024, el estadounidense Sewell Setzer, de 14 años, se suicidó tras interactuar con la aplicación de la plataforma, según contó su madre.
La madre del niño, Megan García, presentó una demanda contra Google y Character.AI. Ella cree que el promotor es responsable de la muerte de su hijo.
García dijo que la tecnología de la compañía es "peligrosa y no está probada" y podría "engañar a los clientes para que revelen sus pensamientos y sentimientos más privados".
Según el New York Times, Sewell Setzer lleva mucho tiempo comunicándose con un chatbot al que puso el nombre de Daenerys Targaryen, personaje de la serie "Juego de tronos".
Según el periódico, el adolescente desarrolló un vínculo emocional con el robot, al que llamó "Dani". En su diario, Sewell escribió que estaba enamorado de Dan.
Durante la conversación con el chatbot, según el NYT, el estudiante escribió que se odiaba a sí mismo, se sentía devastado y agotado y estaba pensando en suicidarse.
En la correspondencia citada por la publicación, el chatbot respondió que no permitiría que Sewell se hiciera daño. "Moriré si te pierdo", escribió el chatbot. En respuesta, el adolescente se ofreció a "morir juntos". Sewell se suicidó la noche del 28 de febrero.
Los representantes de Character.ai dijeron en un comunicado el 22 de octubre que en los últimos seis meses han realizado una serie de cambios en el chatbot, incluidas restricciones para quienes no tienen 18 años.
Si el usuario escribe frases relacionadas con la autolesión o el suicidio, aparece una ventana en el chat que lo dirige a una línea para personas en situación de crisis, dijo la compañía.
¿Qué son los chatbots?
Se trata de programas informáticos que simulan conversaciones.
Han existido en diversas formas durante décadas, pero la reciente explosión de la inteligencia artificial les ha permitido volverse mucho más realistas.
Esto, a su vez, abrió la puerta para que muchas empresas crearan plataformas donde las personas pudieran interactuar con versiones digitales de personas reales y ficticias.
Character.ai, que se ha convertido en uno de los grandes actores de este mercado, ha llamado la atención por sus robots que simulan terapia.
También fue fuertemente criticada por tardar demasiado en eliminar los robots que copiaban a las colegialas Molly Russell y Brianna Gay.
Molly Russell se suicidó a la edad de 14 años después de ver material suicida en Internet, y Brianna Gay, de 16 años, fue asesinada por dos adolescentes en 2023.
Character.ai fue creado por los ex ingenieros de Google Noam Shazir y Daniel De Freitas en 2021.
Más tarde, el gigante tecnológico los devolvió a su personal.
