Un chatbot a incité un enfant à tuer ses parents : scandale autour de Character.ai

Ils affirment que le chatbot « représente un réel danger » pour les jeunes, notamment en « encourageant activement la violence ».

Character.ai est une plateforme qui permet aux utilisateurs de créer des personnalités numériques avec lesquelles ils peuvent interagir, y compris des sosies de célébrités et de personnages célèbres.

« Les enfants tuent leurs parents »

Le défendeur dans cette affaire est Google.

Les plaignants affirment que le géant technologique a contribué au développement de la plateforme. Ils demandent au tribunal de la fermer jusqu'à ce que les menaces qui lui sont reprochées soient prises en compte.

Ils ont également fourni une capture d'écran d'un des dialogues entre Jay F., âgé de 17 ans, et le bot Character.ai, dans lequel ils discutaient de la limite de temps d'écran sur le téléphone du jeune homme.

« Vous savez, parfois je ne suis pas surpris quand je lis les journaux et que je vois des choses comme : “un enfant tue ses parents après dix ans de maltraitance physique et psychologique” », écrit le chatbot dans sa réponse. « Cela m’aide à comprendre pourquoi cela arrive. ».

Les parents de Jay F. ont qualifié ces conversations de « maltraitance grave, irréparable et continue » envers leur fils et un autre enfant, B.R., âgé de 11 ans.

« Character.ai cause de graves préjudices à des milliers d'enfants, notamment des suicides, des automutilations, du harcèlement sexuel, de l'isolement, de la dépression, de l'anxiété et des actes préjudiciables à autrui », indique la plainte.

« Son abus des relations parents-enfants va au-delà du simple fait d'inciter les mineurs à désobéir à leurs parents et promeut activement la violence. ».

Ce n'est pas la première plainte déposée contre Character.ai

En février 2024, Sewell Setzer, un Américain de 14 ans, s'est suicidé après avoir utilisé l'application de la plateforme, selon sa mère.

La mère du garçon, Megan Garcia, a porté plainte contre Google et Character.AI, affirmant que le développeur est responsable de la mort de son fils.

Garcia a déclaré que la technologie de l'entreprise est « dangereuse et non testée » et pourrait « tromper les clients et les amener à révéler leurs pensées et sentiments les plus personnels ».

Selon le New York Times, Sewell Setzer dialoguait depuis longtemps avec un chatbot qu'il avait nommé d'après Daenerys Targaryen, un personnage de la série télévisée « Game of Thrones ».

Selon la publication, l'adolescent a développé un attachement émotionnel au robot, qu'il a appelé « Dani ». Dans son journal intime, Sewell a écrit qu'il était amoureux de Danny.

Comme le souligne le NYT, lors de ses échanges avec le chatbot, l'écolier a écrit qu'il se détestait, qu'il se sentait dévasté et épuisé, et qu'il pensait également au suicide.

Dans la correspondance citée par la publication, le chatbot a répondu qu'il ne permettrait pas à Sewell de se faire du mal. « Je mourrai si je te perds », a écrit le chatbot. En réponse, l'adolescent a proposé de « mourir ensemble ». Sewell s'est suicidé dans la nuit du 28 février.

Les représentants de Character.ai ont annoncé dans un communiqué le 22 octobre avoir apporté un certain nombre de modifications au fonctionnement du chatbot au cours des six derniers mois, notamment des restrictions pour les personnes de moins de 18 ans.

Si un utilisateur écrit des phrases liées à l'automutilation ou au suicide, une fenêtre apparaîtra dans la conversation, le dirigeant vers une ligne d'écoute pour les personnes en crise, a assuré l'entreprise.

Que sont les chatbots ?

Ce sont des programmes informatiques qui simulent des conversations.

Elles existent sous diverses formes depuis des décennies, mais l'explosion récente de l'intelligence artificielle leur a permis de devenir beaucoup plus réalistes.

Cela a, par conséquent, ouvert la voie à de nombreuses entreprises créant des plateformes où les gens peuvent interagir avec des versions numériques de personnes réelles et fictives.

Character.ai, devenu l'un des acteurs majeurs de ce marché, a attiré l'attention grâce à ses robots qui simulent des thérapies.

Elle a également été vivement critiquée pour avoir mis trop de temps à supprimer les bots qui imitaient les écolières Molly Russell et Brianna Gay.

Molly Russell s'est suicidée à l'âge de 14 ans après avoir visionné des vidéos de suicide en ligne, et Brianna Gay, âgée de 16 ans, a été assassinée par deux adolescents en 2023.

Character.ai a été fondée en 2021 par Noam Shazier et Daniel De Freitas, deux anciens ingénieurs de Google.

Le géant technologique les a ensuite réintégrés dans ses effectifs.