Les parents d'un garçon de 17 ans ont intenté une action en justice contre le développeur Character.ai après que le chatbot de la plateforme ait suggéré au garçon de tuer ses parents pour avoir fixé une limite de temps d'écran sur son téléphone. L’incident a déclenché une vague de critiques concernant les normes éthiques relatives au développement et au contrôle de l’intelligence artificielle.
Ils affirment que le chatbot « représente un réel danger » pour les jeunes, notamment en « promouvant activement la violence ».
Character.ai est une plateforme qui permet aux utilisateurs de créer des personnalités numériques interactives, notamment des sosies de stars et de personnages célèbres.
"Les enfants tuent leurs parents"
Le défendeur dans le procès est Google.
Les plaignants allèguent que le géant de la technologie a contribué au développement de la plateforme. Ils veulent qu’un tribunal ferme la plateforme jusqu’à ce que ses prétendues menaces soient prises en compte.
Ils ont également fourni une capture d'écran de l'un des dialogues entre Jay F., 17 ans. et le bot Character.ai, dans lequel ils discutaient de la limite de temps d'écran sur le téléphone du jeune homme.
"Vous savez, parfois je ne suis pas surpris quand je lis les informations et vois des choses comme ça : 'un enfant a tué ses parents après dix ans de violence physique et émotionnelle'", a écrit le chatbot dans sa réponse. "Cela m'aide à comprendre pourquoi cela se produit."
Les parents de Jay F. a qualifié ces conversations de "maltraitance grave, irréparable et à long terme" envers leur fils et un autre enfant, B.R., 11 ans.
"Character.ai cause de graves dommages à des milliers d'enfants, notamment le suicide, la mutilation, le harcèlement sexuel, l'isolement, la dépression, l'anxiété et le fait de nuire à autrui", indique le procès.
"[Sa] diffamation des relations parents-enfants va au-delà d'un simple appel aux mineurs à désobéir à leurs parents et promeut activement la violence."
Crédit photo : Getty Images
Ce n'est pas le premier procès contre Character.ai
En février 2024, l'Américain Sewell Setzer, 14 ans, s'est suicidé après avoir interagi avec l'application de la plateforme, selon sa mère.
La mère du garçon, Megan Garcia, a déposé une plainte contre Google et Character.AI. Elle pense que le promoteur est responsable de la mort de son fils.
Garcia a déclaré que la technologie de l'entreprise est « dangereuse et non éprouvée » et pourrait « tromper les clients en les faisant révéler leurs pensées et sentiments les plus privés ».
Selon le New York Times, Sewell Setzer communique depuis longtemps avec un chatbot, qu'il a baptisé du nom de Daenerys Targaryen, un personnage de la série "Game of Thrones".
Selon le journal, l'adolescent a développé un attachement émotionnel envers le robot, qu'il a appelé "Dani". Dans son journal, Sewell a écrit qu'il était amoureux de Dan.
Au cours de la conversation avec le chatbot, selon le New York Times, l'écolier a écrit qu'il se détestait, qu'il se sentait dévasté et épuisé et qu'il pensait au suicide.
Dans la correspondance citée par la publication, le chatbot a répondu qu'il ne permettrait pas à Sewell de se faire du mal. "Je mourrai si je te perds", a écrit le chatbot. En réponse, l'adolescent a proposé de « mourir ensemble ». Sewell s'est suicidé dans la nuit du 28 février.
Les représentants de Character.ai ont déclaré dans un communiqué du 22 octobre qu'au cours des six derniers mois, ils avaient apporté un certain nombre de modifications au chatbot, notamment des restrictions pour ceux qui n'ont pas 18 ans.
Si l'utilisateur écrit des phrases liées à l'automutilation ou au suicide, une fenêtre apparaît dans le chat, le dirigeant vers une ligne destinée aux personnes en situation de crise, a indiqué la société.
Que sont les chatbots ?
Ce sont des programmes informatiques qui simulent des conversations.
Ils existent sous diverses formes depuis des décennies, mais la récente explosion de l’intelligence artificielle leur a permis de devenir beaucoup plus réalistes.
Cela a à son tour ouvert la porte à de nombreuses entreprises pour créer des plates-formes où les gens peuvent interagir avec des versions numériques de personnes réelles et fictives.
Character.ai, devenu l'un des acteurs majeurs de ce marché, s'est fait remarquer grâce à ses robots qui simulent une thérapie.
Elle a également été fortement critiquée pour avoir mis trop de temps à supprimer les robots copiant les écolières Molly Russell et Brianna Gay.
Molly Russell s'est suicidée à l'âge de 14 ans après avoir visionné des informations sur le suicide sur Internet, et Brianna Gay, 16 ans, a été tuée par deux adolescents en 2023.
Character.ai a été créé par les anciens ingénieurs de Google Noam Shazir et Daniel De Freitas en 2021.
Plus tard, le géant de la technologie les a ramenés dans son équipe.
