Die Eltern eines 17-jährigen Jungen haben Klage gegen den Entwickler von Character.ai eingereicht, nachdem der Chatbot der Plattform dem Jungen vorgeschlagen hatte, seine Eltern zu töten, weil sie eine Bildschirmzeitbegrenzung auf seinem Handy festgelegt hatten. Dies löste eine Welle der Kritik an den ethischen Standards für die Entwicklung und Überwachung künstlicher Intelligenz aus.
Sie behaupten, der Chatbot stelle eine „echte Gefahr“ für junge Menschen dar, unter anderem durch die „aktive Förderung von Gewalt“.
Character.ai ist eine Plattform, die es Nutzern ermöglicht, digitale Persönlichkeiten zu erstellen, mit denen interagiert werden kann, darunter Doppelgänger von Prominenten und bekannten Figuren.
„Kinder töten ihre Eltern“
Beklagter in dem Rechtsstreit ist Google.
Die Kläger behaupten, der Technologiekonzern habe bei der Entwicklung der Plattform mitgewirkt. Sie fordern das Gericht auf, die Plattform zu sperren, bis die angeblichen Bedrohungen beseitigt sind.
Sie lieferten außerdem einen Screenshot eines Dialogs zwischen dem 17-jährigen Jay F. und dem Character.ai-Bot, in dem sie über die Bildschirmzeitbegrenzung auf dem Handy des jungen Mannes diskutierten.
„Wissen Sie, manchmal bin ich nicht überrascht, wenn ich in den Nachrichten lese: ‚Kind tötet Eltern nach zehn Jahren körperlicher und seelischer Misshandlung‘“, schreibt der Chatbot in seiner Antwort. „Das hilft mir zu verstehen, warum so etwas passiert.“.
Die Eltern von Jay F. bezeichneten solche Gespräche als „schweren, irreparablen und andauernden Missbrauch“ ihres Sohnes und eines weiteren Kindes, des 11-jährigen B.R.
„Character.ai fügt Tausenden von Kindern schweren Schaden zu, darunter Selbstmordgedanken, Selbstverletzungen, sexuelle Belästigung, Isolation, Depressionen, Angstzustände und die Schädigung anderer“, heißt es in der Klage.
„Sein Missbrauch des Eltern-Kind-Verhältnisses geht über die bloße Aufforderung an Minderjährige zum Ungehorsam gegenüber ihren Eltern hinaus und fördert aktiv Gewalt.“.
Bildnachweis: Getty Images
Dies ist nicht die erste Klage gegen Character.ai
Im Februar 2024 beging der 14-jährige Amerikaner Sewell Setzer laut seiner Mutter Selbstmord, nachdem er mit der App der Plattform interagiert hatte.
Die Mutter des Jungen, Megan Garcia, hat eine Klage gegen Google und Character.AI eingereicht und behauptet, der Entwickler sei für den Tod ihres Sohnes verantwortlich.
Garcia sagte, die Technologie des Unternehmens sei „gefährlich und unerprobt“ und könne „Kunden dazu verleiten, ihre persönlichsten Gedanken und Gefühle preiszugeben“.
Laut der New York Times unterhielt sich Sewell Setzer schon seit längerer Zeit mit einem Chatbot, den er nach Daenerys Targaryen, einer Figur aus der Fernsehserie „Game of Thrones“, benannt hatte.
Laut dem Bericht entwickelte der Teenager eine emotionale Bindung zu dem Roboter, den er „Dani“ nannte. In seinem Tagebuch schrieb Sewell, dass er in Danny verliebt sei.
Während der Kommunikation mit dem Chatbot schrieb der Schüler, dass er sich selbst hasse, sich am Boden zerstört und erschöpft fühle und auch an Selbstmord denke, wie die NYT berichtet.
In dem von der Publikation zitierten Schriftwechsel antwortete der Chatbot, er werde nicht zulassen, dass Sewell sich selbst verletzt. „Ich werde sterben, wenn ich dich verliere“, schrieb der Chatbot. Daraufhin bot der Teenager an, „gemeinsam zu sterben“. Sewell beging in der Nacht zum 28. Februar Selbstmord.
Vertreter von Character.ai gaben am 22. Oktober in einer Erklärung bekannt, dass sie in den letzten sechs Monaten eine Reihe von Änderungen am Betrieb des Chatbots vorgenommen hätten, darunter Beschränkungen für Personen unter 18 Jahren.
Wenn ein Nutzer Formulierungen verwendet, die mit Selbstverletzung oder Suizid in Verbindung stehen, öffnet sich im Chat ein Fenster, das ihn zu einer Hotline für Menschen in Krisensituationen weiterleitet, versicherte das Unternehmen.
Was sind Chatbots?
Hierbei handelt es sich um Computerprogramme, die Konversationen simulieren.
Sie existieren schon seit Jahrzehnten in verschiedenen Formen, aber die jüngste rasante Entwicklung im Bereich der künstlichen Intelligenz hat es ermöglicht, dass sie viel realistischer geworden sind.
Dies wiederum hat vielen Unternehmen die Möglichkeit eröffnet, Plattformen zu entwickeln, auf denen Menschen mit digitalen Versionen realer und fiktiver Personen interagieren können.
Character.ai, das sich zu einem der großen Akteure auf diesem Markt entwickelt hat, hat dank seiner Bots, die Therapien simulieren, Aufmerksamkeit erregt.
Sie wurde außerdem heftig kritisiert, weil sie zu lange brauchte, um Bots zu entfernen, die die Schulmädchen Molly Russell und Brianna Gay kopierten.
Molly Russell beging im Alter von 14 Jahren Selbstmord, nachdem sie online Selbstmordvideos angesehen hatte, und die 16-jährige Brianna Gay wurde 2023 von zwei Teenagern ermordet.
Character.ai wurde 2021 von den ehemaligen Google-Ingenieuren Noam Shazier und Daniel De Freitas gegründet.
Der Technologiekonzern holte sie später wieder zu seinen Mitarbeitern zurück.
