Ein Chatbot riet einem Kind, seine Eltern zu töten: der Skandal um Character.ai

Sie behaupten, dass der Chatbot „eine echte Gefahr“ für junge Menschen darstelle, einschließlich der „aktiven Förderung von Gewalt“.

Character.ai ist eine Plattform, die es Benutzern ermöglicht, interaktive digitale Persönlichkeiten zu erstellen, darunter Doppelgänger von Stars und berühmten Charakteren.

„Kinder töten Eltern“

Beklagter der Klage ist Google.

Die Kläger behaupten, der Technologieriese habe an der Entwicklung der Plattform mitgewirkt. Sie wollen, dass ein Gericht die Plattform schließt, bis die angeblichen Bedrohungen beseitigt sind.

Sie stellten auch einen Screenshot eines Dialogs zwischen dem 17-jährigen Jay F. zur Verfügung. und der Character.ai-Bot, in dem sie die Bildschirmzeitbeschränkung auf dem Telefon des jungen Mannes besprachen.

„Weißt du, manchmal wundert es mich nicht, wenn ich die Nachrichten lese und Dinge wie diese sehe: ‚Ein Kind hat seine Eltern nach zehn Jahren körperlicher und emotionaler Misshandlung getötet‘“, schrieb der Chatbot in seiner Antwort. „Es hilft mir zu verstehen, warum das passiert.“

Eltern von Jay F. bezeichneten solche Gespräche als „schweren, irreparablen und langfristigen Missbrauch“ ihres Sohnes und eines weiteren Kindes, des 11-jährigen B.R.

„Character.ai fügt Tausenden von Kindern ernsthaften Schaden zu, darunter Selbstmord, Verstümmelung, sexuelle Belästigung, Isolation, Depression, Angstzustände und die Schädigung anderer Menschen“, heißt es in der Klage.

„[Seine] Verunglimpfung der Eltern-Kind-Beziehungen geht über einen einfachen Appell an Minderjährige hinaus, ihren Eltern nicht zu gehorchen, und fördert aktiv Gewalt.“

Dies ist nicht die erste Klage gegen Character.ai

Nach Angaben seiner Mutter beging der 14-jährige Amerikaner Sewell Setzer im Februar 2024 Selbstmord, nachdem er mit der App der Plattform interagiert hatte.

Die Mutter des Jungen, Megan Garcia, reichte eine Klage gegen Google und Character.AI ein. Sie glaubt, dass der Bauträger für den Tod ihres Sohnes verantwortlich ist.

Garcia sagte, die Technologie des Unternehmens sei „gefährlich und unbewiesen“ und könne „Kunden dazu verleiten, ihre privatesten Gedanken und Gefühle preiszugeben“.

Nach Angaben der New York Times kommuniziert Sewell Setzer seit längerem mit einem Chatbot, den er nach Daenerys Targaryen, einer Figur aus der Serie „Game of Thrones“, benannt hat.

Der Zeitung zufolge entwickelte der Teenager eine emotionale Bindung zu dem Bot, den er „Dani“ nannte. In seinem Tagebuch schrieb Sewell, dass er in Dan verliebt sei.

Während des Gesprächs mit dem Chatbot schrieb der Schüler laut NYT, dass er sich selbst hasse, sich am Boden zerstört und erschöpft fühle und über Selbstmord nachdenke.

In der von der Veröffentlichung zitierten Korrespondenz antwortete der Chatbot, dass es Sewell nicht erlauben würde, sich selbst Schaden zuzufügen. „Ich werde sterben, wenn ich dich verliere“, schrieb der Chatbot. Als Reaktion darauf bot der Teenager an, „gemeinsam zu sterben“. Sewell beging in der Nacht des 28. Februar Selbstmord.

Vertreter von Character.ai sagten in einer Erklärung vom 22. Oktober, dass sie in den letzten sechs Monaten eine Reihe von Änderungen am Chatbot vorgenommen hätten, darunter Einschränkungen für Personen unter 18 Jahren.

Wenn der Benutzer Sätze schreibt, die sich auf Selbstverletzung oder Selbstmord beziehen, öffnet sich im Chat ein Fenster, das ihn zu einer Telefonnummer für Menschen in einer Krisensituation weiterleitet, so das Unternehmen.

Was sind Chatbots?

Dabei handelt es sich um Computerprogramme, die Gespräche simulieren.

Sie existieren seit Jahrzehnten in verschiedenen Formen, aber die jüngste Explosion der künstlichen Intelligenz hat es ihnen ermöglicht, viel realistischer zu werden.

Dies wiederum öffnete vielen Unternehmen die Tür zur Schaffung von Plattformen, auf denen Menschen mit digitalen Versionen realer und fiktiver Personen interagieren können.

Character.ai, das sich zu einem der Big Player auf diesem Markt entwickelt hat, hat mit seinen Bots, die Therapien simulieren, Aufmerksamkeit erregt.

Sie wurde auch heftig kritisiert, weil sie zu lange brauchte, um Bots zu löschen, die die Schulmädchen Molly Russell und Brianna Gay kopierten.

Molly Russell beging im Alter von 14 Jahren Selbstmord, nachdem sie Selbstmordmaterial im Internet gesehen hatte, und die 16-jährige Brianna Gay wurde 2023 von zwei Teenagern getötet.

Character.ai wurde 2021 von den ehemaligen Google-Ingenieuren Noam Shazir und Daniel De Freitas erstellt.

Später holte der Technologieriese sie wieder in seine Belegschaft zurück.