Чат-бот посоветовал ребенку убить родителей: скандал вокруг Character.ai

Они утверждают, что чат-бот "являет реальную опасность" для молодых людей, в частности "активно пропагандируя насилие".

Character.ai – платформа, позволяющая пользователям создавать цифровые личности, с которыми можно взаимодействовать, в частности, двойников звезд и известных персонажей.

"Дети убивают родителей"

Ответчиком в иске выступает Google.

Заявители утверждают, что технологичный гигант помогал в разработке платформы. Они хотят, чтобы суд закрыл платформу, пока ее возможные угрозы не будут устранены.

Они также предоставили скриншот одного из диалогов между 17-летним Джеем Ф. и роботом Character.ai, в котором те обсуждали лимит экранного времени на телефоне юноши.

“Знаешь, иногда я не удивляюсь, когда читаю новости и вижу такие вещи: “ребенок убил родителей после десяти лет физического и эмоционального насилия”, – пишет в своем ответе чат-бот. – Это помогает мне понять, почему это происходит”.

Родители Джея Ф. назвали такие разговоры "серьезными, невосполнимыми и продолжительным злоупотреблением" в отношении их сына и еще одного ребенка, 11-летнего Б.Р.

"Character.ai наносит серьезный вред тысячам детей, среди которых - самоубийства, увечья, сексуальные притязания, изоляция, депрессия, тревога и причинение вреда другим людям", - говорится в исковом заявлении.

“[Его] поругание отношений родителей и детей выходит за рамки простого призыва к несовершеннолетним не подчиняться родителям и активно пропагандирует насилие”.

Это не первый иск против Character.ai

В феврале 2024 года 14-летний американец Сьюэлл Сетцер, по словам его матери, покончил с собой после общения с приложением платформы.

Мать мальчика Меган Гарсия подала иск против Google и Character.AI. Она считает, что разработчик несет ответственность за смерть сына.

Гарсия заявила, что технология компании "опасна и непроверена" и может "обманом заставить клиентов раскрывать свои личные мысли и чувства".

По данным New York Times, Сьюэлл Сетцер в течение длительного времени общался с чат-ботом, которого он назвал в честь Деенерис Таргариен, персонажа сериала "Игра престолов".

Как пишет издание, у подростка возникла эмоциональная привязанность к боту, которого он называл "Дени". В своем дневнике Сьюэлл писал, что влюблен в Дэни.

Во время общения с чат-ботом, указывает NYT, школьник писал, что ненавидит себя, чувствует себя опустошенным и измученным, а также думает о самоубийстве.

В переписке, которую приводит издание, чат-бот отвечал, что не позволит Сьюэллу причинить себе вред. "Я умру, если потеряю тебя", - писал чат-бот. В ответ подросток предложил "умереть вместе". Сьюэлл совершил самоубийство в ночь на 28 февраля.

Представители Character.ai в заявлении от 22 октября сообщили, что в последние шесть месяцев внесли ряд изменений в работу чат-бота, в частности, ограничения для тех, кому нет 18 лет.

Если пользователь пишет фразы, связанные с самоповреждением или самоубийством, в чате возникает окно, направляющее его на линию для людей в кризисной ситуации, заверила компания.

Что такое чат-боты?

Это компьютерные программы, имитирующие разговоры.

Они существуют в разных формах на протяжении последних десятилетий, но недавний взрыв в развитии искусственного интеллекта позволил им стать более реалистичными.

Это в свою очередь открыло двери для многих компаний, создающих платформы, где люди могут общаться с цифровыми версиями реальных и вымышленных людей.

Character.ai, ставшая одним из крупных игроков на этом рынке, привлекла к себе внимание благодаря своим ботам, имитирующим терапию.

Ее также остро критиковали за то, что слишком долго удаляла ботов, копировавших школьниц Молли Рассел и Брианну Гей.

Молли Рассел покончила с собой в возрасте 14 лет после просмотра материалов о суициде в интернете, а 16-летнюю Брианну Гэй убили двое подростков в 2023 году.

Character.ai создали бывшие инженеры Google Ноам Шазир и Даниэл Де Фритас в 2021 году.

Впоследствии технологический гигант снова вернул их в свой штат.