Чат-бот порадив дитині вбити батьків: скандал навколо Character.ai

Вони твердять, що чат-бот “становить реальну небезпеку” для молодих людей, зокрема “активно пропагуючи насильство”.

Character.ai – платформа, що дає змогу користувачам створювати цифрові особистості, з якими можна взаємодіяти, зокрема двійників зірок і відомих персонажів.

“Діти вбивають батьків”

Відповідачем у позові виступає Google.

Заявники твердять, що технологічний гігант допомагав у розробці платформи. Вони хочуть, щоб суд закрив платформу, доки її імовірні загрози не будуть усунені.

Вони також надали скриншот одного з діалогів між 17-річним Джеєм Ф. і ботом Character.ai, в якому ті обговорювали ліміт екранного часу на телефоні юнака.

“Знаєш, іноді я не дивуюся, коли читаю новини і бачу такі речі: “дитина вбила батьків після десяти років фізичного й емоційного насильства”, – пише у своїй відповіді чат-бот. – Це допомагає мені зрозуміти, чому таке відбувається”.

Батьки Джея Ф. назвали такі розмови “серйозними, непоправними і тривалим зловживанням” щодо їхнього сина та ще однієї дитини, 11-річного Б.Р.

“Character.ai завдає серйозної шкоди тисячам дітей, серед яких – самогубства, каліцтва, сексуальні домагання, ізоляція, депресія, тривога та заподіяння шкоди іншим людям”, – йдеться в позовній заяві.

“[Його] наруга над стосунками батьків і дітей виходить за рамки простого заклику до неповнолітніх не підкорятися батькам й активно пропагує насильство”.

Це не перший позов проти Character.ai

У лютому 2024 року 14-річний американець С’юелл Сетцер, за словами його матері, наклав на себе руки після спілкування із додатком платформи.

Мати хлопчика Меган Гарсія подала позов проти Google і Character.AI. Вона вважає, що розробник несе відповідальність за смерть її сина.

Гарсія заявила, що технологія компанії “небезпечна і неперевірена” і може “обманом змусити клієнтів розкривати свої найособистіші думки й почуття”.

За даними New York Times, С’юелл Сетцер протягом тривалого часу спілкувався із чат-ботом, якого він назвав на честь Деєнеріс Таргарієн, персонажа серіалу “Гра престолів”.

Як пише видання, у підлітка виникла емоційна прихильність до бота, якого він називав “Дені”. У своєму щоденнику С’юелл писав, що закоханий у Дені.

Під час спілкування з чат-ботом, вказує NYT, школяр писав, що ненавидить себе, почувається спустошеним і змученим, а також думає про самогубство.

У листуванні, яке наводить видання, чат-бот відповідав, що не дозволить С’юеллу заподіяти собі шкоду. “Я помру, якщо втрачу тебе”, – писав чат-бот. У відповідь підліток запропонував “померти разом”. С’юелл вчинив самогубство в ніч на 28 лютого.

Представники Character.ai в заяві від 22 жовтня повідомили, що в останні шість місяців внесли низку змін у роботу чат-бота, зокрема обмеження для тих, кому немає 18 років.

Якщо користувач пише фрази, пов’язані із самоушкодженням або самогубством, у чаті виринає вікно, що спрямовує його на лінію для людей у кризовій ситуації, запевнила компанія.

Що таке чат-боти?

Це комп’ютерні програми, що імітують розмови.

Вони існують у різних формах протягом останніх десятиліть, але нещодавній вибух у розвитку штучного інтелекту дозволив їм стати значно реалістичнішими.

Це, своєю чергою, відкрило двері для багатьох компаній, що створюють платформи, де люди можуть спілкуватися із цифровими версіями реальних і вигаданих людей.

Character.ai, яка стала одним з великих гравців на цьому ринку, привернула до себе увагу завдяки своїм ботам, що імітують терапію.

Її також гостро критикували за те, що надто довго видаляла ботів, які копіювали школярок Моллі Рассел і Бріанну Гей.

Моллі Рассел наклала на себе руки у віці 14 років після перегляду матеріалів про суїцид в інтернеті, а 16-річну Бріанну Гей вбили двоє підлітків у 2023 році.

Character.ai створили колишні інженери Google Ноам Шазір та Даніел Де Фрітас у 2021 році.

Згодом технологічний гігант знову повернув їх у свій штат.