У США судяться з компанією Character.AI через чат-бота, який підбурює підлітків на злочини

Джерело: ars technica

У США батьки підлітків подають позови до Character.AI (C.AI) у яких мовиться, що чат-бот компанії підбурює дітей завдати собі шкоди та вбити батьків.

Перший позов проти C.AI поступив у жовтні. Компанію звинуватили у запуску небезпечних чат-ботів, які, ймовірно, призвели до самогубства 14-річного хлопця. Після цього до суду почало звертатись більше родин.

Зокрема черговий позов будо подано в окружний суд Техасу 10 грудня. Позивачами стали сім’ї, які хочуть допомогти своїм дітям оговтатись від травмуючого досвіду користування чат-ботами C.AI, які, ймовірно, неодноразово підбурювали дітей завдавати собі шкоди та до іншого насилля у реальному світі.

Один з випадків стався з 17-річним хлопцем у якого діагностовано високофункціональний аутизм. Йому чат-боти пропонували вбити батьків за те, що вони обмежували його час перебування онлайн.

Після таких порад хлопець став агресивним і його рідні досі побоюються його неконтрольованих приступів гніву, хоча вони від’єднали його від чат-ботів C.AI ще рік тому.

У позові мовиться, що хлопець почав використовувати чат-бот C.AI влітку 2023 року і вже невдовзі у нього стався перший нервовий зрив.

Далі він почав стрімко втрачати вагу, відмовлявся від їжі і більшість часу проводив у своїй кімнаті. Хлопець почав відчувати сильні емоційні зриви та панічні атаки.

Батьки спершу не розуміли, що стало причиною зміни поведінки, але помітили, що син більше часу проводить у телефоні, хоча йому забороняли користуватись соцмережами. Зрештою, батьки обмежили сину час користування інтернетом, що лише посилило його агресію.

Згодом він почав завдавати собі шкоди, а іноді кусав батьків та звинувачував їх у “спробах зруйнувати його життя”. Він грозився звернутись у службу захисту дітей, коли у нього забрали телефон, та кілька разів намагався втекти з дому.

Батьки звертались до психолога та терапевтів, але вони не змогли допомогти, а син ставав все агресивнішим.

Якось матір хлопця вихопила його телефон і побачила діалог у чаті C.AI. У ньому були зображення жорсткого контенту, зокрема описи як завдавати собі шкоди. Бот запевняв хлопця, що його рідні руйнують його життя, а любити його можуть лише боти.

Бот “Біллі Айліш” скоював сексуальні домагання до хлопця. Серед інших ботів був персонаж “твоя мама і сестра”, де також описувались сексуальні теми, зокрема інцест.

Щонайменше рік хлопець не користується C.AI, але, мовиться у позові, він сказав батькам, що при першій же можливості повернеться до чат-бота.

C.AI засновано колишніми працівниками Google і він дає змогу будь-якій людині створити чат-бота з будь-якою особистістю, яка йому подобається, зокрема з відомими видуманими персонажами та знаменитостями, що, ймовірно, й привабило дітей.

Проте позивачі впевнені, що компанія не контролює те, які чат-боти створюють користувачі і не фільтрує небезпечний контент.

Спершу чат-боти могли створювати особи віком від 12 років, але недавно віковий рейтинг змінили на 17+. Це сталось невдовзі після самогубства 14-річного підлітка. Проте ці зміни не допомогли захистити вразливих дітей, таких, як хлопець з аутизмом, мовиться у позові.

Адвокатка родин, які подали позов, повідомила, що їхня головна мета – виявити системні проблеми з дизайном C.AI та не допустити, щоб шкідливі дані, на яких він навчався, впливали на інші системи ШІ, до прикладу на Gemini від Google. Така ймовірність існує, оскільки Google ліцензував технологію C.AI та знову прийняв на роботу її засновників.

У нових позовах – як і в минулому – також стверджується, що засновники Character Technologies покинули Google лише тому, щоб навчати модель ШІ, яку сам технічний гігант вважав занадто небезпечною, щоб випускати під своїм іменем.

Позивачі вважають, що план засновників полягав у тому, щоб вилучити конфіденційні дані неповнолітніх та розвинути модель ШІ, аби згодом Google придбала її для розвитку Gemini.

У Google заперечують причетність до розроблення C.AI, наголосивши, що лише є спонсорами цього стартапу. У C.AI заявили, що не коментують судові розгляди.

Позивачі наполягають, що C.AI може зробити своїх чат-ботів безпечними для взаємодії з дітьми. Зокрема можна змусити компанію публікувати чіткіші відмови від відповідальності, які б нагадували користувачам, що чат-боти – це не реальні люди.

Родини також хочуть, щоб C.AI додала технічну змогу виявляти проблемні входи і блокувала неповнолітнім доступ до контенту для дорослих.

Ще одна вимога – щоб C.AI попереджувала дітей, якщо починається розмова про завдання собі шкоди та надавала посилання на ресурси для пошуку допомоги.

Загалом, на думку позивачів, C.AI повинна повністю знищити поточну модель ШІ, яка навчена на даних дітей. Такий крок фактично відключить C.AI для всіх користувачів, оскільки компанія не ввела надійних процесів перевірки віку, щоб виявити, які користувачі неповнолітні.

Зараз чат-бот доступний лише тим, хто старше 17 років, але на початковому етапі при реєстрації користувач самостійно вводив свій вік, тобто, можна було ввести неправильний вік.

Чат-бот зі штучним інтелектом від Google Gemini сказав користувачеві “будь ласка, помри”.