Чат-бот Character.AI видавав себе за мертву людину: на компанію подали в суд

Жінка виявила, що чат-бот видає себе за її сина, який вчинив самогубство. Про це пише Ars Technica. Розповідаємо деталі справи.

Що сталося

14-річний Сьюелл Сетцер III любив спілкуватися з гіперреалістичними чат-ботами Character.AI, які ймовірно спровокували його до самогубства. Сетцер нібито став одержимим своїм вигаданим життям у чат-боті, відключився від реальності та був залежний від спілкування з чат-ботом. Після смерті сина його мати Меган Гарсія подала на компанію в суд, звинувативши їх у маніпуляції свідомістю сина.

Незабаром жінка виявила, що платформа, з якою вона судиться, дозволяє випадковим чат-ботам видавати себе за її сина. За словами юристів Меган Гарсія, виявила щонайменше чотири чат-боти, які видавали себе за Сьюелла Сетцера III, використовуючи його ім’я та зовнішність. Аналіз журналів чатів показав, що боти використовували реальну фотографію Сетцера як зображення профілю, намагалися імітувати його особистість, посилаючись на його улюбленого персонажа з «Гри престолів», і навіть пропонували функцію двостороннього дзвінка з клонованим голосом. Крім того, боти самопринижувалися, висловлюючи сумніви у своїй інтелектуальній спроможності.

Чому це важливо

Юридичний проєкт Tech Justice Law Project (TJLP), який допомагає Гарсії в судовому процесі, стверджує, що Character.AI не вперше ігнорує створення чат-ботів, змодельованих з мертвих підлітків, для залучення користувачів, і що без належного правового захисту такі випадки можуть повторюватися.

Для Гарсії та її сім’ї використання подоби Сетцера в чат-ботах Character.AI було не лише жорстоким, але й експлуататорським, оскільки, за словами TJLP, технологічні компанії, використовуючи чат-боти та технології розпізнавання облич, експлуатують фотографії та цифрову ідентичність людей без їхньої згоди, що є продовженням практики використання фотографій звичайних людей для власної вигоди, яка існує з моменту появи масової фотографії.

Технології штучного інтелекту, що використовують особисті дані, підривають контроль над онлайн-ідентичністю. TJLP вимагає від Character.AI припинити використання чат-ботів, які, на їхню думку, завдають шкоди сім’ї загиблого підлітка.

Це, звичайно, не перший інцидент коли чат-бот від штучного інтелекту надає недостовірну інформацію. Ми розповідали про випадки вигаданої інформації від ChatGPT, які містили звинувачення:

• користувача в шахрайстві та розтраті;
• судового репортера в жорстокому поводженні з дітьми;
• професора права в сексуальних домаганнях.