Character.AI и Google подали в суд после смерти подростка, одержимого чат-ботом

В связи со смертью подростка против компании Character.AI, ее основателей Ноама Шазира и Дэниела Де Фрейтаса и компании Google был подан иск по обвинению в неправомерной смерти, халатности, обманной торговой практике и ответственности за качество продукции. В заявлении, поданном матерью подростка, Меган Гарсиа, утверждается, что платформа для чат-ботов с искусственным интеллектом была «неоправданно опасной» и не имела защитных ограждений при продаже детям.

Как указано в иске, 14-летний Сьюэлл Сетцер III начал использовать Character.AI в прошлом году, взаимодействуя с чат-ботами, смоделированными по образцу персонажей из Игра престоловвключая Дейенерис Таргариен. Сетцер, который постоянно общался с ботами за несколько месяцев до своей смерти, покончил жизнь самоубийством 28 февраля 2024 года, «через несколько секунд» после своего последнего взаимодействия с ботом.

Обвинения включают в себя «антропоморфизацию» ИИ-персонажей на сайте и то, что чат-боты платформы предлагают «психотерапию без лицензии». В Feature.AI есть чат-боты, ориентированные на психическое здоровье, такие как «Терапевт» и «Вы чувствуете себя одиноким», с которыми взаимодействовал Сетцер.

Адвокаты Гарсиа цитируют слова Шазира в интервью, что он и Де Фрейтас покинули Google, чтобы основать собственную компанию, потому что «в крупных компаниях слишком велик риск для бренда, чтобы когда-либо запускать что-то интересное», и что он хотел «максимально ускорить» технологию. В нем говорится, что они ушли после того, как компания решила не запускать созданную ими компанию Meena LLM. В августе Google приобрела руководящую команду Character.AI.

На веб-сайте и в мобильном приложении Character.AI есть сотни чат-ботов с искусственным интеллектом, многие из которых созданы по образцу популярных персонажей из телешоу, фильмов и видеоигр. Несколько месяцев назад, Грань написал о миллионах молодых людей, включая подростков, которые составляют основную часть его пользовательской базы, взаимодействуя с ботами, которые могут притворяться Гарри Стайлсом или терапевтом. Еще один недавний отчет от Проводной выделил проблемы с пользовательскими чат-ботами Character.AI, которые выдавали себя за реальных людей без их согласия, в том числе один выдавал себя за подростка, убитого в 2006 году.

Из-за того, что чат-боты, такие как Character.ai, генерируют выходные данные, которые зависят от того, что вводит пользователь, они попадают в жуткую долину острых вопросов о пользовательском контенте и ответственности, на которые пока нет четких ответов.

Feature.AI теперь объявила о нескольких изменениях в платформе, о чем сообщила в электронном письме руководитель отдела коммуникаций Челси Харрисон. Грань«Мы убиты горем в связи с трагической потерей одного из наших пользователей и хотим выразить наши глубочайшие соболезнования семье».

Некоторые из изменений включают в себя:

«Как компания, мы очень серьезно относимся к безопасности наших пользователей, и наша команда по доверию и безопасности за последние шесть месяцев внедрила множество новых мер безопасности, включая всплывающее окно, направляющее пользователей на Национальную линию помощи по предотвращению самоубийств, которое активируется с точки зрения членовредительства или суицидальных мыслей», — сказал Харрисон. Google не сразу ответил на Граньпросьба о комментариях.