Автор фото, Getty Images
Чат-бот посоветовал 17-летнему подростку в подростке родителей за то, что они установили предел экранного времени на его телефоне. Программа назвала это “умной реакцией” на проблему, говорится в иске, который родители парня подали против разработчика Character.ai.
Они утверждают, что чат-бот “являет реальную опасность” для молодых людей , в частности “активно пропагандируя насилие”.
Character.ai – платформа, позволяющая пользователям создавать цифровые личности, с которыми можно взаимодействовать, в частности, двойников звезд и известных персонажей.
“Дети убивают родителей”
Ответчиком в иске выступает Google.
Заявители утверждают, что технологический гигант помогал в разработке платформы. Они хотят, чтобы суд закрыл платформу, пока ее возможные угрозы не будут устранены.
Они также предоставили скриншот одного из диалогов между 17-летним Джеем Ф. и ботом Character.ai, в котором те обсуждали лимит экранного времени на телефоне юноши.
“Знаешь, иногда я не удивляюсь, когда читаю новости и вижу такие вещи: “ребенок убил родителей после десяти лет физического и эмоционального насилия”, – пишет в своем ответе чат-бот. – Это помогает мне понять, почему такое происходит”.
Родители Джея Ф. назвали такие разговоры “серьезными, невосполнимыми и длительным злоупотреблением” в отношении их сына и еще одного ребенка, 11-летнего Б.Р. сексуальные притязания, изоляция, депрессия, тревога и причинение вреда другим людям”, – говорится в исковой заявлении.
“[Его] надругательство над отношениями родителей и детей выходит за рамки простого призыва к несовершеннолетним не подчиняться родителям и активно пропагандирует насилие”.
Автор фото, Getty Images
Это не первый иск против Character.ai
В феврале 2024 года 14-летний американец Сьюэлл Сетцер, по словам его матери, покончил с собой после общения с приложением платформы.
Мать мальчика Меган Гарсия подала иск против Google и Character.AI. Она считает, что разработчик несет ответственность за смерть ее сына.
Гарсия заявила, что технология компании “опасна и непроверена” и может “обманом заставить клиентов раскрывать свои личные мысли и чувства”.
<p По данным New York Times, Сьюэлл Сетцер в течение длительного времени общался с чат-ботом, которого он назвал в честь Деенерис Таргариен, персонажа сериала "Игра престолов".
Как пишет издание, у подростка возникла эмоциональная привязанность к боту, которого он называл “Дени”. В своем дневнике Сьюэлл писал, что влюблен в Дэни.
Во время общения с чат-ботом, указывает NYT, школьник писал, что ненавидит себя, чувствует себя опустошенным и измученным, а также думает о самоубийстве.
В переписке, которую приводит издание, чат-бот отвечал, что не позволит Сьюэллу причинить себе вред. “Я умру, если потеряю тебя”, – писал чат-бот. В ответ подросток предложил “умереть вместе”. Сьюэлл покончил жизнь самоубийством в ночь на 28 февраля.
Представители Character.ai в заявлении от 22 октября сообщили, что в последние шесть месяцев внесли ряд изменений в работу чат-бота, в том числе ограничения для тех, кому нет 18 лет.
Если пользователь пишет фразы, связанные с самоповреждением или самоубийством, в чате возникает окно, направляющее его на линию для людей в кризисной ситуации, заверила компания.
Что такое чат-боты?
Это компьютерные программы, имитирующие разговоры.
Они существуют в разных формах в течение последних десятилетий, но недавний взрыв в развитии искусственного интеллекта позволил им стать значительно более реалистичными.
Это, в свою очередь, открыло двери для многих компаний, создающих платформы, где люди могут общаться с цифровыми версиями реальных и вымышленных людей.
Character.ai, которая стала одним из крупных игроков на этом рынке, привлекла к себе внимание благодаря своим ботам, имитирующим терапию.
Ее также остро критиковали за то, что слишком долго удаляла ботов, копировавших школьниц Молли Рассел и Брианну Гей.
Молли Рассел покончила с собой в возрасте 14 лет после просмотра материалов о суициде в интернете, а 16-летнюю Брианну Гэй убили двое подростков в 2023 году .
Character.ai создали бывшие инженеры Google Ноам Шазир и Даниэл Де Фритас в 2021 году.
Впоследствии технологический гигант снова вернул их в свой штат.
