Инсайдер индустрии рассказал BBC, почему подростки становятся мишенью насильственного контента.
Был 2022 год, Цай, которому тогда было 16 лет, листал ленту на своем телефоне. Он говорит, что одно из первых видео, которые он увидел в своих социальных сетях, было с милой собакой. Но потом все изменилось.
Он говорит, что «неоткуда» у него начали появляться рекомендации видео, на которых кого-то сбила машина, инфлюэнсер распространял женоненавистнические взгляды или кто-то жестоко дрался. Он спросил себя – почему я?
Эндрю Каунг работал аналитиком по безопасности пользователей в TikTok в Дублине. Он занимал этот пост с декабря 2020 по июнь 2022 года.
Каунг с коллегой решили проверить, что алгоритмы соцсети предлагают пользователям в Великобритании, в том числе 16-летним. Незадолго до этого Каунг работал в конкурирующей компании Meta, владеющей Инстаграммой — еще одной платформой, которой пользуется Цай. Когда Эндрю просмотрел контент TikTok, он встревожился. Он увидел, что некоторым ребятам показывали сообщения с насилием и порнографией и пропагандой женоненавистнических взглядов, рассказывает он BBC Panorama.
По его словам, в целом девушкам-подросткам рекомендовали совсем другой контент.
TikTok и другие компании социальных медиа используют инструменты искусственного интеллекта, чтобы удалять вредоносный контент или направлять его на просмотр модераторам. Но инструменты ИИ не могут идентифицировать все.
Эндрю Каунг говорит, что за время, когда он работал в TikTok, все видео, которые не удалили или не отправили модераторам, повторно проверяли вручную, только если они достигали определенного. порога просмотров.
Такой порог мог быть 10 000 просмотров или даже больше. Каунг говорит, что это означало, что некоторые молодые пользователи могут сталкиваться с вредоносными видео. Большинство крупных компаний социальных сетей позволяют регистрироваться людям с 13 лет.
TikTok говорит, что 99% контента, который он удаляет за нарушение своих правил, удаляется искусственным интеллектом или модераторами-людьми до того, как он наберет 10 000 просмотров.
Он также говорит, что активно исследует видео с меньшим количеством просмотров.
Каунг говорит, что, когда он работал в Meta, была другая проблема. Большинство видео удалялось на основании сообщений пользователей, то есть когда они уже увидели контент.
Он говорит, что в обеих компаниях ничего с этим не делали из-за опасений объема работы или стоимости. По его словам, впоследствии в TikTok и Meta внесли некоторые улучшения, но молодые пользователи, такие как Цай, оказались под угрозой. Ofcom.
«Компании закрывают на это глаза и относятся к детям так же как к взрослым», — говорит Альмудена Лара, директор по развитию политики онлайн-безопасности Ofcom.
Видео с домашним насилием
В TikTok рассказали BBC, что имеют «лучшие в области» настройки безопасности для подростков и над этим в компании работают более 40 000 человек. Корпорация заявила, что только в этом году планирует инвестировать «свыше 2 миллиардов долларов в безопасность», а 98% контента, который она удаляет за нарушение своих правил, выявляет заблаговременно.
Компания Meta, владеющая инстаграммой и фейсбуком, говорит, что имеет более 50 различных инструментов, ресурсов и функций, чтобы предоставить подросткам «положительный опыт, соответствующий возрасту».
Цай рассказал BBC, что с помощью одного из инструментов в инстаграмме пытался сообщить, что его не интересует насильственный или женоненавистнический контент, но, по словам парня, ему продолжали поступать такие рекомендации.
«У тебя в голове возникает картинка, и ты не можешь избавиться от нее. Это загрязняет твой мозг. И ты думаешь об этом оставшийся день», — говорит он.
Он говорит, что знакомым девушкам его возраста рекомендовали видео на такие темы, как музыка и макияж, а не насилие.
Цай, которому сейчас 18 лет, говорит, что ему до сих пор продвигают насильственный и женоненавистнический контент как в инстаграмме, так и тик.
Когда мы прокручиваем его инстаграммы риллсы (короткие видео), мы видим изображение домашнего насилия. На одном из фото — два человека, один из которых имеет синяки, подпись под фото говорит — «Мой язык любви». На другом изображении виден человек, которого сбил грузовик.
Цай говорит, что видео с миллионами лайков могут быть убедительными для молодых людей его возраста.
Да, один из его друзей увлекся влиятельным блоггером , который распространял женоненавистнические взгляды.
Цай говорит, что его друг «зашел слишком далеко», «он начал говорить что-то о женщинах. Похоже, его нужно было возвращать к реальности».
Как работают алгоритмы TikTok
По словам Эндрю Каунга, двигателем алгоритмов является привлечение, то есть взаимодействие пользователей с публикацией.
Первый шаг — указать предпочтения и интересы при регистрации. Эндрю говорит, что часть контента, который изначально предоставляют алгоритмы, скажем, 16-летнему подростку, основываются на предпочтениях его и других пользователей того же возраста в том же месте.
В TikTok алгоритмы не зависят от пола пользователя. Но Эндрю говорит, что интересы, которые подростки обозначают при регистрации, часто приводят к разделению по половому признаку.
Бывший сотрудник TikTok говорит, что некоторые 16-летние ребята могут сразу столкнуться с насильственным контентом, потому что другие подростки с подобными предпочтениями проявили интерес к такому типу материалов.
Эндрю Каунг говорит, что алгоритмы используют «обучение с подкреплением». То есть системы искусственного интеллекта учатся методу проб и ошибок и учатся выявлять поведение в отношении различных видео.
По его словам, алгоритм, рекомендующий контент для страницы «Для вас» в TikTok, не всегда различает вредные и безвредные материалы.
«Они видят количество зрителей, возраст, тренды, такие очень абстрактные данные. Они не обязательно разумны. действительное содержание сообщения», — говорит бывший аналитик TikTok.
Вот почему в 2022 году он и его коллега решили исследовать, какие именно видео платформа рекомендует пользователям, в том числе 16-летним подросткам.
Он говорит, что они были озабочены жестоким и вредным контентом, который рекомендуют некоторым подросткам, и предложили TikTok обновить свою систему модерации.
Они хотели, чтобы TikTok четко обозначал видео, чтобы каждый работающий там мог понять , почему они вредны (экстремальное насилие, злоупотребление, порнография и так далее, и нанять больше модераторов, специализирующихся на этих сферах. Эндрю говорит, что компания отклонила их предложения.
Компания не заинтересованы
Эндрю Каунг говорит, что изнутри TikTok и Meta было очень трудно внести изменения, которые он считал необходимыми.
«Мы просим частную компанию, которая заинтересована в продвижении своей продукции, покончить с собой ограничение. Это все равно, что просить тигра не есть вас», — говорит аналитик.
Он также считает, что жизнь детей и подростков стала бы лучше, если бы они вообще прекратили пользоваться смартфонами.
Но для этого запрет телефонов или социальных сетей для подростков не является вариантом. >Вместо этого он хочет, чтобы социальные сети больше прислушивались к тому, чего подростки не хотят видеть и чтобы они разработали более эффективные инструменты контроля.
«Мне кажется, что компании социальных медиа не уважают ваше мнение, если это приносит им деньги», — говорит Цай.
В Великобритании новый закон заставит компании соцсетей проверять возраст детей и останавливать сайты, рекомендующие порно или другой вредоносный контент молодым людям. За исполнением закона будет следить британский медиарегулятор Ofcom.
>
Альмуден Лара, директор по разработке политики онлайн-безопасности Ofcom, говорит, что проблеме распространения ненависти и насилия среди мальчиков-подростков уделяли меньше внимания. Обычно компании пытаются бороться с вредными видео, которые адресованы девушкам-подросткам — например видео, которые продвигают расстройства пищевого поведения и самоповреждение.
«Как правило, с вредоносным контентом сталкивается меньшинство [детей], но если это происходит, избежать его невозможно», – говорит Лара.
Ofcom говорит, что может штрафовать компании и подавать на них в суд, если они не сделают достаточно, но эти меры вступят в силу не раньше 2025 года.
