Алгоритм искусственного интеллекта для поиска сотрудников, который тестировала компания Amazon, оказался сексистским.
Похоже, аналитики попали в беду во время отбора данных: они «скормили» искусственному интеллекту массив информации за десятилетний этап, к которому большинство отправленных в корпорацию резюме поступали от мужчин.
Они не первые, кто невольно ошибся во время выбора информации для системы: так, после того как в 2016 году Microsoft запустила в Twitter собственный чатбот Tay, он сразу же стал популярным среди троллей, которые научили его поддерживать расистские идеи, призывать к геноциду и восхищаться Гитлером.
В Amazon не ответили на запрос BBC.
Журналистам Reuters удалось на условиях анонимности пообщаться с пятью членами команды разработчиков, которые принимали участие в создании алгоритма с 2014 года.
По их словам, вначале система должна самостоятельно рассмотреть резюме и мотивационные письма, а затем присвоить им от одной до пяти звездочек в рейтинге.
«Руководство буквально хотело, чтобы вы давали алгоритма 100 резюме, из которых он бы составил топ-5, и впоследствии компания могла бы нанять этих людей», — заявил Reuters 1 из программистов.
«Отсеивания женщин»
К 2015 году, однако, уже стало понятно, что созданная система не придерживается принципа гендерной нейтральности, поскольку большинство резюме за предыдущие годы в Amazon присылали мужчины.
Алгоритм начал отсеивать заявки со словом «женщины». Программу отредактировали так, чтобы искусственный интеллект не маркировал это слово и его производные как нечто негативное, но это не весьма помогло.
Amazon признал программу ненадежной, и проект закрыли, однако, по информации Reuters, еще некоторое время отдел кадров принимал во внимание рекомендации алгоритма, хотя и не принимал окончательное решение.
Реакция пользователей в соцсетях на новость вызвала бурю эмоций.
@holly
@holly
«Невообразимо»,- пишет британская журналистка Холли Брокуелл.
@rachel_fairbank
@rachel_fairbank
«За каждым устройством ІІ стоят предубеждения тех, кто их создавал»,- уверена научная эссеистика Рейчел Фербенк.
«Запрограммировать на провал»
Начальную необъективность подобных механизмов уже неоднократно обсуждали в профессиональном сообществе.
В июне команда исследователей Массачусетского технологического института (MIT) сообщила о создании психопатического алгоритма «Норман».
Его научили распознавать и интерпретировать фотографии и другие изображения с точки зрения человека.
Они пытались понять, как повлияют на восприятие мира искусственным интеллектом фотографии и изображения из темных уголков интернета.
В мае 2017 года выяснилось, что подобная программа, которую тестировали в судах США, негативно относилась к темнокожим обвиняемых, потому что считала, что они здатніші на уголовный рецидив, чем белые вдвое.
Как выяснили программисты, проблема была в том, что алгоритм учился по статистике полицейских задержаний и уличных выборочных проверок, а большинство задержанных в США — темнокожие.
По материалам BBC
