Почему искусственный интеллект несправедлив? Этические проблемы технологий
Предубеждения алгоритмов
Как искусственный интеллект принимает решения? Почему алгоритм, написанный для банка, одобряет кредит одному, но отказывает другому клиенту? Дело только в доходах, кредитной истории или в чем-то еще? Сегодня нейросети помогают врачам в больницах отсматривать рентгены, могут предлагать диагноз и прогнозировать, как пойдет лечение пациента. Пишут музыку, картины и тексты. Предсказывают пробки, погоду… и преступления. Как может алгоритм предсказать преступление? Здесь энтузиасты собрали "ужасные способы применения искусственного интеллекта" во всем мире. В подборке есть несколько историй на этот счет.
Предсказательные алгоритмы, которые используют полиция и суды, — популярный сюжет про конфликт технологий и прав человека. В Лос-Анджелесе, штатах Атланта и Филадельфия, алгоритмы анализируют данные о произошедших преступлениях, чтобы сообщить, где может произойти преступление в будущем. Одна из популярных программ — PredPol, это алгоритм, разработанный департаментом полиции Лос-Анджелеса совместно с местными университетами. Программа собирает данные о том, где и когда совершались преступления, а затем составляет карту горячих точек — мест, где преступление, вероятно, произойдет в будущем. Исследователи из некоммерческой организации Human Rights Watch проанализировали работу PredPol и выяснили, что алгоритм часто рекомендовал полиции направлять патрули в районы, где живут преимущественно чернокожие жители. При этом те районы, где больше белых и где, в частности, преступления, связанные с незаконным оборотом наркотиков, совершали чаще, оставались без внимания патрулей. Алгоритмы умеют обучаться. Если полицейские раз за разом едут в какой-то район, где фиксируют преступление, алгоритм запоминает это. В следующий раз программа будет в первую очередь подозревать то место, где было похожее преступление. При этом она не обратит внимания на район, в который просто никто не ездил.
В Human Rights Watch сделали вывод, что программа способствует укреплению расовых предрассудков среди американских полицейских. Сейчас американская компания PredPol переименована в Geolitica, ее программа — одна из самых популярных в США. Стоит упомянуть, что правозащитники сообщали, что алгоритмы использовались для фиксации наркопреступлений, но, по словам гендиректора PredPol Брайана Макдональда, программы не используются для борьбы с наркотиками, а используют данные о таких преступлениях, как нападение, грабеж и угон автомобилей, именно для того, чтобы избежать предвзятости, обнаруженной Human Rights Watch.
Большая часть алгоритмов для судов и полиции из подборки "плохих технологий" используется в США и Китае (пример в Китае — использование технологий для видеослежки за уйгурами — населением китайского региона Синьцзян, доклад об этом Human Rights Watch выпустила в 2018 году). Еще один пример использования алгоритмов в системе наказаний — COMPAS, его применяют судьи в штате Висконсин. Этот алгоритм прогнозирует риск рецидивизма. Его производитель отказывается раскрывать подробности запатентованной разработки, известна только окончательная оценка риска. Авторы подборки считают, что алгоритм дискриминирует людей с черным цветом кожи.
Почему IBM отказался делать системы распознавания лиц?
Программы в целом склонны к предвзятости в отношении чернокожих, это выяснено во многих исследованиях. Причем не только вышеуказанные, а, например, алгоритмы распознавания лиц, причем они просто хуже распознают людей не с белым цветом кожи. Как признался глава полиции в Детройде, эти алгоритмы неверно определяют до 96% подозреваемых чернокожих, что приводит к ложным арестам. В подборке "плохого ИИ" содержится случай, когда программа распознавания изображений Google пометила лица нескольких чернокожих как горилл. Программа Amazon Rekognition неверно определяла пол темнокожих женщин в 31% случаев. Женщин со светлой кожей ошибочно опознавали как мужчин только в 7% случаев.
Системы распознавания лиц — одна из технологий, вызывающих самые большие споры. С каждым годом становится все больше требований общества и правозащитных организаций отказаться от таких алгоритмов. В прошлом году компания IBM решила отказаться от разработки технологии распознавания лиц. "Самое время поговорить о том, следует ли использовать технологию распознавания лиц правоохранительным органам страны", — объясняли в компании.
Почему программа в Amazon отказывала женщинам в работе?
На дискриминации женщин при приеме на работу "поймали" программу, которая несколько лет помогала отделу кадров в Amazon отбирать резюме разработчиков. Алгоритм обучили выбирать соискателей, чьи резюме были похожи на резюме уже нанятых сотрудников. Здесь важно понимать, что мужчин в IT-индустрии — больше 90%. Алгоритм видел резюме преимущественно от мужчин и выбирал, соответственно, мужчин. Впоследствии компания отказалась от использования этой программы.
Как алгоритмы стали расистскими? Почему они начали дискриминировать женщин при приеме на работу? Решения искусственного интеллекта хороши настолько, насколько хороши данные, на которых он обучался. Данные — это, допустим, карта мест в Лос-Анджелесе, где уже совершались преступления. Или резюме разработчиков, прошедших испытательный срок в корпорации. Компьютер не способен додумывать — он принимает решения на основе большинства данных, известных ему. Усугубляет проблему то, что людей из социальных групп, подверженных дискриминации, мало в IT-компаниях, разрабатывающих эти алгоритмы. Например, только 3,1% работников IT-индустрии в США — чернокожие.
Идеальная пара: он старше и статуснее. Так считает алгоритм
Дискриминация из-за алгоритмов — это не то, что происходит где-то далеко от нас — в американском полицейском участке или в офисе Amazon. Скорее всего, вы тоже столкнулись с ней. Например, если использовали Tinder. Пару лет назад французская журналистка Джудит Дюпортай опубликовала результаты расследования о секретных алгоритмах соцсети. Дюпортай выяснила, что Tinder присваивает пользователям секретный индекс привлекательности, на основе которого показывает потенциальных кандидатов (а вовсе не рандомно) и тех, кто географически ближе. Алгоритм вычислял уровень доходов (ради этого искал разную информацию о пользователях в других соцсетях), уровень интеллекта (насколько пользователь умный, он выяснял на основании лексики, которую он использует в переписке).
На индекс привлекательности мужчин и женщин влияли разные характеристики — если мужчинам с высокими доходами и хорошим образованием алгоритм повышал рейтинг, то образованным и хорошо зарабатывающим женщинам, наоборот, понижал. Идеальная пара для алгоритма выглядела так: мужчина старше и статусом выше, женщина моложе и статусом ниже. "Я уверена, что в штаб-квартире Tinder никто не заявил бы сознательно: "А давайте сделаем сексистское приложение!" Но я думаю, что разработчики закодировали свои представления и ценности в его алгоритме. Я почти не сомневаюсь, что своим сестрам и подругам они бы тоже от всего сердца пожелали найти себе видного мужчину постарше и побогаче — не задаваясь вопросом об идеологии, которая стоит за этим пожеланием", — рассказывала Джудит Дюпортай в интервью, опубликованном на colta.ru.
Что не так с программой, написавшей колонку для The Gardian?
Один из главных скандалов в ИИ-индустрии в прошлом году —увольнение из Google исследовательницы Тимнит Гебру. В Google есть направление по исследованию этики искусственного интеллекта, где Гебру вместе с коллегами работала над публикацией по теме этики больших нейросетевых языковых моделей (таких как BERT и GPT-3). По правилам компании, научные статьи сотрудников проходят перед публикацией премодерацию в отделе PR & Policy. Эта работа ее не прошла — было рекомендовано отозвать статью или убрать сотрудников компании из списка авторов.
Гебру рассказывала о проблемах больших языковых моделей. Например, их неспособности сохранять непредвзятость, свободу от расистских предубеждений. "Большинство языковых моделей созданы в первую очередь для удовлетворения потребностей тех, кто уже имеет привилегии в обществе, — говорилось в той статье Гебру. — Если обучающие данные слишком большие, настолько, что нельзя поменять их характеристики, это несет в себе слишком большие риски". Насколько хорошо справляются с написанием текстов такие программы, можно понять, почитав колонку, которую GPT-3 написала по техзаданию редактора The Gardian.
Алгоритмы-менеджеры
Часто люди боятся, что искусственный интеллект отберет у них работу. Как насчет того, что вы будете трудиться больше под присмотром программ? В начале прошлого года в The Verge вышла статья о том, как в кол-центрах, в сервисе и на производстве алгоритмы следят за работниками. "Роботы следят за горничными отеля, подсказывая, в какой комнате убрать, и следят, насколько быстро выполняется работа. Алгоритмы управляют разработчиками ПО, отслеживают их клики и прокрутки и снижают оплату, если те работают медленно. Программы слушают сотрудников кол-центра, говорят им, что и как сказать, и постоянно загружают их по максимуму", — перечисляются случаи контроля алгоритмами в статье.
Сотрудникам IT-компании в Ханчжоу выдали умные подушки для офисных кресел, которые мониторили пульс и следили за осанкой. Кроме того, подушка следила, как часто они отлучаются с рабочих мест, отчеты об этом просматривали руководители. Алгоритмы-менеджеры захватывают рабочие места в Китае. Правительство выдает бизнесу субсидии для перехода на цифровые решения для управления. По данным исследовательской фирмы iResearch, местный рынок систем цифрового управления вырос с 7,08 млрд юаней (тогда 1 млрд долларов) в 2017 году до 11,24 млрд юаней в 2019 году.
Уже упомянутая Amazon — одна из компаний, где технологии помогают загружать сотрудников работой по максимуму. Во многих автомобилях доставки установлены камеры видеонаблюдения, следящие за водителем. При остановке или отклонении от маршрута ему звонит диспетчер, чтобы уточнить причину задержки. На складах работникам нельзя отлучаться больше чем на 15 минут. За нарушение — санкции и штрафы. В офисах за сотрудниками следят другие программы, но с той же целью. Переработки и изматывающий график в Amazon — известная проблема. Недавно появились сообщения о том, что из-за напряженного графика водители и курьеры Amazon вынуждены мочиться в пластиковые бутылки. Сейчас сотрудники Amazon в США пытаются организовать профсоюз. В этом тексте ТАСС писал подробно, зачем он нужен работникам и что не так с условиями труда в корпорации.
Социальная дилемма
Почему люди так легко становятся зависимыми от социальных сетей? Разработчики продумали их такими, зная нашу психологию. В прошлом году Netflix выпустил документальный фильм "Социальная дилемма", где бывшие топ-менеджеры и разработчики IT-компаний рассказывают, как разрабатывали популярные соцсети вроде Twitter и придумывали, например, кнопку "лайк", а впоследствии осознали, насколько разрушительно эти манипуляции влияют на общество. Один из героев фильма — Тристан Харрис, программист, в 2013 году он работал в Google. Одним вечером он разослал коллегам манифест с идеями об ответственности перед пользователями и уважении их времени. Главный тезис Харриса — сегодня популярные соцсети и сервисы требуют слишком много нашего внимания. С помощью своего устройства — вроде лайков и постоянных уведомлений — они манипулируют нами, чтобы мы постоянно ныряли в онлайн из офлайна. "Netflix, YouTube или Facebook автоматически воспроизводят следующее видео, а не ждут, пока вы сделаете сознательный выбор (в случае, если вы этого не сделаете)", — приводит пример Харрис. В 2015 году Харрис ушел из корпорации и основал некоммерческую организацию Time Well Spent ("Хорошо проведенное время"), которая консультирует компании, как выстраивать сервисы с уважением к пользователям.
В чем проблема рекомендательных алгоритмов
Сегодня на всех популярных сайтах работают рекомендательные алгоритмы. Благодаря им вы видите в лентах то, что интересно вам. Выводы об этих интересах они делают исходя из информации о пользователях: истории просмотров и активности на площадке (и не только, трекеры популярных соцсетей работают и на других сайтах). Чем активнее вы совершаете действия в соцсети — шерите, лайкаете, комментируете, — тем больше алгоритмы знают о вас.
Есть две проблемы. Первая — рекомендательные алгоритмы разносят проблемный контент (от фейков до псевдонаучной и противоправной информации). Простой пример: в соцсетях есть много групп противников вакцинации. Не так важно — как вы относитесь к вакцинации, если вы лайкаете и шерите родительский контент — вам покажут группу антипрививочников. "То, что противники вакцинации встречаются в интернете, — проблема интернета. То, что Facebook рекомендует матерям вступать в группы противников вакцинации, — проблема площадки", — пишет в своей статье Кейси Ньютон, редактор The Verge. Мэри Микер, аналитик, которая каждый год выпускает доклад о состоянии интернета, говорит о вреде этих алгоритмов. "Главная террористическая угроза в США — это люди, радикализированные разнообразными идеологиями, которые они почерпнули из интернета".
Вторая проблема — рекомендательные алгоритмы помещают пользователя в информационный пузырь. Возможно, у вас так, что вы рассказывали другу о той истории, которую в вашем Facebook обсуждают третий день, а он не слышал об этом. Его лента новостей выглядит иначе — в ней нет тех споров, которые занимают вас и ваше окружение, но есть другие, по его интересам. Ни вы, ни ваш друг не идете целенаправленно искать что-то совсем другое. Соцсети, показывающие нам контент, который соответствует нашим предубеждениям, ускоряют поляризацию общества. Сегодня американцы более поляризованы, чем когда-либо, — по крайней мере, по некоторым параметрам, говорится в одной статье The Wall Street Journal. Одно из частых решений, которое предлагают эксперты, — изменить алгоритмы, чтобы они показывали нам больше контента от людей, которые с нами не согласны. Но в этой статье как раз рассказывается о новом исследовании, показывающем, что это решение на самом деле может ухудшить ситуацию, так как соцсети усиливают крайние мнения.
Анастасия Акулова