Дискриминация нейросетями: в ожидании технофашизма
Развитие технологий приводит к тому, что пользователи все чаще сталкиваются с настоящим произволом со стороны различных устройств и сервисов. А мода на поведенческую аналитику обещает заметно увеличить число таких инцидентов. Художник: Юрий Аратовский Кто-то теряет, а кто-то находит Вице-президент ГК InfoWatch Рустэм Хайретдинов отмечает, что еще пять лет назад сервер, способный поддерживать работу нейросети, стоил $150 тыс. И владеть ним могла себе позволить либо крупная компания, либо госструктуры с вежливыми неприметными сотрудниками. А сегодня вполне приемлемый для такой работы сервер с несколькими графическими картами обойдется всего в $3,5-5 тыс. «Сейчас происходит то, что уже происходило со многими технологиями, когда они дешевели. В эту сферу приходит множество непрофессионалов, – констатирует эксперт. – Помните, когда-то вэб-програмисты были крутыми, а потом появились курсы “Обучение за три недели”». Таким образом, вероятность ошибок в функционировании нейросетей из-за халатности и некомпетентности их разработчиков будет только возрастать. При этом нельзя сказать, что в руках высококлассных специалистов нейросети работают безукоризненно. В качестве хрестоматийного конфуза обычно вспоминается следующая история. В метро запустили нейросеть, которая должна была включать вентиляцию, когда есть наплыв людей, и потом отключать, чтобы экономить электроэнергию. Для обучения в нейросеть поступали записи с видеокамер, фиксирующих наплывы пассажиров. Сеть начала прекрасно работать, а потом вдруг перестала. Оказалось, что остановились часы, находившиеся в «поле зрения» видеокамер, а сеть на самом деле научилась реагировать на стрелки часов, а не человеческие потоки. «Для нейросети именно стрелки оказались самым понятным критерием. Разработчики не учли и не исключили этот параметр, – подчеркивает Рустэм Хайретдинов. – Это лишний раз доказывает, что вы никогда не знаете, какие подробности посчитала важными нейросеть». На любой дороге в стороне любой Тем временем в сфере информационной безопасности набирает популярность поведенческая аналитика. «Общий механизм выглядит так, – рассказывает руководитель экспертного направления по ИБ “Гарда Технологии” Роман Жуков. – На первом шагу определяется круг собираемой статистики. Далее модель обучается – из массы вычленяются поведенческие моменты, которые исследователь принимает за эталон. Следующим шагом идет отслеживание отклонений от эталона. И вот результат – модель на основании определенных параметров позволяет делать прогнозы». Причем параметры могут быть самые разные, на первый взгляд никакого отношения не имеющие к решаемому вопросу. Естественно, вся фактура обрабатывается нейросетями. И в «круг собираемой статистики» попадает все, что можно узнать о человеке онлайн. Например, учитывается скорость и ловкость путешествий по сайтам. «Первый предмет – клавиатурный почерк и движение мышки. Или, если это экран смартфона, движение пальцев», – подсказывает Роман Жуков. Здесь, кроме идентификации по почерку, можно собрать большой массив информации о психологическом портрете и планах человека. По отклонениям от поведенческого стандарта можно определить эмоциональное состояние. При этом круг источников данных даже шире, чем интернет. Есть формальные данные, которые предоставляет само физлицо по различным запросам (документы, семейное положение в анкете и пр.) и которые еще нужно лишний раз проверить. Есть данные коммуникационных средств – почта, телефонные звонки, – причем не обязательно контент, даже сам факт общения одного человека с другим уже может обогатить поведенческую модель. Параллельно работают штрих-коды и интернет вещей, рассказывая о предпочтениях вплоть до любимых блюд. Есть умные камеры и носимые устройства, например: компании любят раздавать сотрудникам браслеты, чтобы работники соревновались, кто больше шагов за день насчитает. «Но там может быть встроен GPS, – предупреждает Рустэм Хайретдинов. – И когда эти данные отправляются на корпоративный сервер, надо понимать, что компания узнает, где сотрудник ночует. А если ночью учащается пульс… а рядом второй коллега с учащающимся пульсом…» В компании, где личные отношения между сотрудниками не приветствуются, могут последовать оргвыводы без объяснения причин. Увы, сегодня поведенческая аналитика становится соучастницей недобросовестных практик работодателей. Проще говоря, делает слежку со стороны начальства более изощренной. Так, Роман Жуков отмечает, что по скорости и характеру реакции на корпоративные уведомления можно, скажем, выявлять сотрудников, только изображающих присутствие на работе. Беда в том, что при ошибочном выводе нейросети никому ничего не докажешь. Автор этого текста сам в торговом центре раза три заходил и выходил из бутика, поторапливая застрявшую там свою девушку. В конце концов продавщица стала умолять прекратить это челночное движение, поскольку машинный разум уже посчитал трех посетителей, ушедших без покупок. Кроме того, обращает внимание Рустэм Хайретдинов, нейросеть можно обучить работать так, как надо обучающему лицу, а не так, как она должна. И тогда наказания посыплются на головы даже продавцов месяца и передовиков производства. «Разработчики могут быть не только неквалифицированными и невнимательными, а и недобросовестными, – рассуждает эксперт. – Например, безопасник может просто исключить себя из-под надзора или оставить себе лазейку». На тебе сошелся клином белый свет Самые же частые случаи нелояльных реакций нейросети демонстрируют в финансовой сфере. Всем известно, как тяжело набирать многозначные номера банковских счетов. Причем, по статистике, мошенники при наборе работают медленней и делают больше ошибок. Поэтому добросовестный человек с артритом пальцев буквально обречен подпасть под подозрения. «Тревожные звонки» настолько нервируют и мешают работе, что кое-где их начинают саботировать. «Я знаю крупный банк, который не сверяет соответствие счета наименованию получателя, потому что при простой проверке на совпадение получит вал жалоб, – делится Павел Крылов. – Кто-то ошибается в написании названия, кто-то в адресе. И ведь ничто не мешает мошеннику вызубрить и написать эти же слова правильно». В финансовой рознице конфликтных ситуаций и того больше. Например, у собственника оценивают предмет залога и назначают катастрофически заниженную цену. Хотя только что похожий объект оценивали справедливо. Владелец просит объяснить, что нужно сделать, чтобы цену повысить. Но без толку. Основной проблемой нейросети становится то, что линейный персонал и сам не может понять причину принятия именно такого решения. Рустэм Хайретдинов подчеркивает, что с собранными данными нейросети работают статистическими методами. А это предполагает допустимые отклонения, когда порядочный клиент слышит: «Извините, вы стали погрешностью. Кредит вы не получите, в проведении операции вам отказано, ваша карта заблокирована, до свидания». «Каждый из нас сталкивался с самым обычным банковским антифродом, когда одна транзакция прошла, а следующая точно такая же почему-то не прошла, – сетует Рустэм Хайретдинов. – Это попахивает технофашизмом – когда тебя судит машина, и ты не можешь ничего сказать в оправдание». Жалобы в ЦБ на банки, которые отказали заемщику и не могут объяснить, почему, идут валом. «Слишком много людей оказываются обиженными нейросетями. Можно создавать партию обиженных и бунтовать против роботов, – не очень-то и иронизирует эксперт. – Люди уже сегодня испытывают реальную дискриминацию от нейросетей. И непонятно, что с этим делать». P.S. В настоящее время при Банке России создана экспертная группа, оценивающая масштабы проблем, связанных с использованием больших данных, машинного обучения и нейросетей. Первой задачей группы является проработка моделей возможных угроз. Автор: Игорь Чубаха
