Футурологи уже несколько десятилетий пугают человечество бунтом машин и выходом из-под контроля искусственного интеллекта. Однако ведущий эксперт по искусственному интеллекту Мартин Форд убежден, что опасность кроется вовсе не в том, что ИИ восстанет против человека, а как раз в том, на что он будет способен по воле человека. Об этом он рассказывает в своей книге «Власть роботов: Как подготовиться к неизбежному». На русском языке книга вышла в издательстве «Альпина нон-фикшн». С разрешения издательства «Лента.ру» публикует фрагмент текста.

Риски, сопутствующие ИИ

Начало ноября. До выборов президента Соединенных Штатов Америки остается всего два дня. Кандидат от демократов большую часть своего пути в политике посвятила борьбе за расширение гражданских прав и поддержке обособленных социальных групп. Ее достижения на этом поприще не имеют себе равных. Поэтому, когда в соцсетях всплывает и моментально становится вирусной аудиозапись ее разговора, который должен был остаться приватным, это становится потрясением. В разговоре кандидат не только высказывает откровенно расистские мысли, но и открыто — и даже со смехом — признает, что всю жизнь успешно скрывает свою нетерпимость.

Однако никто из поверивших ей не может опровергнуть очень неприятный факт: это ее голос. Практически каждый слушатель узнает в записи голос кандидатки. Характерное произношение некоторых слов и фраз, интонация — похоже, все однозначно указывает на женщину, которую большинство американцев предполагали вскоре увидеть в кресле президента.

Аудиозапись стремительно распространяется в интернете и постоянно воспроизводится по кабельному телевидению, мир соцсетей растерянно и негодующе бурлит. Прежде чем добиться выдвижения в качестве кандидата от демократов, эта политическая деятельница выстояла в жесткой борьбе во время предварительных выборов, а теперь некоторые разъяренные противники призывают ее снять свою кандидатуру.

Руководители избирательной кампании немедленно нанимают группу экспертов для независимой оценки аудиофайла. После углубленного изучения в течение целого дня эксперты заявляют, что эта запись, вероятно, является «дипфейком» — аудио, сгенерированным алгоритмами, которые были обучены на огромном множестве примеров речи кандидатки. Предупреждения об опасности дипфейков звучат не первый год, но до сих пор сфабрикованные свидетельства были редкими и легко разоблачались. Сейчас другое дело — ясно, что технология существенно усовершенствовалась. Даже группа экспертов не может с абсолютной уверенностью утверждать, что аудиофайл является фейком, а не подлинной записью.

Опираясь на решение группы экспертов, руководители избирательной кампании добиваются изъятия большинства онлайновых копий аудиофайла, но его уже услышали миллионы. В преддверии выборов встает несколько принципиальных вопросов. Все ли, прослушавшие запись, знают, что это, вероятно, фейк? Могут ли избиратели, которым сказали, что запись сфабрикована, «забыть» произнесенные с ненавистью слова, намертво въевшиеся в память, особенно если они принадлежат к упомянутой в разговоре этнической группе? Не снизит ли этот аудиоклип явку избирателей из сообществ, являющихся главной опорой Демократической партии? Если же она проиграет, не сочтут ли большинство американцев, что выборы были «украдены»? Что тогда произойдет?

Понятно, что вышеописанный сценарий выдуман, но возможность подобного события, причем в ближайшие годы, совершенно реальна. Если вы в этом сомневаетесь, вспомните, как в июле 2019 года фирма из сферы кибербезопасности Symantec рассказала, что преступники, используя аудиофейки, уже выманили у трех неназванных компаний миллионы долларов. Во всех трех случаях злоумышленники использовали сгенерированный ИИ аудиоклип, в котором голос генерального директора в сфабрикованном телефонном разговоре приказывал финансовому отделу перевести деньги на незаконный банковский счет.

В случае гендиректоров компаний — как и случае кандидата в президенты из вышеприведенного выдуманного примера — обычно имеется богатый источник онлайновых аудиоданных (речей, выступлений на телевидении и т.д.), на которых можно обучать машинные алгоритмы. Поскольку эта технология пока не позволяет производить высококачественное аудио, преступники специально добавляли фоновый шум (скажем, звуки уличного движения), чтобы скрыть огрехи.

<...>

Автономные системы летального вооружения

Сотни миниатюрных дронов роем несутся по Капитолию. Это скоординированная атака. С помощью технологии распознавания лиц дроны идентифицируют определенных людей и летят прямо к ним словно убийцы-камикадзе с миниатюрными зарядами, которые убивают так же эффективно, как пуля. В здании конгресса царит хаос. Впоследствии выясняется, что все члены конгресса, ставшие мишенями для атаки, состояли в одной политической партии.

Это лишь один из ужасающих сценариев, показанных в короткометражном фильме 2017 года «Роботы-убийцы». По замыслу авторов, этот фильм должен служить предостережением о реальной угрозе автономных систем летального вооружения. Съемочная группа сотрудничала со Стюартом Расселом, профессором компьютерных наук из Калифорнийского университета в Беркли, который в последние годы занимается проблемой неотъемлемых рисков искусственного интеллекта.

Рассел убежден, что автономные системы летального вооружения — то есть системы, которые, по определению ООН, способны «обнаруживать, выбирать и уничтожать живые цели без участия человека», — необходимо признать новым типом оружия массового уничтожения. Иными словами, подобные системы вооружений на основе ИИ могут стать такими же разрушительными и вызывать такой же хаос, как химическое, биологическое и даже ядерное оружие.

Это утверждение опирается прежде всего на следующий факт: с устранением прямого контроля человека и необходимости получать разрешение на убийство масштабы разрушений, вызываемых этим оружием, можно наращивать бесконечно.

Если же дроны полностью автоматизированы, достаточно горстки людей, чтобы совершить массированный налет и устроить бойню немыслимых масштабов. Как сказал Рассел в нашем разговоре, «появляется возможность организовать атаку, в ходе которой пятеро парней, сидящих в центре управления, запускают боевых дронов и истребляют всех мужчин от 12 до 60 лет в какой-нибудь стране. Это уже оружие массового уничтожения — оно обладает таким свойством, как масштабируемость». Поскольку алгоритмы распознавания лиц способны различать людей по этнической принадлежности, полу или одежде, легко представить ужасающие сценарии автоматизированных этнических чисток или массовых убийств политических противников, осуществляемых с немыслимыми прежде беспощадностью и скоростью.

Даже если отмахнуться от поистине антиутопических вариантов и считать, что применение этой технологии будет строго ограничено рамками законных боевых действий, автономные системы вооружений ставят принципиально важные этические вопросы. Нравственно ли давать машине возможность самостоятельно отнимать человеческую жизнь, даже если при этом повышается эффективность наведения на цель и, возможно, снижается риск сопутствующего ущерба случайным людям, оказавшимся рядом? Если отсутствует контроль со стороны человека, кто должен нести ответственность за ошибку, приведшую к ранению или гибели невиновного?

Многих исследователей искусственного интеллекта очень беспокоит, что технология, над развитием которой они работают, может быть использована в подобном оружии. Свыше 4 500 человек, а также сотни компаний, организаций и университетов подписали открытые письма, где решительно отказываются заниматься автономными системами вооружений и призывают ко всеобщему запрету этой технологии. Эта инициатива осуществляется в рамках Конвенции ООН по обычным видам оружия и ставит целью объявить незаконными полностью автономные машины для убийства по аналогии с запретом химического и биологического оружия.

Результаты, однако, неутешительные. По данным Campaign to Stop Killer Robots, правозащитной группы, добивающейся принятия этого запрета Организацией Объединенных Наций, к 2019 году 29 государств, по большей части небольших и развивающихся, официально призвали к полному запрещению технологии автономного оружия. Крупнейшие военные державы к ним не присоединились. Единственное исключение — Китай, подписавший это требование с оговоркой, что добивается запрета лишь реального использования такого оружия, с разрешением его разработки и производства. Поскольку и Соединенные Штаты, и Россия выступили против запрещения, вряд ли подобное оружие окажется полностью вне закона в обозримом будущем.

Лично я смотрю на эту ситуацию с пессимизмом. Мне кажется, конкуренция и взаимное недоверие ведущих держав делают как минимум разработку полностью автономных систем вооружения практически неизбежной.

Сухопутные силы США принимают на вооружение боевых роботов, напоминающих маленькие танки, а ВВС, по некоторым данным, работают над беспилотным истребителем, способным победить пилотируемый самолет в воздушном бою. Китай, Россия, Израиль и другие страны также развертывают или разрабатывают аналогичные технологии.

Пока Соединенные Штаты и другие ведущие военные державы сходятся на том, что в любой системе обязательно должен присутствовать человек и на совершение машинами атаки, которая может привести к гибели человека, должно даваться специальное разрешение. Однако факт остается фактом: полная автономность на поле боя обеспечивает огромные тактические преимущества.

Человек не способен реагировать и принимать решения так же быстро, как искусственный интеллект. Стоит одной стране нарушить текущее неофициальное соглашение в отношении полной автоматизации и начать использовать эти возможности, как все соперничающие военные державы незамедлительно последуют за ней, чтобы не оказаться в крайне невыгодном положении. Боязнь оказаться отстающим, похоже, главная причина того, что США, Китай и Россия выступили против официального запрета разработки и производства автономных систем вооружения.

Чтобы составить представление о возможном развитии событий, можно взглянуть на противостояние другого рода — постоянную битву торговых систем на основе ИИ на Уолл- стрит. Сейчас алгоритмическая торговля господствует в дневных сделках, заключаемых на крупнейших фондовых биржах. В США на их долю приходится до 80 процентов всего объема торгов.

Еще в 2013 году группа физиков изучила финансовый рынок и опубликовала в журнале Nature статью, где утверждалось, что «формируется экосистема конкурирующих машин, реализующих “толпы” хищнических алгоритмов» и что алгоритмическая торговля, возможно, уже вышла из-под контроля — и даже понимания — людей, создавших эти системы. Сейчас алгоритмы включают новейшие достижения в области ИИ, их влияние на рынки резко выросло, а способы взаимодействия становятся все более непостижимыми.

Например, многие алгоритмы способны напрямую подключаться к машиночитаемым новостным ресурсам таких компаний, как Bloomberg и Reuters, и осуществлять сделки, исходя из этой информации, за ничтожные доли секунды. Что касается краткосрочной поминутной торговли, то человек даже не успевает осмыслить детали происходящего, не говоря уже о попытках переиграть алгоритмы. Подозреваю, что со временем это будет относиться и к ситуации на поле боя.

Даже если технологии автономного ведения боевых действий будут использоваться исключительно сильнейшими державами, опасность очень велика. Роботизированное боестолкновение происходит быстрее, чем военные или политические лидеры способны полностью понять и разрядить ситуацию.

Еще одной проблемой является то, что в мире, где роботы сражаются с роботами и непосредственная опасность угрожает очень немногим людям, воспринимаемая цена участия в войне может стать опасно низкой.

Пожалуй, это уже произошло в Соединенных Штатах, где вследствие отказа от всеобщего воинского призыва и перехода к полностью контрактной армии очень немногие представители элиты отправляют своих детей служить в вооруженные силы. Вследствие этого для людей, обладающих наибольшей властью, ставки в игре очень низки — они защищены от прямых, персональных издержек военных действий. Этот разрыв кажется мне важной причиной военных вмешательств США на Ближнем Востоке на протяжении многих десятилетий. Разумеется, если бы машина могла пойти навстречу опасности и тем спасти жизнь солдата, это было бы безусловным благом. Однако нельзя допустить, чтобы кажущаяся незначительность риска стала определяющей в нашем коллективном восприятии, когда принимается решение начать войну.

Величайшей опасностью является утрата законными властями и военными контроля над уже произведенным оружием, созданным по технологии автономного летального вооружения. Если это произойдет, его начнут продавать незаконные торговцы оружием, снабжающие террористов, наемников и государства-изгои. Если автономное оружие станет общедоступным, кошмарные сценарии, представленные в фильме «Роботы-убийцы», легко могут превратиться в реальность. Даже если такие системы нельзя будет купить, барьеры для их создания намного ниже, чем в случае других видов оружия массового уничтожения.

Особенно это касается дронов. Легкодоступные технологии и компоненты, предназначенные для коммерческого или развлекательного использования, могут быть применены для производства оружия. Если создание атомной бомбы является сложнейшей задачей даже для государства с его ресурсами, то сконструировать и изготовить автономные дроны для небольшого роя под силу даже кучке людей, работающих в подвале. Технология автономных систем вооружения сродни вирусу: стоит ей просочиться в мир — и будет чрезвычайно трудно защититься от нее или ограничить расползание.

Большое заблуждение — распространению которого порой способствуют СМИ — привязывать автономные системы летальных вооружений к научно-фантастическим сценариям, знакомым нам по таким фильмам, как «Терминатор». Это категориальная ошибка, опасная тем, что отвлекает наше внимание от непосредственных опасностей подобного оружия. Риск заключается не в том, что машины когда-нибудь вырвутся из-под нашего контроля и решат напасть на нас по своей собственной воле. Для этого потребовался бы универсальный искусственный интеллект, до которого, как мы убедились, еще много десятилетий. Нам следует опасаться того, что люди могут воспользоваться оружием, не более «интеллектуальным», чем iPhone, но безжалостно компетентным в идентификации, выслеживании и уничтожении живых целей.

Перевод Натальи Колпаковой