Вы самое слабое звено. Как роботов учат воевать без участия человека

Илья Плеханов, для РИА Новости Использование искусственного интеллекта для ведения боевых действий — дело очень перспективное, но в то же время крайне опасное. Оценку возможностей и рисков в этой сфере провели авторы новой электронной книги, выпущенной американским онлайн-изданием Defense One. rightИндустрия ИИ и машинного обучения растет экспоненциально, сферы применения, в том числе и военные, практически безграничны. Сегодня решение о ликвидации целей принимает человек, но на горизонте уже создание систем, которые будут вести боевые действия автономно. Авторы выпущенной книги обеспокоены тем, что противники США выведут на поле боя собственные непредсказуемые и плохо спроектированные, но смертоносные ИИ-системы, и призывают военное руководство страны быть готовым к такому повороту событий. На повестке дня Тема становится все более "горячей" и обсуждается на высшем уровне. Замминистра обороны США Боб Ворк в 2014 году опубликовал написанную в соавторстве монографию "20YY: подготовка к войне в эпоху роботов". В 2015 году Научный совет Министерства обороны США выпустил подробный доклад об автономности военных систем и рекомендовал создать в будущем американскую скрытую глобальную киберинфраструктуру, которая могла бы автономно в режиме реального времени "срывать" атаки противника. В 2016 году DARPA на конференции хакеров в Лас-Вегасе провела конкурс по автономной кибербезопасности. rightЗамминистра обороны Боб Ворк не устает предупреждать о необходимости уделять внимание новой технологии: "Армия США знакома с автономными системами ведения боя, которые она применяла в течение последнего десятилетия в Ираке, Афганистане и других странах. Но такие виды вооружения, как управляемые воздушные и наземные аппараты с дистанционным управлением, будут в скором времени заменены преимущественно беспилотными и автономными системами во всех физических сферах действия (в воздухе, море, под водой, на суше и в космосе) и в большинстве военных операций. Еще потребуется некоторое время, чтобы новый способ ведения войны стал более очевидным, в котором беспилотные и автономные системы займут центральное место при ведении боя". Сегодня в мире, по оценке авторов публикации, существует 284 военные системы, которые в той или иной мере включают в себя искусственный интеллект. Демонстрация новейших военных технологийДемонстрация новейших военных технологий. 2016 год Основные разработки сегодня ведутся в области создания систем, которые бы автономно определяли противника, сверяясь с "библиотекой целей". Упор сделан на системах, которые могли бы не просто наносить удары по слабо вооруженным врагам в Ираке или Афганистане, но и оперировать противникам с развитыми средствами радиоэлектронной борьбы. rightОсобый интерес сегодня вызывает даже не автономные боевые действия собственных ИИ-систем, а так называемый концепт "контравтономности", когда подвергнувшаяся нападению ИИ-система противника учится, делает выводы из случившегося и сама выбирает способы противодействия. То есть каждая атака делает врага все более опасным, если не уничтожает его. Гони человека и угрызения совести Патрик Такер, один из авторов книги Defense One, и профессор Денверского университета Хизер Рофф отмечают, что, несмотря на привычную риторику Пентагона, ИИ-системы сегодня используются не для того, чтобы помогать человеку принимать лучшие решения быстрее, а чтобы полностью исключить человека из сферы принятия решений. rightЗамминистра обороны США Боб Ворк также отмечает, что пионерами вывода автономных систем на поле боя необязательно будут США или другие сильнейшие мировые державы. Он считает, что региональные державы, например Израиль, могут дестабилизировать ситуацию как на Ближнем Востоке, используя военные ИИ-системы, так и в других регионах мира, экспортируя их. На поле боя будущего будет побеждать та система, которая принимает решения быстрее. В этом плане человек становится слабым и медленным звеном в цепочке командования — соответственно, у противника всегда будет искушение создать полностью автономную систему. Уильям Ропер, глава управления стратегических возможностей (Strategic Capabilities Office, SCO) Пентагона, сравнивает ситуацию с высокочастотным трейдингом — только в военной сфере. Эта перспектива пугает его, так как противники США "без угрызений совести" постараются исключить человеческий фактор из своих военных ИИ-систем. Презентация новой военной техники и оборудования на международной выставке вооружений EUROSATORY в Париже ВВС и ВМС: кто быстрее и умнее? Любопытно, что автономные ИИ-системы, возможно, будут внедряться на флоте быстрее, чем в воздушных силах. rightВВС США приходится напоминать и оправдываться, что удары с беспилотников производят операторы, а не сами машины, и операторы иногда ошибаются. Из-за этих реальных ударов, ошибок и жертв среди мирного населения тема дронов в ВВС постоянно муссируется в СМИ. Флот же без лишней шумихи и внимания общественности — по крайней мере, пока — может спокойно сосредоточиться над созданием своих систем. На флоте среди прочего работают над технологиями управления беспилотными катерами и, в перспективе, другими военными машинами. Речь идет о портативном устройстве CARACaS (Контрольная архитектура для робокоманд и воспринимания), которое может быть установлено практически на любой катер. С помощью устройств размером с ладонь в будущем практически любое существующее военное средство (катер, машина, самолет) можно будет дешево и быстро превращать в члена автоматизированного роя, отметил бывший глава военно-морских исследований американского флота контр-адмирал Мэтью Кландер. rightВ ВВС США тем временем разрабатывается система ALPHA, которая за 6,5 миллисекунд снимает данные с датчиков, структурирует и анализирует информацию и способна выдать оптимальные сценарии действия для четырех самолетов. Проблема в том, что пока непонятно, как тестировать такие системы: это могут делать только такие же ИИ-системы. Но на данный момент это возможно лишь через моделирование и имитацию. Директор DARPA доктор Арати Прабхакар в прошлом году рассказала о проекте по борьбе с программируемыми радарами России (упоминается "Небо-М") и Китая: "Одна из наших программ в DARPA использует совершенно новый подход к этой проблеме, которую мы собираемся разрешить с помощью когнитивного электронного вооружения. Мы используем искусственный интеллект для изучения действий вражеского радара в режиме реального времени, а затем создаем новый метод глушения сигнала. Весь процесс восприятия, изучения и адаптации повторяется без перерыва". Риски не пугают rightПлюсы наличия автономных военных ИИ-систем понятны. Они позволяют сохранить жизнь военнослужащих, повышенная точность применения сокращает потери среди мирного населения, а сам факт существования такой системы служит инструментом предотвращения начала конфликта. Риски же критики обычно сводят к пяти вопросам: кто контролирует ИИ-систему? можно ли ее хакнуть? кто принимает решение о нанесении удара? будет ли система ошибаться? кто понесет ответственность за ошибки? Первый вопрос еще можно сформулировать так: не захватят ли военные роботы власть над человечеством? В обозримом будущем вероятность такого сценария ничтожно мала. Хакнуть машину, которая сама конфигуририует свои алгоритмы, — маловероятно. Нужен ли человек для финального решения? Там, где важна скорость, человек становится обузой. ИИ-система может быть вооружена нелетальным оружием, критерии применения оружия без команды человека могут быть строго прописаны. Демонстрация новейших военных технологий для нужд гражданской медицины в подмосковном Климовске Ошибки? Люди совершают гораздо больше ошибок. ИИ-система, возможно, совершит ошибку, а человек это сделает наверняка. Главная опасность в том, что многочисленные ИИ-системы могут одновременно сделать одну и ту же ошибку. Например, запускающие праздничный фейерверк люди будут определены ИИ-системой как террористы. Но это уже вопрос тестирования и обучения системы до надлежащего уровня. rightКто будет виноват в случае ошибки? Производители военных ИИ-систем или командование операцией? Нужно ли разделить ответственность на финансовую (для компаний-производителей) и персональную (для военного руководства)? Это все обсуждается. Ясно одно: риски пока не перевешивают выгоду, работы над созданием военных ИИ-систем будут только набирать обороты. "Автономные системы, в отличие от своих аналогов, управляемых человеком, характеризуются иными свойствами и смогут изменить не только способ развертывания войск США по всему миру, но и отношение политиков к применению данного вида систем вооружения. Перед вооруженными силами США открываются огромные возможности в будущем, если политики сделают правильный выбор. Существует большая опасность, что неправильные решения и недостаточное понимание новых тенденций приведет вооруженные силы США к ненужным рискам", — резюмирует Боб Ворк.