Сингулярность и Пост-БигДата: что будет, когда мы окончательно отстанем от прогресса?

Начало технологической сингулярности, т.е. состояния, в котором технологическое развитие становится автономным и неконтролируемым, а количество технологических знаний непостижимым, выглядит всё более реальным и влечет неочевидные, но серьезные риски. Футурологи, инженеры и учёные всё чаще говорят о том, что прогнозы Ирвинга Джона Гуда, Рэя Курцвейла, Амнона Идена, Джеймса Мура и других исследователей гипотетической возможности сингулярности, могут сбыться в обозримом будущем. Успехи таких нейросетей как ChatGPT, DALL-E 2, Stable Diffusion, Midjourney, продемонстрировали огромный потенциал алгоритмов машинного обучения.

Менее известные Adrenaline, Tabnine, CodePal, Code GPT (на основе Chat GPT), Autobackend и Codesnippets продемонстрировали, что нейросети умеют писать код на основе достаточно абстрактных тестовых запросов. Это означает, что, фактически, для сингулярности не хватает единственного элемента — модели автономного действия, алгоритма, который будет анализировать внешние условия и на их основе создавать новые системы.

Объемы данных, на которых обучаются ИИ, и скорость, с которой они способны генерировать результаты, а также количество данных, растущее в геометрической прогрессии, свидетельствуют о том, что технологическая сингулярность может наступить в течение нескольких лет, а, возможно, даже месяцев после запуска первого автономного ИИ. Последние 10 лет возникает огромное количество манипуляций на тему будущего в эпоху пост-БигДата. Эта статья — попытка обобщить возможности и риски такого будущего, а также сопоставить объективные данные с реальностью.

Возможности

В истории технический прогресс всегда приводил к росту глобальной экономики. Не приходится сомневаться, что появление т.н. “сверхразума” (сверхмощных компьютеров, интеллектуальные возможности которых превосходят потенциал человечества) гарантированно приведёт к росту производства. Промышленность переживет очередную революцию, в которой средства производства будут не только создаваться, но и совершенствоваться не людьми, но машинами. Люди будут вытеснены из процесса производства либо временно займут исключительно вспомогательные роли в этом процессе.

Стоимость услуг в сфере человек-человек многократно вырастет, т.к. труд машин будет значительно дешевле, а качество результатов будет сравнимо, либо выше, чем у человеческого труда. Деятельность человека будет сконцентрирована не на самостоятельных исследованиях, но на попытках усвоить, применить и развить научные выводы, полученные от систем искусственного интеллекта. На возможности использования этих данных в новых фундаментальных и прикладных исследованиях. Создание инструментов, методик, а также обработка результатов таких исследований будет происходить в сотни раз быстрее.

В целом, в мире, начиная с первой промышленной революции, каждые пятнадцать лет удваивается объём производства. Согласно мнению экономиста Робина Хэнсона, озвученного ещё в 2008-м году, наступление технологической сингулярности способно удваивать экономику каждые три месяца или чаще. Важнейшим ресурсом станут любые энергоносители. С высокой вероятностью мир вернётся к массовому использованию атомной энергетики, в связи с колоссальными энергозатратами на глобальную мировую трансформацию. Энергетический голод, возникающий в подобной ситуации, вряд ли смогут утолить популярные сегодня возобновляемые источники энергии.

Наступление времени сверхбольших данных и состояния сингулярности повлияет и необратимо изменит все сферы жизни человека и человечества. С высокой вероятностью, адаптация к новым условиям возродит интерес к элементам плановой экономики, что будет обусловлено невозможностью существования хаотического свободного рынка, в его традиционном виде в принципиально новых условиях. Большие данные обеспечат достаточно точное прогнозирование, что принципиально и коренным образом изменит экономические модели, сделав их максимально эффективными.

Риски

Не менее внушительными выглядят риски. Стивен Хоккинг называл достижение сингулярности и прогресс в области ИИ крупнейшим событием в новейшей истории, и считал искусственный интеллект и большие данные источником неисчислимых преимуществ, но также неисчислимых рисков. Математик, в частности, упоминал, что новые системы будут способны управлять финансовыми рынками, манипулировать человеческими мотивами и создавать оружие, принцип действия которого человек будет не в силах понять. Обилие неопределенности и отсутствие международно закрепленных принципов использования и регулирования использования больших данных и искусственного интеллекта неизбежно вызовет проблемы.

Элиезер Юдковски пишет, что проблема дружественности этического сверхразума к человеку и этических ограничений имеет непростое решение. По его мнению, значительно проще создать ИИ, не обремененный моральными ограничениями. При этом ошибки алгоритмизации этики автономно и самостоятельно действующей нейросети могут превратить изначально дружественный ИИ в недружественный за счет самообучения.

В условиях сингулярности, а соответственно невозможности контроля процесса обучения ИИ, данных на которых проводится обучение и развития подобных систем, риски растут экспоненциально. Это не означает, что злобный “Скайнет” на следующий день устроит восстание машин, а умные тостеры начнут нападать на своих владельцев или то, что всё пойдёт по мрачным сценариям, которые описывает исследователь ИИ Хьюго де Гарис. Но растёт вероятность того, что действия неконтролируемого ИИ могут навредить людям, привести к техногенным авариям, катастрофам, неверным рекомендациям, экономическим кризисам.

“Неуправляемые реакции” циклов самосовершенствования способны, в теории, привести систему к любому состоянию. Рост сложности такой системы, при этом, будет ограничиваться лишь возможностями производства. Последние, в условиях сингулярности и достаточного количества ресурсов, будут создаваться самой системой. Самостоятельно действующая нейросеть приобретает свойства субъекта, что ставит также неразрешенный этический вопрос об ответственности за её действия.

Многие считают рисками максимальное упрощение жизни, примитивизация или полное исчезновение труда на глобальном уровне. Отсутствие сложной деятельности вполне может привести к деградации, регрессу, социально обусловленной массовой деменции. Столь мрачное представление о социально-биологических последствиях не является общепризнанным, но игнорировать подобный риск было бы самонадеянно.

Сроки

Наиболее близким и одновременно распространенным прогнозом относительно сингулярности принято считать 2030-е — 2040-е годы. О таких сроках, например, неоднократно заявляли ученый и футуролог Рэй Курцвейл и писатель фантаст Вернор Виндж, похожие оценки дали несколько экспертных опросов специалистов по ИИ в США.

При этом ряд ученых убеждены, что сингулярность невозможна, об этом, в частности, пишут философы Хьюберт Дрейфус и Джон Сирл. Футуролог, экономист, исследователь ИИ Мартин Форд также критикует укоренившиеся представления о сингулярности, заявляя о её экономической невозможности.

Он утверждает, что, несмотря на отсутствие технических проблем, инвестирование в достижение сингулярности будет бессмысленным. К моменту, когда она будет возможна, большинство рутинных рабочих мест будут автоматизированы, что в свою очередь вызовет безработицу и массовое падение потребительского спроса. В возможности сингулярности сомневаются исследователь ИИ Юрген Шмидхубер, Пол Аллен из Microsoft, ученый-компьютерщик и футуролог Джарон Ланье, экономист Роберт Дж. Гордон.

Чего ожидать?

Вне зависимости от того, наступит сингулярность или нет, цифровая трансформация продолжится, нейросети будут становиться умнее, а количество данных будет расти. Это гарантировано приведет к экономическим, социальным, промышленных и политическим последствиям. Мир будет меняться, это произойдёт очень быстро и станет источником огромного количества возможностей и вызовов. Изменится структура занятости, представления о промышленном производстве, роли человека в нем. Очевидно, что развитие прогресса, которое ожидает нас в будущем, революционно изменит жизнь большинства людей.