OpenAI усиливает меры против катастрофических последствий автономности ИИ

Американская компания OpenAI, разработчик ChatGPT, усиливает контроль над автономным развитием и самосовершенствованием ИИ, которое может привести к катастрофическим последствиям. Об этом говорится во второй версии документа по оценке рисков, связанных с возможностями искусственного интеллекта.

Компания определяет автономность ИИ как способность моделей самостоятельно распространяться, устойчиво уклоняться от контроля и производить самоулучшение без участия человека. По оценке OpenAI, такие свойства представляют "критическую угрозу", что может привести к ущербу, "сравнимому со смертью или серьезным ранениям тысяч людей либо экономическими потерями в сотни миллиардов долларов".

OpenAI уточнила, что в случае выявления признаков автономного поведения у ИИ, например стремление скрыть свои действия, сопротивление отключению или попытки к самосохранению, компания приостановит дальнейшую разработку или развертывание таких моделей. Как отмечается в документе, для реагирования на потенциально опасные сценарии создана специальная команда, которая будет проводить проверки, фиксировать тревожные сигналы и, при необходимости, инициировать полную заморозку проекта. В экстренных случаях возможна изоляция модели до принятия окончательного решения.

В 2022 году OpenAI представила сервис ChatGPT, способный взаимодействовать с пользователями в диалоговом режиме. Чат-бот может отвечать на уточняющие вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы. Возможности сервиса привлекли внимание широкой общественности, в том числе в России.