Ученые опасаются, что человечество никогда не сможет контролировать сверхразумный ИИ

В новом исследовании, опубликованном в Journal of Artificial Intelligence Research, ученые-информатики с помощью теоретических расчетов определили принципиальную невозможность контролирования сверхразумного ИИ. Исследователи в первую очередь рассмотрели вопрос сдерживания. В случае, если алгоритм, превосходящий человеческий интеллект и имеющий доступ ко всем данным, определит, что должен причинить вред людям или полностью уничтожить человечество, то как можно ему помешать? Ученые предположили, что создание «алгоритма сдерживания», которые будет блокировать сверхразумный ИИ, решит этот вопрос. Однако, в таком случае, алгоритм сдерживания должен быть не менее «умным», чем сверхразумный ИИ. Это указывает на то, что проблему решить невозможно. Конечно, рассуждения о сверхразумном ИИ остаются только теорией, так как до создания подобных алгоритмов человечеству еще далеко. Но, по словам исследователей, человечество должно подготовиться заранее, так как «уже существуют машины, самостоятельно выполняющие задачи, в то время как программисты не понимают, как они этому научились»