Ученые выявили уязвимость в ИИ-помощниках для программистов

Ученые из Техасского университета в Сан-Антонио (UTSA) провели одно из самых масштабных на сегодня исследований рисков использования искусственного интеллекта (ИИ) в программировании. В опубликованной работе ученые показали, что модели вроде ChatGPT могут генерировать опасный код, включая ссылки на несуществующие программные библиотеки.

Это явление получило название «галлюцинация пакетов» — когда ИИ предлагает использовать сторонний пакет, которого в реальности не существует. Проблема в том, что злоумышленники могут воспользоваться этим и загрузить вредоносный код под именем такого пакета. Тогда пользователь, ничего не подозревая, установит вредоносное ПО и даст ему доступ к своей системе.

Руководитель исследования Джо Спраклен отметил, что подобные ошибки возникают даже при вводе самых обычных команд, и программисты не всегда осознают потенциальную опасность. Более того, по оценкам исследователей, 97% разработчиков уже используют генеративный ИИ в своей работе, а до 30% кода сегодня пишется при участии нейросетей.

В ходе анализа было сгенерировано более 2 миллионов примеров кода на Python и JavaScript, из которых более 440 тысяч содержали ссылки на несуществующие библиотеки. При этом модели GPT допускали такие ошибки в четыре раза реже, чем открытые альтернативы.