Найден признак, выдающий, что текст написан нейросетью
За последние годы заметно выросло качество контента, произведенного искусственным интеллектом. И все же внимательного читателя при чтении сгенерированного нейросетью текста не покидает ощущение: в нем что-то не так.
Ученые Северо-Восточного университета в США нашли признаки, выдающие искусственное происхождение текста. Исследование выложено на сервере препринтов arXiv.
Разным типам больших языковых моделей дали задание написать множество текстов различной тематики — от обзоров фильмов и новостных заметок до биомедицинских исследований. Полученные результаты проанализировали.
Выяснилось, что все сгенерированные ИИ статьи изобилуют так называемыми синтаксическими шаблонами. Например, одна нейросеть, как оказалось, обожает двойные прилагательные, и фильм «Последний черный в Сан-Франциско» она описала как «уникальный и интенсивный опыт просмотра», «крайне оригинальный и впечатляющий дебют» режиссера и «волшебный и заставляющий задуматься» — и все это в пределах двух абзацев.
У каждой языковой модели собственный набор синтаксических шаблонов, но во всех искусственных текстах их больше, чем в написанных живыми людьми.
«Люди также могут создавать эти шаблоны. В их текстах может быть повторяющийся синтаксис, но это происходит гораздо реже, чем в моделях», — заметила аспирантка Шанталь Шаиб, соавтор исследования.
По ее словам, частота шаблонов в тексте не зависит от размера нейросети, но меняется в зависимости от жанра — в научных текстах они не так заметны, как в кинообзорах. Склонность нейросетей к шаблонам также объяснили.
«Мы смогли найти около 75% этих шаблонов в обучающих данных», — сообщила аспирантка.
Она подчеркнула, что это исследование не может служить инструментом для надежного выявления сгенерированных ИИ текстов. Но оно дает понимание, что у них есть объективные отличия, а не просто воспринимаемая на уровне ощущений странность.