Эксперты ИРИ протестировали использование ChatGPT в сфере юриспруденции и нормотворчества
Эксперты АНО «Институт развития интернета» в течение трех месяцев тестировали ChatGPT на предмет возможного применения в аналитических и юридико-прикладных целях, и пришли к выводу, что при применении нейросести есть некоторые риски.
Нейросеть исследовалась без дополнительных настроек и технических интеграций с иными сервисами. Были проанализированы возможности ChatGPT при подготовке кратких аналитических справок, ответов на открытые правовые вопросы («юридическая консультация»), концептуальных документов по регулированию, текстов и тезисов выступлений на заданную тему, формирование прогнозов, сообщает Институт развития интернета.
Экспертная оценка эффективности применения нейросети была дана исходя из степени доработки подготовленного ChatGPT ответа иди документа для приведения его в соответствие со стандартами работы, включая проверку на соответствие фактам и нормам права, а также затрачиваемых на доработку усилий.
Так, высокую эффективность ChatGPT показал в задачах, не требующих детального фактологического обоснования: подготовка концепций регулирования, текстов выступления, прогнозов. Среднюю эффективность нейросеть продемонстрировала в вопросах, требующих фактического обоснования выводов или их подкрепления ссылками на конкретные нормы: подготовка аналитических материалов, тестирование, подготовка кратких инструкций, разрешение кейсов.
В то же время в решении задач, требующих наибольшей конкретики, таких как подготовка ответов на правовые вопросы, подготовка методических рекомендаций и подборок судебной практики, ChatGPT показал низкую эффективность.
С примерами текстов, сгенерированных нейросетью можно ознакомиться здесь.
Эксперты пришли к выводу, что ChatGPT позволяет оптимизировать время на набор текста за счет генеративных возможностей чата, получить направления для более детальной аналитики, получить помощь в генерации идей. При этом остается риск генерации недостоверной или неточной информации, а также чат может в ответе на запрос может не упомянуть какие-либо важные для формирования объективной оценке факты, что приводит к искажению понимания ситуации.
Между тем, основатель и генеральный директор Stability AI Эмад Мостак ранее говорил, что в мире может не остаться программистов примерно через пять лет в связи с тем, что к 2028 году всю их деятельность возьмут на себя системы искусственного интеллекта.