OpenAI разработала метод борьбы с враньем ChatGPT
Разработчик чат-бота ChatGPT компания OpenAI представила метод борьбы с дезинформированием пользователей искусственным интеллектом (ИИ). Об этом со ссылкой на исследование компании пишет CNBC.
Издание напомнило, что чат-бот компании всего за два месяца приобрел аудиторию в 100 млн пользователей, установив рекорд по быстроте роста приложения. А компания Microsoft уже инвестировала более 13 миллиардов долларов в OpenAI. Стоимость стартапа достигла 29 миллиардов долларов.
При этом остро встала проблема так называемых «галлюцинаций» искусственного интеллекта, которые возникают, когда модели, подобные ChatGPT или Google Bard, полностью фабрикуют информацию, преподнося ее как проверенные факты.
В своем исследовании специалисты OpenAI пришли к выводу, что даже самые современные ИИ-модели склонны выдавать ложные сведения в моменты неопределенности.
«Эти галлюцинации вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы загубить гораздо более масштабные выводы», - отмечается в отчете.
Для борьбы с «галлюцинациями» OpenAI предлагает обучать модели ИИ вознаграждать себя за каждый отдельный, правильный шаг рассуждений, когда они приходят к ответу, вместо того чтобы вознаграждать себя только за правильный окончательный вывод.
Исследователи считают, что с помощью «контроля процесса», а не только результата, искусственный интеллект сможет избежать ошибок, так как такая стратегия более похожа человеческое мышление и цепочку «мыслей».
«Обнаружение и смягчение логических ошибок модели, или галлюцинаций, является критическим шагом на пути к созданию согласованного AGI [искусственного интеллекта общего назначения]», - пояснил изданию штатный математик OpenAI Карл Коббе.
Однако эксперты усомнились в том, что этот метод сработает, обратив внимание на то, что ИИ придумывают в том числе цитаты и ссылки, и пока нет конкретных данных о том, как можно справиться с такой проблемой.
Ранее генеральный директор OpenAI Сэм Олтмен выступил в Конгрессе США с призывом начать регулирование технологии искусственного интеллекта, чтобы избежать «значительного вреда миру». Олтмен предложил рассмотреть требования к лицензированию и тестированию разработчиков ИИ.
По его мнению, подлежать лицензированию должен любой искусственный интеллект, который способен убеждать или манипулировать людьми. Также глава OpenAI добавил, что различные компании должны иметь право не давать доступ к своим данным для обучения ИИ.
В свою очередь Всемирная организация здравоохранения также порекомендовала человечеству быть осторожным с ИИ.