Принадлежащая российской IT-компании VK контентная платформа «Дзен» запретила поисковому роботу GPTBot, созданному OpenAI, собирать со своего сайта данные для обучения нейросетей. Об этом сообщает издание «Коммерсант» («Ъ»), ссылаясь на содержимое файла robots.txt c сайта «Дзен», в котором прописываются инструкции для поисковых роботов.
OpenAI использует GPTBot для автоматического сбора информации с сайтов во всех доменных зонах. Полученные данные позже используются компанией для обучения нейросетевых продуктов, которые, как подметили в «Ъ», недоступны российским пользователям.
В VK сообщили изданию, что запретили GPTBot анализировать «Дзен» для снижения на сервера, которые обслуживают сервис. Поскольку «Дзен» является одной из самых крупных в стране рекомендательных систем, она ежесекундно обрабатывает более 150 тыс. запросов. Поэтому для корректной и стабильной работы сервиса требуются огромные серверные мощности.
«Решение не включать GPTBot от OpenAI в файл принято для грамотного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В «Дзене» регулярно создаются миллионы новых публикаций: как в текстах, так и в видеоформате, – мы отправляем ресурсы на то, чтобы обеспечить качественный опыт нашим пользователям и авторам», – сообщили в VK.
В «Ъ» также напомнили, что в декабре прошлого года Главный радиочастотный центр (ГРЧЦ) рекомендовал российским хостинг-провайдерам прописать в robots.txt запрет на GPTBot.