«Яндекс» открыл свободный доступ к YaLM 100B — нейросети для генерации и обработки текстов на русском и английском языках. Это самая большая GPT-подобная модель, опубликованная в свободном доступе, сообщила Sostav пресс-служба компании. Нейросеть предназначена для разработчиков и исследователей со всего мира.
YaLM 100В содержит 100 млрд параметров — больше, чем любая другая модель для русского языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые с опорой на законы лингвистики и свои знания о мире. По заявлению «Яндекса», они способны придумывать идеи для рекламных кампаний, создавать описания товаров и видео, а также генерировать любые тексты (стихи, ответы, поздравления и т.д.) и классифицировать их, например, по стилю речи.
Команда «Яндекса» задействует нейросети YaLM более чем в 20 проектах, включая «Поиск» и «Алису». Сотрудники службы поддержки отвечают на обращения, используя языковые модели. Также нейросети пишут рекламные объявления и описания сайтов (сниппеты) для компании. Также технологию применяют при подготовке быстрых ответов в поисковике.
Петр Попов, генеральный директор «Яндекс Технологий»:
Для обучения такой большой языковой модели требуются огромные ресурсы, опытные специалисты и годы работы. А нам важно, чтобы доступ к современным технологиям был не только у крупнейших IT-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей.
Модель обучали на суперкомпьютерах «Яндекса». В процессе YaLM 100B обработала около 2 ТБ текстов из открытых наборов данных (data set) и интернета на английском и русском языках. Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.
Ранее команда SberDevices разработала сервисы для рерайтинга и сокращения текстов на русском языке. Технологии работают на базе нейросетевых генеративных моделей из подборки ruGPT-3 & family. Их можно использовать для любых целей, предполагающих переработку текста: в копирайтинге, новостных изданиях и для создания рекламных материалов. Разработчики открыли доступ к пробным демоверсиям на маркетплейсе AI Services в SberCloud ML Space.