GigaChat Сбера по результатам теста Mera (Multimodal Evaluation for Russian-language Architectures) стал лучшей ИИ-моделью из тех, которые представлены в открытом доступе, сообщает пресс-служба Сбера.
Для тестовых заданий были использованы модели Сбера GigaChat Pro и GigaChat Lite. После проведенных тестов GigaChat Pro набрал 53,7 балла из 100, а GigaChat Pro – 50,4 балла.
Достичь таких результатов, по данным Mera, удалось благодаря тому, что после обновления модели Сбера стали лучше отвечать на вопросы из области экономики, медицины, химии и других.
Тест Mera состоял из 21 задачи в формате инструкций на различные области знаний.
В создании теста принял участие ряд компаний, включая Альянс в сфере ИИ, Skoltech AI и Национальный исследовательский университет «Высшая школа экономики».