Институт искусственного интеллекта AIRI представил открытую версию модели искусственного интеллекта OmniFusion – OmniFusion 1.1, сообщает пресс-служба института. Отмечается, что она способна распознавать картинки и вести визуальный диалог. При этом ИИ-модель теперь поддерживает русский язык. Как уточнили в AIRI, технический репорт со статьей модели уже вышел на первое место в разделе Daily trending papers на HuggingFace. Мультимодальная языковая модель уже умеет поддерживать визуальный диалог и отвечать на вопросы пользователей по картинкам. При этом планируется, что в будущем это станет возможно по аудио, 3D и видеоконтенту. Open source код для обучения и веса модели доступны к использованию. Кроме того, по утверждению разработчиков, модель способна объяснить, что изображено на фото, рассказать рецепт для приготовления блюда по фотографии ингредиентов, проанализировать карту помещения, а также сообщить схему сборки устройства по фото отдельных его частей. При этом она умеет распознавать текст и решать задачи. Например, модель сможет решить написанный на доске математический пример или распознать формулу. Отмечается, что архитектура OmniFusion основана на методике совмещения предварительно обученной большой языковой модели и визуальных энкодеров, позволяющих кодировать информацию на изображении в эмбеддинг.
