"Яндекс" представил инструмент для поиска информации в документах и ссылках

"Яндекс" объявил о запуске бета-версии своего нового продукта - "Нейроэксперт". Пользователи могут загружать в него различные типы файлов, включая веб-ссылки, документы, таблицы, презентации, а также аудио- и видеозаписи, чтобы создать удобную базу знаний. Эта база позволяет находить ответы на вопросы, а также предоставляет возможность получить пересказ содержимого документа, обобщение и сравнение информации. "Нейроэксперт" также способен создавать тексты на основе загруженного материала в заданном стиле. Доступ к инструменту открыт для всех пользователей.

База знаний, создаваемая с помощью "Нейроэксперта", напоминает привычную структуру папок в облачном хранилище. Ею можно поделиться через ссылку. Каждая такая "папка" поддерживает до 25 различных типов файлов и ссылок, начиная от таблиц и заканчивая голосовыми сообщениями из мессенджеров. Пользователь может взаимодействовать с базой знаний посредством диалогового режима, задавая вопросы, как в обычном чате. Ответы формируются на основе предоставленных пользователем данных, без добавления дополнительной информации. После завершения тестирования количество допустимых файлов и ссылок будет увеличено.

Инструмент предназначен для тех, кто ежедневно сталкивается с большими объемами информации. Преподаватели могут создавать базы знаний из своих лекций и учебных материалов, которыми впоследствии смогут делиться со своими учениками. Студенты получают возможность использовать эти базы для подготовки к экзаменам. Еще один пример применения - подготовка отчетов, когда необходимые данные разбросаны по множеству презентаций.

Инструмент подходит как для выполнения профессиональных задач, так и для повседневных нужд. Например, можно загрузить ссылки на товары и их обзоры, чтобы "Нейроэксперт" сравнил их характеристики и ответил на возникшие вопросы. Или же можно добавить правила настольных игр, чтобы оперативно разрешать возникающие споры во время партии.

Для бизнеса в будущем планируется расширение возможностей "Нейроэксперта", включающее поддержку корпоративных баз знаний и внутренней документации.

Технологии, лежащие в основе "Нейроэксперта"

Обработка и извлечение информации из документов осуществляется благодаря нескольким технологиям "Яндекса". Визуально-языковая модель (VLM) извлекает данные из графиков и диаграмм, технология распознавания речи (ASR) используется для обработки аудио- и видеоконтента, а система оптического распознавания символов (OCR) применяется для анализа текста на изображениях. Генерация ответов происходит с использованием последней версии языковой модели "Яндекса" - YandexGPT 5 Pro. Объединение знаний нейросети и информации из файлов обеспечивается системой RAG (Retrieval Augmented Generation), что гарантирует точность и релевантность ответов.

На фоне этого разработчики нейросетей начинают использовать модель B2E (Business to Employee), то есть создавать решения под потребности сотрудников разных сфер. Зарубежный рынок сегодня представлен 30+ различными сервисами с поддержкой ИИ, однако реальную конкуренцию образуют лишь три ведущих игрока (NotebookLM и Perplexity Spaces, Projects в ChatGPT).

"Такие технологии в России уже успешно работают в корпоративном сегменте. Два года назад мы разработали решение, предназначенное для команд клиентского и внутреннего сервиса. Оно интегрируется с существующими базами знаний, такими как Minerva, SimpleOne, Confluence, а также с различными сайтами и документами, что улучшает процессы поиска и обмена информацией, предоставляя пользователям доступ к релевантным данным и ответам на вопросы, а в случае необходимости изучить вопрос глубже - система предоставляет ссылку", - говорит сооснователь и исполнительный директор ИИ-платформы AutoFAQ Владислав Беляев

Эксперт отметил, что использование подобных технологий исключает предоставление неверной информации, поскольку ИИ использует только те знания, к которым предоставлен доступ, обеспечивая точность и актуальность данных. При этом востребованность в такого рода решениях растет за счет того, что искусственный интеллект способен распознавать естественную речь, понимать контекст запроса, извлекать наиболее релевантную информацию и обеспечивать ответы для пользователей самыми актуальными данными компании за счет RAG (Retrieval Augmented Generation).

"Технология RAG в настоящее время широко используется и дает хороший результат по поиску и подготовке ответов по актуальным документам. Узким местом "Нейроэксперта" является не сама технология, а все, что связано с интерфейсным взаимодействием пользователя с продуктом: необходимы трудозатраты по помещению файлов в систему, их актуализации, также сильно влияет ограничение по количеству файлов. Было бы удобно, если бы ИИ сканировал файлы с разрешения пользователя на "Яндекс диске", разбивал их автоматически по проектам, и пользователь мог сразу задавать вопросы по этим проектам", - считает технический архитектор компании "1С ПРО Консалтинг" Алексей Ваганов.

"Проблему поиска в неструктурированных данных решают уже много лет, и только сейчас большие языковые модели (LLM) вывели эту технологию на тот уровень, когда необязательно строить сложные процессы извлечения структурированных данных их массивов документов, а "Яндекс" активно выходит на этот перспективный рынок", - говорит директор продуктового направления компании "КомьюнитиТех" (Community tech) Игорь Горячев.

Он также отметил, что запустить такой сервис самостоятельно несложно, так как все компоненты для сборки таких решений уже есть. Однако, как и все решения, связанные с LLM, проблема упирается в вычислительные ресурсы.

"Обычно у крупных компаний есть "озера данных" с вычислительными мощностями, оптимизированными для хранения и традиционных алгоритмов обработки данных. Однако использование LLM требует серверов с графическими процессорами, а это, в свою очередь, требует дополнительных капитальных затрат", - отметил Горячев.

При этом, по мнению Беляева, подобные корпоративные решения требуют защиты данных и должны быть развернуты на собственных серверах компании, что обеспечит полный контроль и возможность настройки под инфраструктуру организации, или в защищенном облаке для удобного масштабирования без компромиссов в безопасности.

Как рассказали "РГ" в "Яндексе", бизнес-модель "Нейроэксперта" подразумевает не только облачное, но и on-premise-решение с интеграцией сервиса в контур компании-заказчика.