По словам разработчиков, она понимает длинные тексты целиком, без разбиения на фрагменты и работает локально, без внешних API, что снижает нагрузку на инфраструктуру. Инженеры могут использовать её для задач в области обработки текста, в том числе для извлечения информации, анализа тональности, поиска и ранжирования в приложениях и сервисах. Модель может понять сложный или длинный запрос пользователя, например, в поисковой строке и найдёт наиболее релевантную информацию, видео, товары или документы.
RuModernBERT была обучена на 2 трлн токенов данных на русском, английском языках и коде с максимальной длиной контекста до 8,192 токенов. Для всех этапов обучения были использованы разные источники данных, в том числе книги, статьи, посты и комментарии в социальных сетях, что позволяет адаптировать её для работы с современным текстом и учитывать разговорную речь.
RuModernBERT доступна в нескольких версиях: на 150 миллионов параметров и облегчённая модель на 35 миллионов параметров. Это позволит инженерам выбирать вариант, отвечающий их задачам. Также обновлены две дополнительные версии модели: USER и USER2. Они помогают инженерам лучше группировать и находить похожую информацию. В версии USER2 есть специальная технология, которая позволяет сократить объем данных почти без потери точности.
Благодаря современной архитектуре RuModernBERT работает быстрее аналогов: обучение и развёртывание на конечных устройствах на 10–20 %, обработка данных —происходит в 2–3 раза быстрее на длинных контекстах по сравнению с ModernBERT. При оценке на валидационном датасете модель RuModernBERT показала лучшие результаты в области обработки естественного русского языка, чем существующие аналоги. Все версии модели доступны на платформе для машинного обучения и искусственного интеллекта Hugging Face, добавили в компании.
Ранее «Телеспутник» писал, что компания объявила о запуске инициативы OpenVK, в рамках которой будет публиковаться программное обеспечение с открытым исходным кодом, в частности планируется выкладывать проекты в нескольких направлениях, включая ИТ-системы, инструменты и библиотеки для разработчиков, а также модели искусственного интеллекта.
