Консорциум российских исследовательских команд представил открытую языковую модель RuAdapt-7B, ориентированную в первую очередь на задачи на русском языке. Веса, код дообучения и часть обучающего датасета опубликованы под лицензией Apache 2.0 — использовать модель можно как в исследованиях, так и в коммерческих продуктах.
По словам разработчиков, модель обучалась на корпусе объёмом около 400 млрд токенов, из которых более половины — русскоязычные тексты, включая научные статьи, техническую документацию и нормативные акты. На бенчмарках RussianSuperGLUE и MERA RuAdapt-7B показала результат в среднем на 4,3 пункта выше ближайшего открытого аналога сопоставимого размера.
Отдельно отмечается эффективность инференса: благодаря квантизации до 4 бит модель запускается на потребительской видеокарте с 16 ГБ памяти, выдавая около 45 токенов в секунду. Для развёртывания в продакшене подготовлены контейнеры и совместимость с популярными серверными фреймворками.
Эксперты называют шаг важным, но указывают, что устойчивость проекта будет зависеть от активности сообщества и качества дообучения под конкретные домены. До конца года авторы обещают выпустить инструктивно-настроенную версию и вариант на 13 млрд параметров.