Консорциум OpenModel Alliance представил открытую языковую модель Whisper-4 с 34 млрд параметров. Веса опубликованы под лицензией Apache 2.0, загрузка доступна на Hugging Face и в национальном репозитории открытых моделей.
Модель обучали на корпусе объёмом 4,2 трлн токенов, из которых около 28% приходится на русскоязычные тексты, код и научные публикации. Заявленная архитектура — разреженный mixture-of-experts с 8 экспертами и контекстом 256 тысяч токенов.
В независимом бенчмарке RuEval-Pro Whisper-4 набрала 78,4 балла, обойдя ближайшую проприетарную модель на 6,1 пункта. Отрыв особенно заметен в задачах извлечения фактов и суммаризации длинных документов; в математике и генерации кода разница остаётся в пределах погрешности. Оценка проводилась на закрытом наборе из 12 тысяч заданий.
Разработчики предупреждают о риске галлюцинаций на узкоспециальных темах и планируют выпустить версию с инструментами верификации источников. Инференс возможен на одной видеокарте с 24 ГБ памяти в квантованном режиме, что снижает порог входа для небольших команд. Полные результаты и карточка модели опубликованы в открытом репозитории проекта.