Консорциум независимых исследователей опубликовал открытую языковую модель NeoLM-7B, обученную на 4,2 трлн токенов преимущественно русскоязычных и мультиязычных данных. Веса, токенизатор и рецепт обучения выложены под лицензией Apache 2.0 — коммерческое использование разрешено без ограничений и без обязательства раскрывать производные модели.
По заявлению авторов, на внутреннем наборе задач — извлечение сущностей, суммаризация юридических документов и генерация кода — модель обходит проприетарные аналоги сопоставимого размера на 7–12%. Независимая проверка пока не проводилась, а методология бенчмарка опубликована лишь частично, что уже вызвало осторожные вопросы у сообщества.
Модель помещается на одну видеокарту с 16 ГБ памяти при квантизации до 4 бит и выдаёт около 45 токенов в секунду на потребительском железе. Для дообучения достаточно двух GPU, что заметно снижает порог входа для небольших студий и университетских групп.
Первые отзывы смешанные: разработчики хвалят скорость работы и качество русского языка, но жалуются на нестабильность при контекстах свыше 8 тысяч токенов и на отсутствие подробной документации по фильтрации датасета. Авторы обещают выпустить технический отчёт и версию с контекстом 32 тысячи токенов в течение месяца.