Исследовательская лаборатория Lambda Research выложила в открытый доступ языковую модель K3 с 70 миллиардами параметров. Веса опубликованы на Hugging Face под лицензией Apache 2.0, что допускает коммерческое использование без отчислений. Архитектура построена на смеси экспертов: активными в каждый момент остаются 12 миллиардов параметров, что заметно снижает стоимость инференса.
По заявлению разработчиков, K3 набирает 84,1 балла в тесте MMLU-Pro и 71,3 — в GPQA Diamond, опережая несколько закрытых моделей сопоставимого размера. Модель обучена на 12 триллионах токенов, поддерживает контекст до 256 тысяч токенов и корректно работает с 40 языками, включая русский.
В сообществе отнеслись к релизу настороженно. Часть инженеров уже воспроизвела замеры и подтвердила результаты, другие указывают на отсутствие подробного описания датасета и возможные пересечения с обучающими наборами популярных бенчмарков. Отдельные вопросы вызывает скорость генерации на потребительских видеокартах.
Lambda Research обещает выпустить мультимодальную версию с поддержкой изображений и аудио до конца квартала. Уже сейчас модель поддерживается в vLLM, llama.cpp и Ollama. Компания также открыла репозиторий с рецептами дообучения и планирует ежеквартальные обновления весов.