Команда независимых разработчиков представила Ferrite — открытый движок для локального запуска больших языковых моделей на потребительском железе. Проект распространяется под лицензией Apache 2.0 и уже доступен в публичном репозитории: за первые сутки он собрал более семи тысяч звёзд.
Ключевая особенность движка — гибридное квантование: веса хранятся в 4-битном формате, а вычисления выполняются в 8-битном с автоматическим выбором точности для чувствительных слоёв. По заявлению авторов, это снижает требования к видеопамяти примерно на 60% без заметной потери качества на стандартных бенчмарках. Дополнительно реализованы спекулятивное декодирование и кэш KV-состояний на диске.
Ferrite поддерживает видеокарты NVIDIA, AMD и интегрированную графику Apple, а также режим работы только на процессоре. Установка сводится к одной команде в терминале, для настройки доступны как CLI, так и Python-интерфейс. Совместимость с форматами GGUF и Safetensors позволяет запускать большинство популярных открытых моделей без конвертации.
Разработчики отмечают, что проект пока находится в статусе бета-версии и не рекомендован для промышленной эксплуатации. Ближайшие планы включают Windows-сборки, распределённый инференс на нескольких машинах и плагины для популярных сред разработки. Первый стабильный релиз ожидается к концу года.