Команда исследователей из трёх университетов опубликовала исходный код StaticLM — компилятора, который переводит запросы к большим языковым моделям в оптимизированные планы выполнения. Проект распространяется под лицензией Apache 2.0.
Идея инструмента в том, чтобы отделить описание задачи от конкретной модели. Разработчик пишет декларативный запрос, а StaticLM сам выбирает провайдера, разбивает задачу на цепочку вызовов и кэширует промежуточные результаты. По словам авторов, на типовых сценариях — извлечение данных из документов и классификация — это снижает число обращений к API на 30–40 %.
Компилятор поддерживает статическую проверку типов ответов: если модель возвращает структуру, не соответствующую схеме, запрос автоматически уходит на повторное выполнение. В репозитории уже есть адаптеры для популярных облачных провайдеров и локальных движков вроде llama.cpp.
Первые отзывы в сообществе смешанные: часть разработчиков отмечает, что похожие решения уже существуют, но приветствует открытую лицензию и отсутствие привязки к вендору. Стабильный релиз 1.0 запланирован на осень.