Консорциум из нескольких университетов и независимых инженерных команд представил открытую языковую модель OpenLingua-7B, обученную на 2,4 трлн токенов. Веса, токенизатор и скрипты обучения опубликованы под лицензией Apache 2.0, что позволяет использовать модель в коммерческих продуктах без отчислений правообладателям.
Главная особенность релиза — сбалансированный многоязычный корпус: 40 языков, включая русский, арабский и суахили, получили не менее 2% объёма обучающих данных. Разработчики утверждают, что на бенчмарке MMLU модель отстаёт от проприетарных аналогов на 6–8%, но превосходит их в задачах перевода редких языковых пар.
Модель оптимизирована для работы на одной видеокарте с 16 ГБ памяти благодаря квантизации в 4 бита и групповому вниманию. Инференс-сервер поддерживает OpenAI-совместимый API, поэтому миграция существующих приложений сводится к замене адреса эндпоинта и ключа доступа.
Первые отзывы сообщества сдержанно позитивные: тестировщики отмечают качественную документацию и воспроизводимость обучения, но указывают на пробелы в генерации кода и решении математических задач. Следующий релиз обещают через полгода — с расширенным контекстом до 256 тысяч токенов и отдельной версией для мобильных устройств.