Mistral выложила открытые веса модели Large 4 на триллион параметров
29 октября французская Mistral AI опубликовала открытые веса новой модели Mistral Large 4, которую внутри компании прозвали «Le Chonk» из-за триллиона параметров. Модель вышла из публичного превью с улучшениями в программировании, агентных сценариях и информационной безопасности.
Веса лежат на Hugging Face в репозитории mistralai/Mistral-Large-4-1T-A52B без запроса доступа. Вместе с основной версией вышла квантованная сборка NVFP4 для видеокарт NVIDIA поколения Blackwell.
Архитектура Mixture of Experts включает 128 маршрутизируемых экспертов, из которых четыре активны на токен плюс один общий. Активных параметров около 49 млрд, с эмбеддингом и выходным слоем — 52 млрд, контекст — 1 млн токенов, на вход принимаются текст и изображения.
За три недели после превью Mistral дообучила модель с подкреплением на собственных мощностях во Франции, потреблявших около 10 МВт; базовое обучение заняло около двух месяцев на примерно 3 800 GPU NVIDIA Grace Blackwell. На Terminal-Bench 4.0 результат вырос с 28% до 41%, выходных токенов стало на 30% меньше, а на BrowseComp модель набирает 84,5% против 75% у SFT-чекпоинта.
По данным Mistral, в кодинге отрыв от GLM составляет один пункт, модель отклоняет 96,6% вредоносных запросов и выдерживает 97% атак в бенчмарке B3 Agent Security. ML4 расходует на 47% меньше токенов на задачу, чем GLM-5.3, при чуть меньшей точности ответа.
Для запуска версии FP8 понадобится около 1 ТБ дискового пространства, вариант NVFP4 займёт около 610 ГБ и требует GPU поколения Blackwell. Веса распространяются по Mistral Ecosystem Open-Weight License — модифицированной версии MIT, но для доступа по формату Model-as-a-Service нужна коммерческая лицензия.
Глава OpenAI Сэм Альтман назвал локальные модели «ужасным распределением дефицитных ресурсов», заявив, что железо должно работать в дата-центрах, а не простаивать в ПК.