Mistral Відкрила Ваги Трильйонної Моделі Mistral Large 4

29 жовтня французька компанія Mistral AI опублікувала у відкритому доступі на Hugging Face ваги своєї флагманської моделі Mistral Large 4. Модель отримала неофіційну внутрішню назву «Le Chonk» («Товстун») через загальний обсяг в один трильйон параметрів, однак архітектура Mixture of Experts (MoE) активує лише близько 52 млрд параметрів на кожен токен.

Цей реліз завершив етап попереднього тестування, який тривав з 6 жовтня. За даними розробників, мережа містить 128 маршрутизованих експертів (чотири активні на токен плюс один спільний) і підтримує контекст до 1 мільйона токенів з обробкою тексту та зображень. Навчання тривало близько двох місяців на 3 800 прискорювачах NVIDIA Grace Blackwell, після чого модель проходила тритижневе донавчання з підкріпленням у дата-центрах Mistral у Франції.

Компанія заявляє, що в бенчмарку Terminal-Bench 4.0 точність зросла з 28% до 41% при скороченні генерації токенів на 30%. У порівнянні з китайською GLM-5.3 модель нібито витрачає на 47% менше токенів на схожих завданнях. Втім, наведені вимірювання базуються виключно на власних матеріалах Mistral і поки що не мають широкого незалежного підтвердження сторонніми лабораторіями.

Хоча завантажити ваги може будь-хто, запустити їх на звичайному обладнанні неможливо: версія FP8 потребує близько 1 ТБ дискового простору, а збірка NVFP4 займає 610 ГБ і вимагає новітніх чипів NVIDIA Blackwell. Крім того, ліцензія Mistral Ecosystem Open-Weight License хоч і дозволяє донавчання та внутрішнє корпоративне використання, прямо забороняє перепродаж моделі за моделлю Model-as-a-Service без окремої комерційної угоди.

Джерело: habr