NVIDIA викотила Nemotron 3 Ultra — гігантську відкриту модель на 550B
Поки інші ховають свої найкращі AI-моделі за платними API, NVIDIA просто виклала в мережу величезного оптимізованого монстра. Це гібрид Mamba та Transformer, створений спеціально для складних автономних агентів, а не просто чергових дурнуватих чат-ботів.
NVIDIA відкрила повний пакет Nemotron-3-Ultra-550B-A55B, куди увійшли базова модель, налаштовані версії, чекпоінти винагород і навіть повний рецепт навчання разом із даними. Розробники використали гібридну архітектуру, яка поєднує Mamba2 та класичний Transformer, де співвідношення сил становить чотири до одного на користь архітектури Mamba. Це дозволяє моделі моментально перетравлювати гігантські обсяги тексту, уникаючи традиційного дефіциту пам'яті.
Зі своїх гігантських 550 мільярдів параметрів модель активує лише 55 мільярдів одночасно завдяки технології LatentMoE. Така оптимізація разом із квантованими версіями NVFP4 дає реальний шанс запустити цього монстра на адекватному залізі. Увесь цей масив тренувався на неймовірних 20 трильйонах токенів, що дозволило закласти глибокі логічні зв'язки безпосередньо в нейромережу.
Завдяки вбудованій підтримці передбачення кількох токенів одночасно та двоетапному пост-тренуванню, гігант заточений під автономну роботу. Модель здатна самостійно викликати сторонні інструменти, виконувати багатокрокові інструкції та тримати в голові величезний контекст без ризику забути, з чого все починалося.
Такий щедрий жест із викладанням надпотужної моделі у відкритий доступ фактично знецінює бізнес-моделі тих, хто продає доступ до закритих API за гроші. Ринок AI опинився у дивній ситуації, де купувати підписки на сторонні сервіси стає безглуздо, коли зелений гігант безкоштовно роздає креслення та деталі до найкращих індустріальних двигунів.
Джерело: NVIDIA Research
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.