Thinking Machines Lab випустила відкриту 975B-модель Inkling
Стартап під керівництвом екс-техдиректорки OpenAI опублікував ваги великої MoE-системи, розрахованої на локальне донавчання бізнесом.
Команда Thinking Machines Lab, яку очолює колишня технічна директорка OpenAI, опублікувала ваги своєї флагманської мультимодальної моделі Inkling. Замість гонитви за абсолютними рекордами проти закритих комерційних систем автори позиціонують реліз як базу, яку компанії можуть самостійно кастомізувати у власному контурі.
Архітектурно Inkling є MoE-трансформером на 975 мільярдів параметрів, натхненним підходом DeepSeek-V3. У кожному шарі задіяно 256 маршрутизованих експертів і два спільних; для кожного токена активуються шість, що дає 41 мільярд активних параметрів. Модель тренували на датасеті з 45 трильйонів токенів (текст, зображення, аудіо та відео), а контекстне вікно сягає 1 мільйона токенів. Замість сторонніх енкодерів аудіо обробляється як dMel-спектрограми, а зображення — через 40x40 патчі за допомогою чотиришарового hMLP.
Згідно зі звітом розробників, у тесті перевірки фактів SimpleQA Verified модель набрала 43,9%, обійшовши GLM 5.2 (38,1%) та Nemotron 3 Ultra (32,4%), а в тесті з математики AIME 2026 показала 97,1%. На кодинг-бенчмарку Terminal Bench 2.1 результат зрівнявся з Nemotron завдяки механізму адаптації глибини міркувань, який згенерував утричі менше службових токенів. Для початкового етапу SFT частково використовувалися синтетичні дані з моделі Kimi K2.5 від Moonshot AI.
У процесі понад 30 мільйонів ітерацій асинхронного RL розробники помітили незвичну оптимізацію: внутрішній ланцюжок міркувань моделі стиснувся сам по собі, відкинувши службові слова та перейшовши на короткий «телеграфний» стиль без втрати точності.
Головний практичний бар'єр полягає у залізі. Хоча ваги виклали на Hugging Face, версія у BF16 потребує близько 2 ТБ відеопам'яті, що вимагає цілого кластера корпоративних прискорювачів. Квантований варіант NVFP4 для чипів NVIDIA Blackwell зменшує поріг приблизно до 600 ГБ VRAM. Паралельно команда показала прев'ю Inkling-Small на 276 мільярдів параметрів (12 мільярдів активних).
Джерело: habr
Першоджерело: Thinking Machines Lab
Коментарі
Допоможи покращити наступну версію: Додавай контекст або пропонуй виправлення. Після AI-перевірки коментарі можуть отримати бали для переписування. Перевірка й оновлення потребують часу; повна шкала не гарантує нової версії.