Міра Мураті випустила модель Inkling на 975 млрд параметрів

Колишня технічна директорка OpenAI Міра Мураті запустила першу фундаментальну модель свого стартапу під назвою Inkling, побудовану на архітектурі Mixture-of-Experts із 975 мільярдами параметрів та 41 мільярдом активних параметрів на токен. Модель пройшла попереднє навчання на 45 трильйонах мультимодальних токенів тексту, аудіо, зображень і відео та підтримує контекстне вікно до 1 мільйона токенів.

Разом із основною версією команда показала полегшену модель Inkling-Small з 12 мільярдами активних параметрів для дешевшого та швидшого інференсу. Поки більшість компаній витрачає мільйони на переконливу брехню про суперінтелект, розробники відверто визнали, що Inkling не лідирує в бенчмарках, обравши роль універсальної бази під гнучке донавчання.

Ключовим елементом релізу стала платформа Tinker, яка повністю автоматизує завантаження датасетів, fine-tuning, оцінку якості та розгортання оновлених ваг без необхідності будувати власну ML-інфраструктуру. На внутрішньому тесті Inkling самостійно сформувала собі завдання навчитися відповідати без букви "е", провела оцінку результатів та автоматично переключилася на нову версію.

Створюючи альтернативу дорогій закритій інфраструктурі від Anthropic та китайським відкритим рішенням, стартап орієнтується на корпоративний ринок, якому потрібні власні спеціалізовані моделі.

Культ синтетичних рейтингів нарешті поступається місцем сухій корпоративній прагматичності. Залишається спостерігати, чи перетвориться ідея автоматичних фабрик моделей на новий стандарт галузі, чи бізнес знову обере готові дорогі підписки.