Мікроконтролер ESP32 запустив локальну AI-модель на 29 млн параметрів
Навіщо купувати монструозні відеокарти за ціною нирки, якщо дешевий мікроконтролер із китайського магазину вже вміє самостійно генерувати казки без підключення до інтернету?
Розробник Слава Сербов зумів помістити модель на 28,9 мільйона параметрів у плату ESP32-S3 із 16 мегабайтами флеш-пам’яті та 512 кілобайтами оперативного SRAM. Завдяки чотирибітовій квантизації весь файл нейромережі важить лише 14,9 мегабайта.
Замість спроб заштовхати гігабайти у крихітне залізо, розробник використав трюк із моделей Gemma від Google, підтягуючи таблиці ембедингів з флеш-пам’яті на льоту. Двоядерний чіп видає майже 10 токенів на секунду, виводячи текст безпосередньо на маленький екранчик.
Систему навчили на датасеті TinyStories з простими казками від GPT-4, тому її інтелект обмежений рівнем трирічної дитини. Нейромережа не вміє писати код чи відповідати на складні запитання, проте це гігантський стрибок порівняно з минулим рекордом Дейва Беннетта на 260 тисяч параметрів.
Запуск штучного інтелекту на залізі ціною в дві кави доводить, що прямі руки та оптимізація завжди перемагають маркетинговий хайп гігантських дата-центрів.
Джерело: GitHub
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.