Ентузіаст запустив 284-мільярдний DeepSeek на ПК взагалі без GPU

Відкритий проєкт llama-modchip з'явився на GitHub під ліцензією Apache 2.0, запропонувавши комплект патчів для ядра ggml та llama.cpp. Розробка створена для того, щоб запускати велетенські розріджені MoE-моделі безпосередньо на звичайному процесорі без допомоги дискретної відеокарти чи файлу підкачування.

Автор перевірив концепт на моделі DeepSeek-V4-Flash із 284 мільярдами параметрів, з яких під час генерації активні лише 13 мільярдів. На 16-ядерному процесорі AMD Ryzen 9 9955HX із 64 гігабайтами звичайної пам'яті споживання вперлося в 58 гігабайтів при гігантському контексті на 256 000 токенів. Зчитування промпта показало 44 токени на секунду, а генерація тексту трималася в діапазоні від 9 до 15 токенів на секунду — темп якраз під людське читання, якщо читач не заливається літрами енергетиків.

Трюк вдався завдяки особливостям самої архітектури та радикальному стисненню. Оскільки модель активує тільки потрібні частини нейромережі під кожен конкретний токен, обчислювальне навантаження залишається помірним. Автор стиснув ваги експертів до екстремальних 1,56 біта на вагу за схемою IQ1_S у власному форматі, увіпхнувши 284 мільярди ваг у трохи більше ніж 50 гігабайтів дискового простору.

Головний підступ криється у визначенні точності: авторська заява про роботу «без втрат» означає лише математичний збіг значень із немодифікованою версією на тих самих перетиснених вагах, тоді як якісна деградація порівняно з оригіналом на 1,56 біта гарантована. До того ж ці файли принципово не відкриваються в популярних оболонках на зразок Ollama чи LM Studio, вимагаючи виключно авторської збірки.

Нахабні апетити виробників пам'яті та кремнієвих монополістів ризикують розбитися об затяту софтверну оптимізацію ентузіастів. Питання лише в тому, чи готова спільнота терпіти відчутну лоботомію моделей заради повної незалежності від хмарних серверів і чужих відеокарт.

Джерело: github