Тиждень мучив 14 локальних нейромереж на міні-ПК: цифри, біль та висновки

Машина GMKtec EVO-X2 на базі Ryzen AI Max+ 395 з підтримкою 80 гігабайтів відеопам'яті в Ubuntu 26.04 прийняла на борту чотирнадцять моделей у квантуванні Q4. Методика тестування включала дисциплінарні сходи з 39 завдань та шість прикладних кейсів із перевіркою через справжню базу даних SQLite, де моделям доводилося самостійно виправляти помилки утилітами.

Щільні моделі на кшталт Qwen3.8 27B видавали стабільні 12 токенів за секунду, тоді як архітектури MoE летіли вчетверо швидше завдяки розпараметризації. Міф про те, що великий контекст сповільнює генерацію, розсипався на практиці — швидкість відповідей не падала, проте «холодне читання» величезних промптів на 200 тисяч токенів змушувало систему задумуватися на цілі хвилини.

Режим міркувань часто виявлявся пасткою, яка спалювала весь ліміт на внутрішній монолог без жодного корисного виходу, а от функція прискореного декодування Multi-Token Prediction дивовижно підняла продуктивність заліза. Зрештою, в системі прижився тандем із двох різних моделей, що поділили між собою розмовні задачі та важку фонову аналітику.

Тримати власну локальну ферму в розетці виявилося настільки дешево, що комунальні рахунки навіть не помітять появи домашнього штучного інтелекту.

Джерело: Habr