AI-лабораторії хочуть моделі на 100 млрд параметрів у смартфонах до 2028 року

Провідні розробники штучного інтелекту просять забезпечити до 2028 року постійну роботу моделей щонайменше на 100 мільярдів параметрів безпосередньо на смартфонах. Про це заявив керівник Qualcomm Кріштіану Амон у подкасті Sources журналіста Алекса Хіта.

Амон не уточнив конкретних назв компаній, але зазначив, що деякі з них уже починають самостійно випускати телефони, як це зробила ByteDance з асистентом Doubao на базі пристроїв Nubia. Проте перехід до локальної «битви агентів» стикається з жорсткими апаратними бар'єрами.

Сьогоднішній рівень помітно скромніший. Флагманський чипсет Snapdragon 8 Elite Extreme Gen 6, представлений наприкінці вересня, підтримує роботу моделі архітектури Mixture-of-Experts (MoE) на 30 млрд параметрів, тоді як Apple у червні запустила MoE на 20 млрд. Вимога лабораторій передбачає трикратне зростання обсягів за два покоління процесорів, до того ж у фоновому режимі замість епізодичних запитів.

Головною перепоною залишається фізичний обсяг оперативної пам'яті. Навіть за умови 4-бітної квантизації 100 мільярдів параметрів потребують близько 50 ГБ лише для ваг моделі, не враховуючи потреби KV-кешу та самої операційної системи. Це у кілька разів перевищує всю пам'ять сучасного флагмана.

Другий бар'єр — пропускна здатність. Генерація тексту спирається на швидкість вичитування ваг: якщо модель працює як розріджена MoE з 10 млрд активних параметрів, на кожен токен потрібно зчитати близько 5 ГБ даних. При швидкості мобільної пам'яті біля 100 ГБ/с це дає щонайбільше приблизно 20 токенів на секунду.

Крім витрат акумулятора на роботу постійного агента, ринок уже переживає ціновий тиск. За словами Амона, які наводить TMTB, вартість DRAM підскочила в 5–6 разів, що вже скоротило продажі смартфонів бюджетного й середнього сегментів орієнтовно на 20%. Якщо виробники почнуть ставити по 64 ГБ пам'яті в кишенькові пристрої, мобільний сегмент напряму боротиметься за кремній із серверами дата-центрів.

Джерело: habr