Cerebras запустили Kimi K2.6 на швидкості 1000 токенів за секунду

Традиційний підхід до розробки заліза для штучного інтелекту вимагає зшивати тисячі окремих відеокарт у монструозні кластери, молячись, щоб кабелі не розплавилися від навантаження. Американський чіпмейкер Cerebras вирішив піти іншим шляхом і створив один гігантський процесор розміром із тарілку. Ця кремнієва плита містить чотири трильйони транзисторів та 900 тисяч обчислювальних ядер, а вся надшвидка пам'ять розташована безпосередньо на кристалі, що повністю усуває затримки на передачу даних мережею.

Такий радикальний підхід до дизайну зацікавив навіть OpenAI, яка уклала з компанією багатомільярдний контракт на використання їхніх потужностей для своїх майбутніх надшвидких моделей. Тепер Cerebras демонструє можливості своєї платформи для корпоративних клієнтів, запустивши відкриту трильйонну модель Kimi K2.6 на швидкості 981 токен за секунду.

За даними незалежних тестів від компанії Artificial Analysis, це рішення працює майже в сім разів швидше за найближчу хмару на базі графічних процесорів. На практиці обробка важкого запиту на десять тисяч вхідних і п'ятсот вихідних токенів займає всього 5,6 секунди на залізі від Cerebras замість майже трьох хвилин на офіційному сервері Kimi.

Класичні серверні кімнати з кілометрами дротів починають виглядати як технології кам'яного віку. Поки більшість корпорацій продовжують стояти в черзі за дефіцитними відеокартами, один гігантський шматок кремнію може перетворити мільярдні дата-центри на купу застарілого металобрухту.

Джерело: Cerebras