Cerebras викатила CS-4: три кремнієві монстри замість звичних ферм Nvidia
Нарізати кремнієві пластини на крихітні чипи — це минуле століття. Cerebras запхала три гігантські цілісні пластини в одну стійку, щоб розігнати генерацію токенів до космічних швидкостей.
Замість класичного розпилу 300-міліметрової кремнієвої пластини на сотні дрібних кристалів Cerebras використовує цільну пластину як один гігантський чип. Нова серверна стійка CS-4 вміщує відразу три оновлені процесори WSE-3 Turbo, виготовлені за 5-нм техпроцесом TSMC.
Кожен такий монстр площею 46 225 мм² містить 4 трильйони транзисторів і 900 000 тензорних ядер. Оскільки виготовити настільки здоровенний кристал без браку на заводі неможливо, система апаратно ізолює пошкоджені ділянки та перенаправляє потоки даних на резервні ядра без втрати загальної швидкості.
Головне вузьке місце сучасних AI-моделей — це перекачування ваг між обчислювальними блоками та зовнішньою пам'яттю. У WSE-3 Turbo весь масив швидкої пам'яті SRAM на 44 ГБ розпаяний прямо на пластині, що забезпечує божевільну пропускну здатність у 43,2 ПБ/с і позбавляє систему затримок шин PCIe або NVLink.
Усередині стійки пластини з'єднані прямими лінками з латентністю всього 2 мікросекунди. Завдяки цьому монстр видає до 4400 токенів на секунду на одного користувача для важких моделей на 120 мільярдів параметрів, виконуючи за секунду той обсяг обчислень, на який типовій серверній стійці зі звичайними відеокартами потрібно пів хвилини.
Спроба замінити цілі зали серверів кількома кремнієвими млинцями розміром із піцу наочно показує, на які інженерні крайнощі готові йти розробники, аби генеративні боти відповідали без мікросекундних затримок.
Джерело: cerebras.ai
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.