Google викатила нові TPU-чіпи, бо вашим тупим агентам уже затісно в пам'яті

Компанія Google розширила лінійку своїх восьмипоколінних прискорювачів двома новими системами — TPU 8i Max та TPU 8tx. Перша модель об'єднує два чіпи TPU 8i, видаючи вдвічі більше продуктивності, ємності SRAM та пропускної здатності пам'яті задля обробки величезних контекстів і складних мультиагентних завдань. Друга система створена для захищених обчислень шляхом поєднання TPU 8t із п'ятим поколінням процесорів AMD EPYC, забезпечуючи апаратне шифрування даних і знижуючи затримки удвічі.

Для управління цим залізом випустили цілий пакунок програмних рішень. Agent Compute Engine вміє призупиняти неактивні сесії агентів, вивантажуючи їхню пам'ять із прискорювачів, щоб боти не спалювали ресурси під час очікування відповіді. Тим часом TPU Sync переносить KV-кеш між різними рівнями пам'яті, скорочуючи затримки видачі першого токена більш ніж на 90 відсотків. Доповнюють це відкритий рушій XLA Serving Engine для роботи на різних типах процесорів та оновлена система GKE Dynamic Slicing, яка в рази швидше перерозподіляє обчислювальні групи.

Цікаво, що самі чіпи проєктуються за допомогою власних технологій компанії. Інженери використовують Gemini та систему навчання з підклейкою AlphaChip, що дозволяє створювати топологію мікросхем за лічені години замість тижнів.

Коли штучний інтелект починає самостійно креслити схеми для нових процесорів, межа між інженером та кремнієм остаточно стирається. Ми спостерігаємо за тим, як алгоритми пишуть код, проєктують залізо і самі ж на ньому крутяться, залишаючи людині роль розгубленого глядача на гальорці технологічного процесу.

Джерело: Google Blog