Як Revolut вкинув Claude та зекономив 90% на AI-кодингу завдяки власним GLM

Британський фінтех-гігант розгорнув відкриту модель GLM від компанії Z.ai на власних апаратних потужностях для підтримки приблизно двох тисяч внутрішніх розробників. Рішення дозріло після того, як окремі фахівці почали спалювати астрономічні суми щомісяця на ранніх етапах впровадження комерційних асистентів від Gemini та Claude Code. Після введення жорстких лімітів і скарг колективу на дефіцит токенів керівництво вирішило замінити дорогі хмарні підписки на власний кластер із моделлю GLM-5.3 у продакшені.

Вся обчислювальна магія помістилася всього на п'ятдесяти шести прискорювачах Nvidia B200, упакованих у сім стандартних систем DGX B200. Ваги моделі займають близько 380 гігабайтів відеопам'яті, а на кожного активного користувача виділяється до 26 гігабайтів під контекст. Видатних показників швидкості вдалося досягти не завдяки нескінченній закупівлі заліза, а завдяки хитрому тюнінгу інференсу, включаючи квантування NVFP4 та розділення пулів обробки.

Прагматичний відмова від роздутих мільйонних контекстів на користь практичних 256 тисяч токенів дозволив тримати швидкість генерації на рівні трьох секунд до першого слова. Інженери отримали можливість без лімітів ганяти завдання через локальний інтерфейс, що миттєво підняло швидкість роботи з тікетами та закриття задач у Jira. Усунення штучного дефіциту токенів змінило саму культуру написання коду, зробивши асистента повсякденним інструментом, а не розкішшю для обраних.

Звісно, запуск сторонніх відкритих моделей на власному залізі повністю не знімає питання до їхньої поведінки поза межами прозорих бенчмарків. Проте цифри економії виглядають настільки переконливо, що корпоративні бухгалтери у всьому світі вже готують власні серверні стійки.

Джерело: The Register