Компанії змушують AI балакати як печерна людина, щоб зекономити на токенах
Виявляється, ввічливість роботів коштує скажених грошей. Замість того, щоб платити за розлогі 'Чим я можу вам допомогти, шановний пане?', розробники просто вирізали з моделей усі правила етикету, змусивши їх спілкуватися на рівні неандертальців.
За цим лінгвістичним регресом стоїть утиліта Caveman, яку створив розробник Джуліус Брюссі. Він помітив, що левова частка бюджетів компаній витрачається на порожнє базікання мовних моделей. Інструмент безжально видаляє сполучники, привітання та вступні конструкції, залишаючи недоторканими лише програмний код, конкретні команди, лінки та технічні деталі.
Тестування на моделях Claude та Codex показало вражаючий результат: кількість генерованих токенів скоротилася на 65–75%. Користувачам доступні кілька рівнів стиснення тексту, залежно від того, наскільки диким має виглядати результат. Софтом уже активно користуються співробітники таких гігантів, як OpenAI, Nvidia, GitHub та DEPT.
До розвитку проекту долучилися й самі творці великих моделей. Зокрема, технічний директор OpenAI Шейн Суїні особисто вніс зміни в репозиторій Caveman на GitHub, щоб додати підтримку фірмового інструменту Codex. Також утиліта працює як автономний термінальний агент, який споживає вдвічі менше токенів і повністю сумісний з платформою OpenClaw. Тим часом аналітики Gartner прогнозують, що протягом наступних двох років корпоративні витрати на токени зрівняються із бюджетами на зарплати живих програмістів.
Отже, після десятиліть наукового прогресу та спроб навчити машини розмовляти як вишукані інтелектуали, людство дійшло до геніального фіналу: змусити суперкомп'ютери мукати, мов первісні люди, аби тільки бухгалтерія не збожеволіла від рахунків. Майбутнє технологій офіційно виглядає як 'моя писати код, твоя платити гроші'.
Джерело: 404 Media
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.