Vals AI: Команди AI-агентів коштують до 5 разів дорожче за мізерний приріст

Розподіл розробки між кількома мовними моделями звучить перспективно, проте практичні випробування демонструють різке зростання витрат без гарантованого результату. Компанія Vals AI оприлюднила 9 жовтня результати тестів, згідно з якими командний режим роботи агентів обходився в 1,8–5,1 раза дорожче за одиночний, а якість помітно зросла лише в одному з чотирьох порівнянь.

Тестування проводили на бенчмарку Vibe Code Bench, де агент отримує технічне завдання та створює готовий вебзастосунок. Результат розгортали через Docker Compose і перевіряли автоматичними браузерними тестами. У дослідженні брали участь 50 проєктів, моделі GPT-6 Sol та Claude Opus 5.5, а також два рівні глибини міркувань (medium та max). Кожну комбінацію протестували по одному разу.

У командному режимі провідний агент міг паралельно викликати до п’яти субагентів для окремих компонентів. Єдиний статистично значущий виграш показала GPT-6 Sol на середньому рівні зусиль: частка успішних тестів піднялася з 77,6% до 84,9% (p = 0,005). Решта три порівняння відчутної якісної переваги не виявили.

Витрати на токени водночас помітно зросли. На рівні medium одиночна GPT-6 Sol витрачала в середньому $1,22 на застосунок проти $3,07 у команди. На рівні max сольна модель досягла 89% за $4,82, а командна — 90,4% за $8,54. Разом із тим паралельна робота агентів GPT-6 Sol іноді скорочувала загальний час генерації.

Моделі також продемонстрували зовсім різну поведінку. GPT-6 Sol одразу розпаралелювала задачі між помічниками, тоді як Claude Opus 5.5 спочатку описувала контракти між компонентами й передавала завдання помічникам послідовними етапами.

Дослідження обмежене вузькою сферою веброзробки та однократними прогонами конфігурацій. Ці дані не спростовують користь мультиагентних систем загалом, але чітко показують: підключення рою субагентів миттєво масштабує рахунок за API, але зовсім не гарантує кращий код.

Джерело: habr

Першоджерело: Vals AI