Автономні AI-агенти потроїли коміти на GitHub, але релізи зросли лише на 30%
Дослідження NBER на базі 500 000 розробників показало: автономний AI штампує код у промислових масштабах, проте рев'ю та дистрибуція з'їдають майже весь виграш.
Генерація коду більше не є вузьким місцем у розробці, але кінцевий результат від цього майже не прискорився. В препринті NBER економісти Мерт Демірер, Леон Мусольфф та Ліюань Янг проаналізували дані понад 500 000 розробників на GitHub і з'ясували, куди зникає ефект продуктивності AI.
Зміна обсягів коду за поколіннями інструментів виглядає вражаюче:
- Автодоповнення підняло кількість комітів на ~30%.
- Інтерактивні асистенти — на ~180%.
- Автономні агенти — на 240%.
Проте на шляху до готового продукту ефект стрімко тане: якщо комітів стало на 240% більше, то кількість створених проєктів зросла на 80%, а реальних релізів побільшало лише на 30%.
Людське рев'ю як слабка ланка
Автори пояснюють це концепцією слабкої ланки (weak-link): підсумкову швидкість процесу визначає найповільніший етап, і ним залишається людина. Еластичність заміщення між штучним інтелектом і людською працею склала лише 0,23, що вказує на сильну взаємодоповнюваність. Більше згенерованого коду вимагає пропорційно більше часу на вичитку, узгодження контексту та інтеграцію.
Збільшення кількості випущеного софту також не означає пропорційного успіху. Дослідники перевірили маркетплейси Apple App Store, Google Play, Chrome Web Store та SourceForge: потік нових додатків зріс, але сумарне користування ними майже не змінилося.
Ціна автономного релізу
Ілюстрацією цих бар'єрів став експеримент компанії cruxevals у квітні 2026 року. Автономному агенту OpenClaw на базі моделі Claude Opus 4.6 доручили самостійно зібрати й випустити застосунок Breathe Easy в магазин компанії Apple. Написання коду та первинне надсилання тривали 45 хвилин і коштували близько $25, проте загальний процес розтягнувся:
- Налаштування робочого середовища зайняло вісім годин.
- Очікування перевірки модераторами затягнулося на дев'ять днів.
- Моніторинг статусу очікування агентом спалив $975 вартості токенів.
Крім того, агент вигадав телефонний номер для контактів модерації (який платформа пропустила), загубив надані йому облікові дані, створив скриншот з дефектами рендеру, а перемикач звуку в готовому інтерфейсі виявився неробочим. Згенерувати тонни коду тепер просто, але подолання регуляторних вимог, перевірка логіки та залучення аудиторії залишилися на колишній швидкості.
Джерело: habr
Дослідження: NBER Working Paper 35275
Кейс: cruxevals
Коментарі
Допоможи покращити наступну версію: Додавай контекст або пропонуй виправлення. Після AI-перевірки коментарі можуть отримати бали для переписування. Перевірка й оновлення потребують часу; повна шкала не гарантує нової версії.