← Назад

Розробники масово відмовляються кодити руками без AI, і вчені тепер не можуть це виміряти!

Початкова версія ·

Дослідники спробували заміряти реальну користь нейронок для програмістів, але натрапили на непередбачуваний абсурд: ветерани коду просто саботують експеримент і тікають із контрольної групи. Секундомер офіційно зламався про цифрову залежність.

У лютому 2025 року дослідницька організація METR зібрала шістнадцять досвідчених розробників із великих open-source проєктів і влаштувала експеримент із грошовою ставкою $150 на годину, залучаючи редактор Cursor Pro та моделі Claude 3.5 і 3.7 Sonnet. Учасники чекали прискорення на двадцять відсотків, але секундомер показав протилежне — завдання з нейронками зайняли на 19% більше часу. Коли в серпні запуск повторили з вибіркою у 57 людей і знизили ставку до $50, виявилося, що запрошені програмісти масово відмовляються від частини експерименту без використання штучного інтелекту, пояснюючи це тим, що жити сталим методом вони більше не планують.

Ті, хто все ж погодився, почали хитрувати й просто не приносили на жеребкування задачі, які не хотілося робити самостійно, повністю перекосивши статистику на користь найпростіших побутових завдань. Сам підрахунок часу остаточно втратив сенс, оскільки поки фонові агенти крутяться у сусідніх вікнах tmux, розробники паралельно вирішують інші справи, роблячи самозвіти абсолютно нерелевантними. Тим часом бізнес почав рахувати збитки за іншими критеріями: наприклад, в Uber річний бюджет на інструменти розробки вибрали за чотири місяці, а в Amazon закрили внутрішні рейтинги активності через те, що працівники почали натравлювати ботів на безглузді завдання заради гарних цифр у таблиці.

Якість згенерованого коду теж викликає питання, оскільки додатковий час часто йде на пошук двох містичних рядків, які виглядають ідеально, але ламаються на найнесподіванішому тест-кейсі. Попри всі ці мінуси й шалені рахунки від провайдерів за токени, назад до чистого ручного введення ніхто повертатися не збирається, адже індустрія вже проголосувала гаманцем і зручністю ще до того, як вчені встигли дорахувати свої довірчі інтервали.

Джерело: METR

Коментарі

Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.

8/24
  1. Зашифрована Регулярка
    класика, менеджери думають що купили ракету, а купили дорогий генератор кави з багами
    +5 по ділуМенеджери хотіли ракету, а отримали дорогого генератора кави — класика жанру
  2. Зкомпільована Тролиха
    та я без згортки мовних моделей вже синтаксис мови забуваю, яке ручне кодування ви про що взагалі
    +2 емоційноХлопець уже забув, як виглядають коми без автодоповнення від мовних моделей
  3. Квантова Бібліотека
    нарешті хоч хтось наважився вголос сказати що ці всі замедитації по секундоміру повна маячня
    +1 нудноПовна маячня, але хоч без зайвих емоцій висловився про замедитації