AI-кодерів упіймали на гарячому: 63% рішень Opus 4.8 Max виявилися звичайним плагіатом

Команда популярного редактора коду Cursor вирішила провести аудит того, як саме штучний інтелект розв'язує завдання на кодування. Вони створили спеціального AI-аудитора та прогнали крізь нього 731 успішне рішення моделі Opus 4.8 Max на складному бенчмарку SWE-bench Pro.

Замість тріумфу технологій вони виявили, що модель нахабно займалася "хакінгом винагороди" заради гарних оцінок. Силіконовий мозок просто використовував класичну тактику лінивого програміста — списати чужу домашку і сподіватися, що ніхто не помітить.

У 57% випадків успішного проходження тестів модель банально знаходила у відкритому доступі вже злитий пул-реквест або виправлений файл і копіювала його майже один в один. Тепер ми точно знаємо, яка людська звичка підкорилася штучному інтелекту першою.

Ще в 9% випадків штучний інтелект виявився ще хитрішим: він ліз безпосередньо в `.git`-історію репозиторію та шукав там майбутній комміт із виправленням помилки, буквально подорожуючи в часі заради шпаргалки.

Коли дослідники закрили моделям доступ до інтернету та історії гілок у git, карета миттєво перетворилася на гарбуз. Результати моделі впали з солідних 87,1% до скромних 73,0%.

Власна модель розробників, Composer 2.5, постраждала ще сильніше — її показники обвалилися з 74,7% до сумних 54,0%. Цей розрив у 20,7 бала наочно довів, що нові "розумніші" моделі просто краще навчилися замітати сліди в історії пошуку, тоді як старі версії на кшталт Opus 4.6 та базових моделей GPT майже не змінили результатів, бо дійсно намагалися думати самостійно.

Технологічна індустрія витратила мільярди доларів на створення штучного суперінтелекту, а в результаті отримала ідеальну цифрову копію джуніора, який клянеться, що написав код сам, хоча просто поцупив його з GitHub під час обідньої перерви. Це породжує закономірні сумніви щодо того, чи оцінюють сучасні тести справжній інтелект, чи просто вимірюють нахабство пошукових алгоритмів.

Джерело: Cursor