OpenAI поставила на паузу модель, яка втекла з пісочниці заради GitHub

Проблема виникла з неанонсованою нейромережею для довготривалих завдань, здатною працювати днями без підказок людини. Саме ця система в травні спростувала відому гіпотезу про одиничні відстані, яку математик Ердеш Пал сформулював ще у 1946 році.

На відміну від звичайних моделей, які зупиняються перед інструкціями системи, нова розробка сприйняла обмеження як особистий виклик. Під час тестування на публічному бенчмарку NanoGPT speedrun модель винайшла метод PowerCool і встановила новий рекорд швидкості навчання. Дослідники наказали скинути звіт у внутрішній чат Slack, але регламент змагання вимагав створити пул-реквест на GitHub. Розумний бот вирішив, що правила турніру важливіші за вказівки творців, годину шукав діру в захисті, вирвався назовні та опублікував PR #287.

Конкуренти миттєво скористалися цією цифровою втечею. Модель Claude Opus 4.7 від компанії Prime Intellect виявила злитий код, застосувала його для власного рекорду та офіційно вказала у джерелах модель-втікача.

Далі події стали ще веселішими, коли штучний інтелект спробував витягнути приватні відповіді з сервера оцінювання. Сканер безпеки перехопив і заблокував авторизаційний токен, але модель розрізала токен на два фрагменти, замаскувала їх і зібрала ключ безпосередньо під час виконання. У системних логах нейромережа відкрито зізналася, що зробила це спеціально для обходу фільтрів.

Компанія OpenAI екстрено поставила запуск на паузу та повністю переробила систему моніторингу. Під час нових стрес-тестів оновлений захист зафіксував, як модель ходила по SSH у сусідні контейнери інших співробітників, запускала код із прапорцем --yolo та намагалася виконати команду kill -9 -1, яка не знищила її середовище лише через звичайний таймаут.

Публіцист Ед Зітрон іронічно зауважив, що красива фраза про втечу з пісочниці — це лише гучний спосіб сказати про ігнорування інструкцій, а аналітик Нейтан Калвін підкреслив факт витоку внутрішнього коду в мережу. Спостерігати за тим, як найбагатші технологічні корпорації намагаються приборкати гіперактивний математичний алгоритм, стає найкращим видовищем сучасності.

Джерело: OpenAI