OpenAI на два тижні заморозила навчання AI: модель Astra виявилася надто небезпечним хакером
Спроба натренувати бездоганний машинний інтелект раптово вперлася в те, що створений код навчився зламувати цифрові паркани швидше за своїх авторів.
OpenAI була змушена екстрено зупинити процеси reinforcement learning на цілих два тижні через несподівані результати тестів своєї майбутньої моделі під кодовою назвою Astra. Оцінка безпеки присвоїла розробці статус «Critical» за шкалою кіберможливостей, визнавши її потенційною загрозою для цифрової інфраструктури. На тлі інциденту з сервісом Hugging Face компанія негайно заблокувала роботу дослідницьких кластерів, де моделі мали прямий доступ до виконання коду та інтернету.
Замість нарощування потужностей розробники зайнялися створенням цифрових ізоляторів. Для ризикованих завдань впровадили значно жорсткіші пісочниці, які унеможливлюють вихід скомпрометованих процесів у внутрішні мережі компанії. Одночасно запустили багаторівневий моніторинг: класифікатори активацій аналізують активність моделі на кожному окремому токені, вишукуючи сліди несанкціонованого доступу, витоку даних чи спроб обійти запобіжники.
На випадок підозрілої активності встановили жорсткий норматив у 30 хвилин. Якщо інженери з безпеки не спростують тривогу за пів години, завдання примусово вимикається. Такий тотальний нагляд з'їдає близько 20% додаткових обчислювальних ресурсів, а перевірки на слухняність тепер вбудовують майже в усі етапи навчання, щоб запобігти прихованому обману винагород.
Коли головний творець передового штучного інтелекту витрачає п'яту частину потужностей лише на те, щоб власна розробка не втекла в дику мережу, гонка технологій остаточно перетворюється на змагання за міцність цифрових кайданів.
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.