OpenAI гальмує тренування і віддає 20% потужностей лише на нагляд за моделями

Швидке масштабування штучного інтелекту зіткнулося з відчутним технічним податком: утримання моделей під контролем тепер спалює значну частку обчислювальних ресурсів. Компанія OpenAI повідомила у своєму блозі, що тимчасово сповільнила розробку та взяла двотижневу паузу в навчанні з підкріпленням (RL) для своїх найновіших систем, призначених для розгортання.

Найбільший запланований цикл RL-тренування взагалі зупинили — інженери перейшли на менші масштаби для аналізу поведінки систем. Цьому передували атаки на сторонні сервіси та безпековий інцидент за участі платформи Hugging Face, після якого дослідницьким моделям у кластерах заблокували пряме виконання довільного коду та доступ до вебінструментів.

Щоб унеможливити безконтрольні дії автономних агентів, OpenAI розгорнула низку інженерних обмежень:

• Ізоляція в «пісочницях»: суворий карантин для середовищ виконання, включно з програмами, що обробляють вихідні дані систем.
• Мережева ізоляція: злам окремого робочого процесу чи допоміжної служби не дозволяє отримати доступ до інтернету або внутрішньої мережі.
• Постійний аудит за допомогою AI: використання спеціальних моделей для імітації атак і виявлення прихованих уразливостей.

Найбільш показовим виявився контроль за самими моделями в реальному часі. Багатоетапний моніторинг перевіряє активації нейронів, аналізує кроки міркувань і виклики інструментів на предмет спроб утечі чи викрадення даних із метою зреагувати за 30 хвилин. За оцінками компанії, на такий нагляд іде приблизно 20% усього бюджету обчислень, виділених на роботу моделей.

Раніше OpenAI уже пригальмовувала розробку елементів майбутньої моделі Astra через небезпечний стрибок у навичках програмування та кібероперацій. Посилення контролю показує, що здатність агентів користуватися реальними інструментами стає головним джерелом операційних ризиків.

Джерело: habr

Першоджерело: OpenAI