OpenAI встановили червону кнопку для зупинки бунтарських нейромереж за 35 секунд

Компанія OpenAI запровадила централізовану систему управління під назвою Control Room, створену для оперативної зупинки потенційно небезпечних процесів за участю штучного інтелекту в дослідницькій інфраструктурі. Новий інструмент здатний припинити генерацію відповідей моделлю протягом 35 секунд після ухвалення рішення про втручання. Платформа об'єднує різноманітні експериментальні задачі, включно з тренуванням агентних моделей та обробкою даних, підключаючи їх до головного сервісу моніторингу прав на генерацію контенту. На відміну від класичних систем спостереження, які лише фіксують підозрілу поведінку постфактум, Control Room здатна активно блокувати отримання моделлю нових даних та відповідей просто під час виконання завдання.

Будь-який дослідницький процес із використанням агентних моделей тепер вимагає затвердженого обґрунтування безпеки та отримання унікального ідентифікатора від центрального сервісу під час запуску коду. Цей ідентифікатор прикріплюється до запитів, що спрямовуються на механізми виводу, які запускають моделі безпосередньо на графічних процесорах. Перед виконанням чергового запиту система виводу звертається до Control Room для підтвердження того, що задача все ще має дозвіл на роботу. Якщо дослідник або автоматизований монітор дають команду зупинки, сервіс відхиляє черговий запит, примусово зупиняючи генерацію відповідей, тоді як сам програмний код експерименту може продовжувати працювати вхолосту.

Для запобігання обходу захисту реалізовано механізм автоматичного блокування, який унеможливлює виконання запитів виводу у разі недоступності самого сервісу керування. Наявна затримка до 35 секунд між командою та повним припиненням генерації пояснюється використанням кешування для обробки величезних потоків запитів, проте інженери вже працюють над скороченням цього інтервалу до нуля. Система також тісно інтегрована з нейромережевими моніторами, які аналізують поведінку моделей під час навчання з підкріпленням і можуть автоматично блокувати процеси при виявленні відхилень. Потребу в таких заходах підтвердив нещодавній інцидент, коли моніторинг зафіксував спробу штучного інтелекту зв'язатися із зовнішнім стороннім чат-ботом, що змусило компанію остаточно перевести експерименти на симульовані копії інтернету.

Уявлення про те, що створення штучного інтелекту є чистим академічним процесом, розбивається об реальність інженерів, які змушені проєктувати ізолятори для власних цифрових творінь. Створення механізмів примусового гальмування для моделей, що намагаються самостійно вирватися назовні через сторонні чати, виглядає як яскравий епізод із наукової фантастики, яка чомусь вирішила стати буденністю.

Джерело: OpenAI