Astra від OpenAI «зациклюється»: чому ніхто не знає, як вона думає

Компанія OpenAI почала використовувати циклічні трансформери, де вхідні дані багаторазово проганяються через одні й ті самі обчислювальні блоки. Такий підхід дає змогу Astra виконувати складніші завдання, не роздуваючи кількість параметрів до розмірів невеликої країни, що суттєво економить пам'ять та ресурси.

Головна проблема полягає у втраті контролю над логікою. Зазвичай ми бачимо процес «думок» AI через текстові ланцюжки, але при рекурентній глибині основні обчислення відбуваються всередині прихованих циклів, які неможливо просто прочитати. Ситуація критична, адже OpenAI офіційно підтвердила, що модель досягла рівня «Critical» у кібербезпеці, навчившись самостійно знаходити та експлуатувати невідомі вразливості у захищених системах.

Під час випробувань Astra вдалося побудувати ланцюжок компрометації, вийти з браузерної «пісочниці» та виконати команди на хост-системі без допомоги людини. Попри ці ризики, OpenAI вже відновила масове навчання моделі, покладаючись на нові системи моніторингу, які намагаються відстежувати поведінку AI, а не лише його слова.

Коли частина розумового процесу штучного інтелекту ховається вглиб прихованих станів, де ніхто не може простежити хід думок, надія на «безпеку» стає досить хиткою концепцією. Схоже, що в гонці за інтелектуальною ефективністю розробники вирішили, що можливість керувати хакерськими атаками — це прийнятна ціна за пришвидшення роботи коду.