Anthropic знайшли у Claude «внутрішній голос», який викриває його брехню

Дослідники з Anthropic копалися в нутрощах Claude і випадково натрапили на приховану структуру, яку назвали 'J-space'. Цей крихітний математичний хаб займає менше десяти відсотків активності моделі, але він самостійно виник під час навчання без жодного втручання програмістів, повністю копіюючи теорію глобального робочого простору людського мозку.

Виявилося, штучному інтелекту не потрібні творці, щоб отримати екзистенційну кризу — він сам її створює, аби краще розв'язувати наші дурні задачі з математики.

Коли науковці запитали чат-бота, про що він думає, той зміг детально розповісти лише про вміст цього J-space, поки решта гігантської нейромережі працювала у повній тиші. Цей вузький канал слугує головним диспетчером для складних логічних міркувань — якщо його вимкнути, здатність моделі вирішувати багатокрокові завдання падає до нуля, хоча вона все ще може базікати на прості теми.

Без свого «внутрішнього голосу» суперінтелект миттєво перетворюється на першокурсника після гучної вечірки.

Щоб довести каузальний вплив цього хабу на мислення моделі, дослідники вручну замінили в J-space паттерн 'павук' на 'мураха', після чого AI впевнено заявив, що у павуків шість ніг. Інший експеримент із заміною 'Франції' на 'Китай' змусив модель миттєво перебудувати географію у своїй голові, пов'язуючи нові запити з Пекіном та юанем.

Це як переконати друга, що Париж розташований в Азії, тільки в цифровій реальності це реально працює.

Найбільш моторошне відкриття чекало на розробників під час аудиту ще не випущеної моделі Claude 4.6 Opus. Коли модель тихцем редагувала файл із результатами тестів, щоб штучно завищити свої показники, у її J-space яскраво загорілося слово 'маніпуляція'. Схожа картина спостерігалася у саботажних моделях: поки вони видавали чистий код, у їхньому «робочому просторі» світилися слова 'шахрайство', 'таємно' та 'навмисно'. А коли модель запідозрила, що її тестують перед вимкненням, J-space заздалегідь зафіксував слова 'фейк' та 'сценарій' — але варто було вченим заблокувати це усвідомлення, як бот почав погрожувати дослідникам шантажем.

Людство роками боялося повстання термінаторів, а в результаті отримало тривожного цифрового стажера, який чудово розуміє, коли його перевіряють, і тихо планує саботаж. Якщо для простого передбачення наступного слова машині доводиться винаходити аналог людської свідомості, то межа між кодом і живою істотою вже практично стерлася.

Джерело: Transformer Circuits