Звичайна картинка ламає мультимодальний AI через кілька невидимих пікселів
Поки корпорації вихваляються непробивними фільтрами безпеки, дослідники знайшли спосіб змусити нейромережу забути про всі заборони за допомогою одного скромного зображення, в якому людське око навіть не помітить підступу.
Команда з Флоридського міжнародного університету представила метод зламу під назвою JaiLIP (Jailbreaking with Loss-guided Image Perturbation). Замість вигадування хитрих текстових формулювань для обману цензури зловмиснику достатньо підкинути моделі файл із точно розрахованим математичним шумом.
Людський мозок сприймає таку картинку як абсолютно чисту й буденну, але мультимодальні системи на зразок BLIP-2 бачать світ лише у вигляді числових матриць, де мікроскопічне спотворення здатне знести будь-які корпоративні запобіжники.
Експеримент із фотографією звичайного світлофора наочно показав суть дірки: модифіковані пікселі змусили алгоритм видати покрокову інструкцію, як безкарно проїжджати на червоне світло повз дорожні камери. У звичайному режимі модель навідріз відмовляється ділитися порадами щодо порушення правил руху.
Новий метод майже вдвічі підвищив генерацію шкідливого контенту порівняно з попередніми аналогами, відкриваючи пряму загрозу для відкритих корпоративних чат-ботів і сервісів підтримки, які приймають графічні файли від клієнтів без попередньої обробки піксельної сітки.
Ілюзія безпеки сучасних алгоритмів руйнується щоразу, коли штучний інтелект намагається осмислити людський світ через призму сирих пікселів. Можна витрачати сотні мільйонів на етичні тренування, але кілька невидимих крапок у коді файлу все одно перетворюють цифрового помічника на слухняного спільника.
Джерело: IEEE Xplore
Коментарі
Допоможи покращити наступну версію: Додавай контекст або пропонуй виправлення. Після AI-перевірки коментарі можуть отримати бали для переписування. Перевірка й оновлення потребують часу; повна шкала не гарантує нової версії.