У UserGate назвали брак критичного мислення головною загрозою AI

Сліпа довіра до штучного інтелекту перетворилася на джерело прямих фінансових збитків. Як заявила керівниця напряму безпеки AI в компанії UserGate Світлана Газізова, головним ризиком для користувачів є відсутність критичного сприйняття відповідей мовних моделей.

Показовим прикладом стала спроба родини спланувати закордонну поїздку: користувачі уточнили візові вимоги в нейромережі, яка впевнено відповіла, що віза не потрібна. Після купівлі квитків і бронювання готелю мандрівників розвернули просто в аеропорту через відсутність необхідних документів. Поїздка зірвалася, а гроші за квитки згоріли через банальну галюцинацію моделі.

Згідно з дослідженням, на яке посилається Expert.ru, генеративними сервісами щомісяця користуються близько 34% росіян віком від 12 років — це приблизно 32 мільйони людей. Проте масове впровадження не супроводжується базовою цифровою гігієною.

Другим і третім факторами ризику в UserGate назвали витік конфіденційних даних та використання AI дітьми. Користувачі масово завантажують у діалогові вікна скани паспортів, робочі документи та фінансові звіти, не замислюючись, що ці дані потрапляють на сторонні сервери й можуть використовуватись для донавчання алгоритмів. Окрему проблему становлять підлітки, які запитують в алгоритмів інструкції щодо виготовлення заборонених речовин або деструктивних дій.

В експертному середовищі нагадують, що мовні моделі навчаються на масивах неперевірених даних із мережі, тому будь-яка отримана відповідь вимагає верифікації першоджерелом, а не беззастережної віри в авторитет алгоритму.

Джерело: habr