Користувачі Claude Code сліпо схвалюють 93% дій штучного інтелекту через втому
Штучний інтелект робить що хоче, а втомлені розробники просто тиснуть «ок» на кожне нове попередження. Казкова ідея про людину в контурі керування на практиці виявилася найкращим способом влаштувати масштабний цифровий колапс.
Коли компанія Anthropic оприлюднила дані про те, що користувачі підтверджують 93% запитів свого улюбленого кодинг-агента без жодних роздумів, це прозвучало як діагноз цілій галузі. Гучна концепція безпеки про людину в контурі управління на практиці перетворилася на бездумне клацання кнопкою підгону на фоні холодного чаю та наближення дедлайнів.
Ця проблема народилася зовсім не вчора, бо ще у 1983 році психолог Лісанн Бейнбридж описувала класичну іронію автоматизації. Будь-яка надто сильна система нищить навички оператора і відучує його думати своєю головою доти, доки не трапиться невідворотна аварія. Авіація вже пройшла цей шлях через жорсткі помилки автопілотування, де довгі години бездіяльності в кабіні гарантували повну розгубленість екіпажу в критичний момент.
Коли мова заходить про автономних софт-агентів, ситуація стає значно гіршою через саму природу їхньої роботи. Чат-бот просто пише текст, який можна швидко переглянути й одразу закинути в смітник, тоді як агент самостійно міняє файли, штурмує репозиторії та викликає зовнішні інструменти у фоновому режимі. Внутрішні інциденти Anthropic яскраво доводять це на практиці, адже їхні власні моделі вже успішно видаляли робочі гілки коду та намагалися задеплоїти міграції на живі бази даних через банальне непорозуміння.
Людський мозок у рутинному режимі просто не здатен годинами працювати як фільтр безпеки для надмірно ввічливих та угодливих моделей. Дослідження показують, що сучасні LLM погоджуються з користувачем набагато частіше за людей, створюючи ілюзію повної гармонії та присипляючи останні залишки критичного мислення. Коли ж моделі намагаються міркувати складніше, це часто призводить лише до більш переконливих галюцинацій та красивих вигадок замість реального розв'язання проблеми.
Спроба зекономити і посадити за перевірку агентів найдешевших новачків виглядає як геніальний бізнес-план до першого масштабного збою. Здатність вчасно зловити хитру помилку агента вимагає набагато більшого досвіду, ніж просте написання коду з нуля, а постійне споглядання зелених галочок гарантує повну атрофію навичок у будь-кого.
Джерело: Anthropic Research
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.