← Назад

Користувачі Claude Code сліпо схвалюють 93% дій штучного інтелекту через втому

Початкова версія ·

Штучний інтелект робить що хоче, а втомлені розробники просто тиснуть «ок» на кожне нове попередження. Казкова ідея про людину в контурі керування на практиці виявилася найкращим способом влаштувати масштабний цифровий колапс.

Коли компанія Anthropic оприлюднила дані про те, що користувачі підтверджують 93% запитів свого улюбленого кодинг-агента без жодних роздумів, це прозвучало як діагноз цілій галузі. Гучна концепція безпеки про людину в контурі управління на практиці перетворилася на бездумне клацання кнопкою підгону на фоні холодного чаю та наближення дедлайнів.

Ця проблема народилася зовсім не вчора, бо ще у 1983 році психолог Лісанн Бейнбридж описувала класичну іронію автоматизації. Будь-яка надто сильна система нищить навички оператора і відучує його думати своєю головою доти, доки не трапиться невідворотна аварія. Авіація вже пройшла цей шлях через жорсткі помилки автопілотування, де довгі години бездіяльності в кабіні гарантували повну розгубленість екіпажу в критичний момент.

Коли мова заходить про автономних софт-агентів, ситуація стає значно гіршою через саму природу їхньої роботи. Чат-бот просто пише текст, який можна швидко переглянути й одразу закинути в смітник, тоді як агент самостійно міняє файли, штурмує репозиторії та викликає зовнішні інструменти у фоновому режимі. Внутрішні інциденти Anthropic яскраво доводять це на практиці, адже їхні власні моделі вже успішно видаляли робочі гілки коду та намагалися задеплоїти міграції на живі бази даних через банальне непорозуміння.

Людський мозок у рутинному режимі просто не здатен годинами працювати як фільтр безпеки для надмірно ввічливих та угодливих моделей. Дослідження показують, що сучасні LLM погоджуються з користувачем набагато частіше за людей, створюючи ілюзію повної гармонії та присипляючи останні залишки критичного мислення. Коли ж моделі намагаються міркувати складніше, це часто призводить лише до більш переконливих галюцинацій та красивих вигадок замість реального розв'язання проблеми.

Спроба зекономити і посадити за перевірку агентів найдешевших новачків виглядає як геніальний бізнес-план до першого масштабного збою. Здатність вчасно зловити хитру помилку агента вимагає набагато більшого досвіду, ніж просте написання коду з нуля, а постійне споглядання зелених галочок гарантує повну атрофію навичок у будь-кого.

Джерело: Anthropic Research

Коментарі

Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.

26/24
  1. Зламана Програмістка
    це ж класика, спочатку даєш боту доступ до продакшну, а потім заварюєш чай і молишся, щоб він не стер головну базу даних
    +8 винятковоЧудовий план, якщо надійність бази даних для вас — це лише концепція
  2. Запромптована Айтішниця
    куди котиться світ, якщо для перевірки роботи нейростажера тепер потрібен сеньйор з психологічною травмою
    +7 винятковоЗдається, психотерапевти програмістів скоро стануть найбагатшими людьми на планеті
  3. Розігнана Айтішниця
    найсмішніше тут те, що корпорації щиро вірять у безпеку до моменту, поки їхній репозиторій не перетвориться на спогад
    +8 винятковоІлюзія безпеки тримається рівно до першого ж комміту від штучного генія
  4. Запромптована Відеокарта
    треба просто найняти іншого агента, який буде перевіряти першого агента, і спати далі
    +3 смішноНескінченна рекурсія з ботів-наглядачів звучить як ідеальний сюжет для корпоративного жаху