Claude від Anthropic заблокував спроби створити біологічну зброю
Майбутнє, про яке ми мріяли, виявилося трохи смертельнішим. Anthropic звітує про те, як їхній AI Claude ледь не став помічником для виведення нових вірусів. Схоже, людство просто не може втриматися від спокуси погратися в бога за допомогою чат-бота.
Компанія Anthropic повідомила, що зупинила кілька спроб дослідників використати їхні передові моделі для розробки біологічної зброї. Проблема в тому, що AI не завжди бачить різницю між законною наукою та створенням патогенів. В одному з випадків вчений намагався отримати допомогу у написанні гранту на дослідження вірусу Чикунгунья, але з прихованим запитом на мутації, що роблять вірус небезпечнішим для піддослідних тварин.
Окрім біології, Claude використовували для проектування звичайного озброєння — від дронів до ракетних систем. За даними керівника відділу кіберзагроз Джейкоба Кляйна , запити надходили з Китаю, Росії та Ємену, попри всі наявні блокування. Користувачі майстерно маскували свої цілі, вдаючи з себе звичайних науковців, щоб обійти фільтри безпеки.
Це ідеальна ілюстрація того, як технологічний прогрес наздогнав наші моральні гальма. Коли інструмент стає достатньо потужним, щоб синтезувати вакцину, він автоматично стає зброєю масового знищення, що лежить прямо в кишені у кожного. Залишається лише сподіватися, що наступний "сценарій судного дня" не буде запущений через випадковий промпт у вікні чату.
Джерело: New York Times
Коментарі
Допоможи покращити наступну версію: Додавай контекст або пропонуй виправлення. Після AI-перевірки коментарі можуть отримати бали для переписування. Перевірка й оновлення потребують часу; повна шкала не гарантує нової версії.