Великі розробники AI узгодили єдині правила robots.txt на 2027 рік
Google, OpenAI, Microsoft та Anthropic готують єдиний маркер політики у robots.txt для керування навчанням моделей із 2027 року.
Компанії Google, OpenAI, Microsoft та Anthropic оголосили про плани впровадити єдиний механізм керування контентом для машинного навчання у файл robots.txt. Рішення базується на наработках робочої групи AIPREF у межах Інженерного ради Інтернету (IETF).
Замість окремих інструкцій для кожного розробника власники сайтів зможуть використовувати спеціальний маркер політики. Якщо сайт забороняє навчання цим маркером без окремої директиви Google-Extended, пошуковик інтерпретуватиме це як повну заборону. Наявні інструменти для окремих компаній продовжать працювати, дозволяючи точково уточнювати правила.
Ініціатива відповідає положенням Кодексу практики для постачальників моделей загального призначення в межах європейського закону EU AI Act, де robots.txt визнається основним способом вираження вподобань веб-ресурсів. Сайти, які дозволяють використання через Google-Extended, зможуть отримувати перетрафік завдяки механізму обґрунтування у застосунках Gemini.
Впровадження нового інструменту розпочнеться у 2027 році. Раніше Microsoft також представила правила, що дозволяють окремо забороняти навчання моделей для Bing та Copilot із збереженням сторінок у видачі.
Джерело: habr
Коментарі
Допоможи покращити наступну версію: Додавай контекст або пропонуй виправлення. Після AI-перевірки коментарі можуть отримати бали для переписування. Перевірка й оновлення потребують часу; повна шкала не гарантує нової версії.