Лише 2% трафіку Git ядра Linux генерують живі люди

Адміністратор інфраструктури kernel.org Костянтин Рябцев опублікував аналітику, згідно з якою близько 98% усіх запитів до вебсерверів репозиторіїв Linux надходять від автоматичних скраперів і ботів. Сервіс git.kernel.org щодня обробляє понад 6 мільйонів запитів до комітів, перетворюючи базову інфраструктуру відкритого коду на безкоштовну базу тренувальних даних.

Майже 66% паразитного трафіку наразі відсікає захисна система Anubis, яка змушує клієнтів обчислювати хеш SHA-256 через JavaScript перед наданням доступу. Проте третина запитів успішно долає цей криптографічний бар'єр, і більшість із них виявляється вкрай винахідливими скриптами, а не реальними розробниками.

Замість того, щоб один раз завантажити історію проєкту через звичайний git clone, боти генерують мільярди запитів через вебінтерфейс, скануючи випадкові старі гілки. Для обходу блокувань вони використовують мільйони домашніх та мобільних IP-адрес через ботнети або сумнівні браузерні розширення, надсилаючи лише по кілька запитів з однієї адреси.

Наразі від 14 до 16 процесорних ядер із 90 наявних на п'яти основних серверах зайняті виключно рендерингом сторінок для роботів. Через це адміністратори проєкту змушені вимикати ресурсомісткі функції, прибирати навігаційні посилання та урізати анонімний вебдоступ для звичайних користувачів.

Інженерам доводиться власноруч ламати зручність головного відкритого репозиторію планети лише тому, що творці сучасних скраперів так і не навчилися користуватися базовою консоллю.

Джерело: kernel.org