Добро пожаловать в мертвый интернет сумасшедших AI.

Точнее автономных и плохо инструктированных. :)

Если год назад, у нас был всего один гигантский пылесос от OpenAI (chatgpt), который было легко отключить инструкцией в robots.txt, то сегодня пылесосы делает кто угодно и на коленке.

В начале октября резко возросли пиковые нагрузки на мой сервер gitea, загрузка 6 ядерного процессора доходит до 15%.

Посмотрим что там. А там у нас автономные агенты, которых делали ламеры!

Левый график - часовой, с начала октября.
Правый график - минутный, с 12 числа до полудня 14го.

Появилось действительно много IP адресов, доступных одному агенту. С каждого адреса приходит всего по 2-5 запросов, но все адреса приходят за 40-50 минут.

Забудьте про вежливость и управляемость парсинга от крупных ИИ. К вам просто прибежит толпа неизвестно кого и перегрузит сервера.

Для правого графика, вот вам два топчика за два дня:

Запросов  76 441  ip адресов  31 053
User-agent: "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36"

Запросов 76 177  ip адресов 30 897 
User-agent  "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36"

Пока что, агенты пылесосят только код. Сайт вне git их не интересует. Но недалек тот день, когда это все побежит по интернет-магазинам, сайтам услуг, каталогам производств etc.

Если ваш сайт стал испытывать пиковые перегрузки и это не дудос - за вами пришел искусственный шизоинтеллект.