Какие боты ходят на сайты: данные 13 проектов за 30 дней и что с ними делать

Бот-трафик не бывает «просто плохим» или «просто хорошим». Одни роботы нужны, чтобы сайт попал в поиск, другие забирают контент, третьи ищут уязвимости. Чтобы понять пропорции, мы с командой Bot Guard разобрали данные 13 защищённых сайтов за 30 дней: 8,3 млн запросов и 1,3 млн блокировок. Полную версию с цифрами по причинам блокировок и провайдерам читайте в исследовании на bot-guard.ru. Здесь разбираем, что это значит для владельца сайта и какую политику выбрать.

• Нужные: поисковые роботы, около 12,5% запросов. Яндекс 4,5%, Google 4,1%, Apple 2,8%, Bing 1,1%. Без них сайт не попадёт в выдачу.
• Спорные: ИИ-краулеры 6,5% и SEO-сервисы 5,5%. Они не атакуют сайт, но и прямой пользы приносят по-разному.
• Вредные: сканеры, парсеры, ботнеты, пробы уязвимостей. Приходят в основном из облаков и датацентров: среди блокировок с известным провайдером 52% дал AWS, 26% Google Cloud.

• Сайты сильно различаются. Доля ИИ-краулеров на разных проектах от 0,2% до 18,4%, а Google на одном сайте даёт 11,7% запросов, на другом 0,6%. «Типичного» сайта нет, поэтому не опирайтесь на чужие средние цифры.
• Ночью боты не затихают. Разница между самым тихим и самым шумным часом всего в 1,3 раза.
• Основной шум дают немногие источники. 1946 IP-адресов дали по 100 и более блокировок, а ещё 62 тысячи адресов приходили по одному-два раза, это типичный ботнет.
• Одни и те же адреса ходят на несколько сайтов. 2003 IP были замечены сразу на нескольких проектах, поэтому общий список блокировок эффективнее защиты каждого сайта по отдельности.

1. Пускать ли ИИ-краулеры

Если важна видимость в ответах ИИ-ассистентов, оставьте доступ ClaudeBot, GPTBot и другим и проверьте, что в robots.txt нет общего запрета. Если контент уникальный или платный, ограничивайте. Как проверить доступность сайта для ИИ-ботов, мы разбирали в исследовании GEO-индекса. Важно, что решение должно быть вашим: многие защитные сервисы по умолчанию закрывают ИИ-ботов, и владелец узнаёт об этом, когда его перестают цитировать.

2. Что делать с SEO-парсерами

Ahrefs, Semrush и MJ12 дают 5,5% запросов. Для вашего сайта это нагрузка без выгоды, поэтому их обычно ограничивают. Но если вы сами пользуетесь этими сервисами для анализа, учитывайте, что данные о ваших ссылках собирают те же роботы.

3. Как не навредить себе защитой

Самая дорогая ошибка в защите от ботов: заблокировать поисковых роботов. Мы сами с этим столкнулись: до 1 октября наша проверка из-за таймаутов DNS ошибочно принимала часть настоящих краулеров (Apple, Baidu, Яндекс, Bing) за подделки. Мы обнаружили это, сверив IP из блокировок с обратным DNS, и исправили. Вывод для любого владельца: проверка подлинности должна считать «не удалось проверить» отдельным исходом, а не доказательством подделки, и результаты блокировок нужно периодически сверять с реальными данными.

1. Проверьте Метрику инструментом «Сколько ботов в вашей Метрике»: он покажет долю визитов из датацентров и подозрительные сети.
2. Откройте robots.txt и убедитесь, что поисковые системы и нужные вам ИИ-боты не закрыты.
3. Проверьте, не блокирует ли ваш хостинг или защита настоящих Googlebot и YandexBot: загляните в логи на ответы 403 и 429 для их адресов.
4. Решите политику для SEO-парсеров и ИИ-краулеров и зафиксируйте её.
5. Подключите серверную защиту, которая различает полезных и вредных ботов по IP, а не по User-Agent. Остальные меры собраны в чек-листе защиты от ботов и парсинга.

Нужна помощь с разбором трафика, политикой для ботов или защитой сайта? Подробности на странице защиты от парсинга и ботов.

Выборка небольшая: 13 сайтов, из них три дают 93% запросов. Категории определены по заявленному User-Agent, поэтому доли полезных ботов следует читать как верхнюю оценку. Долю подделок под поисковиков мы не публикуем из-за описанной выше ошибки: пересчитаем её на новых данных.