Как защитить сайт от ботов и парсинга: чек-лист для владельца

Часть посетителей сайта не люди. Парсеры копируют каталог и цены, боты накручивают поведенческие факторы, сканеры подбирают пароли, спам-роботы заваливают формы. Разберём, как понять, что у вас проблема, и что можно сделать без разработчика.

• в Метрике резко выросли прямые заходы с отказом 100% и временем 0 секунд;
• сервер замедляется без роста реальных заказов;
• контент и цены появляются на чужих сайтах;
• формы засыпает спам, а настоящие заявки теряются;
• в логах сервера сотни запросов с одного адреса за минуту.

• robots.txt. Это просьба, а не запрет: честные роботы её выполняют, вредоносные игнорируют.
• Блокировка только по User-Agent. Строка подделывается за секунду, бот выдаёт себя за обычный браузер.
• Капча на каждый заход. Отпугивает людей и снижает конверсию, а часть ботов её обходит.

1. В Яндекс.Метрике посмотрите источники и провайдеров: аномальная сеть заметна сразу.
2. Закройте формы дополнительной проверкой: скрытое поле-ловушка и ограничение числа отправок с одного адреса.
3. Включите на хостинге ограничение частоты запросов, если оно есть.
4. Сделайте резервную копию и держите движок сайта в актуальной версии.

Если бот-трафик системный, лучше поставить защиту, которая проверяет заход комплексно: по User-Agent, адресу и провайдеру, поведению и подтверждению настоящих поисковых роботов. Мы разработали для этого собственный сервис bot-guard.ru, подключаем его к сайтам на 1С-Битрикс, WordPress и самописных движках и настраиваем под задачу. Подробнее об услуге: защита сайта от парсинга и ботов.

На сайте bot-guard.ru в Метрике за последние 30 дней 102 прямых захода, а за предыдущие 30 дней было 6 598, почти все от ботов. Защиту мы включили на собственном сайте в это время. Подробнее читайте в статьях bot-guard: как найти роботов в Метрике и как выбрать сервис защиты.