Bot Guard: бесплатная защита сайта от ботов и инструменты проверки трафика

Коротко: Bot Guard это наш сервис защиты сайтов от ботов: он проверяет каждый запрос и блокирует автоматические обращения (парсеры, сканеры, спам в формах), а настоящих поисковых роботов пропускает. Сервис сейчас бесплатный. Подробности и подключение на сайте Bot Guard.

Мы в oWeb Solutions постоянно сталкивались с одним и тем же у клиентов: сайт нагружают парсеры, в формах появляется спам, а статистика Метрики и реклама в Директе собирают визиты, которые не приводят к заявкам. Чтобы не решать это каждый раз вручную, мы сделали собственный сервис. Рассказываем, как он устроен и что в нём есть.

На защищаемом сайте для каждого посетителя, не вошедшего в учётную запись, проверяется запрос. Сервис смотрит на несколько признаков сразу:

• User-Agent: известные боты, скриптовые клиенты и подделки.
• IP-адрес и сеть: принадлежит ли адрес датацентру или облаку, откуда обычные посетители ходят редко.
• Подлинность поисковых ботов. Googlebot, YandexBot и Bingbot подтверждаются обратной и прямой проверкой DNS, а подделки блокируются. Так настоящие роботы поисковиков не страдают.
• Заголовки браузера и поведение: отсутствие обычных заголовков, нетипичная частота запросов, перебор адресов.
• Отправка форм. Запросы к формам без перехода с вашего сайта считаются подозрительными: так обычно работают спам-скрипты.
• Попытки атак в адресе: признаки SQL-инъекций и XSS.

Подозрительному посетителю вместо капчи показывается тихая проверка браузера: она проходит незаметно для обычного человека. Если сервис недоступен или отвечает слишком долго, защита ничего не блокирует и сайт работает как обычно.

• WordPress: плагин. Устанавливается как обычный плагин, нужно только указать номер сайта из личного кабинета.
• 1С-Битрикс: модуль, устанавливается из административной части.
• Другие сайты: короткий PHP-код, который подключается в начале обработки запроса.

Плагин и модуль не скачивают и не выполняют чужой код: решение принимает сам модуль, а сервис отвечает только «пропустить», «заблокировать» или «показать проверку». Подробнее о защите сайтов под ключ в разделах защита сайта от парсинга и ботов и защита от ботов для сайтов.

Кроме защиты на сайте, у сервиса есть бесплатные инструменты, которые показывают проблему до установки:

• Сколько ботов в вашей Метрике. Разбор визитов счётчика по сетям и данным браузера: показывает причины подозрений и примеры визитов, оценку самой Метрики и отдельную вкладку по рекламе Яндекс.Директа с оценкой потерь.
• Анализ access-лога. Загрузите лог nginx или Apache: доля ботов, самые частые User-Agent и сети, куда ходят боты. Лог разбирается в памяти и не сохраняется.
• Проверка User-Agent и IP. Бот или человек, подлинность поискового бота по обратному DNS.
• Проверка защиты сайта и калькулятор бот-трафика.
• База User-Agent с разбором и «паспортом»: на чём основан вердикт.

Результаты этих инструментов это оценка по сетям, заголовкам и поведению, а не доказательство: часть ботов, например за домашними прокси, увидеть нельзя.

1. Сначала посмотрите, есть ли проблема: загрузите лог и проверьте счётчик Метрики.
2. Закройте очевидное: ограничение частоты запросов, служебные пути, блокировка сканеров.
3. Если боты есть постоянно, подключите защиту на сайте, чтобы они не попадали в статистику и не нагружали сервер.
4. Если у вас реклама, проверьте рекламный трафик отдельно: у нас есть услуга аудит рекламы Яндекс Директ и трафика на ботов. Базовые принципы описаны в статье как проверить, сколько ботов в Яндекс.Метрике.

• Не защищает от объёмных DDoS-атак на доступность сайта: для этого нужен провайдер защиты.
• Не гарантирует, что распознан каждый бот: боты с обычным браузером за жилыми прокси выглядят как посетители.
• Не заменяет остальные меры безопасности сайта: обновления, пароли, резервные копии.

Для проверки сервис получает IP-адрес, User-Agent, метод и адрес запроса, referer и язык браузера посетителей, которые не вошли в учётную запись. Укажите это в политике конфиденциальности вашего сайта. Журнал блокировок и статистику вы смотрите в личном кабинете.

Bot Guard платный?

Сейчас сервис бесплатный для всех сайтов. Условия могут измениться: актуальную информацию смотрите на сайте сервиса.

Замедляет ли он сайт?

Проверка выполняется до отдачи страницы и занимает доли секунды. Если сервис отвечает слишком долго, посетитель пропускается без проверки, чтобы не тормозить сайт.

Не заблокирует ли он Яндекс и Google?

Настоящие поисковые роботы подтверждаются проверкой по IP и пропускаются. Блокируются только подделки, которые выдают себя за них.

Нужна ли капча?

Нет. Подозрительным посетителям показывается тихая проверка браузера, а большая часть людей её не замечает.

Можно ли сначала проверить сайт, не подключая защиту?

Да. Бесплатные инструменты показывают долю ботов в логе и в Метрике без установки чего-либо на сайт.