Техническое SEO

robots.txt

robots.txt — это текстовый файл в корне сайта, который предписывает поисковым роботам, какие страницы и разделы разрешено сканировать, а какие — нет. Он работает как директива, а не как технический запрет: нарушение игнорируется ботами. Файл составляется по стандарту де-факто и содержит правила для конкретных агентов (например, Googlebot или YandexBot). Основная задача robots.txt — управлять краулинговым бюджетом: не тратить время робота на служебные страницы, дубли или личные кабинеты. Это не инструмент защиты от индексации (для этого используется noindex), а способ оптимизации процесса обхода. Отсутствие файла — не ошибка, но его наличие помогает правильно распределить ресурсы поисковика и быстрее индексировать важный контент.

Что такое robots.txt и зачем он нужен

Когда поисковый робот заходит на сайт, он сначала запрашивает именно файл robots.txt — это негласное правило, которое соблюдают все крупные поисковые системы. Файл лежит в корне домена (например, site.ru/robots.txt) и представляет собой обычный текстовый документ с набором директив. Его появление связано с развитием поисковых систем в 1990-х, когда стало очевидно: без стандартизированного способа управления краулингом роботы будут бесконечно сканировать технические страницы и тратить ресурсы сервера.

Сегодня robots.txt — это скорее инструмент управления приоритетами, чем жесткая блокировка. Робот может игнорировать правила, если они конфликтуют с его алгоритмами или если сайт пытается скрыть то, что поисковик считает обязательным к сканированию (например, дубли главной страницы). Поэтому важно понимать: файл не защищает конфиденциальные данные и не гарантирует, что страница не попадет в индекс. Для исключения страниц из выдачи используется мета-тег noindex или парольная защита, а robots.txt лишь сокращает число запросов к серверу.

Как влияет на SEO и разработку

Правильно настроенный robots.txt помогает поисковикам сосредоточиться на важных разделах. Например, если на сайте есть корзина, фильтры или пагинация — их не нужно сканировать каждый раз. Закрывая их в файле, вы ускоряете обход и улучшаете индексацию главных страниц. Еще один сценарий — временная мелочь: закрыть раздел, который находится на стадии разработки, чтобы не пустить робота на черновики.

Для разработчика файл — это первая точка входа при аудите. Через него можно узнать структуру сайта и понять, что владелец считает важным. Но здесь кроется типичная ошибка: чрезмерное увлечение закрытием разделов. Если перекрыть доступ к CSS или JavaScript, робот не сможет корректно отрендерить страницу, и она потеряет в видимости для мобильной выдачи. Поэтому файл должен быть лаконичным и содержать только действительно нужные правила.

Практический пример и типичное заблуждение

Возьмем интернет-магазин. В robots.txt обычно прописывают:

User-agent: * (правило для всех роботов)
Disallow: /cart/ (не тратить время на корзину)
Disallow: /personal/ (личный кабинет)
Disallow: /search? (страницы поиска по сайту — часто дублируют другие)
Allow: /catalog/ (разрешить обход каталога)

Такой подход позволяет Google и Яндекс быстрее находить товарные карточки и не забивать индекс техническими страницами. Однако частая ошибка — думать, что если закрыть раздел в robots.txt, то он исчезнет из поиска. Это не так: поисковик может проиндексировать страницу по внешним ссылкам, даже если она закрыта. Например, если на форуме кто-то дал ссылку на страницу из /personal/, робот может добавить ее в индекс без посещения. Для полного исключения нужно ставить noindex, а про robots.txt забыть.

Еще одно заблуждение — считать, что отсутствие robots.txt — это плохо. На самом деле, если сайт небольшой и не имеет дублей, файл не обязателен. Но когда проект растет, без него начинаются проблемы: робот тратит лимит обхода на второстепенные страницы, и важные материалы индексируются медленнее. Так что правильный подход — регулярно проверять файл через инструменты веб-мастеров и своевременно обновлять правила.

← Весь глоссарий терминов