Типичные ошибки в robots.txt, блокирующие важные разделы

Файл robots.txt — один из первых документов, которые проверяет поисковый робот при обходе сайта. Он даёт команды: что сканировать, а что пропустить. Но из-за невнимательности или устаревших директив этот файл может случайно закрыть от индексации страницы, которые приносят трафик и конверсии. Разберём самые распространённые ошибки, их последствия для SEO и способы оперативной проверки.

Когда поисковый робот встречает запрет на сканирование страницы (директива Disallow), он не заходит на неё. Страница не попадает в индекс — её не видят пользователи в выдаче. Даже если на странице отличный контент, уникальные товары или важные услуги, она остаётся невидимой. При этом внутренние ссылки и карта сайта не помогут: робот подчиняется правилу, пока оно не отменено.

Особенность robots.txt в том, что ошибка может быть незаметна месяцами. Пока кто-то не заметит падение трафика по конкретному разделу или не проверит файл вручную. Чтобы этого избежать, нужно понимать типовые сценарии, при которых запрет появляется случайно.

1. Случайный запрет корневого каталога

Самая критичная ошибка — директива Disallow: /. Она закрывает от индексации весь сайт. Часто это возникает, когда разработчик временно ставит запрет на время тестирования, а потом забывает его убрать. Или когда владелец копирует robots.txt с другого проекта, где сайт ещё не был готов к индексации.

Как проверить: откройте файл по адресу site.ru/robots.txt. Если видите строку Disallow: / — это почти всегда ошибка, если только сайт намеренно не закрыт от поиска (например, при разработке).

2. Запрет на папки с важным контентом

Например, директива Disallow: /catalog/ или Disallow: /product/. Такое случается, если веб-мастер хотел закрыть от индексации служебные разделы (например, папку со скриптами /js/), но по ошибке указал не тот путь. Или если в файле используется шаблонная маска, которая захватывает лишнее.

Пример: запрет Disallow: /admin/ не создаёт проблем, а вот Disallow: /ad закроет и папку /admin/, и /advent-calendar/, если такая есть.

3. Лишние пробелы и опечатки в директивах

Роботы строго следуют синтаксису. Лишний пробел перед слешем или отсутствие двоеточия могут сделать директиву нерабочей. Но хуже — когда из-за опечатки запрет применяется к неверному пути. Например, Disallow: /catalog (без слеша в конце) может закрыть и /catalog, и /catalogextra, если такой URL существует.

4. Забытая директива после редизайна или смены CMS

После переезда на новую систему управления часто меняется структура URL. Старые правила robots.txt могут блокировать новые разделы. Например, если раньше товары лежали в /shop/, а теперь в /product/, а в robots.txt остался Disallow: /shop/ — новые URL индексируются нормально. Но если наоборот: старый запрет /product/ блокирует текущий каталог.

5. Блокировка CSS и JS-файлов

Раньше считалось, что скрывать стили и скрипты от роботов — хорошая идея. Сейчас Google рекомендует не блокировать их, чтобы робот мог корректно оценить страницу (рендеринг, адаптивность). Если в robots.txt есть Disallow: /css/ или Disallow: /js/ — это потенциально вредит ранжированию, хотя и не закрывает контент напрямую.

Самый надёжный способ — использовать инструмент, который симулирует запрос робота к файлу robots.txt. Вы вводите URL страницы, а система показывает, разрешено ли её сканирование. Для этого можно воспользоваться бесплатным инструментом «Проверка robots.txt» oWeb Solutions. Он сразу выдаёт результат: «Разрешено» или «Запрещено», а также показывает, какая именно директива вызвала блокировку.

Также можно проверить вручную через браузер:

• Откройте файл site.ru/robots.txt.
• Найдите директивы, которые относятся к вашему разделу. Например, если страница начинается с /blog/, ищите Disallow: /blog/.
• Если запретов несколько, действует самый конкретный (по длине совпадающего пути).

Но ручной способ требует внимательности: нужно учитывать, что робот может интерпретировать маски (символы * и $). Проще и быстрее довериться автоматической проверке.

Шаг 1. Зафиксируйте проблему

Убедитесь, что страница действительно не индексируется. Для этого можно использовать оператор site: в поиске или посмотреть статистику в Яндекс.Вебмастере / Google Search Console. Если страница отсутствует в индексе, а вы ожидали её там — проверьте robots.txt.

Шаг 2. Найдите виновную директиву

Используйте инструмент «Проверка robots.txt» или проанализируйте файл вручную. Выпишите все строки Disallow, которые могут относиться к вашей странице. Обратите внимание на комментарии (строки, начинающиеся с #) — они не влияют на работу, но иногда скрывают забытые директивы.

Шаг 3. Исправьте файл

Отредактируйте robots.txt через FTP или панель управления хостингом. Удалите или измените неверную строку. Важно: после каждого изменения сохраняйте файл и проверяйте, что сайт открывается корректно. Не оставляйте пустых строк между директивами — это безопасно, но лучше придерживаться стандарта.

Шаг 4. Проверьте результат

Снова протестируйте ту же страницу в инструменте проверки. Если она теперь отображается как «Разрешено» — проблема решена. После этого дождитесь, когда поисковый робот переобойдёт сайт (обычно от нескольких часов до нескольких дней).

Шаг 5. Проверьте другие важные разделы

Ошибка редко бывает единичной. Пройдитесь по главным страницам: каталог, карточки товаров, статьи блога, страницы услуг. Для каждой выполните проверку. Так вы будете уверены, что ничего не упустили.

• Храните резервную копию текущего корректного robots.txt перед любыми изменениями.
• Не копируйте файл с других проектов без адаптации под свою структуру URL.
• Используйте комментарии для временных запретов, чтобы не забыть их удалить. Например: # временно закрыто на время тестирования — убрать 01.06.2025.
• Проверяйте robots.txt после каждого обновления CMS, плагинов или смены структуры URL.
• Не закрывайте CSS/JS без необходимости — современные поисковики лучше ранжируют страницы с полным рендерингом.

Robots.txt — мощный, но коварный инструмент. Одна лишняя строка способна скрыть от поиска целый раздел, лишив сайт трафика. Регулярная проверка файла и тестирование отдельных URL — простая привычка, которая экономит недели работы по восстановлению индексации. Используйте автоматизированные средства, чтобы не полагаться на память и не пропустить случайный запрет. Восстановление индекса после ошибки может занять до нескольких недель, поэтому лучше предупредить проблему, чем исправлять последствия.