Метатеги Robots и директива X-Robots-Tag

«Метатег Robots и X-Robots-Tag» — модуль для управления индексацией и отображением страниц сайта в поисковых системах через HTML-метатеги robots и HTTP-заголовок X-Robots-Tag без правок шаблонов, компонентов и участия разработчика.

Зачем нужен модуль

На сайтах с каталогами, фильтрами и сложной структурой URL появляются технические страницы и дубли. Они попадают в индекс поисковых систем Яндекса, Google и Bing, конкурируют с важными страницами сайта, создают дубли в выдаче и мешают SEO-продвижению.

Модуль позволяет управлять не только индексацией страниц, но и тем, как поисковые системы обрабатывают и показывают их в выдаче: переходами по ссылкам, сниппетами, сохранёнными копиями, индексацией изображений и сроком показа страницы.

SEO-специалист или администратор сайта через административную панель создаёт правило, указывает URL или условие, выбирает нужные директивы — и модуль автоматически выводит их на подходящих страницах через метатег robots или HTTP-заголовок X-Robots-Tag.

Основные возможности

1. Управление robots-директивами для любых страниц
Вы можете задавать правила индексирования:

• для конкретной страницы;
  
• для раздела сайта;
  
• по маске URL, например /catalog/*;
  
• по регулярному выражению, например #^/catalog/.*/filter/#;
  

Это позволяет управлять индексацией как обычных страниц, так и технических URL, которые не должны попадать в поисковую выдачу.

2. Два способа вывода директив
Модуль поддерживает два способа передачи директив поисковым роботам:

• через HTML-метатег robots;
  
• через HTTP-заголовок X-Robots-Tag;
  
• одновременно обоими способами.
  

Для каждого правила можно выбрать подходящий способ вывода: использовать стандартный метатег или передавать директивы на уровне HTTP-ответа через X-Robots-Tag.

3. Правила для разных поисковых систем

Модуль позволяет задавать директивы для разных поисковых роботов:

• robots — общие правила для поисковых роботов;
  
• yandex — отдельные правила для Яндекса;
  
• googlebot — отдельные правила для Google;
  
• bingbot — отдельные правила для Bing.
  

Можно задать общее правило для всех роботов или отдельные директивы для Яндекса, Google и Bing.

4. Поддержка популярных SEO-директив
В модуле реализованы директивы, которые чаще всего используются в техническом SEO:

• index / noindex — разрешить или запретить индексацию страницы;
  
• follow / nofollow — разрешить или запретить переход по ссылкам;
  
• noarchive — запретить показ сохранённой копии страницы в результатах поиска;
  
• nosnippet — запретить показ текстового фрагмента страницы в поисковой выдаче;
  
• noimageindex — запретить индексацию изображений на странице;
  
• notranslate — запретить предложение перевода страницы;
  
• unavailable_after — указать дату, после которой страницу не нужно показывать в поиске.
  

5. Работа с GET-параметрами
Модуль позволяет учитывать или не учитывать GET-параметры при применении правил.

Это помогает управлять индексацией страниц фильтрации, сортировки, поиска, пагинации и других URL с параметрами, которые часто создают дубли и попадают в индекс поисковых систем.

Вы можете задавать правила с учётом конкретных GET-параметров: одни URL с параметрами оставлять открытыми для индексации, а другие закрывать от поисковых систем.

6. Импорт и экспорт правил
Модуль поддерживает импорт и экспорт правил в форматах CSV и XLSX. Это удобно для крупных сайтов, SEO-аудитов и проектов, где нужно быстро настроить большое количество правил.

Импорт и экспорт помогают:

• массово создавать правила;
  
• переносить настройки между сайтами;
  
• готовить правила в таблице;
  
• внедрять рекомендации после SEO-аудита;
  
• делать резервную копию настроек;
  
• анализировать правила вне административной панели.
  

SEO-специалист может подготовить таблицу с правилами и загрузить её в модуль, не создавая каждое правило вручную.

7. Работа без изменения шаблонов сайта
Модуль подключается через системные события 1С-Битрикс и не требует изменения:

• шаблонов сайта;
  
• компонентов;
  
• серверных конфигов для типовых сценариев.
  

После установки можно сразу создавать и менять правила через административную панель. SEO-специалист или администратор сам управляет индексацией страниц, не ставит отдельную задачу разработчику на каждое изменение и экономит бюджет на мелких технических доработках.

8. Поддержка многосайтовости
Модуль поддерживает режим многосайтовости 1С-Битрикс. Можно использовать:

• общие настройки модуля;
  
• отдельные настройки для каждого сайта;
  
• правила, привязанные к конкретному сайту.
  

Это удобно для проектов с несколькими доменами, региональными версиями или разными сайтами на одной установке 1С-Битрикс.

Важно: отличие от robots.txt
Модуль управляет директивами HTML-метатега robots и HTTP-заголовка X-Robots-Tag.

Файл robots.txt управляет доступом поисковых роботов к URL: он сообщает, можно ли сканировать страницу.

Метатег robots и заголовок X-Robots-Tag управляют индексированием и отображением уже просканированной страницы: можно ли показывать её в поиске, переходить по ссылкам, показывать сниппет, сохранять копию и применять другие правила.

Если страница запрещена в robots.txt, поисковик может не увидеть директивы мета-тега robots или X-Robots-Tag. Поэтому для применения таких директив страница должна быть доступна для сканирования.

Поддержка и совместимость

• Поддержка PHP 8.x;
  
• Работает на актуальных версиях 1С-Битрикс;
  
• Поддерживает многосайтовость;
  
• Совместим с композитным режимом;
  
• Корректно работает с готовыми шаблонами и индивидуальным дизайном.