Robots.txt для AI-краулеров: зачем настраивать в 2025+

К 2025 году количество AI-краулеров, сканирующих веб, превысило число традиционных поисковых роботов. GPTBot, ClaudeBot, PerplexityBot, Applebot-Extended, Google-Extended — каждый из них может заходить на сайт с разными намерениями: одни собирают контент для поискового индекса AI (например, Perplexity или Bing AI), другие — для обучения больших языковых моделей (LLM), таких как ChatGPT или Claude. Если ваш файл robots.txt не различает эти цели, вы рискуете либо потерять трафик из AI-поиска, либо невольно отдать свой контент для обучения моделей-конкурентов.

Традиционный robots.txt предполагает, что все краулеры ходят на сайт для индексации с целью выдачи в поисковых результатах. Но AI-экосистема разделилась:

• Краулеры для обучения (training crawlers) — например, GPTBot, ClaudeBot, Google-Extended. Они загружают страницы, чтобы передать данные в алгоритмы машинного обучения. После обработки ваш текст может стать частью модели, и вы не получите ни трафика, ни ссылки.
• Краулеры для поискового индекса AI (search/retrieval crawlers) — например, PerplexityBot, Applebot (обычный), некоторые боты Bing. Они индексируют контент для ответов в реальном времени с указанием источника. Такие запросы могут приносить целевых посетителей.

Один и тот же бот может иметь два user-agent: один для обучения, другой для поиска. Например, у Apple есть Applebot (поиск) и Applebot-Extended (обучение). Google — Googlebot (поиск) и Google-Extended (обучение). Если вы пропишете запрет для Applebot, то заблокируете оба варианта — и полезный трафик, и нежелательное обучение. Правильная стратегия — разрешить поискового бота и закрыть extended-версию.

Вот список основных краулеров, которые стоит учитывать в robots.txt в 2025+:

• GPTBot — обучение ChatGPT. User-Agent: GPTBot. Для поиска ChatGPT пока не использует отдельного краулера.
• ClaudeBot — обучение Claude от Anthropic. User-Agent: ClaudeBot.
• PerplexityBot — поиск и ответы Perplexity. User-Agent: PerplexityBot. Perplexity не имеет отдельного extended-бота, поэтому запрет блокирует и поиск, и обучение.
• Applebot-Extended — обучение Apple Intelligence. User-Agent: Applebot-Extended. Обычный Applebot используется для поиска.
• Google-Extended — обучение моделей Google (Gemini). User-Agent: Google-Extended. Обычный Googlebot — для поиска.
• Amazonbot — обучение моделей Amazon (Alexa, реклама).
• cohere-ai — обучение Cohere.
• Bytespider — обучение ByteDance (TikTok).

Шаг 1. Определите стратегию

Решите, хотите ли вы:

• Разрешить все AI-краулеры — если вам важно присутствие в AI-поиске и вы не боитесь, что контент уйдёт на обучение. Риск: конкуренты могут использовать ваши тексты в своих моделях.
• Запретить только обучение — оптимальный вариант. Разрешаете PerplexityBot, Applebot, Googlebot, но блокируете GPTBot, ClaudeBot, Applebot-Extended, Google-Extended.
• Запретить все AI-краулеры — если контент строго конфиденциален. Но тогда вы теряете трафик из AI-поиска.

Шаг 2. Пропишите правила

Пример файла robots.txt, который разрешает поисковых AI-ботов и блокирует обучение:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot
Allow: /

User-agent: Googlebot
Allow: /

Обратите внимание: PerplexityBot не разделяет обучение и поиск, поэтому если вы хотите получать трафик из Perplexity, его нужно разрешить. Если же вы против любого AI-сканирования — закройте и его.

Шаг 3. Проверьте текущие настройки

Чтобы убедиться, что ваш robots.txt обрабатывается корректно для всех AI-краулеров, используйте специализированный инструмент. Мы подготовили бесплатный инструмент «Robots.txt для AI-краулеров» oWeb Solutions, который проверяет файл на правила для 8 AI-краулеров: GPTBot, ClaudeBot, PerplexityBot, Applebot-Extended, Google-Extended, Amazonbot, cohere-ai, Bytespider. Инструмент анализирует, какие директивы у вас прописаны, и подсвечивает, где доступ разрешён или запрещён, отдельно для обучения и поиска.

Шаг 4. Мониторьте логи сервера

Даже если вы всё настроили, некоторые AI-краулеры могут игнорировать robots.txt (хотя по спецификации должны). Регулярно проверяйте логи на предмет запросов от GPTBot или ClaudeBot. Если видите нежелательное сканирование — добавьте блокировку на уровне .htaccess или nginx.

Главное различие — в цели использования данных:

• Обучение модели (training): краулер скачивает страницу, контент попадает в датасет, на котором обучается нейросеть. Ваш текст становится частью внутренних знаний модели. Пользователь, задавая вопрос, получает ответ без ссылки на ваш сайт. Вы не получаете трафик, но ваш контент используется коммерчески.
• Поисковый индекс AI (retrieval-augmented generation, RAG): краулер индексирует страницу, и когда пользователь задаёт вопрос, AI-поисковик находит релевантный фрагмент и показывает его с указанием источника (ссылка). Клик по ссылке ведёт на ваш сайт — это прямой трафик.

Пример: если вы владелец интернет-магазина, и GPTBot обучится на ваших описаниях товаров, ChatGPT сможет рекомендовать их без упоминания вас. Если же PerplexityBot проиндексирует те же описания, пользователь Perplexity увидит ваш товар с кнопкой перехода на сайт. Разница очевидна.

• Запрет всех ботов через User-agent: * — это заблокирует и полезных AI-краулеров, и обычных поисковых роботов. Лучше точечно запрещать конкретные user-agent.
• Игнорирование extended-версий — многие вебмастера прописывают правила только для GPTBot, забывая про Applebot-Extended или Google-Extended. В результате эти боты продолжают скачивать контент для обучения.
• Разрешение всех AI-краулеров без разбора — вы отдаёте данные на обучение всем моделям, включая конкурентные.
• Неиспользование кэша — AI-краулеры могут запрашивать одни и те же страницы десятки раз. Настройте кэширование, чтобы снизить нагрузку.

В 2025+ настройка robots.txt для AI-краулеров — не опция, а необходимость. Разделяйте доступ для обучения и поискового индекса: разрешайте ботов, которые приносят трафик (PerplexityBot, Applebot, Googlebot), и блокируйте тех, кто использует ваш контент для обучения (GPTBot, ClaudeBot, Applebot-Extended, Google-Extended). Проверяйте настройки с помощью специализированных инструментов и регулярно анализируйте логи. Так вы сохраните контроль над своим контентом и не упустите аудиторию из AI-поиска.