Robots.txt для AI-краулеров: зачем настраивать в 2025+

К 2025 году количество AI-краулеров, сканирующих веб, превысило число традиционных поисковых роботов. GPTBot, ClaudeBot, PerplexityBot, Applebot-Extended, Google-Extended — каждый из них может заходить на сайт с разными намерениями: одни собирают контент для поискового индекса AI (например, Perplexity или Bing AI), другие — для обучения больших языковых моделей (LLM), таких как ChatGPT или Claude. Если ваш файл robots.txt не различает эти цели, вы рискуете либо потерять трафик из AI-поиска, либо невольно отдать свой контент для обучения моделей-конкурентов.

Почему стандартный robots.txt больше не работает

Традиционный robots.txt предполагает, что все краулеры ходят на сайт для индексации с целью выдачи в поисковых результатах. Но AI-экосистема разделилась:

Краулеры для обучения (training crawlers) — например, GPTBot, ClaudeBot, Google-Extended. Они загружают страницы, чтобы передать данные в алгоритмы машинного обучения. После обработки ваш текст может стать частью модели, и вы не получите ни трафика, ни ссылки.

Краулеры для поискового индекса AI (search/retrieval crawlers) — например, PerplexityBot, Applebot (обычный), некоторые боты Bing. Они индексируют контент для ответов в реальном времени с указанием источника. Такие запросы могут приносить целевых посетителей.

Один и тот же бот может иметь два user-agent: один для обучения, другой для поиска. Например, у Apple есть Applebot (поиск) и Applebot-Extended (обучение). Google — Googlebot (поиск) и Google-Extended (обучение). Если вы пропишете запрет для Applebot, то заблокируете оба варианта — и полезный трафик, и нежелательное обучение. Правильная стратегия — разрешить поискового бота и закрыть extended-версию.

Ключевые AI-краулеры и их user-agent

Вот список основных краулеров, которые стоит учитывать в robots.txt в 2025+:

GPTBot — обучение ChatGPT. User-Agent: GPTBot. Для поиска ChatGPT пока не использует отдельного краулера.

ClaudeBot — обучение Claude от Anthropic. User-Agent: ClaudeBot.

PerplexityBot — поиск и ответы Perplexity. User-Agent: PerplexityBot. Perplexity не имеет отдельного extended-бота, поэтому запрет блокирует и поиск, и обучение.

Applebot-Extended — обучение Apple Intelligence. User-Agent: Applebot-Extended. Обычный Applebot используется для поиска.

Google-Extended — обучение моделей Google (Gemini). User-Agent: Google-Extended. Обычный Googlebot — для поиска.

Amazonbot — обучение моделей Amazon (Alexa, реклама).

cohere-ai — обучение Cohere.

Bytespider — обучение ByteDance (TikTok).

Как настроить robots.txt для AI-краулеров

Шаг 1. Определите стратегию

Решите, хотите ли вы:

Разрешить все AI-краулеры — если вам важно присутствие в AI-поиске и вы не боитесь, что контент уйдёт на обучение. Риск: конкуренты могут использовать ваши тексты в своих моделях.

Запретить только обучение — оптимальный вариант. Разрешаете PerplexityBot, Applebot, Googlebot, но блокируете GPTBot, ClaudeBot, Applebot-Extended, Google-Extended.

Запретить все AI-краулеры — если контент строго конфиденциален. Но тогда вы теряете трафик из AI-поиска.

Шаг 2. Пропишите правила

Пример файла robots.txt, который разрешает поисковых AI-ботов и блокирует обучение:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot
Allow: /

User-agent: Googlebot
Allow: /

Обратите внимание: PerplexityBot не разделяет обучение и поиск, поэтому если вы хотите получать трафик из Perplexity, его нужно разрешить. Если же вы против любого AI-сканирования — закройте и его.

Шаг 3. Проверьте текущие настройки

Чтобы убедиться, что ваш robots.txt обрабатывается корректно для всех AI-краулеров, используйте специализированный инструмент. Мы подготовили бесплатный инструмент «Robots.txt для AI-краулеров» oWeb Solutions, который проверяет файл на правила для 8 AI-краулеров: GPTBot, ClaudeBot, PerplexityBot, Applebot-Extended, Google-Extended, Amazonbot, cohere-ai, Bytespider. Инструмент анализирует, какие директивы у вас прописаны, и подсвечивает, где доступ разрешён или запрещён, отдельно для обучения и поиска.

Шаг 4. Мониторьте логи сервера

Даже если вы всё настроили, некоторые AI-краулеры могут игнорировать robots.txt (хотя по спецификации должны). Регулярно проверяйте логи на предмет запросов от GPTBot или ClaudeBot. Если видите нежелательное сканирование — добавьте блокировку на уровне .htaccess или nginx.

Чем отличается доступ для обучения от доступа для поискового индекса ИИ

Главное различие — в цели использования данных:

Обучение модели (training): краулер скачивает страницу, контент попадает в датасет, на котором обучается нейросеть. Ваш текст становится частью внутренних знаний модели. Пользователь, задавая вопрос, получает ответ без ссылки на ваш сайт. Вы не получаете трафик, но ваш контент используется коммерчески.

Поисковый индекс AI (retrieval-augmented generation, RAG): краулер индексирует страницу, и когда пользователь задаёт вопрос, AI-поисковик находит релевантный фрагмент и показывает его с указанием источника (ссылка). Клик по ссылке ведёт на ваш сайт — это прямой трафик.

Пример: если вы владелец интернет-магазина, и GPTBot обучится на ваших описаниях товаров, ChatGPT сможет рекомендовать их без упоминания вас. Если же PerplexityBot проиндексирует те же описания, пользователь Perplexity увидит ваш товар с кнопкой перехода на сайт. Разница очевидна.

Распространённые ошибки

Запрет всех ботов через User-agent: * — это заблокирует и полезных AI-краулеров, и обычных поисковых роботов. Лучше точечно запрещать конкретные user-agent.

Игнорирование extended-версий — многие вебмастера прописывают правила только для GPTBot, забывая про Applebot-Extended или Google-Extended. В результате эти боты продолжают скачивать контент для обучения.

Разрешение всех AI-краулеров без разбора — вы отдаёте данные на обучение всем моделям, включая конкурентные.

Неиспользование кэша — AI-краулеры могут запрашивать одни и те же страницы десятки раз. Настройте кэширование, чтобы снизить нагрузку.

Заключение

В 2025+ настройка robots.txt для AI-краулеров — не опция, а необходимость. Разделяйте доступ для обучения и поискового индекса: разрешайте ботов, которые приносят трафик (PerplexityBot, Applebot, Googlebot), и блокируйте тех, кто использует ваш контент для обучения (GPTBot, ClaudeBot, Applebot-Extended, Google-Extended). Проверяйте настройки с помощью специализированных инструментов и регулярно анализируйте логи. Так вы сохраните контроль над своим контентом и не упустите аудиторию из AI-поиска.