GPTBot

GPTBot: как работает краулер OpenAI и что он значит для вашего сайта

С ростом популярности генеративных нейросетей вопрос о том, как они получают данные для обучения, стал ключевым. GPTBot — это инструмент, который OpenAI использует для сбора публичной информации с веб-сайтов. Он появился в августе 2023 года, когда компания опубликовала официальную документацию, описывающую его поведение и способы блокировки. Это не просто очередной поисковый робот — его цель не индексация для поисковой выдачи, а накопление текстового материала для обучения моделей. Поэтому его поведение отличается от Googlebot или Яндекс-бота: он не анализирует мета-теги или структуру ссылок, а просто сохраняет содержимое страниц.

Как GPTBot взаимодействует с сайтом

GPTBot обращается к сайту, используя стандартный протокол HTTP, и его user-agent выглядит как GPTBot/1.0. Он делает запросы к страницам, соблюдая правила robots.txt, если они заданы. По умолчанию OpenAI разрешает боту доступ ко всем страницам, если владелец сайта не запретил это отдельно. При сканировании бот игнорирует мультимедийные файлы (изображения, видео) и технический код, но сохраняет основной текстовый контент, включая заголовки, абзацы и списки. Важно понимать: если вы не ограничиваете доступ, ваш контент может быть использован для обучения нейросетей, и это не повлияет на ваш трафик или позиции — бот не заходит на страницы как обычный пользователь, поэтому его визиты не отражаются в аналитике как уникальные посещения.

Для SEO-специалиста ключевое значение имеет возможность управлять доступом GPTBot через robots.txt. Например, вы можете полностью запретить сканирование:

• User-agent: GPTBot
• Disallow: /

Или разрешить доступ только к определенным разделам, которые не являются коммерческими или уникальными. Некоторые веб-студии рекомендуют блокировать GPTBot, если сайт содержит конфиденциальные данные или эксклюзивные материалы, которые не должны попадать в обучающие выборки. Однако полное блокирование не влияет на поисковое продвижение, так как поисковики не используют GPTBot для ранжирования.

Практический пример: как настроить доступ

Допустим, у вас есть интернет-магазин с каталогом товаров и блогом. Если вы хотите, чтобы ваш блог (с полезными статьями) участвовал в обучении ИИ, но не хотите, чтобы бот сканировал карточки товаров с ценами, вы можете прописать в robots.txt следующее:

• User-agent: GPTBot
• Allow: /blog/
• Disallow: /catalog/

Такой подход позволяет сохранить контроль над тем, какие данные попадают в модель. Важно помнить, что GPTBot не уважает директиву noindex в HTML — он ориентируется только на robots.txt. Если вы случайно забыли закрыть доступ к странице, которая помечена noindex, бот все равно может ее просканировать.

Типичные заблуждения о GPTBot

Одно из распространенных заблуждений — что GPTBot вредит позициям сайта или создает нагрузку на сервер. На самом деле бот делает ограниченное количество запросов в день и не влияет на скорость работы сайта. Другое заблуждение — что блокировка GPTBot может быть расценена OpenAI как попытка скрыть контент и вызвать санкции. Это не так: решение о блокировке абсолютно легитимно, и нейросети обучаются на открытых данных, но каждая компания вправе защищать свои материалы. Наконец, многие думают, что упоминание GPTBot в логах означает, что ваш сайт станет «источником ответов» в ChatGPT. Но на деле бот просто собирает данные для улучшения качества модели, и конкретный сайт — лишь один из миллионов источников, и его влияние на ответы минимально.