# Проверка robots.txt для AI-краулеров > Вставьте адрес сайта — и сразу увидите, кто из AI-краулеров туда заходит, а кто заблокирован. Проверяем 8 ботов: GPTBot, ClaudeBot, PerplexityBot, Applebot-Extended, Bytespider, CCBot, ChatGPT-User, Google-Extended. ## Как проверить robots.txt на правила для AI-краулеров 1. **Введите URL сайта** В поле ввода укажите адрес сайта — протокол добавится автоматически. Например: example.com 2. **Запустите проверку** Нажмите кнопку «Проверить». Инструмент загрузит файл robots.txt по адресу /robots.txt. 3. **Изучите результаты** Для каждого из 8 AI-краулеров отобразится статус: Allow (доступ разрешён), Disallow (заблокирован) или Не указан (разрешён по умолчанию). 4. **Скорректируйте правила** Если статус «Не указан» — добавьте явные правила. Разделите обучающих ботов (GPTBot) и поисковых (OAI-SearchBot) по разным политикам доступа. ## Часто задаваемые вопросы ### Как заблокировать обучающий краулер OpenAI, не затрагивая их поиск? Используйте отдельные правила для разных user-agents. Например: Disallow: / для GPTBot (обучение) и Allow: / для OAI-SearchBot (поиск ChatGPT). Это два разных бота — блокировка одного не затрагивает другой. ### Что будет, если не указывать правила для AI-краулеров в robots.txt? По умолчанию они получат полный доступ к сайту — как любой бот, не упомянутый в robots.txt. Правило User-agent: * распространяется на всех неназванных ботов, включая AI-краулеров. ### Влияет ли блокировка GPTBot на позиции в поиске Google? Нет. GPTBot и Googlebot — принципиально разные краулеры с разными user-agents и целями. Блокировка GPTBot никак не влияет на индексацию Googlebot или Google-Extended. ### Как часто нужно обновлять список AI-краулеров в robots.txt? Список расширяется стремительно. Рекомендуем проверять актуальность раз в квартал: крупные AI-компании регулярно запускают новых ботов с новыми user-agent именами. ## Другие бесплатные SEO-инструменты - [robots.txt для AI](https://www.oweb-solutions.ru/positions-check/ai-robots-check/) *(текущий)* Правила доступа для 8 AI-краулеров в robots.txt - [/llms.txt](https://www.oweb-solutions.ru/positions-check/llms-txt-check/) Наличие и структура файла /llms.txt для LLM - [JSON-LD / Schema.org](https://www.oweb-solutions.ru/positions-check/ai-schema-check/) JSON-LD блоки schema.org и их корректность - [Стабильность URL](https://www.oweb-solutions.ru/positions-check/ai-url-stability/) HTTPS, kebab-case, редиректы, canonical — до 20 URL - [Sitemap и фиды](https://www.oweb-solutions.ru/positions-check/ai-feeds-check/) Sitemap.xml, RSS/Atom и JSON Feed для AI-индексаторов - [Контент без JS](https://www.oweb-solutions.ru/positions-check/ai-content-check/) Слова, title, H1 и SPA-признаки без выполнения JS - [Markdown-версия](https://www.oweb-solutions.ru/positions-check/ai-markdown-check/) Поиск .md-версии тремя методами обнаружения - [/llms-full.txt](https://www.oweb-solutions.ru/positions-check/llms-full-check/) Полный контент сайта в одном файле для LLM - [Content-Signal](https://www.oweb-solutions.ru/positions-check/ai-content-signal/) Директива search/ai-input/ai-train в robots.txt - [MCP Server Card](https://www.oweb-solutions.ru/positions-check/ai-mcp-check/) /.well-known/mcp/server-card.json и поля MCP-сервера - [Agent Skills Index](https://www.oweb-solutions.ru/positions-check/ai-skills-check/) index.json навыков агента, CORS и SHA256-дайджесты - [SEO Радар](https://www.oweb-solutions.ru/positions-check/seo-radar-scan/) Отслеживание изменений title, description, H1, H2 — до 20 URL - [Дубли title/description/H1](https://www.oweb-solutions.ru/positions-check/meta-duplicates/) Совпадения между title, description и H1 на одной странице - [Last-Modified / If-Modified-Since](https://www.oweb-solutions.ru/positions-check/check-last-modified/) Заголовок Last-Modified и ответ сервера на If-Modified-Since - [HTTP-заголовки](https://www.oweb-solutions.ru/positions-check/check-http-headers/) Полный список HTTP-заголовков ответа сервера - [Мета-теги и заголовки](https://www.oweb-solutions.ru/positions-check/check-meta-tags/) Title, Description, Keywords, Open Graph, canonical, H1-H6 - [Анализ ссылок](https://www.oweb-solutions.ru/positions-check/check-links/) Все ссылки страницы: внутренние, внешние, nofollow - [HTML-код страницы](https://www.oweb-solutions.ru/positions-check/get-html/) Исходный HTML-код страницы напрямую с сервера - [SSL-сертификат](https://www.oweb-solutions.ru/positions-check/get-ssl-info/) Центр выдачи, владелец, срок действия SSL-сертификата - [DNS-записи](https://www.oweb-solutions.ru/positions-check/get-dns-records/) A, AAAA, CNAME, MX, NS, TXT записи домена - [Обратный DNS](https://www.oweb-solutions.ru/positions-check/get-host-by-addr/) Определение домена по IP-адресу (PTR-запись) - [WHOIS-проверка](https://www.oweb-solutions.ru/positions-check/whois-check/) Регистратор, даты регистрации/окончания, возраст домена - [Проверка sitemap.xml](https://www.oweb-solutions.ru/positions-check/sitemap-check/) Обнаружение sitemap.xml, дата обновления, актуальность - [W3C-валидация](https://www.oweb-solutions.ru/positions-check/w3c-check/) Ошибки и предупреждения вёрстки по W3C - [Проверка robots.txt](https://www.oweb-solutions.ru/positions-check/robots-check/) Заблокирована ли страница в robots.txt - [Микроразметка Schema.org](https://www.oweb-solutions.ru/positions-check/schema-check/) JSON-LD, Microdata, Open Graph, Twitter Card - [BM25-релевантность](https://www.oweb-solutions.ru/positions-check/bm25-check/) Релевантность текста страницы ключевым словам (BM25) - [BM25-релевантность title](https://www.oweb-solutions.ru/positions-check/title-bm25-check/) Релевантность тега title ключевым словам (BM25) - [BM25-релевантность description](https://www.oweb-solutions.ru/positions-check/description-bm25-check/) Релевантность мета-description ключевым словам (BM25) - [Генератор ТЗ](https://www.oweb-solutions.ru/positions-check/content-brief/) ТЗ для копирайтера по топ-10 выдачи: объём по разделам, ключевые слова, LSI - [Снапшот топ-10](https://www.oweb-solutions.ru/positions-check/serp-snapshot/) Изменения в топ-10 Яндекса между проверками - [Сравнение текстов](https://www.oweb-solutions.ru/positions-check/compare-texts/) Подсветка различий между двумя текстами по словам - [Тошнота и водность текста](https://www.oweb-solutions.ru/positions-check/text-density-check/) Классическая/академическая тошнота и водность текста - [Сокращатель ссылок](https://www.oweb-solutions.ru/positions-check/link-shortener/) Короткая ссылка + QR-код для любого URL - [Alt-атрибуты изображений](https://www.oweb-solutions.ru/positions-check/img-alt-check/) Изображения без alt или с пустым alt --- URL: https://www.oweb-solutions.ru/positions-check/ai-robots-check/ Источник: oWeb Solutions —