Главная
Исследования
GEO-индекс рунета: готовы ли сайты из топ-10 к ИИ-поиску

GEO-индекс рунета: готовы ли сайты из топ-10 к ИИ-поиску

Мы проверили главные страницы 719 сайтов из топ-10 Яндекса по коммерческим запросам в шести нишах: пускают ли их ИИ-боты, есть ли у них llms.txt и разметка организации, видит ли нейросеть текст без JavaScript.

Замер: 30 сентября 2026 · oWeb Solutions · только публичные данные, без разбора отдельных сайтов

Главное

40%

сайтов не отдают страницы хотя бы одному ИИ-боту (GPTBot, ClaudeBot и др.)

15%

сайтов публикуют llms.txt

19%

связывают организацию с профилями через sameAs

размечают вопросы и ответы через FAQPage

Что показали данные

Часть сайтов закрыта от ИИ, скорее всего незаметно для владельцев. По User-Agent боты блокируются у 40% сайтов, а в robots.txt ИИ-ботов закрывают только 4%. Разница похожа на правила защиты от парсинга (WAF, антибот-фильтры), а не на осознанное решение. Это наша интерпретация, владельцев мы не опрашивали. Чаще всего блокируют ClaudeBot (219), GPTBot (189), OAI-SearchBot (35).
Между нишами разница заметная. Больше всего закрытых от ИИ сайтов в нише «Строительство и ремонт» (52%), меньше всего в нише «Недвижимость» (28%).
Разметка организации — редкость. Organization или LocalBusiness описаны у 41% сайтов, а с профилями через sameAs — у 19%. Без этого нейросети труднее сопоставить сайт с упоминаниями компании вне сайта.
Есть сайты, где нейросеть почти ничего не увидит. У 11% сайтов на главной меньше 150 слов текста без JavaScript, а ИИ-краулеры, как правило, скрипты не исполняют. Хуже всего с этим в нише «Интернет-магазины» (23%).
Медиана текста на главной — 1183 слов.

Графики

График 1. Доля сайтов с признаком, % от 719

Блокируют хотя бы одного ИИ-бота40%

Закрывают ИИ-ботов в robots.txt4%

Есть JSON-LD50%

Описана организация41%

Есть sameAs19%

Есть llms.txt15%

Есть BreadcrumbList14%

Главная пуста без JS11%

Есть FAQPage4%

признак готовности проблема. Шкала от 0 до 100%, главная страница каждого сайта.

График 2. Какие ИИ-боты получают отказ, % от 719 сайтов

ClaudeBot (219 сайтов)30.5%

GPTBot (189 сайтов)26.3%

OAI-SearchBot (35 сайтов)4.9%

ChatGPT-User (32 сайтов)4.5%

PerplexityBot (32 сайтов)4.5%

Googlebot (31 сайтов)4.3%

YandexAdditional (24 сайтов)3.3%

Шкала до 35%. Проверка по User-Agent: настоящие боты приходят с IP-адресов своих владельцев.

График 3. Не пускают хотя бы одного ИИ-бота, % сайтов ниши

Строительство и ремонт52%

Логистика и перевозки43%

B2B-производство40%

Медицина и стоматология38%

Интернет-магазины35%

Недвижимость28%

В нишах от 81 до 149 сайтов, поэтому различия в несколько пунктов не стоит считать значимыми.

Результаты по нишам

Доля сайтов, у которых…	Все	Строительство и ремонт (135)	Медицина и стоматология (113)	Недвижимость (81)	Логистика и перевозки (115)	Интернет-магазины (131)	B2B-производство (149)
Блокируют хотя бы одного ИИ-бота (по User-Agent)	40%	52%	38%	28%	43%	35%	40%
Закрывают ИИ-ботов в robots.txt	4%	1%	3%	9%	1%	8%	4%
Есть файл llms.txt	15%	16%	16%	22%	12%	11%	15%
Есть разметка JSON-LD	50%	56%	61%	48%	50%	38%	50%
Описана организация (Organization / LocalBusiness)	41%	39%	56%	35%	41%	32%	44%
Организация связана с профилями (sameAs)	19%	19%	35%	12%	16%	18%	13%
Есть FAQPage	4%	10%	3%	0%	5%	1%	4%
Есть BreadcrumbList	14%	21%	18%	7%	17%	3%	15%
Главная почти пуста без JavaScript (меньше 150 слов)	11%	10%	12%	7%	6%	23%	5%
На главной нет ровно одного H1	24%	16%	25%	20%	20%	43%	20%

В скобках — число проанализированных сайтов в нише. Строки про блокировку ботов, пустую главную и H1 описывают проблемы (чем меньше, тем лучше), остальные — признаки готовности к ИИ-поиску (чем больше, тем лучше).

Каких ботов блокируют чаще всего

ClaudeBot — 219 GPTBot — 189 OAI-SearchBot — 35 ChatGPT-User — 32 PerplexityBot — 32 Googlebot — 31 YandexAdditional — 24

Число сайтов из 719, где бот с этим User-Agent получил отказ, оборванное соединение или страницу-заглушку вместо контента. Проверка идёт по User-Agent, а настоящие боты приходят со своих IP-адресов, поэтому у сайтов, которые фильтруют по IP, реальная картина может отличаться.

Как мы считали

Выборка. Сайты из топ-10 Яндекса (Москва) по 108 коммерческим запросам в шести нишах, по 18 запросов на нишу. Каталоги, агрегаторы, соцсети и маркетплейсы исключены. Всего просканировано 766 доменов, в расчёт вошли 719 (главная ответила кодом 200; остальные 47 закрыты или недоступны).
Что проверяли. Только главную страницу, robots.txt и llms.txt. Доступ ботов — теми же проверками, что работают в наших бесплатных ИИ-инструментах: запрос главной с User-Agent GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, YandexAdditional и Googlebot.
Что считается блокировкой. Код 401, 403, 406, 429, 451, 503, оборванное соединение или страница проверки браузера вместо контента.
Перепроверка. Мы повторно запросили 70 блокировок GPTBot и ClaudeBot (в двух частях списка) через паузу: отказ воспроизвёлся в 63 (90%). Часть оставшихся — ограничения по частоте запросов (код 429), поэтому реальная доля закрытых сайтов может быть немного ниже.

Ограничения

Мы проверяем блокировку только по User-Agent. Сайты, которые фильтруют по IP, могут пускать настоящих ботов и блокировать наши запросы, и наоборот.
Выборка — топ-10 по выбранным нами запросам, а не весь рунет. Выводы относятся к сайтам, которые уже хорошо ранжируются.
Мы измеряем техническую готовность, а не то, цитируют ли эти сайты нейросети. Связь между ними мы не проверяли.
Один замер на 30.09.2026. Исследование будем повторять раз в квартал и сравнивать динамику.

Частые вопросы

Значит, 40% сайтов сознательно закрылись от ИИ?
Нет. В robots.txt ИИ-ботов закрыли только 4%. Остальные блокировки, по нашему предположению, — побочный эффект правил файрвола или защиты от парсинга. Владельцев мы не опрашивали, поэтому это гипотеза, а не факт.

Можно ли по этим данным сказать, что открытые сайты чаще попадают в ответы ИИ?
Нет, такой связи мы не проверяли. Исследование измеряет техническую доступность главной страницы, а не цитируемость.

Почему проверяли только главную страницу?
Это самая стабильная точка для массового замера: она есть у каждого сайта и хорошо показывает общие правила доступа. Внутренние страницы могут вести себя иначе, и это ограничение исследования.

Как проверить свой сайт?
Теми же проверками, что использовались в исследовании: они доступны бесплатно в разделе ИИ-инструментов на этом сайте — доступ ИИ-ботов, llms.txt, разметка организации и готовность к RAG.

Что с этим делать

Проверьте свой сайт теми же инструментами, что использовали в исследовании. Это бесплатно и занимает минуту.

Реальный доступ ИИ-ботов — пускает ли сайт GPTBot, ClaudeBot, PerplexityBot→ Проверка llms.txt — есть ли файл и корректен ли он→ Бренд как сущность — Organization, sameAs, Wikidata→ Готовность к RAG — видит ли нейросеть текст сайта→ Полный AI-отчёт — 11 проверок и PDF→

Хотите закрыть эти пробелы, а не разбираться самостоятельно?

GEO-оптимизация сайта → Разметка Schema.org и llms.txt Мониторинг видимости в ИИ

Материал по теме: то же исследование в формате статьи в блоге GEO-агентства Neuropush.

← Все исследования