Что такое Content-Signal и почему он появился
Content-Signal — предложенное расширение robots.txt, разрабатываемое в рамках IETF AI Preferences WG и IAB Tech Lab. Традиционный robots.txt отвечает только на вопрос «разрешить или запретить обход». Но AI-системы используют контент по-разному: для поиска, для ответов на вопросы пользователей, для обучения моделей. Content-Signal позволяет разграничить эти сценарии в явном виде, не блокируя краулер целиком. Это более тонкий инструмент управления по сравнению с грубым Disallow.
Три значения директивы
Директива имеет три параметра, каждый принимает значение yes или no. search — разрешение индексирования для поиска. ai-input — разрешение использовать контент как входные данные для AI-систем (RAG, суммаризация, ответы пользователям). ai-train — разрешение включать контент в обучающие корпусы языковых моделей. Пример: Content-Signal: search=yes, ai-input=yes, ai-train=no — контент индексируется и используется для ответов, но не для обучения новых моделей.
Синтаксис и размещение в robots.txt
Директива размещается внутри группы User-agent, аналогично Allow и Disallow. Можно задать разные политики для разных ботов: GPTBot получает ai-train=no, а PerplexityBot — ai-input=yes. Инструмент также проверяет типичные опечатки: Content-Signals (с S), content-signal (в нижнем регистре), ContentSignal (без дефиса) — всё это не распознаётся валидаторами. Директива должна писаться строго как Content-Signal:.
Текущий статус и практическое значение
Content-Signal — развивающаяся спецификация, ещё не принятая как стандарт. Однако крупные провайдеры моделей уже сигнализируют о планах поддержки. Раннее добавление директивы в robots.txt — проактивный сигнал: он показывает AI-системам и аудиторам вашу политику работы с данными ещё до формальной стандартизации. Это особенно важно для издателей, образовательных платформ и любого сайта с уникальным авторским контентом. Content-Signal дополняет правила доступа в robots.txt — вместе они дают полный контроль над взаимодействием AI-систем с вашим сайтом.
