Что такое /llms.txt и зачем он сайту: путеводитель для AI-агентов

Современные языковые модели (LLM) — ChatGPT, Claude, Perplexity, Gemini — всё чаще обращаются напрямую к сайтам за свежей и структурированной информацией. Однако классический HTML, рассчитанный на человеческий глаз, для AI-агента — это «шум». Парсинг десятков килобайт разметки, скриптов и стилей требует времени и вычислительных ресурсов, а результат часто не гарантирует точного понимания контента. Решение этой проблемы предложил проект /llms.txt — простой, но эффективный стандарт, который превращает сайт в понятный для LLM справочник.

/llms.txt — это текстовый файл в формате Markdown, который размещается в корневой директории сайта (аналогично robots.txt или sitemap.xml). Его задача — предоставить обобщённую, структурированную карту контента для больших языковых моделей. В отличие от sitemap.xml, который ориентирован на поисковые роботы и содержит технические URL, /llms.txt фокусируется на смысловых блоках: ключевые страницы, разделы документации, FAQ, важные статьи.

Файл состоит из нескольких обязательных и опциональных элементов:

• Заголовок первого уровня (H1) — название сайта или его краткое описание.
• Блок blockquote — краткое описание сайта, его тематики и аудитории. Именно этот блок LLM использует для первичного контекста.
• Разделы второго уровня (H2) — логические категории контента (например, «Документация», «Блог», «Часто задаваемые вопросы»).
• Ссылки внутри разделов — URL на соответствующие страницы с кратким описанием.

Классический HTML-парсинг, который применяют LLM, имеет фундаментальные ограничения. Во-первых, HTML не даёт модели быстрого понимания, что на странице главное, а что — навигация или реклама. Во-вторых, объём страницы может быть большим, а токенов — мало. В-третьих, AI-агенты (например, GPT с browsing-режимом или Perplexity) часто загружают только несколько первых десятков килобайт, и если важный контент расположен ниже «складки», он может быть проигнорирован.

/llms.txt решает эти проблемы радикально:

• Модель получает готовый «индекс» — список страниц с описанием, не тратя токены на парсинг HTML.
• Файл в Markdown размечает семантику: заголовки, цитаты, списки — LLM легко интерпретирует эту структуру.
• Вы сами решаете, какой контент считать приоритетным, а какой — исключить.

В результате AI-агент может сразу перейти к нужной странице по прямой ссылке, минуя этап сканирования всего сайта. Это снижает нагрузку на сервер, ускоряет ответ модели и повышает релевантность цитирования.

С начала 2024 года всё больше AI-поисковиков (Perplexity, You.com, Google AI Overviews) используют LLM для генерации ответов со ссылками на источники. Наличие /llms.txt даёт вашему сайту преимущество: модель с большей вероятностью выберет ваш контент как авторитетный, потому что он легко извлекается и чётко структурирован. Это не прямой фактор ранжирования в Google, но это фактор доступности для AI-агентов, который косвенно влияет на цитируемость и трафик из AI-каналов.

Создание файла — это чисто техническая задача, не требующая специальных знаний. Вот пошаговая инструкция:

Шаг 1: Определите ключевые разделы сайта

Выберите 5–15 наиболее важных страниц или разделов. Это могут быть: «Главная», «О компании», «Услуги», «Документация», «FAQ», «Контакты», «Блог». Не включайте страницы с временным или дублирующим контентом.

Шаг 2: Напишите файл в формате Markdown

Используйте текстовый редактор (Notepad++, VS Code или даже Блокнот) и сохраните файл с именем llms.txt в кодировке UTF-8. Пример содержимого:

# Название компании

> Краткое описание деятельности: чем занимается сайт, для кого предназначен.

## Документация

-(https://example.com/api): полная документация по REST API.
-(https://example.com/guide): пошаговые инструкции.

## Блог

-(https://example.com/blog/ai-optimization): статья о методах.
-(https://example.com/blog/seo-tips): практические рекомендации.

## Контакты

-(https://example.com/contact): форма обратной связи.

Шаг 3: Разместите файл в корне сайта

Загрузите llms.txt в корневую директорию вашего веб-сервера (там же, где лежат robots.txt и sitemap.xml). Убедитесь, что файл доступен по URL https://вашсайт.ру/llms.txt.

Шаг 4: Проверьте MIME-тип и доступность

Важно, чтобы сервер отдавал файл с MIME-типом text/plain (или text/markdown). В противном случае некоторые LLM могут не распознать его. Проверить это можно через инструменты разработчика браузера (вкладка Network) или curl.

Даже идеально написанный файл может содержать ошибки: отсутствие H1, неправильный MIME-тип, ссылки на несуществующие страницы. Мы рекомендуем протестировать файл с помощью бесплатным инструментом «Проверка /llms.txt» oWeb Solutions. Он автоматически проверяет:

• Наличие H1-заголовка и его корректность.
• Блок blockquote (описание сайта).
• Разделы H2 и их логическую структуру.
• Все ли ссылки в файле ведут на существующие страницы (проверка HTTP-статуса).
• Корректный MIME-тип (text/plain).

Инструмент выдаёт понятный отчёт с указанием проблем и рекомендациями по исправлению. Это особенно полезно, если вы впервые настраиваете /llms.txt и хотите избежать типовых ошибок.

Ошибки делятся на три категории: структурные, контентные и технические.

• Пропущенный H1 — файл начинается сразу с H2. LLM не понимает, что это за сайт.
• Отсутствие blockquote — без краткого описания модели приходится гадать, о чём сайт, что снижает точность выбора.
• Слишком много ссылок — файл не должен заменять sitemap. Ограничьтесь 15–20 ссылками, иначе LLM потеряет фокус.
• Неправильный MIME-тип — сервер отдаёт файл как text/html или application/octet-stream. LLM не сможет его прочитать.
• Ссылки на несуществующие страницы — ведут к ошибке 404, что снижает доверие модели к вашему сайту.

Стандарт будет наиболее эффективен для сайтов с большим объёмом текстового контента: документации, блогов, энциклопедий, новостных порталов, сайтов с FAQ. Если ваш сайт — это лендинг из 5 страниц, файл не даст большого прироста, но и вреда не принесёт. Для интернет-магазинов с тысячами товаров /llms.txt стоит создавать динамически, включая только категории и популярные товары. Если вы хотите повысить эффективность такого файла, мы рекомендуем предварительно провести аудит сайта, чтобы выявить самые ценные страницы для включения.

Обратите внимание: /llms.txt не заменяет robots.txt или sitemap.xml. Это дополнительный инструмент, предназначенный исключительно для LLM. Он не влияет на индексацию в Google, Яндекс или Bing.

Стандарт /llms.txt — это простой, но мощный способ сделать ваш сайт «дружественным» для AI-агентов. Он экономит токены, ускоряет доступ к контенту и повышает шансы, что ваша информация будет использована в ответах ChatGPT, Claude или Perplexity. Создайте файл за 15 минут, проверьте его с помощью инструмента oWeb Solutions, и вы получите конкурентное преимущество в эпоху AI-поиска. Если у вас нет времени на самостоятельную настройку, вы всегда можете заказать техническую поддержку сайта у наших специалистов.