Что такое llms.txt? Спецификация формата, необходимые данные и динамическая генерация — полное руководство по LLMO

Наступает эпоха ИИ-поиска. Веб-поиск ChatGPT, Perplexity, Google AI Overviews — всё больше пользователей получают информацию через ИИ, и «помочь ИИ правильно понять ваш сайт» становится всё важнее.

Для этого и появился llms.txt. Если robots.txt говорит краулерам «эту страницу можно/нельзя сканировать», то llms.txt — это указатель, который сообщает ИИ: «вот что есть на этом сайте, а подробности — здесь». При этом нет подтверждений, что файл помогает попасть в цитаты ответов ИИ, а по журналам доступа этого сайта ни один ИИ-краулер не запросил его ни разу за три с половиной дня. Ниже разберём и то, каким сайтам он действительно нужен.

В этой статье мы подробно разберём спецификацию формата llms.txt, какие данные следует указывать, критерии выбора между статическим файлом и динамической генерацией, а также примеры реализации для основных фреймворков.

1. Что такое llms.txt

llms.txt — это текстовый файл в формате Markdown, который размещается в корневой директории сайта и передаёт LLM (большим языковым моделям) общую информацию о сайте, его структуре и списке контента.

Основные сведения

В одном предложении

robots.txt = «не входить» / llms.txt = «вот что мы из себя представляем»

robots.txt — это файл управления доступом (разрешение/запрет), а llms.txt — файл описания содержимого сайта (самопрезентация). Они не конфликтуют — наоборот, предназначены для совместного использования.

2. Зачем нужен — отличие от robots.txt

Может возникнуть вопрос: «Разве sitemap и мета-теги не достаточны для понимания ИИ?» В какой-то мере да, но llms.txt имеет свои уникальные преимущества.

Сравнение ролей robots.txt / sitemap.xml / llms.txt

Три причины, почему нужен llms.txt

Причина 1: LLM не могут эффективно сканировать весь сайт

Googlebot сканирует миллиарды страниц и строит масштабный индекс, но LLM-краулеры не настолько тщательны. Благодаря llms.txt вы можете эффективно сообщить ИИ: «Вот самый важный контент на нашем сайте».

Причина 2: ответы ИИ чаще цитируют сайт — так говорят часто, но подтверждений нет

Часто пишут, что llms.txt повышает шансы на цитирование в ChatGPT или Perplexity, но ни данных, ни официальных заявлений компаний, которые бы это показывали, нет. Google прямо пишет, что для AI Overviews и AI Mode текстовые файлы для ИИ не нужны (Google Search Central). Точнее считать llms.txt оглавлением, которое помогает агенту быстро добраться до нужной информации, а не способом получить цитаты; в разделе 9 проверим это по реальным журналам.

Подробнее о LLMO читайте в статье «Что такое LLMO?».

Причина 3: Можно передавать метаинформацию, недоступную через sitemap.xml

sitemap.xml — это просто список URL. В llms.txt можно также передать следующие данные:

• Тематика и специализация сайта
• Краткое описание и категория каждого материала
• Частота обновлений и масштаб сайта
• Наличие мультиязычности
• Контактная информация

3. Спецификация формата — что и как писать

llms.txt записывается в формате Markdown. Вот формат на основе спецификации llmstxt.org:

Базовая структура

# Название сайта

> Описание сайта. 1-3 предложения, кратко передающих тему, аудиторию и ценность сайта.

## Секция 1

- [Название страницы](URL): Краткое описание

## Секция 2

- [Название страницы](URL): Краткое описание
- [Название страницы](URL): Краткое описание

Правила формата

Пример записи

# My Tech Blog

> My Tech Blog is a software engineering blog covering web development, cloud infrastructure, and AI tools. Updated weekly with practical tutorials and comparisons.

## Main Sections

- [Articles](https://example.com/articles): 50+ in-depth technical articles
- [Tutorials](https://example.com/tutorials): Step-by-step coding tutorials

## Popular Articles

- [React vs Vue in 2026](https://example.com/articles/react-vs-vue): A detailed comparison of React and Vue.js for modern web development, covering performance, ecosystem, and learning curve.
- [Docker for Beginners](https://example.com/articles/docker-beginners): Complete guide to Docker containers for developers who have never used containerization.

## Site Information

- URL: https://example.com
- Sitemap: https://example.com/sitemap.xml
- Languages: en, ja
- Contact: admin@example.com

Важные замечания

• По умолчанию пишите на английском. Спецификация и примеры llms.txt написаны на английском, что делает это лучшей практикой. Для многоязычных сайтов рекомендуется писать на английском и указывать поддерживаемые языки через Languages: ja, en, es, .... Однако для одноязычных сайтов (например, сайт полностью на французском или русском) допустимо писать на языке сайта. Основные LLM (GPT, Claude, Gemini и др.) обрабатывают большинство языков с высокой точностью, а пользователи таких сайтов будут задавать вопросы на том же языке, что обеспечивает согласованность ответов
• Кодировка обязательно UTF-8. Другие кодировки могут привести к искажению символов
• URL должны быть абсолютными (полный URL, начинающийся с https://)
• Только один H1 на файл. Для разделения на секции используйте H2

4. Какие данные указывать — обязательные, рекомендуемые, опциональные

Многие не знают, что именно писать, поэтому систематизируем информацию по степени приоритета.

Заметим: спецификация (llmstxt.org) обязательным считает только H1 с названием сайта; цитата с кратким описанием и списки ссылок под H2 формально необязательны. «Обязательное» ниже — это минимум, без которого, по мнению этой статьи, файл почти не имеет смысла.

Обязательная информация (без неё llms.txt бесполезен)

Рекомендуемая информация (повышает точность понимания ИИ)

Опциональная информация (желательна, но не обязательна)

• Технологический стек: на чём построен сайт (фреймворк и т.д.)
• Частота обновлений: как часто появляется новый контент
• Общее количество контента: число статей и т.п.
• Лицензия/политика цитирования: можно ли ИИ цитировать материалы
• Информация об API: если доступен программный доступ

Что НЕ следует указывать

• Конфиденциальные данные: URL панели администратора, эндпоинты внутренних API и т.п.
• Персональные данные: избыточная личная информация (адрес, телефон и т.п.)
• Данные аутентификации: API-ключи, пароли и т.п.

5. Разница между llms.txt и llms-full.txt

llms-full.txt собирает весь текст сайта в одном файле. В спецификацию llmstxt.org он не входит: это соглашение, которое распространилось потому, что платформы документации вроде Mintlify автоматически создают его вместе с llms.txt (документация Mintlify). Спецификация v2 вместо одного большого файла рекомендует давать Markdown-версию каждой страницы (page.md или page.html.md) и ссылаться на неё из llms.txt.

Когда нужен llms-full.txt

• Техническая документация: API-справочники, документация библиотек — случаи, когда полный текст помогает ИИ давать более точные ответы
• Базы знаний: FAQ, глоссарии и другой контент, который часто цитируется фрагментарно

Когда llms-full.txt не нужен

• Блоги и медиасайты: при большом количестве статей объединение их в один файл делает его слишком большим. Достаточно резюме в llms.txt
• Интернет-магазины: товарную информацию лучше предоставлять через структурированные данные (JSON-LD и т.д.)
• Корпоративные сайты: мало страниц, одного llms.txt достаточно

Для обычных блогов и медиасайтов достаточно одного llms.txt. Считайте llms-full.txt инструментом для технической документации.

6. Статический файл vs динамическая генерация — что выбрать

Существуют два основных подхода к управлению llms.txt.

Способ 1: Статический файл

Размещение текстового файла непосредственно в public/llms.txt (или аналогичном пути).

Преимущества:

• Максимально простая реализация (просто положить файл)
• Нулевая нагрузка на сервер
• Работает без фреймворка

Недостатки:

• Необходимо вручную обновлять файл при каждом добавлении или изменении контента
• Если забыть обновить, ИИ получит устаревшую информацию
• Количество контента и категории в файле расходятся с реальностью

Способ 2: Динамическая генерация

Приложение обрабатывает запрос к /llms.txt, извлекает актуальные данные из базы и динамически генерирует текст.

Преимущества:

• Всегда содержит актуальную информацию
• При добавлении статьи автоматически отражается в llms.txt
• Количество контента и названия категорий всегда точны

Недостатки:

• Требуется больше усилий на реализацию (маршруты + контроллер)
• При каждом запросе происходит обращение к БД (можно смягчить кэшированием)
• Нужен фреймворк

Критерии выбора

Вывод: если сомневаетесь — выбирайте динамическую генерацию. Начальные затраты на реализацию выше, но зато можно «настроить и забыть», что в перспективе снижает операционные расходы. Худший сценарий — начать со статического файла и потом забыть его обновлять, отправляя ИИ устаревшую информацию.

7. Реализация — примеры кода для основных фреймворков

Рассмотрим реализацию динамической генерации llms.txt для основных фреймворков.

Laravel (PHP)

Определение маршрута (routes/web.php):

use App\Http\Controllers\LlmsTxtController;

Route::get('/llms.txt', [LlmsTxtController::class, 'index']);

Контроллер (app/Http/Controllers/LlmsTxtController.php):

class LlmsTxtController extends Controller
{
    public function index()
    {
        $articles = Article::published()
            ->with(['translations' => fn($q) => $q->where('locale', 'en')])
            ->orderBy('published_at')
            ->get();

        $lines = [];
        $lines[] = '# My Site Name';
        $lines[] = '';
        $lines[] = '> Site description here.';
        $lines[] = '';
        $lines[] = '## All Articles (' . $articles->count() . ')';
        $lines[] = '';

        foreach ($articles as $article) {
            $t = $article->translations->first();
            if (!$t) continue;
            $url = 'https://example.com/en/articles/' . $article->slug;
            $lines[] = '- [' . $t->title . '](' . $url . '): ' . $t->meta_description;
        }

        $content = implode("\n", $lines);
        return response($content, 200)
            ->header('Content-Type', 'text/plain; charset=utf-8');
    }
}

Важно явно указать Content-Type: text/plain; charset=utf-8. Без этого ответ может быть интерпретирован как HTML.

Django (Python)

# urls.py
from django.urls import path
from . import views

urlpatterns = [
    path('llms.txt', views.llms_txt, name='llms_txt'),
]

# views.py
from django.http import HttpResponse
from .models import Article

def llms_txt(request):
    articles = Article.objects.filter(
        status='published'
    ).order_by('published_at')

    lines = ['# My Site', '', '> Description.', '', '## Articles', '']
    for a in articles:
        lines.append(f'- [{a.title}](https://example.com/articles/{a.slug}): {a.meta_description}')

    content = '\n'.join(lines)
    return HttpResponse(content, content_type='text/plain; charset=utf-8')

Next.js (TypeScript)

// app/llms.txt/route.ts (App Router)
import { NextResponse } from 'next/server'

export async function GET() {
  // Получение данных из БД или CMS
  const posts = await getAllPosts()

  const lines = [
    '# My Site',
    '',
    '> Description.',
    '',
    '## Articles',
    '',
    ...posts.map(p =>
      `- [${p.title}](https://example.com/posts/${p.slug}): ${p.description}`
    ),
  ]

  return new NextResponse(lines.join('\n'), {
    headers: { 'Content-Type': 'text/plain; charset=utf-8' },
  })
}

WordPress (PHP)

Добавьте в functions.php или в виде плагина:

// functions.php
add_action('init', function() {
    add_rewrite_rule('^llms\.txt$', 'index.php?llms_txt=1', 'top');
});

add_filter('query_vars', function($vars) {
    $vars[] = 'llms_txt';
    return $vars;
});

add_action('template_redirect', function() {
    if (!get_query_var('llms_txt')) return;

    header('Content-Type: text/plain; charset=utf-8');
    $posts = get_posts(['numberposts' => -1, 'post_status' => 'publish']);

    echo "# " . get_bloginfo('name') . "\n\n";
    echo "> " . get_bloginfo('description') . "\n\n";
    echo "## Articles (" . count($posts) . ")\n\n";

    foreach ($posts as $post) {
        $url = get_permalink($post);
        $desc = get_the_excerpt($post);
        echo "- [{$post->post_title}]({$url}): {$desc}\n";
    }
    exit;
});

В WordPress не забудьте пересохранить настройки постоянных ссылок (сбросить правила перезаписи).

Генераторы статических сайтов (Hugo / Astro и т.д.)

Напишите скрипт для автоматической генерации при сборке:

# build-llms-txt.sh (пример для Hugo)
#!/bin/bash
echo "# My Site" > public/llms.txt
echo "" >> public/llms.txt
echo "> Site description." >> public/llms.txt
echo "" >> public/llms.txt
echo "## Articles" >> public/llms.txt
echo "" >> public/llms.txt

for file in content/posts/*.md; do
  title=$(grep '^title:' "$file" | sed 's/title: //')
  slug=$(basename "$file" .md)
  desc=$(grep '^description:' "$file" | sed 's/description: //')
  echo "- [${title}](https://example.com/posts/${slug}): ${desc}" >> public/llms.txt
done

Запустите в CI-пайплайне (GitHub Actions и т.д.) перед сборкой — и файл будет автоматически обновляться при каждом деплое.

8. Проверка и валидация после установки

После размещения llms.txt проверьте следующие пункты.

Базовый чек-лист

Дополнительные проверки для динамической генерации

• Добавьте одну статью и проверьте llms.txt: отразилась ли новая статья
• Правильно ли показано количество контента: число в «All Articles (27)» должно совпадать с реальным количеством опубликованных статей
• Не попали ли неопубликованные статьи: убедитесь, что черновики и запланированные публикации не отображаются

Инструменты валидации

Официального валидатора формата llms.txt нет (по состоянию на 29 сентября 2026 года). В Lighthouse браузера Chrome среди проверок «agentic browsing» есть пункт llms.txt, но он смотрит только на то, не возвращает ли сервер ошибку при запросе файла; если файла нет (404), проверка считается неприменимой (Chrome for Developers). Содержимое проверяйте так:

• Попросить ChatGPT или Claude прочитать файл: задать вопрос «Прочитай https://yoursite.com/llms.txt и расскажи об этом сайте»
• Markdown-превьюер: вставить содержимое llms.txt в превьюер Markdown и проверить, корректно ли отображается структура
• SEO-аудит: некоторые инструменты SEO-аудита начинают поддерживать проверку наличия llms.txt

9. Замер: читают ли ИИ-краулеры llms.txt

Часто говорят: «выложите — и ИИ прочитает». Но запрашивает ли его кто-то на самом деле, видно в журналах доступа вашего собственного сервера. Этот сайт (arte.itlibra.com) отдаёт динамически создаваемый /llms.txt, поэтому мы посчитали запросы по User-Agent с 07:20 26 сентября до 12:54 29 сентября по UTC (около трёх с половиной дней, всего 86 696 запросов).

За это время /llms.txt запросили всего три раза: дважды из командной строки (curl) и один раз инструмент аудита сайтов. ИИ-краулеры сотни раз читали статьи, но llms.txt не открыли ни разу. robots.txt многие из них проверяли — значит, дело не в том, что они не смотрят на служебные файлы, а в том, что llms.txt они просто не ищут.

Это три с половиной дня журналов одного сайта; у других сайтов или на длинном отрезке картина может отличаться. Но вместе с официальными заявлениями она достаточно ясна.

• Google: пишет «You don't need to create new machine readable files, AI text files, or markup» (не нужно создавать новые машиночитаемые файлы, текстовые файлы для ИИ или разметку), чтобы появляться в AI Overviews и AI Mode (AI features and your website)
• Спецификация (v2, август 2026 года): рассчитывает, что llms.txt читают при выводе (inference) — когда агенту по ходу помощи пользователю нужна информация, — а не для обучения, и отмечает, что чаще всего им пользуются агенты для программирования, которые ходят по документации к ПО (llmstxt.org)
• Lighthouse в Chrome: среди проверок «agentic browsing» есть llms.txt, но страница проваливает её только при ошибке сервера во время запроса файла. Если файла нет (404), проверка неприменима и баллы не снимаются (Chrome for Developers)

Когда стоит его добавлять

Если добавили, надёжнее всего проверить его пользу по своим журналам. Для журналов доступа в стандартном формате nginx или Apache (combined) эта одна строка посчитает User-Agent, запрашивавшие /llms.txt, по убыванию.

grep ' /llms.txt ' access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn

10. Примеры llms.txt реальных сайтов

OpenAI, Anthropic и Google (Gemini API) публикуют llms.txt для своей документации для разработчиков (это указано на странице спецификации). Статистики по доле внедрения мы не нашли, поэтому таблица ниже — лишь ориентир по тенденциям.

Характеристики сайтов с высоким уровнем внедрения

Признаки хорошего llms.txt

• Краткое и понятное описание — специализация сайта ясна с первого прочтения
• Весь контент перечислен с резюме — ИИ может охватить общую картину
• Система категорий чётко обозначена — видна информационная структура
• Динамическая генерация — всегда актуальное состояние

Признаки плохого llms.txt

• Только название сайта и контакты — слишком мало информации для помощи ИИ
• Скопирован полный текст всего контента — llms.txt — это «оглавление», а не «полный текст». Полный текст — задача llms-full.txt
• Устаревшая информация — например, написано «10 articles», а на самом деле 50, что подрывает доверие
• Содержит конфиденциальные данные — URL панели администратора или API-ключи в файле

FAQ