Содержание
LLMO (Large Language Model Optimization, оптимизация под большие языковые модели) — это подготовка сайта к тому, чтобы ИИ-ассистенты вроде ChatGPT, Claude, Perplexity и Gemini, составляя ответ, читали ваши страницы и показывали их как источник.
Статья посвящена одному вопросу: что на самом деле может сделать владелец сайта, чтобы его цитировал ИИ? Самая надёжная подсказка — документация о краулерах, которую публикует каждая ИИ-компания. Какой робот приходит, зачем и что произойдёт, если закрыть его в robots.txt, — всё это прямо написано на официальных страницах. Ниже — шпаргалка по ним, исследование о том, какие тексты цитируют, и замер по журналам доступа этого сайта.
1. Что такое LLMO
Классическое SEO стремится к высокой позиции в списке результатов. LLMO стремится к тому, чтобы попасть в ответ ИИ как источник или подтверждение. Ответ — это связный текст, а не список, поэтому важна не столько позиция всей страницы, сколько то, какой фрагмент страницы будет взят и как его перескажут.
| Параметр | SEO | LLMO |
|---|---|---|
| Для кого | Поисковые системы: Google, Bing | ИИ-ассистенты: ChatGPT, Claude, Perplexity, Gemini |
| Форма результата | Список ссылок | Текстовый ответ с приложенными источниками |
| Что берётся | Страница | Фрагмент внутри страницы |
| Управление доступом | robots.txt (Googlebot, bingbot) | robots.txt для ИИ-краулеров каждой компании (раздел 3) |
| Стабильность | Позиции меняются, но один и тот же запрос даёт похожий список | Один и тот же вопрос может давать разные ответы и источники |
LLMO не заменяет SEO. ChatGPT и Perplexity при каждом ответе ищут в интернете и читают страницы, поэтому находимость в поиске сама по себе и есть фундамент LLMO.
2. Два пути, которыми ИИ использует ваши страницы
Главная мысль LLMO: ИИ использует веб-страницы двумя разными путями. Если их спутать, получится «мы всё закрыли, чтобы нас не брали в обучение, а теперь нас и не цитируют».
Два пути, которыми ИИ использует страницу
Путь ① заканчивается, когда модель создана. Правки на странице ничего не изменят до следующего обучения, а снаружи не узнать, когда и в какую версию попадёт ваш текст. Путь ② читает актуальную страницу при каждом вопросе, поэтому быстро сработать переписанный текст может только на пути ②. Почти всё, что можно сделать в LLMO, относится к пути ②.
ИИ-компании разводят эти пути по разным роботам. OpenAI прямо пишет, что сайт может разрешить OAI-SearchBot, чтобы появляться в результатах поиска, и запретить GPTBot, чтобы сообщить, что его контент не следует использовать для обучения (Overview of OpenAI Crawlers).
3. Шпаргалка по ИИ-краулерам: что будет, если заблокировать каждый
В таблице собраны официальные описания компаний (сверено с оригиналами 1 октября 2026 года). Столбец «Если закрыть» — краткий пересказ формулировок каждой компании; точные условия смотрите по ссылке на источник.
| Компания | Робот (имя в robots.txt) | Назначение | Если закрыть |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Показывает сайты в результатах поисковых функций ChatGPT | Сайт не попадает в поисковые ответы ChatGPT (может появиться как навигационная ссылка) |
GPTBot | Собирает контент, который может использоваться для обучения базовых моделей | Это сигнал, что контент не следует использовать для обучения | |
ChatGPT-User | ChatGPT открывает страницу по запросу пользователя | Поскольку действие инициирует пользователь, правила robots.txt могут не применяться | |
| Anthropic | ClaudeBot | Собирает веб-контент, который может пригодиться для обучения | Это сигнал исключить будущие материалы сайта из обучающих данных |
Claude-SearchBot | Обходит веб, чтобы улучшить качество поисковых ответов | Контент не индексируется для поиска, видимость в результатах может снизиться | |
Claude-User | Claude открывает страницу, чтобы ответить на вопрос пользователя | Страницы не загружаются даже по запросу пользователя, видимость может снизиться | |
| Perplexity | PerplexityBot | Показывает сайты и ссылается на них в результатах Perplexity (заявлено, что не используется для обучения базовых моделей) | Шансы попасть в результаты снижаются (Perplexity рекомендует разрешить его) |
Perplexity-User | Открывает страницу, чтобы ответить на вопрос пользователя | По словам Perplexity, раз запрос сделал пользователь, robots.txt обычно игнорируется | |
Google-Extended | Управляющий токен: использовать ли контент для обучения и обоснования ответов (grounding) в приложениях Gemini и Gemini в Vertex AI (отдельного робота нет) | Google заявляет, что это не влияет на попадание в Google Поиск и на позиции (про AI Overviews в Поиске — в другой статье) |
Если вы не хотите попадать в обучение, но хотите, чтобы вас цитировали, robots.txt можно разделить так:
# Поиск и цитирование: разрешить
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Обучение: запретить
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Из первоисточников следуют четыре момента, которые легко упустить:
- Изменения вступают в силу не сразу. OpenAI и Perplexity пишут, что правка robots.txt может учитываться около 24 часов.
- Блокировать по IP-адресу не рекомендуется. Anthropic отмечает, что блокировка по IP мешает ей прочитать robots.txt, и отказ может сработать ненадёжно.
- CDN и WAF — тоже ворота. Perplexity публикует инструкции, как пропустить её роботов в Cloudflare и AWS WAF. Даже если robots.txt разрешает робота, защита от ботов перед сайтом может его остановить.
- Роботы, действующие по запросу пользователя, — отдельный случай. OpenAI и Perplexity пишут, что robots.txt может не применяться к ChatGPT-User и Perplexity-User. Даже если вы их закрыли, страницу могут прочитать, когда пользователь передаёт ИИ её адрес.
Какие роботы на самом деле приходили на этот сайт
Этот сайт (arte.itlibra.com) не закрывает ни одного робота из таблицы. По журналам доступа примерно за три с половиной дня (26–29 сентября 2026 года) OAI-SearchBot сделал 866 запросов, PerplexityBot — 1086, ClaudeBot — 502. Приходили и ChatGPT-User (1275) и Claude-User (438), действующие по запросу пользователей. При этом ни один ИИ-робот ни разу не запросил файл-оглавление для ИИ /llms.txt. Метод подсчёта и полная таблица — в замере из нашей статьи о llms.txt (один сайт за три с половиной дня, обобщать нельзя).
4. Тексты, которые цитируют: что показывают исследования
Исследований с ясными источниками о том, «как писать, чтобы ИИ цитировал», немного. Чаще всего ссылаются на работу GEO: Generative Engine Optimization исследователей из Принстонского университета и других организаций (принята на KDD 2024). ИИ, которые сначала ищут, а потом генерируют ответ, авторы называют «генеративными движками» и сравнивают способы повысить заметность страницы в их ответах.
Что выяснила работа GEO
Главный вывод работы — заметность можно поднять до 40 %, но есть три оговорки:
- Условия эксперимента. Результаты получены на генеративном движке, собранном исследователями, и на тогдашнем Perplexity. Нет гарантии, что для нынешних ChatGPT или Claude цифры будут теми же.
- Что значит «заметность». Это оценка того, сколько слов ответа приходится на ваш источник и где они стоят, а не клики и не продажи.
- Эффект зависит от тематики. По данным работы, статистика лучше работала в темах права и госуправления, а цитаты — в истории и темах о людях.
И всё же практический вывод ясен: подкрепляйте утверждения источниками и цифрами и указывайте, откуда взята цитата. Так читателю проще всё проверить — это не уловка только для ИИ.
5. Меры LLMO, которые можно принять сегодня
Масштабная переделка не нужна. По порядку шаги такие:
Шаг 1. Проверьте, открыты ли ворота
- Убедитесь, что robots.txt не закрывает поисковых роботов из таблицы в разделе 3.
- Убедитесь, что защита от ботов в CDN, WAF или на хостинге не блокирует ИИ-роботов оптом.
- Убедитесь, что основной текст не появляется только после выполнения JavaScript (надёжнее всего, когда текст есть в HTML).
Шаг 2. Проверьте по журналам, что они действительно приходят
- Посчитайте журнал доступа сервера по User-Agent. Команда в одну строку есть в нашей статье о llms.txt.
- Если поисковые роботы почти не приходят, сначала проверьте ворота, затем — насколько легко найти сайт (карта сайта, внутренние ссылки).
Шаг 3. Пишите фрагменты, которые можно взять
- Формулируйте вывод в первом предложении абзаца и делайте так, чтобы абзац был понятен сам по себе (не отсылайте к предыдущему абзацу одним «это» или «оно»).
- Указывайте у каждой цифры издателя и дату. Меняйте «говорят, что…» на «опрос, опубликованный X в таком-то году, показал…».
- Вместо пересказа чужих сайтов давайте результаты собственных проверок, свои данные и практические выводы.
Шаг 4. Измеряйте визиты, пришедшие через ИИ
- OpenAI сообщает, что ChatGPT автоматически добавляет
utm_source=chatgpt.comк ссылкам-переходам из своего поиска (Publishers and Developers FAQ). Отфильтруйте это значение в аналитике, чтобы увидеть визиты из ChatGPT. - Для других ИИ смотрите источник перехода (referrer) в аналитике.
- Регулярно задавайте ChatGPT, Claude, Perplexity и Gemini вопросы, связанные с вашим делом, и записывайте, появляетесь ли вы среди источников. Ответы каждый раз меняются, поэтому не делайте выводов по одному результату.
6. Что можно не делать и на что обратить внимание
Файл llms.txt сам по себе не приносит цитирований
llms.txt — это предложение размещать на сайте оглавление для ИИ (llmstxt.org). OpenAI, Anthropic и Google публикуют llms.txt для собственной документации для разработчиков, но ни на одной из перечисленных страниц о краулерах не сказано, что их роботы читают llms.txt чужих сайтов и используют его в ответах (проверено 1 октября 2026 года). Google прямо пишет, что Поиск не использует llms.txt и его наличие не помогает и не вредит позициям. В журналах этого сайта ИИ-роботы запросили его ноль раз. Стоит ли его размещать, разобрано в нашей статье о llms.txt.
«Попав в обучающие данные, текст работает долго» — проверить нельзя
Снаружи нельзя узнать, что попало в обучающие данные, и даже если ваша страница туда попала, в ответах она не показывается как источник. Утверждение «раз обучились — будет работать долго» проверить невозможно. Если действовать, то на пути ②, где страницы читаются в момент ответа.
Ответы каждый раз разные
Один и тот же вопрос может давать разные ответы и источники. Управлять этим как «удержанием первого места» в SEO не получится; реалистичнее считать LLMO работой по повышению вероятности цитирования.
Не разбавляйте контент ради ИИ
Массовое производство общих объяснений, нарезанных на кусочки «для ИИ», не даёт ИИ причин вас цитировать. В работе GEO сработало содержание: источники, цитаты и цифры. Google тоже пишет, что дробить контент на мелкие части ради ИИ-поиска не нужно (см. нашу статью об AI Overviews).
FAQ
Что важнее — LLMO или SEO?
Они не соперничают. ChatGPT и Perplexity при каждом ответе ищут в интернете и читают страницы, поэтому находимость в поиске — условие для цитирования. Сначала наладьте основы SEO (сайт доступен для обхода, проиндексирован, в нём есть содержание), затем проверьте, не закрыты ли ИИ-краулеры и есть ли на страницах фрагменты, которые стоит взять.
Не хочу, чтобы мой контент шёл в обучение, но хочу появляться в ответах ChatGPT.
Это возможно. OpenAI разделяет OAI-SearchBot (поиск) и GPTBot (обучение) и официально описывает, как разрешить первый и запретить второй. Роботов Anthropic можно разделить так же (Claude-SearchBot и ClaudeBot). Пример robots.txt — в разделе 3.
Как измерить эффект LLMO?
Сочетайте три вещи: (1) появляются ли поисковые роботы в журналах доступа, (2) видны ли в аналитике визиты из ChatGPT (utm_source=chatgpt.com) или переходы из других ИИ, (3) появляетесь ли вы среди источников, когда регулярно задаёте ИИ вопросы о своём деле. Результаты (3) каждый раз меняются, поэтому задавайте один и тот же вопрос несколько раз и смотрите на тенденцию.
Работает ли LLMO для небольших сайтов?
Может работать. В работе GEO больше всего заметности получили страницы, стоявшие ниже в выдаче, — например, благодаря ссылкам на источники (+115,1 % для страницы на 5-м месте). Но это результаты исследования, и нет гарантии, что с нынешними ИИ-сервисами будет так же. Кроме того, предполагается, что у вас есть то, чего нет у других сайтов: свои данные или результаты проверок.
По теме: Различия AEO и LLMO / Что такое AEO / Что такое llms.txt