什么是 LLMO？如何被 ChatGPT、Claude、Perplexity 引用——爬虫设置、写法与真实日志数据

LLMO（Large Language Model Optimization，大语言模型优化）是指对网站进行准备，使 ChatGPT、Claude、Perplexity、Gemini 等 AI 在生成回答时读取你的网页，并把它作为来源展示出来。

本文只聚焦一个问题：网站运营者到底能做些什么，才能被 AI 引用？最可靠的线索，是各家 AI 公司公开的爬虫说明。哪个机器人为什么而来、在 robots.txt 里屏蔽它会发生什么，各家的官方页面都写得很清楚。下面整理了这份速查表、关于什么样的文字容易被引用的研究，以及本站访问日志的实测数据。

1. 什么是 LLMO

传统 SEO 的目标是在搜索结果列表中排得靠前；LLMO 的目标则是作为来源或依据被包含进 AI 的回答里。回答是一段文字而不是列表，因此比起整个网页的排名，更重要的是网页中的哪一段会被选中、又被怎样改写。

LLMO 并不是 SEO 的替代品。ChatGPT 和 Perplexity 每次回答都会上网搜索并读取网页，所以能在搜索中被找到，本身就是 LLMO 的基础。

2. AI 使用你的网页的两条路径

理解 LLMO 最重要的一点，是 AI 使用网页有两条不同的路径。把两者混为一谈，就会出现“为了不被拿去训练而全部屏蔽，结果连引用也没了”的情况。

路径①在模型建成时就已结束。即使修改网页，在下一次训练之前也不会反映出来，而且从外部无法知道你的文字何时、被哪个版本收录。路径②则在每次提问时读取当时的网页，所以改写后可能很快见效的是路径②。LLMO 能着手的，主要就是路径②。

各家公司把这两条路径分给了不同的机器人。OpenAI 明确写道，网站可以允许 OAI-SearchBot 以出现在搜索结果中，同时禁止 GPTBot，以表明其内容不应用于训练（Overview of OpenAI Crawlers）。

3. AI 爬虫速查表：屏蔽之后会怎样

下表汇总了各家的官方说明（2026 年 10 月 1 日对照原文确认）。“屏蔽后”一栏是对各家表述的概括，具体条件请查看所附出处的原文。

如果不想被用于训练、但又想被引用，可以这样分开写 robots.txt：

# 搜索与引用：允许
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 训练：禁止
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

从原文中还能读出四个容易忽略的要点：

• 生效需要时间。OpenAI 和 Perplexity 都写道，robots.txt 的修改可能需要约 24 小时才会生效。
• 不建议按 IP 地址屏蔽。Anthropic 指出，按 IP 屏蔽会让它无法读取 robots.txt，退出意愿可能无法可靠传达。
• CDN 和 WAF 的设置也是入口。Perplexity 公布了在 Cloudflare 和 AWS WAF 中放行其机器人的步骤。即使 robots.txt 允许，前端的反机器人防护也可能把请求拦下。
• “应用户请求打开”的机器人另当别论。OpenAI 和 Perplexity 写明，robots.txt 可能不适用于 ChatGPT-User 和 Perplexity-User。即使你以为已经屏蔽，用户把网址交给 AI 时，网页仍可能被读取。

实际来访本站的机器人

本站（arte.itlibra.com）没有屏蔽上表中的任何机器人。统计约三天半的访问日志（2026 年 9 月 26 日至 29 日），OAI-SearchBot 请求 866 次，PerplexityBot 1,086 次，ClaudeBot 502 次。应用户请求而来的 ChatGPT-User（1,275 次）和 Claude-User（438 次）也有访问。另一方面，没有任何 AI 机器人来获取过面向 AI 的目录文件 /llms.txt。统计方法和完整表格见我们 llms.txt 文章中的实测（这只是一个网站三天半的结果，不能一概而论）。

4. 容易被引用的写法：研究发现了什么

关于“怎样写才会被 AI 引用”，能追溯到发布方的系统研究并不多。最常被引用的是普林斯顿大学等机构研究人员的论文 GEO: Generative Engine Optimization（KDD 2024 录用）。论文把先搜索再生成回答的 AI 称为“生成式引擎”，比较了提高网页在其回答中可见度的方法。

论文的结论是“可见度最多可提高 40%”，但阅读时要注意三点：

• 实验环境。结果是在研究人员自建的生成式引擎和当时的 Perplexity 上测得的，不能保证在如今的 ChatGPT 或 Claude 上得到同样的数字。
• “可见度”的定义。它是根据回答中归于你的来源的字数和位置打出的分数，而不是点击量或销售额。
• 不同领域效果不同。论文写道，法律与政务类话题中加入数字更有效，历史和人物类话题中加入引语更有效。

尽管如此，对实务的启示很明确：给观点配上来源和数字，引用他人的话要写明出处。这也让读者更容易核实，并不是只为 AI 准备的小技巧。

5. 今天就能做的 LLMO 措施

不需要大规模改版。按顺序做的话如下：

第 1 步：确认入口是否开放

• 检查 robots.txt 是否屏蔽了第 3 节表格中的搜索用机器人。
• 检查 CDN、WAF 或主机的反机器人设置是否一刀切地拦截了 AI 机器人。
• 检查正文是否必须执行 JavaScript 才会显示（文本直接写在 HTML 里最可靠）。

第 2 步：用日志确认它们是否真的来访

• 按 User-Agent 统计服务器访问日志。一行命令的写法见我们的 llms.txt 文章。
• 如果搜索用机器人几乎不来，先怀疑入口，再检查网站是否容易被发现（站点地图、内部链接）。

第 3 步：写出能被选中的段落

• 在段落第一句给出结论，让每段单独读也能看懂（不要只用“这”“那”指代前一段）。
• 给数字注明发布方和时间。把“据说……”改成“某机构在某年发布的调查显示……”。
• 不要复述其他网站，而要写自己测试的结果、自家的数据和一线的判断。

第 4 步：衡量经由 AI 的访问

• OpenAI 说明，ChatGPT 会自动在来自其搜索的引荐链接上加上 utm_source=chatgpt.com（Publishers and Developers FAQ）。在分析工具中筛选这个值，就能看到来自 ChatGPT 的访问。
• 其他 AI 则查看分析工具中的引荐来源（referrer）。
• 定期向 ChatGPT、Claude、Perplexity、Gemini 提出与自家业务相关的问题，记录是否出现在来源中。回答每次都会变化，不要凭一次结果下结论。

6. 不必做的事与注意事项

放置 llms.txt 并不会让你被引用

llms.txt 是一个为 AI 整理网站目录的提案（llmstxt.org）。OpenAI、Anthropic 和 Google 都在自家开发者文档中放置了 llms.txt，但上述各家的爬虫说明页面中，都没有写到其爬虫会读取一般网站的 llms.txt 并用于回答（2026 年 10 月 1 日确认）。Google 明确表示搜索不使用 llms.txt，放不放都不影响排名。在本站日志中，AI 机器人获取它的次数为 0。是否值得放置，见我们的 llms.txt 文章。

“进入训练数据就能长期有效”无法证实

从外部无法确认训练数据里收录了什么，即使收录了，也不会在回答中作为来源显示。“一旦被训练就能长期见效”的说法无从验证。要采取行动，就放在每次回答时都会读取网页的路径②上。

回答每次都会变化

同一个问题，回答和来源每次都可能不同。它无法像 SEO 的“保住第一名”那样管理，把 LLMO 看作提高被引用概率的工作更贴近实际。

不要为了 AI 而稀释内容

为了显得“对 AI 友好”，把随处可见的说明切成小块大量生产，并不能成为被引用的理由。GEO 论文中有效的也是来源、引语和数字这类实质内容。Google 同样表示，没有必要为了 AI 搜索把内容切得零碎（见我们关于 AI Overviews 的文章）。

常见问题

相关文章：AEO 与 LLMO 的区别 / 什么是 AEO / 什么是 llms.txt