哪些 AI 爬虫会读取 llms.txt？
发布:
llms.txt 是一项尚不成熟的自愿约定，因此没有任何爬虫被严格要求读取它——但一个整洁的文件加上整洁的页面，对任何会读取它的模型都有帮助。它还与真正决定访问权限的文件相配合：robots.txt。可以把 robots.txt 想成大门，把 llms.txt 想成经过精心整理的地图。
两类 AI 爬虫
把 AI 机器人分成两组会很有帮助，因为你通常会以不同方式对待它们：
- 答案 / 搜索爬虫——抓取页面以即时回答用户的问题：
OAI-SearchBot和ChatGPT-User（OpenAI）、Claude-SearchBot和Claude-User（Anthropic）、PerplexityBot和Perplexity-User。它们驱动着 AI 可见性——通常你希望它们到来。 - 训练爬虫——收集数据以训练模型：
GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Bytespider、Meta-ExternalAgent。是否允许这些爬虫是一个单独的、可选择退出的决定。
如今它们当中有哪些会读取 llms.txt？
说实话：采用率仍处于早期阶段。llms.txt 是一项新兴标准，在 AI 开发者工具和智能体框架中获得的支持正在增长，但大多数大型爬虫还不会自动抓取它。其价值在于做好准备——一个正确且经过精心整理的文件成本很低，能让你在该标准成熟时占据有利位置，而它所指向的整洁页面现在就能帮助模型。
访问权限由 robots.txt 决定，而非 llms.txt
llms.txt 从不阻止或授予任何权限——它只做整理。要控制 AI 爬虫可以抓取什么，请使用 robots.txt。一套有利于可见性的配置会允许答案爬虫，并对训练爬虫做出审慎的选择：
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
关于这两个文件如何分工，请参阅 llms.txt 与 robots.txt 对比。
该怎么做
- 允许上面列出的答案 / 搜索爬虫，这样 AI 工具就能引用你。
- 审慎地决定训练退出选项（
GPTBot、Google-Extended）——屏蔽它们不会影响 AI 搜索可见性。 - 发布一个经过精心整理的 llms.txt，然后对其进行验证，确保每个链接的页面都能真正打开。