llms.txt 对比 robots.txt 与 sitemap.xml
发布:
这三个文件都位于站点根目录，且都是纯文本——但它们解决的是不同的问题。把它们混为一谈，正是最常见的 llms.txt 错误。
一句话总结
- robots.txt —— 控制爬虫访问权限：哪些机器人可以或不可以抓取内容。
- sitemap.xml —— 为搜索引擎列出每一个可被索引的页面。
- llms.txt —— 在推理时为大语言模型精选一份高价值页面的精简清单。
robots.txt 关乎许可
robots.txt 告诉爬虫它们被允许请求哪些路径。它是一种访问控制约定。它既不会对内容进行精选或排序，也不是专门为语言模型编写的。
sitemap.xml 关乎覆盖范围
站点地图力求做到详尽：它列出你希望被索引的所有 URL，以免搜索引擎遗漏任何内容。它是面向机器的 XML，而不是供人阅读的摘要。
llms.txt 关乎精选
llms.txt 与“详尽”恰恰相反。它是一份精心挑选的 Markdown 列表，列出最能帮助模型理解和使用你网站的少数几个页面——并为每个页面附上一段简短描述。它的存在是为了推理（在用户向 AI 求助时提供帮助），而不是为了训练数据集，也不是为了访问控制。
它们彼此互补
你无需在它们之间做取舍——一套完善的配置应当三者兼备。robots.txt 管理访问权限，sitemap.xml 确保覆盖范围，而 llms.txt 则为 AI 精选关键信号。写好自己的文件后，用验证器跑一遍，并阅读如何创建 llms.txt 文件以了解格式细节。