常见的 llms.txt 错误
发布:
大多数 llms.txt 问题都集中在少数几种固定模式上。下面是我们的验证工具最常标记出的几类问题,以及每种问题的快速修复方法。
1. 存在多个 H1
规范要求有且仅有一个顶级 # Title。多余的 # 标题会扰乱文档结构。把其余标题降级为 ## 章节标题即可。
2. 缺少引用块摘要
紧跟在标题下方的一两句引用块,是模型最先读取的上下文。省略它是最常见的疏漏。补上一段即可:
# Acme > Acme turns CSV files into charts. These links cover setup, the API, and pricing.
3. 章节中没有链接(或根本没有章节)
空的 ## 章节毫无意义。每个章节都应包含一个 Markdown 项目符号列表,链接到真实页面。如果你完全没有章节,就把关键页面归类到诸如 ## Docs 和 ## Guides 这样的标题之下。
4. 链接失效
一个文件即便格式完美无缺,也可能指向已失效的页面——这会浪费爬虫的抓取预算,并损害信任度。每个 URL 都必须能够正常解析。这是大多数工具会跳过的检查项;而我们会逐一抓取每个链接。
5. 相对链接或 http:// 链接
所有地方都应使用绝对的 https:// URL。模型可能无法解析像 /docs/start 这样的相对路径,而纯 http:// 链接看起来不够可信,且在仅支持 HTTPS 的抓取场景下可能失效。
6. 内容类型错误
请以 text/plain; charset=utf-8 的方式提供该文件。如果你的服务器返回 text/html(一种常见的配置错误),某些使用方就不会将其视为 llms.txt。
7. 臃肿、未经筛选的文件
llms.txt 是一份经过精心筛选的索引,而不是站点地图的转储。数百条没有描述的链接会淹没有效信号。请保留最优质的页面,在每条链接后面加上简短的 : description,并把次要链接移到 ## Optional 章节。
一次性全部排查
用验证工具跑一遍你的文件——它会对结构、链接可达性和最佳实践进行评分,并明确告诉你上述哪些问题需要修复。初次接触这种格式?请先阅读如何创建 llms.txt 文件。