如何测试你的 llms.txt
发布:
一个看起来没问题的文件,仍然可能格式错误或指向失效的页面。这里列出在发布前——以及发布后——需要核实的内容。
1. 结构
确认规范的基本要点:有且仅有一个 # H1 标题,紧接其下是一段引用块(blockquote)摘要,以及包含 Markdown 链接列表的 ## 章节。多个 H1 或空章节是最常见的结构性错误(参见常见的 llms.txt 错误)。
2. 链接可达性
这是大多数工具会跳过的检查项。每个链接的 URL 都应当能够真正解析——一个格式完美却指向 404 的文件会浪费爬虫的预算,并削弱信任度。请逐个请求每个链接,找出失效或发生重定向的链接。
3. 最佳实践
- 使用绝对的
https://URL(而非相对路径或http://)。 - 在每个链接之后附上简短的
: description。 - 以
Content-Type: text/plain; charset=utf-8提供。
手动 vs 自动
你可以用肉眼检查结构并逐个点击链接,但对几十个 URL 逐一核实可达性既繁琐又容易出错。自动检查可以在几秒内完成,并对结果进行评分。
快捷方法
把你的域名(或原始文本)粘贴到验证器中。它会检查结构、并发抓取每一个链接的 URL、应用上述最佳实践规则,并返回一个 0–100 的评分,以及一份按优先级排序、可修复的问题清单。每当你修改该文件时,都可以重新运行一次。