哪些 AI 爬蟲會讀取 llms.txt？
發佈:
llms.txt 是一項年輕且採自願性質的慣例，因此沒有任何爬蟲被嚴格要求必須讀取它——但一份乾淨的檔案搭配乾淨的頁面，對任何會讀取它的模型都有幫助。它也與真正決定存取權的檔案相輔相成：robots.txt。可以把 robots.txt 想成大門，把 llms.txt 想成精選的地圖。
兩種 AI 爬蟲
把 AI 機器人分成兩類會有助於理解，因為你通常會以不同方式對待它們：
- 答案／搜尋爬蟲——當下就抓取頁面以回答使用者的問題：
OAI-SearchBot與ChatGPT-User（OpenAI）、Claude-SearchBot與Claude-User（Anthropic）、PerplexityBot與Perplexity-User。這些驅動了 AI 能見度——你通常會想要它們。 - 訓練爬蟲——收集資料以訓練模型：
GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Bytespider、Meta-ExternalAgent。是否允許這些則是另一個獨立的、可選擇退出的決定。
目前它們之中有哪些會讀取 llms.txt？
老實說：採用程度仍處於早期階段。llms.txt 是一項新興標準，在 AI 開發者工具與代理框架之間的支援度正在成長，但大多數大型爬蟲尚未自動抓取它。其價值在於做好準備——一份正確、精選的檔案成本不高，能讓你在標準成熟時佔得先機，而它所指向的那些乾淨頁面，現在就能幫助模型。
存取權由 robots.txt 決定，而非 llms.txt
llms.txt 從不封鎖或授予任何權限——它只負責精選。要控制 AI 爬蟲可以抓取哪些內容，請使用 robots.txt。一個有利於能見度的設定，會允許答案爬蟲，並針對訓練爬蟲做出深思熟慮的選擇：
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
關於這兩個檔案如何分工，請參閱 llms.txt vs robots.txt。
該怎麼做
- 允許上述的答案／搜尋爬蟲，讓 AI 工具能夠引用你。
- 審慎地決定訓練退出設定（
GPTBot、Google-Extended）——封鎖它們並不會影響 AI 搜尋能見度。 - 發布一份精選的 llms.txt，然後驗證它，確保每個連結的頁面都能實際解析。