llms.txt 與 robots.txt、sitemap.xml
發佈:
這三個檔案都位於你網站的根目錄，而且都是純文字——但它們解決的是不同的問題。把它們搞混，正是最常見的 llms.txt 錯誤。
一句話總結
- robots.txt——控制爬蟲存取：哪些機器人可以或不可以抓取內容。
- sitemap.xml——為搜尋引擎列出每一個可被索引的頁面。
- llms.txt——在推論階段為大型語言模型精選一份高訊號頁面的精簡清單。
robots.txt 談的是「許可」
robots.txt 告訴爬蟲它們被允許請求哪些路徑。它是一種存取控制慣例。它不會精選或排序內容，也不是專為語言模型所撰寫的。
sitemap.xml 談的是「涵蓋範圍」
sitemap 的目標是力求完整：它把你希望被索引的所有 URL 都列出來，讓搜尋引擎不會遺漏任何頁面。它是面向機器的 XML，而不是給人閱讀的摘要。
llms.txt 談的是「精選」
llms.txt 與「力求完整」恰恰相反。它是一份以人工挑選、採用 Markdown 格式的清單，只列出最能幫助模型理解並運用你網站的少數幾個頁面——每一項都附上一段簡短描述。它的存在是為了推論（在使用者向 AI 求助時提供協助），而不是為了訓練資料集，也不是為了存取控制。
它們是互補的
你不需要在它們之間做取捨——一套完善的設定會三者兼備。robots.txt 掌管存取，sitemap.xml 確保涵蓋範圍，而 llms.txt 則為 AI 精選訊號。寫好你的檔案之後，透過驗證工具執行檢查，並閱讀如何建立 llms.txt 檔案以了解格式細節。