llms.txt と robots.txt と sitemap.xml の違い
公開日:
3 つともサイトのルートに置かれ、いずれもプレーンテキストです。しかし、それぞれが解決する課題は異なります。これらを混同することこそ、最もよくある llms.txt の誤りです。
一行でまとめると
- robots.txt — クローラーのアクセスを制御します。どのボットが何を取得してよいか／いけないかを定めます。
- sitemap.xml — 検索エンジン向けにインデックス対象となるすべてのページを一覧化します。
- llms.txt — 推論時に大規模言語モデルが参照するシグナルの高いページの厳選リストをキュレーションします。
robots.txt は「許可」のためのもの
robots.txt は、クローラーがどのパスへのリクエストを許可されているかを伝えます。これはアクセス制御の取り決めです。コンテンツをキュレーションしたりランク付けしたりするものではなく、言語モデル専用に書かれているわけでもありません。
sitemap.xml は「網羅性」のためのもの
サイトマップは網羅的であることを目指します。インデックスさせたいすべての URL をマッピングし、検索エンジンが取りこぼさないようにします。これは人間が読むための要約ではなく、機械向けの XML です。
llms.txt は「キュレーション」のためのもの
llms.txt は網羅性とは正反対です。モデルがあなたのサイトを理解し活用するうえで最も役立つ、ごく少数のページを手作業で選び抜いた Markdown のリストであり、それぞれに短い説明が添えられています。これは推論（ユーザーが AI に助けを求めたときに役立てること）のために存在するものであり、学習用データセットのためでも、アクセス制御のためでもありません。
互いに補完し合う
これらは二者択一で選ぶものではありません。優れた構成では 3 つすべてを備えています。robots.txt がアクセスを管理し、sitemap.xml が網羅性を担保し、llms.txt が AI 向けにシグナルをキュレーションします。自分のファイルを書き終えたら、バリデーターにかけて、llms.txt ファイルの作り方でフォーマットの詳細を確認してください。