どのAIクローラーがllms.txtを読むのか？
公開日:
llms.txtはまだ歴史の浅い、任意の取り決めであり、どのクローラーにも読み取りが厳密に義務付けられているわけではありません。とはいえ、整ったファイルと整ったページの組み合わせは、それを読むあらゆるモデルの助けになります。さらに、実際にアクセスを決定するファイルである robots.txt とも補完し合います。robots.txtを「門」、llms.txtを「厳選された地図」と考えてください。
AIクローラーには2種類ある
AIボットを2つのグループに分けると理解しやすくなります。通常、両者は異なる扱いをするからです。
- 回答・検索クローラー — ユーザーの質問に今この場で答えるためにページを取得します：
OAI-SearchBotとChatGPT-User（OpenAI）、Claude-SearchBotとClaude-User（Anthropic）、PerplexityBotとPerplexity-User。これらはAIにおける可視性を高めるものであり、一般的には歓迎すべき存在です。 - 学習クローラー — モデルを学習させるためのデータを収集します：
GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、Bytespider、Meta-ExternalAgent。これらを許可するかどうかは、別途オプトアウト方式で判断する事柄です。
現時点でllms.txtを読むのはどれか？
正直に言えば、普及はまだ初期段階です。llms.txtはAI開発者ツールやエージェントフレームワークの間で対応が広がりつつある新興の標準ですが、大手のクローラーの多くはまだ自動的に取得していません。価値は「準備ができている」ことにあります。正確で厳選されたファイルを用意するコストはわずかであり、標準が成熟していくなかで有利な位置に立てます。一方、そのファイルが指し示す整ったページは、今この時点でもモデルの助けになります。
アクセスを決めるのはrobots.txtであって、llms.txtではない
llms.txtは何かをブロックしたり許可したりすることは決してありません。あくまで整理（キュレーション）するだけです。AIクローラーが何を取得してよいかを制御するには、robots.txtを使います。可視性に配慮した構成では、回答クローラーを許可しつつ、学習クローラーについては意図的な判断を下します。
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
2つのファイルがどのように役割を分担するかについては、llms.txt と robots.txt を参照してください。
すべきこと
- 上記の回答・検索クローラーを許可し、AIツールがあなたを引用できるようにする。
- 学習のオプトアウト（
GPTBot、Google-Extended）は意図的に判断する。これらをブロックしてもAI検索での可視性には影響しない。 - 厳選した llms.txt を公開し、続いて 検証 して、リンクされたすべてのページが実際に到達可能であることを確認する。