Welche KI-Crawler lesen llms.txt?
Veröffentlicht:
llms.txt ist eine junge, freiwillige Konvention, daher ist kein Crawler streng verpflichtet, sie zu lesen — aber eine saubere Datei in Kombination mit sauberen Seiten hilft jedem Modell, das sie liest. Sie ergänzt zudem die Datei, die tatsächlich über den Zugriff entscheidet: robots.txt. Stellen Sie sich robots.txt als das Tor und llms.txt als die kuratierte Landkarte vor.
Zwei Arten von KI-Crawlern
Es hilft, KI-Bots in zwei Gruppen zu unterteilen, denn Sie behandeln sie in der Regel unterschiedlich:
- Antwort- / Such-Crawler — rufen Seiten ab, um die Frage eines Nutzers im Moment zu beantworten:
OAI-SearchBotundChatGPT-User(OpenAI),Claude-SearchBotundClaude-User(Anthropic),PerplexityBotundPerplexity-User. Diese treiben die KI-Sichtbarkeit an — diese wollen Sie in der Regel. - Trainings-Crawler — sammeln Daten, um Modelle zu trainieren:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. Ob Sie diese zulassen, ist eine separate Opt-out-Entscheidung.
Welche von ihnen lesen llms.txt heute?
Ehrlich gesagt: Die Verbreitung steckt noch in den Anfängen. llms.txt ist ein aufkommender Standard mit wachsender Unterstützung unter KI-Entwicklertools und Agenten-Frameworks, doch die meisten großen Crawler rufen die Datei noch nicht automatisch ab. Der Wert liegt in der Bereitschaft — eine korrekte, kuratierte Datei kostet wenig und positioniert Sie gut, während sich der Standard weiterentwickelt; die sauberen Seiten, auf die sie verweist, helfen Modellen zudem schon heute.
Über den Zugriff entscheidet robots.txt, nicht llms.txt
llms.txt blockiert oder gewährt niemals etwas — sie kuratiert lediglich. Um zu steuern, was KI-Crawler abrufen dürfen, verwenden Sie robots.txt. Ein sichtbarkeitsfreundliches Setup erlaubt die Antwort-Crawler und trifft eine bewusste Entscheidung über die Trainings-Crawler:
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
Siehe llms.txt vs. robots.txt, um zu verstehen, wie die beiden Dateien die Arbeit aufteilen.
Was zu tun ist
- Erlauben Sie die oben genannten Antwort- / Such-Crawler, damit KI-Tools Sie zitieren können.
- Treffen Sie Trainings-Opt-outs (
GPTBot,Google-Extended) bewusst — sie zu blockieren, beeinträchtigt die KI-Such-Sichtbarkeit nicht. - Veröffentlichen Sie eine kuratierte llms.txt und validieren Sie sie anschließend, damit jede verlinkte Seite tatsächlich aufgelöst wird.