llms.txt vs. robots.txt vs. sitemap.xml
Veröffentlicht:
Alle drei liegen im Stammverzeichnis Ihrer Website und alle drei sind reiner Text – doch sie lösen unterschiedliche Probleme. Sie zu verwechseln ist der häufigste Fehler bei llms.txt.
Die Zusammenfassung in einer Zeile
- robots.txt – steuert den Crawler-Zugriff: was Bots abrufen dürfen und was nicht.
- sitemap.xml – listet jede indexierbare Seite für Suchmaschinen auf.
- llms.txt – kuratiert eine Auswahlliste besonders aussagekräftiger Seiten für große Sprachmodelle zum Zeitpunkt der Inferenz.
Bei robots.txt geht es um Erlaubnis
robots.txt teilt Crawlern mit, welche Pfade sie anfordern dürfen. Es handelt sich um eine Konvention zur Zugriffssteuerung. Sie kuratiert oder bewertet Inhalte nicht und ist nicht speziell für Sprachmodelle gedacht.
Bei sitemap.xml geht es um Vollständigkeit
Eine Sitemap soll vollständig sein: Sie erfasst alle URLs, die Sie indexieren lassen möchten, damit Suchmaschinen nichts übersehen. Es ist maschinenorientiertes XML, keine für Menschen lesbare Zusammenfassung.
Bei llms.txt geht es um Kuratierung
llms.txt ist das Gegenteil von vollständig. Es ist eine handverlesene Liste im Markdown-Format mit den wenigen Seiten, die einem Modell am besten helfen, Ihre Website zu verstehen und zu nutzen – jeweils mit einer kurzen Beschreibung. Es existiert für die Inferenz (um zu helfen, wenn ein Nutzer eine KI um Unterstützung bittet), nicht für Trainingsdatensätze und nicht für die Zugriffssteuerung.
Sie ergänzen einander
Sie müssen sich nicht für eine entscheiden – ein gutes Setup hat alle drei. robots.txt regelt den Zugriff, sitemap.xml sorgt für Vollständigkeit und llms.txt kuratiert das Signal für KI. Sobald Sie Ihre erstellt haben, prüfen Sie sie mit dem Validator und lesen Sie wie man eine llms.txt-Datei erstellt für die Details zum Format.