llms.txt vs. robots.txt vs. sitemap.xml
Gepubliceerd:
Alle drie staan ze in de root van je site en alle drie zijn ze platte tekst, maar ze lossen verschillende problemen op. Ze door elkaar halen is de meestgemaakte fout bij llms.txt.
De samenvatting in één regel
- robots.txt — regelt crawlertoegang: wat bots wel of niet mogen ophalen.
- sitemap.xml — somt elke indexeerbare pagina op voor zoekmachines.
- llms.txt — stelt een shortlist samen van pagina's met een hoog signaalgehalte voor grote taalmodellen op het moment van inferentie.
robots.txt gaat over toestemming
robots.txt vertelt crawlers welke paden ze mogen opvragen. Het is een conventie voor toegangsbeheer. Het stelt geen content samen en rangschikt die niet, en het is niet specifiek voor taalmodellen geschreven.
sitemap.xml gaat over dekking
Een sitemap streeft naar volledigheid: hij brengt alle URL's in kaart die je geïndexeerd wilt hebben, zodat zoekmachines niets missen. Het is machinegerichte XML, geen voor mensen leesbare samenvatting.
llms.txt gaat over curatie
llms.txt is het tegenovergestelde van volledig. Het is een handmatig samengestelde lijst in Markdown van de paar pagina's die een model het beste helpen om je site te begrijpen en te gebruiken, met bij elke pagina een korte beschrijving. Het bestaat voor inferentie (om te helpen wanneer een gebruiker een AI om hulp vraagt), niet voor trainingsdatasets en niet voor toegangsbeheer.
Ze vullen elkaar aan
Je kiest niet tussen ze; een sterke opzet heeft alle drie. robots.txt regelt de toegang, sitemap.xml zorgt voor dekking en llms.txt stelt het signaal voor AI samen. Zodra je de jouwe hebt geschreven, laat je hem door de validator lopen en lees je hoe je een llms.txt-bestand maakt voor de details van het formaat.