Welke AI-crawlers lezen llms.txt?
Gepubliceerd:
llms.txt is een jonge, vrijwillige conventie, dus geen enkele crawler is strikt verplicht om het te lezen — maar een net bestand plus nette pagina's helpt elk model dat het wel doet. Het werkt bovendien samen met het bestand dat de toegang daadwerkelijk bepaalt: robots.txt. Beschouw robots.txt als de poort en llms.txt als de zorgvuldig samengestelde kaart.
Twee soorten AI-crawlers
Het helpt om AI-bots in twee groepen te verdelen, omdat je ze meestal anders behandelt:
- Answer-/zoekcrawlers — halen pagina's op om de vraag van een gebruiker op dat moment te beantwoorden:
OAI-SearchBotenChatGPT-User(OpenAI),Claude-SearchBotenClaude-User(Anthropic),PerplexityBotenPerplexity-User. Deze zorgen voor AI-zichtbaarheid — die wil je doorgaans. - Trainingscrawlers — verzamelen gegevens om modellen te trainen:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. Of je deze toestaat, is een aparte keuze waarvoor je je kunt afmelden.
Welke daarvan lezen llms.txt vandaag de dag?
Eerlijk gezegd: de adoptie staat nog in de kinderschoenen. llms.txt is een opkomende standaard met groeiende ondersteuning onder AI-ontwikkeltools en agent-frameworks, maar de meeste grote crawlers halen het nog niet automatisch op. De waarde zit in het klaar zijn — een correct, zorgvuldig samengesteld bestand kost weinig en positioneert je goed naarmate de standaard volwassen wordt, terwijl de nette pagina's waar het naar verwijst modellen nu al helpen.
Toegang wordt bepaald in robots.txt, niet in llms.txt
llms.txt blokkeert of verleent nooit iets — het zorgt alleen voor curatie. Gebruik robots.txt om te bepalen wat AI-crawlers mogen ophalen. Een zichtbaarheidsvriendelijke opzet staat de answer-crawlers toe en maakt een bewuste keuze over de trainingscrawlers:
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
Zie llms.txt vs robots.txt voor hoe de twee bestanden het werk verdelen.
Wat te doen
- Sta de bovenstaande answer-/zoekcrawlers toe, zodat AI-tools naar je kunnen verwijzen.
- Maak bewuste keuzes over training-opt-outs (
GPTBot,Google-Extended) — ze blokkeren heeft geen invloed op je AI-zoekzichtbaarheid. - Publiceer een zorgvuldig samengestelde llms.txt en valideer die vervolgens, zodat elke gelinkte pagina daadwerkelijk laadt.