Quali crawler AI leggono llms.txt?
Pubblicato:
llms.txt è una convenzione giovane e volontaria, quindi nessun crawler è strettamente tenuto a leggerla — ma un file pulito insieme a pagine pulite aiuta qualsiasi modello che lo faccia. Si abbina inoltre al file che decide effettivamente l'accesso: robots.txt. Pensa a robots.txt come al cancello e a llms.txt come alla mappa curata.
Due tipi di crawler AI
È utile suddividere i bot AI in due gruppi, perché di solito vanno trattati in modo diverso:
- Crawler di risposta / ricerca — recuperano le pagine per rispondere subito alla domanda di un utente:
OAI-SearchBoteChatGPT-User(OpenAI),Claude-SearchBoteClaude-User(Anthropic),PerplexityBotePerplexity-User. Sono questi a guidare la visibilità AI — in genere li vuoi. - Crawler di addestramento — raccolgono dati per addestrare i modelli:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. Se consentirli o meno è una scelta separata, di tipo opt-out.
Quali di essi leggono llms.txt oggi?
Onestamente: l'adozione è ancora agli inizi. llms.txt è uno standard emergente con un supporto crescente tra gli strumenti di sviluppo AI e i framework per agenti, ma la maggior parte dei grandi crawler non lo recupera ancora automaticamente. Il valore sta nell'essere pronti — un file corretto e curato costa poco e ti posiziona bene man mano che lo standard matura, mentre le pagine pulite a cui rimanda aiutano i modelli fin da subito.
L'accesso si decide in robots.txt, non in llms.txt
llms.txt non blocca né concede mai nulla — si limita a curare. Per controllare ciò che i crawler AI possono recuperare, usa robots.txt. Una configurazione orientata alla visibilità consente i crawler di risposta e fa una scelta consapevole su quelli di addestramento:
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
Consulta llms.txt vs robots.txt per capire come i due file si dividono il lavoro.
Cosa fare
- Consenti i crawler di risposta/ricerca sopra elencati, così gli strumenti AI possono citarti.
- Decidi gli opt-out di addestramento (
GPTBot,Google-Extended) in modo consapevole — bloccarli non incide sulla visibilità nella ricerca AI. - Pubblica un llms.txt curato, poi validalo in modo che ogni pagina collegata si risolva davvero.