llms.txt vs robots.txt vs sitemap.xml
Pubblicato:
Tutti e tre si trovano nella radice del sito e sono in testo semplice, ma risolvono problemi diversi. Confonderli è l'errore più comune con llms.txt.
Il riassunto in una riga
- robots.txt — controlla l'accesso dei crawler: quali bot possono o non possono effettuare il fetch.
- sitemap.xml — elenca ogni pagina indicizzabile per i motori di ricerca.
- llms.txt — seleziona una shortlist di pagine ad alto valore informativo per i large language model al momento dell'inferenza.
robots.txt riguarda i permessi
robots.txt indica ai crawler quali percorsi sono autorizzati a richiedere. È una convenzione di controllo degli accessi. Non seleziona né classifica i contenuti e non è scritto specificamente per i modelli linguistici.
sitemap.xml riguarda la copertura
Una sitemap mira a essere esaustiva: mappa tutti gli URL che vuoi far indicizzare, in modo che i motori di ricerca non tralascino nulla. È XML orientato alle macchine, non un riepilogo leggibile dalle persone.
llms.txt riguarda la selezione
llms.txt è l'opposto di esaustivo. È un elenco in Markdown, scelto a mano, delle poche pagine che aiutano meglio un modello a comprendere e usare il tuo sito, con una breve descrizione per ciascuna. Esiste per l'inferenza (aiutare quando un utente chiede assistenza a un'AI), non per i dataset di addestramento e non per il controllo degli accessi.
Si completano a vicenda
Non devi scegliere tra loro: una configurazione solida li ha tutti e tre. robots.txt regola l'accesso, sitemap.xml garantisce la copertura e llms.txt seleziona il segnale per l'AI. Una volta scritto il tuo, fallo analizzare dal validatore e leggi come creare un file llms.txt per i dettagli sul formato.