llms.txt vs robots.txt vs sitemap.xml
Publicado:
Os três ficam na raiz do seu site e os três são texto puro — mas resolvem problemas diferentes. Confundi-los é o erro mais comum com llms.txt.
O resumo em uma linha
- robots.txt — controla o acesso dos rastreadores: o que os bots podem ou não buscar.
- sitemap.xml — lista todas as páginas indexáveis para os mecanismos de busca.
- llms.txt — seleciona uma lista enxuta de páginas de alto sinal para os grandes modelos de linguagem no momento da inferência.
robots.txt é sobre permissão
O robots.txt informa aos rastreadores quais caminhos eles têm permissão para solicitar. É uma convenção de controle de acesso. Ele não seleciona nem classifica conteúdo, e não é escrito especificamente para modelos de linguagem.
sitemap.xml é sobre cobertura
Um sitemap busca ser exaustivo: ele mapeia todas as URLs que você quer indexar para que os mecanismos de busca não percam nada. É um XML voltado para máquinas, não um resumo legível por humanos.
llms.txt é sobre curadoria
O llms.txt é o oposto de exaustivo. É uma lista em Markdown, cuidadosamente selecionada, das poucas páginas que melhor ajudam um modelo a entender e usar o seu site — com uma breve descrição em cada uma. Ele existe para a inferência (para ajudar quando um usuário pede ajuda a uma IA), não para conjuntos de dados de treinamento e não para controle de acesso.
Eles se complementam
Você não precisa escolher entre eles — uma configuração robusta tem os três. O robots.txt governa o acesso, o sitemap.xml garante a cobertura e o llms.txt seleciona o sinal para a IA. Depois de escrever o seu, passe-o pelo validador e leia como criar um arquivo llms.txt para os detalhes do formato.