Quais crawlers de IA leem o llms.txt?
Publicado:
O llms.txt é uma convenção jovem e voluntária, então nenhum crawler é estritamente obrigado a lê-lo — mas um arquivo limpo somado a páginas limpas ajuda qualquer modelo que o faça. Ele também funciona em conjunto com o arquivo que de fato decide o acesso: o robots.txt. Pense no robots.txt como o portão e no llms.txt como o mapa curado.
Dois tipos de crawler de IA
Ajuda dividir os bots de IA em dois grupos, porque normalmente você os trata de formas diferentes:
- Crawlers de resposta / busca — buscam páginas para responder a uma pergunta do usuário agora mesmo:
OAI-SearchBoteChatGPT-User(OpenAI),Claude-SearchBoteClaude-User(Anthropic),PerplexityBotePerplexity-User. Eles impulsionam a visibilidade em IA — em geral você quer que eles passem. - Crawlers de treinamento — coletam dados para treinar modelos:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. Permitir esses ou não é uma escolha separada, de opt-out.
Quais deles leem o llms.txt hoje?
Honestamente: a adoção ainda está no início. O llms.txt é um padrão emergente, com suporte crescente entre ferramentas de desenvolvimento de IA e frameworks de agentes, mas a maioria dos grandes crawlers ainda não o busca automaticamente. O valor está em estar preparado — um arquivo correto e curado custa pouco e o posiciona à medida que o padrão amadurece, enquanto as páginas limpas para as quais ele aponta ajudam os modelos agora mesmo.
O acesso é decidido no robots.txt, não no llms.txt
O llms.txt nunca bloqueia nem concede nada — ele apenas cura. Para controlar o que os crawlers de IA podem buscar, use o robots.txt. Uma configuração amigável à visibilidade permite os crawlers de resposta e faz uma escolha deliberada quanto aos de treinamento:
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
Veja llms.txt vs robots.txt para entender como os dois arquivos dividem o trabalho.
O que fazer
- Permita os crawlers de resposta/busca acima, para que as ferramentas de IA possam citar você.
- Decida os opt-outs de treinamento (
GPTBot,Google-Extended) de forma deliberada — bloqueá-los não afeta a visibilidade na busca por IA. - Publique um llms.txt curado e depois valide-o para que cada página vinculada realmente resolva.