¿Qué rastreadores de IA leen llms.txt?
Publicado:
llms.txt es una convención joven y voluntaria, así que ningún rastreador está estrictamente obligado a leerlo, pero un archivo limpio junto con páginas limpias ayuda a cualquier modelo que sí lo haga. Además, va de la mano del archivo que realmente decide el acceso: robots.txt. Piensa en robots.txt como la puerta y en llms.txt como el mapa curado.
Dos tipos de rastreador de IA
Conviene dividir los bots de IA en dos grupos, porque normalmente se tratan de forma distinta:
- Rastreadores de respuesta / búsqueda: obtienen páginas para responder ahora mismo a la pregunta de un usuario:
OAI-SearchBotyChatGPT-User(OpenAI),Claude-SearchBotyClaude-User(Anthropic),PerplexityBotyPerplexity-User. Son los que impulsan la visibilidad en IA: por lo general te interesa tenerlos. - Rastreadores de entrenamiento: recopilan datos para entrenar modelos:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. Permitirlos o no es una decisión aparte, de exclusión voluntaria.
¿Cuáles de ellos leen hoy llms.txt?
Con franqueza: la adopción aún es incipiente. llms.txt es un estándar emergente con un soporte creciente entre las herramientas de desarrollo de IA y los marcos de agentes, pero la mayoría de los grandes rastreadores todavía no lo obtienen de forma automática. El valor está en estar preparado: un archivo correcto y curado cuesta poco y te posiciona a medida que el estándar madura, mientras que las páginas limpias a las que apunta ya ayudan a los modelos ahora mismo.
El acceso se decide en robots.txt, no en llms.txt
llms.txt nunca bloquea ni concede nada: solo cura. Para controlar lo que los rastreadores de IA pueden obtener, usa robots.txt. Una configuración favorable a la visibilidad permite los rastreadores de respuesta y toma una decisión deliberada sobre los de entrenamiento:
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
Consulta llms.txt frente a robots.txt para ver cómo se reparten el trabajo ambos archivos.
Qué hacer
- Permite los rastreadores de respuesta / búsqueda anteriores para que las herramientas de IA puedan citarte.
- Decide las exclusiones de entrenamiento (
GPTBot,Google-Extended) de forma deliberada: bloquearlos no afecta a tu visibilidad en la búsqueda con IA. - Publica un llms.txt curado y luego valídalo para que cada página enlazada resuelva de verdad.