llms.txt frente a robots.txt y sitemap.xml
Publicado:
Los tres residen en la raíz de tu sitio y los tres son texto plano, pero resuelven problemas diferentes. Confundirlos es el error más común con llms.txt.
El resumen en una línea
- robots.txt — controla el acceso de los rastreadores: qué pueden o no pueden solicitar los bots.
- sitemap.xml — enumera todas las páginas indexables para los motores de búsqueda.
- llms.txt — selecciona una lista breve de páginas de alta relevancia para los grandes modelos de lenguaje en el momento de la inferencia.
robots.txt tiene que ver con el permiso
robots.txt indica a los rastreadores qué rutas tienen permiso para solicitar. Es una convención de control de acceso. No selecciona ni clasifica contenido, y no está escrito específicamente para los modelos de lenguaje.
sitemap.xml tiene que ver con la cobertura
Un sitemap aspira a ser exhaustivo: mapea todas las URL que quieres que se indexen para que los motores de búsqueda no se pierdan nada. Es XML orientado a las máquinas, no un resumen legible para personas.
llms.txt tiene que ver con la curación
llms.txt es lo opuesto a exhaustivo. Es una lista en Markdown, seleccionada a mano, de las pocas páginas que mejor ayudan a un modelo a entender y utilizar tu sitio, con una breve descripción en cada una. Existe para la inferencia (ayudar cuando un usuario le pide ayuda a una IA), no para los conjuntos de datos de entrenamiento ni para el control de acceso.
Se complementan entre sí
No tienes que elegir entre ellos: una configuración sólida cuenta con los tres. robots.txt rige el acceso, sitemap.xml garantiza la cobertura y llms.txt cura la señal para la IA. Una vez que hayas escrito el tuyo, pásalo por el validador y lee cómo crear un archivo llms.txt para conocer los detalles del formato.