Quels robots d'IA lisent llms.txt ?
Publié:
llms.txt est une convention jeune et facultative : aucun robot n'est strictement tenu de le lire — mais un fichier propre, associé à des pages propres, aide tout modèle qui le consulte. Il fonctionne de pair avec le fichier qui décide réellement de l'accès : robots.txt. Voyez robots.txt comme le portail et llms.txt comme la carte sélective.
Deux types de robots d'IA
Il est utile de répartir les robots d'IA en deux groupes, car on les traite généralement différemment :
- Robots de réponse / de recherche — récupèrent des pages pour répondre immédiatement à la question d'un utilisateur :
OAI-SearchBotetChatGPT-User(OpenAI),Claude-SearchBotetClaude-User(Anthropic),PerplexityBotetPerplexity-User. Ce sont eux qui font votre visibilité dans l'IA — en règle générale, vous voulez les laisser passer. - Robots d'entraînement — collectent des données pour entraîner les modèles :
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. Les autoriser ou non est une décision distincte, à laquelle vous pouvez vous soustraire.
Lesquels lisent llms.txt aujourd'hui ?
Honnêtement : l'adoption en est encore à ses débuts. llms.txt est une norme émergente, dont la prise en charge progresse parmi les outils de développement d'IA et les frameworks d'agents, mais la plupart des grands robots ne le récupèrent pas encore automatiquement. L'intérêt est d'être prêt : un fichier correct et soigneusement organisé coûte peu et vous positionne à mesure que la norme se diffuse, tandis que les pages propres vers lesquelles il pointe aident les modèles dès maintenant.
L'accès se décide dans robots.txt, pas dans llms.txt
llms.txt ne bloque ni n'autorise jamais quoi que ce soit — il ne fait qu'organiser. Pour contrôler ce que les robots d'IA peuvent récupérer, utilisez robots.txt. Une configuration favorable à la visibilité autorise les robots de réponse et fait un choix délibéré au sujet des robots d'entraînement :
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
Consultez llms.txt vs robots.txt pour comprendre comment les deux fichiers se répartissent le travail.
Que faire
- Autorisez les robots de réponse / de recherche ci-dessus afin que les outils d'IA puissent vous citer.
- Décidez délibérément des exclusions d'entraînement (
GPTBot,Google-Extended) — les bloquer n'affecte pas votre visibilité dans la recherche par IA. - Publiez un llms.txt soigneusement organisé, puis validez-le pour que chaque page liée se résolve réellement.