Які ШІ-кролери читають llms.txt?
Опубліковано:
llms.txt — це молода добровільна угода, тож жоден кролер не зобов'язаний її читати, але охайний файл разом з охайними сторінками допомагає будь-якій моделі, яка його все ж читає. Він також працює в парі з файлом, який насправді вирішує питання доступу: robots.txt. Уявіть собі robots.txt як ворота, а llms.txt — як ретельно складену карту.
Два типи ШІ-кролерів
Корисно розділити ШІ-ботів на дві групи, бо ставитися до них зазвичай доводиться по-різному:
- Кролери відповідей / пошуку — отримують сторінки, щоб відповісти на запитання користувача просто зараз:
OAI-SearchBotіChatGPT-User(OpenAI),Claude-SearchBotіClaude-User(Anthropic),PerplexityBotіPerplexity-User. Саме вони забезпечують видимість у ШІ — їх ви, як правило, хочете бачити. - Тренувальні кролери — збирають дані для навчання моделей:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. Чи дозволяти їх — це окремий вибір з можливістю відмови.
Хто з них читає llms.txt сьогодні?
Чесно кажучи: поширення поки що на ранньому етапі. llms.txt — це новий стандарт, що набирає підтримки серед ШІ-інструментів для розробників та агентних фреймворків, але більшість великих кролерів ще не отримують його автоматично. Цінність — у готовності: коректний, ретельно складений файл коштує небагато й вигідно позиціює вас у міру того, як стандарт дозріває, тоді як охайні сторінки, на які він вказує, допомагають моделям уже зараз.
Доступ вирішується в robots.txt, а не в llms.txt
llms.txt нічого не блокує й нічого не надає — він лише курує. Щоб керувати тим, що можуть отримувати ШІ-кролери, використовуйте robots.txt. Налаштування, дружнє до видимості, дозволяє кролери відповідей і свідомо вирішує долю тренувальних:
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
Дивіться llms.txt vs robots.txt, щоб зрозуміти, як ці два файли розподіляють роботу.
Що робити
- Дозвольте наведені вище кролери відповідей / пошуку, щоб ШІ-інструменти могли вас цитувати.
- Свідомо вирішуйте щодо відмови від тренування (
GPTBot,Google-Extended) — їх блокування не впливає на видимість у ШІ-пошуку. - Опублікуйте ретельно складений llms.txt, а потім перевірте його, щоб кожна пов'язана сторінка справді відкривалася.