llms.txt проти robots.txt проти sitemap.xml
Опубліковано:
Усі три файли розміщені в корені вашого сайту й усі три є звичайним текстом, але вони вирішують різні задачі. Плутанина між ними — найпоширеніша помилка з llms.txt.
Стисле резюме в один рядок
- robots.txt — контролює доступ сканерів: що ботам дозволено або заборонено завантажувати.
- sitemap.xml — перелічує кожну індексовану сторінку для пошукових систем.
- llms.txt — добирає короткий список найбільш інформативних сторінок для великих мовних моделей під час інференсу.
robots.txt — це про дозвіл
robots.txt повідомляє сканерам, які шляхи їм дозволено запитувати. Це конвенція контролю доступу. Він не добирає й не ранжує контент і не написаний спеціально для мовних моделей.
sitemap.xml — це про повноту охоплення
Карта сайту прагне бути вичерпною: вона позначає всі URL-адреси, які ви хочете проіндексувати, щоб пошукові системи нічого не пропустили. Це орієнтований на машини XML, а не зрозуміле людині резюме.
llms.txt — це про курацію
llms.txt — це протилежність вичерпності. Це дібраний вручну список у форматі Markdown із кількох сторінок, які найкраще допомагають моделі зрозуміти й використати ваш сайт, з коротким описом до кожної. Він існує для інференсу (щоб допомогти, коли користувач звертається до ШІ по допомогу), а не для навчальних наборів даних і не для контролю доступу.
Вони доповнюють одне одного
Між ними не потрібно обирати — у надійній конфігурації присутні всі три. robots.txt керує доступом, sitemap.xml забезпечує повноту охоплення, а llms.txt добирає інформативний сигнал для ШІ. Коли ви напишете свій, прогоніть його через валідатор і прочитайте як створити файл llms.txt, щоб дізнатися деталі формату.