llms.txt a robots.txt i sitemap.xml
Opublikowano:
Wszystkie trzy znajdują się w katalogu głównym witryny i wszystkie trzy są zwykłym tekstem — ale rozwiązują różne problemy. Mylenie ich to najczęstszy błąd związany z llms.txt.
Podsumowanie w jednym zdaniu
- robots.txt — kontroluje dostęp robotów: które boty mogą, a które nie mogą pobierać treści.
- sitemap.xml — wymienia każdą indeksowalną stronę dla wyszukiwarek.
- llms.txt — wybiera krótką listę najważniejszych stron dla dużych modeli językowych na etapie wnioskowania.
robots.txt dotyczy uprawnień
robots.txt informuje roboty, które ścieżki mogą żądać. Jest to konwencja kontroli dostępu. Nie wybiera ani nie ocenia treści i nie jest pisany specjalnie pod kątem modeli językowych.
sitemap.xml dotyczy pokrycia
Mapa witryny ma być wyczerpująca: zawiera wszystkie adresy URL, które chcesz zaindeksować, aby wyszukiwarki niczego nie pominęły. To zorientowany maszynowo XML, a nie czytelne dla człowieka podsumowanie.
llms.txt dotyczy doboru treści
llms.txt jest przeciwieństwem wyczerpującej listy. To ręcznie dobrana lista w formacie Markdown z kilkoma stronami, które najlepiej pomagają modelowi zrozumieć i wykorzystać Twoją witrynę — z krótkim opisem przy każdej z nich. Istnieje na potrzeby wnioskowania (pomoc, gdy użytkownik prosi AI o wsparcie), a nie do zbiorów danych treningowych ani do kontroli dostępu.
Wzajemnie się uzupełniają
Nie wybierasz między nimi — dobra konfiguracja ma wszystkie trzy. robots.txt zarządza dostępem, sitemap.xml zapewnia pokrycie, a llms.txt wybiera istotne treści dla AI. Gdy już napiszesz swój plik, sprawdź go w walidatorze i przeczytaj jak utworzyć plik llms.txt, aby poznać szczegóły formatu.