llms.txt, robots.txt ve sitemap.xml karşılaştırması
Yayınlandı:
Üçü de sitenizin kök dizininde bulunur ve üçü de düz metindir; ancak farklı sorunları çözerler. Bunları birbirine karıştırmak, en yaygın llms.txt hatasıdır.
Tek cümlelik özet
- robots.txt — tarayıcı erişimini denetler: botların neyi getirebileceğini ve neyi getiremeyeceğini belirler.
- sitemap.xml — arama motorları için dizine eklenebilir her sayfayı listeler.
- llms.txt — büyük dil modelleri için çıkarım anında yüksek sinyalli sayfalardan oluşan seçilmiş bir kısa liste sunar.
robots.txt izinle ilgilidir
robots.txt, tarayıcılara hangi yolları talep edebileceklerini söyler. Bu bir erişim denetimi konvansiyonudur. İçeriği seçip düzenlemez veya sıralamaz ve özellikle dil modelleri için yazılmamıştır.
sitemap.xml kapsamla ilgilidir
Site haritası kapsamlı olmayı hedefler: arama motorlarının hiçbir şeyi atlamaması için dizine eklenmesini istediğiniz tüm URL'leri haritalar. İnsanların okuyabileceği bir özet değil, makineye yönelik XML'dir.
llms.txt seçip düzenlemeyle ilgilidir
llms.txt, kapsamlı olmanın tam tersidir. Bir modelin sitenizi anlamasına ve kullanmasına en çok yardımcı olan birkaç sayfanın elle seçilmiş, Markdown biçiminde bir listesidir ve her birinde kısa bir açıklama bulunur. Eğitim veri kümeleri için değil, erişim denetimi için de değil; çıkarım için (bir kullanıcı bir yapay zekadan yardım istediğinde işe yaramak için) vardır.
Birbirlerini tamamlarlar
Aralarından birini seçmezsiniz; güçlü bir kurulumda üçü de bulunur. robots.txt erişimi yönetir, sitemap.xml kapsamı güvence altına alır ve llms.txt yapay zeka için sinyali seçip düzenler. Kendi dosyanızı yazdıktan sonra, doğrulayıcıdan geçirin ve biçim ayrıntıları için bir llms.txt dosyası nasıl oluşturulur yazısını okuyun.