Hangi yapay zeka tarayıcıları llms.txt okur?
Yayınlandı:
llms.txt genç ve gönüllü bir gelenektir; dolayısıyla hiçbir tarayıcının onu okuması kesin olarak zorunlu değildir; ancak temiz bir dosya ve temiz sayfalar, onu okuyan her modele yardımcı olur. Ayrıca erişime fiilen karar veren dosyayla birlikte çalışır: robots.txt. robots.txt'yi kapı, llms.txt'yi ise özenle hazırlanmış harita olarak düşünün.
İki tür yapay zeka tarayıcısı
Yapay zeka botlarını iki gruba ayırmak işe yarar, çünkü genellikle onlara farklı davranırsınız:
- Yanıt / arama tarayıcıları — sayfaları, kullanıcının sorusunu hemen yanıtlamak için getirir:
OAI-SearchBotveChatGPT-User(OpenAI),Claude-SearchBotveClaude-User(Anthropic),PerplexityBotvePerplexity-User. Bunlar yapay zeka görünürlüğünü artırır; genel olarak onları istersiniz. - Eğitim tarayıcıları — modelleri eğitmek için veri toplar:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. Bunlara izin verip vermemek ayrı, bir tür "vazgeçme" (opt-out) tercihidir.
Bunlardan hangileri bugün llms.txt okuyor?
Açıkçası: benimsenme hâlâ erken aşamada. llms.txt, yapay zeka geliştirici araçları ve aracı (agent) çerçeveleri arasında giderek artan bir desteğe sahip yükselen bir standarttır; ancak büyük tarayıcıların çoğu onu henüz otomatik olarak getirmiyor. Değer, hazır olmakta yatıyor: doğru ve özenle hazırlanmış bir dosyanın maliyeti düşüktür ve standart olgunlaştıkça sizi avantajlı bir konuma getirir; bu arada işaret ettiği temiz sayfalar da modellere şu anda yardımcı olur.
Erişime llms.txt değil, robots.txt karar verir
llms.txt asla bir şeyi engellemez ya da izin vermez; yalnızca düzenler. Yapay zeka tarayıcılarının neyi getirebileceğini kontrol etmek için robots.txt kullanın. Görünürlüğe dost bir yapılandırma, yanıt tarayıcılarına izin verir ve eğitim tarayıcıları hakkında bilinçli bir tercih yapar:
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
İki dosyanın işi nasıl paylaştırdığını öğrenmek için llms.txt ve robots.txt karşılaştırmasına bakın.
Ne yapmalı
- Yapay zeka araçlarının sizden alıntı yapabilmesi için yukarıdaki yanıt / arama tarayıcılarına izin verin.
- Eğitim için vazgeçme tercihlerine (
GPTBot,Google-Extended) bilinçli olarak karar verin; bunları engellemek yapay zeka aramasındaki görünürlüğü etkilemez. - Özenle hazırlanmış bir llms.txt yayımlayın, ardından bağlantı verilen her sayfanın gerçekten açıldığından emin olmak için doğrulayın.