أي زواحف الذكاء الاصطناعي تقرأ llms.txt؟
نُشر:
يُعد llms.txt اتفاقية فتية وطوعية، لذا لا يُلزَم أي زاحف بقراءته بصرامة — لكن وجود ملف نظيف إلى جانب صفحات نظيفة يساعد أي نموذج يقرؤه. كما أنه يقترن بالملف الذي يقرر الوصول فعليًا: robots.txt. تخيّل robots.txt على أنه البوابة، وllms.txt على أنه الخريطة المنسَّقة.
نوعان من زواحف الذكاء الاصطناعي
من المفيد تقسيم روبوتات الذكاء الاصطناعي إلى مجموعتين، لأنك عادةً ما تتعامل معهما بشكل مختلف:
- زواحف الإجابة / البحث — تجلب الصفحات للإجابة عن سؤال المستخدم الآن:
OAI-SearchBotوChatGPT-User(OpenAI)، وClaude-SearchBotوClaude-User(Anthropic)، وPerplexityBotوPerplexity-User. هذه هي التي تدفع ظهور الذكاء الاصطناعي — وأنت عادةً تريدها. - زواحف التدريب — تجمع البيانات لتدريب النماذج:
GPTBotوClaudeBotوGoogle-ExtendedوApplebot-ExtendedوCCBotوBytespiderوMeta-ExternalAgent. أما السماح بها فهو خيار منفصل قائم على الانسحاب الاختياري.
أيّها يقرأ llms.txt اليوم؟
بصراحة: لا يزال التبنّي في مراحله المبكرة. إن llms.txt معيار ناشئ يحظى بدعم متنامٍ بين أدوات مطوّري الذكاء الاصطناعي وأطر عمل الوكلاء، لكن معظم الزواحف الكبيرة لا تجلبه تلقائيًا بعد. تكمن القيمة في أن تكون جاهزًا — فالملف الصحيح المنسَّق لا يكلّف كثيرًا ويضعك في موضع جيد مع نضوج المعيار، في حين أن الصفحات النظيفة التي يشير إليها تساعد النماذج الآن.
الوصول يُقرَّر في robots.txt، لا في llms.txt
إن llms.txt لا يحجب ولا يمنح أي شيء على الإطلاق — فهو ينسّق فقط. للتحكم فيما يجوز لزواحف الذكاء الاصطناعي جلبه، استخدم robots.txt. إن الإعداد المؤاتي للظهور يسمح لزواحف الإجابة ويتخذ خيارًا مدروسًا بشأن زواحف التدريب:
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
راجع llms.txt مقابل robots.txt لمعرفة كيف يقتسم الملفان العمل.
ما الذي ينبغي فعله
- اسمح بزواحف الإجابة / البحث المذكورة أعلاه حتى تتمكن أدوات الذكاء الاصطناعي من الاستشهاد بك.
- قرّر بشأن الانسحاب من التدريب (
GPTBotوGoogle-Extended) بشكل مدروس — فحجبها لا يؤثر في ظهورك في بحث الذكاء الاصطناعي. - انشر ملف llms.txt منسَّقًا، ثم تحقّق منه ليتأكد أن كل صفحة مرتبطة تُحَلّ فعليًا.