llms.txt مقابل robots.txt مقابل sitemap.xml
نُشر:
تقع الملفات الثلاثة جميعها في جذر موقعك وكلها نصّ صِرف — لكنها تحلّ مشكلات مختلفة. والخلط بينها هو أكثر أخطاء llms.txt شيوعاً.
الخلاصة في سطر واحد
- robots.txt — يتحكم في وصول برامج الزحف: ما يُسمح للروبوتات بجلبه وما لا يُسمح.
- sitemap.xml — يسرد كل صفحة قابلة للفهرسة لمحركات البحث.
- llms.txt — ينتقي قائمة مختصرة من الصفحات عالية الدلالة للنماذج اللغوية الكبيرة وقت الاستدلال.
robots.txt يتعلق بالإذن
يُخبر robots.txt برامج الزحف بالمسارات المسموح لها بطلبها. إنه عُرف للتحكم في الوصول. وهو لا ينتقي المحتوى ولا يرتّبه، كما أنه ليس مكتوباً للنماذج اللغوية على وجه التحديد.
sitemap.xml يتعلق بالتغطية
تهدف خريطة الموقع إلى أن تكون شاملة: فهي تُحصي جميع عناوين URL التي ترغب في فهرستها كي لا تفوّت محركات البحث أيّاً منها. وهي بصيغة XML موجّهة للآلة، لا ملخّصاً قابلاً للقراءة البشرية.
llms.txt يتعلق بالانتقاء
إنّ llms.txt هو نقيض الشمول. فهو قائمة منتقاة يدوياً بصيغة Markdown تضمّ الصفحات القليلة التي تساعد النموذج أكثر من غيرها على فهم موقعك واستخدامه — مع وصف موجز لكل منها. وهو موجود من أجل الاستدلال (المساعدة حين يطلب مستخدم العون من ذكاء اصطناعي)، لا لمجموعات بيانات التدريب ولا للتحكم في الوصول.
يُكمل بعضها بعضاً
أنت لا تختار بينها — فالإعداد القوي يضمّها جميعاً. يحكم robots.txt الوصول، ويضمن sitemap.xml التغطية، وينتقي llms.txt الدلالة من أجل الذكاء الاصطناعي. وبمجرد أن تكتب ملفك، مرّره عبر أداة التحقق واقرأ كيفية إنشاء ملف llms.txt للاطّلاع على تفاصيل التنسيق.