فاحص
robots.txt
سطر واحد خاطئ في robots.txt قد يخفي موقعك كله عن Google - أو عن ChatGPT. الصق ملفك وروابطك، اختر زاحفًا، وشاهد بالضبط أي قاعدة تحسم كل مسار. تعمل في متصفحك - لا شيء يُرفع.
أي قاعدة تفوز؟ اكتشف.
أحكام المسارات
| المسار | الحكم | القاعدة الحاسمة |
|---|
صحة الملف
تكتب Yetty وتقدّم robots.txt صحيحًا لكل موقع تلقائيًا - بما فيه سطر خريطة الموقع - مع تحكم بزواحف الذكاء الاصطناعي بمفتاح واحد.
كيف تقرأ الزواحف
ملفك حقًا
مجموعة واحدة تنطبق
يختار الزاحف أخص مجموعة User-agent تسمّيه. فإن وُجدت مجموعة خاصة، تُتجاهَل مجموعة * تمامًا - لا تُدمَج.
أطول مسار يفوز
لا تُقرأ القواعد من الأعلى للأسفل. أيّ قاعدة مطابقة لها أطول مسار هي التي تحسم - أينما وقعت في الملف.
Allow يتفوق على Disallow عند التعادل
طول متساوٍ وأحكام متعاكسة؟ تفوز قاعدة Allow. هكذا تفتح مجلدًا واحدًا داخل منطقة محجوبة.
محرفا البدل: * و $
* يطابق أي محارف، و$ يثبّت القاعدة عند نهاية الرابط. Disallow: /*.pdf$ يحجب كل ملف PDF ولا شيء سواه.
فخ الحرف الواحد
Disallow: / يحجب كل شيء. Disallow: (فارغ) لا يحجب شيئًا. اختفت مواقع لا تُحصى بسبب تلك الشرطة الواحدة.
سطر خريطة الموقع
Sitemap: https://…/sitemap.xml ينتمي إلى robots.txt أيضًا - به تجد الزواحف قائمة صفحاتك دون تخمين.
يسأل الناس أيضًا
كيف أختبر ملف robots.txt الخاص بي؟
الصق robots.txt وقائمة مسارات في هذا الفاحص، اختر الزاحف الذي يهمك، فتحصل على حكم ALLOWED أو BLOCKED لكل مسار مع السطر الدقيق الذي حسمه. يطبّق القواعد الحقيقية التي تستخدمها الزواحف: تفوز أخص مجموعة user-agent، ثم أطول مسار مطابق، ويتفوق Allow على Disallow عند التعادل.
هل يهم ترتيب القواعد في robots.txt؟
لا - وهذا يفاجئ الجميع تقريبًا. لا تقرأ الزواحف القواعد من الأعلى للأسفل. داخل المجموعة التي تنطبق عليها، تفوز القاعدة ذات أطول مسار مطابق، أينما وقعت في الملف. وإذا تطابق Allow و Disallow بطول متساوٍ، يفوز Allow. الترتيب مهم فقط لسهولة القراءة.
ماذا يعني Disallow بشرطة مائلة فقط في robots.txt؟
Disallow: / يحجب الموقع كله لأي user-agents تغطيها تلك المجموعة، لأن كل مسار يبدأ بشرطة مائلة. أما Disallow: فارغ (بلا شيء بعد النقطتين) فيعني العكس - لا تحجب شيئًا. حرف واحد يفصل "أهلًا" عن "اذهب بعيدًا"، ولهذا الاختبار أفضل من التخمين.
المزيد من الأدوات المجانية:
هل يرى الذكاء الاصطناعي موقعك؟ ·
مُصوّر سلاسل إعادة التوجيه ·
كل الأدوات المجانية
تفضّل ألا تلمس هذا الملف مرة أخرى؟ شاهد SEO على الطيار الآلي