هل يرى الذكاء الاصطناعي
موقعك؟
يطلب الناس من ChatGPT و Claude و Perplexity توصيات كل يوم. اكتب عنوان موقعك وشاهد - زاحفًا بزاحف - هل يُسمح لمساعدي الذكاء الاصطناعي بالدخول. نجلب صفحتك بأمان - لا شيء آخر يغادر متصفحك.
اكتب عنوانك. احصل على الحكم.
أو الصق robots.txt و HTML يدويًا
أحكام زواحف الذكاء الاصطناعي
| الزاحف | ماذا يغذّي | الحكم | القاعدة الحاسمة / الإصلاح |
|---|
فحوص الصفحة الرئيسية
مواقع Yetty ترحّب بزواحف الذكاء الاصطناعي افتراضيًا، وتقدّم llms.txt وبيانات منظمة تلقائيًا، وتمنحك حجبًا بمفتاح واحد إن غيّرت رأيك يومًا.
الزواحف وراء
كل إجابة ذكاء اصطناعي
OpenAI / ChatGPT
GPTBot يجمع بيانات التدريب، و OAI-SearchBot يبني بحث ChatGPT، و ChatGPT-User يزور مباشرة حين يسأل مستخدم عنك.
Anthropic / Claude
ClaudeBot يزحف، و Claude-SearchBot يفهرس للبحث، و Claude-User يجلب الصفحات أثناء محادثة حية.
Perplexity
PerplexityBot يبني فهرس الإجابات؛ و Perplexity-User يجلب صفحتك مباشرة حين يستشهد بك.
Google-Extended
ليس زاحفًا مستقلًا - مفتاح في robots.txt يقرّر ما إذا كان يجوز لـ Google استخدام محتواك في Gemini.
روبوتات مجموعات البيانات
CCBot (Common Crawl) يغذّي مجموعات بيانات تتدرب عليها نماذج ذكاء اصطناعي كثيرة؛ و Bytespider من ByteDance؛ و meta-externalagent من Meta.
Applebot-Extended
مفتاح Apple لتدريب Apple Intelligence - الفكرة نفسها كـ Google-Extended.
يسأل الناس أيضًا
كيف أعرف إن كان بإمكان ChatGPT رؤية موقعي؟
افحص robots.txt لديك بحثًا عن الزواحف التي تستخدمها OpenAI: GPTBot و OAI-SearchBot و ChatGPT-User. إن حجبتها قاعدة Disallow (أو حجبت الجميع بـ Disallow وشرطة تحت User-agent نجمة)، فلن يستطيع ChatGPT قراءة صفحاتك. أدخل عنوان موقعك في هذا الفاحص (أو الصق robots.txt) لتحصل على حكم لكل زاحف مع القاعدة الدقيقة التي تحسمه.
هل ينبغي حجب زواحف الذكاء الاصطناعي مثل GPTBot؟
يعتمد على هدفك. إن كنت تبيع المحتوى نفسه، فقد يكون حجب زواحف التدريب منطقيًا. لكن لمعظم الأنشطة التجارية، مساعدو الذكاء الاصطناعي مصدر متنامٍ للعملاء: حين يوصي بك ChatGPT أو Perplexity، تكون تلك الزيارات مجانية. وحجب زواحف الذكاء الاصطناعي يعني ببساطة أنك غير موجود في تلك الإجابات.
هل يؤثر robots.txt في إجابات ChatGPT و Perplexity؟
نعم. تصرّح OpenAI و Anthropic و Perplexity جميعًا بأن زواحفها تحترم robots.txt. فإن حجب ملفك روبوتاتها، فلن يمكن جلب صفحاتك لإجابات التصفح أو فهارس البحث، فيُقتبَس المنافسون بدلًا منك. وبالمثل يتحكم Google-Extended فيما إذا كان يجوز لـ Google استخدام محتواك في Gemini.
المزيد من الأدوات المجانية:
فاحص robots.txt ·
مولّد llms.txt ·
كل الأدوات المجانية
تريد الطبقة كلها تلقائية؟ شاهد SEO على الطيار الآلي