בודק
robots.txt
שורה אחת שגויה ב-robots.txt יכולה להסתיר את כל האתר שלכם מגוגל - או מ-ChatGPT. הדביקו את הקובץ ואת הכתובות שלכם, בחרו זחלן, וראו בדיוק איזה כלל מכריע כל נתיב. פועל בדפדפן שלכם - שום דבר לא מועלה.
איזה כלל מנצח? גלו.
פסקי דין לנתיבים
| נתיב | פסק דין | כלל מכריע |
|---|
בריאות הקובץ
Yetty כותבת ומגישה robots.txt תקין לכל אתר אוטומטית - כולל שורת מפת אתר - עם בקרת זחלני AI במתג אחד.
איך זחלנים באמת
קוראים את הקובץ שלכם
קבוצה אחת חלה
זחלן בוחר את קבוצת ה-User-agent הספציפית ביותר שמזכירה אותו. אם קיימת קבוצה ספציפית, קבוצת ה-* מתעלמים ממנה לחלוטין - לא ממזגים.
הנתיב הארוך ביותר מנצח
כללים לא נקראים מלמעלה למטה. הכלל התואם עם הנתיב הארוך ביותר מכריע - בכל מקום שהוא יושב בקובץ.
Allow מנצח את Disallow בתיקו
אורך שווה, פסקי דין הפוכים? כלל ה-Allow מנצח. כך פותחים תיקייה אחת בתוך אזור חסום.
תווים כלליים: * ו-$
* תואם כל תווים, $ מצמיד את הכלל לסוף הכתובת. Disallow: /*.pdf$ חוסם כל PDF ותו לא.
מלכודת התו האחד
Disallow: / חוסם הכול. Disallow: (ריק) לא חוסם כלום. אינספור אתרים נעלמו בגלל אותו לוכסן בודד.
שורת מפת אתר
Sitemap: https://…/sitemap.xml שייכת גם ל-robots.txt - כך זחלנים מוצאים את רשימת העמודים שלכם בלי לנחש.
אנשים גם שואלים
איך בודקים את קובץ ה-robots.txt שלי?
הדביקו את robots.txt ורשימת נתיבים לכלי הבדיקה הזה, בחרו את הזחלן שמעניין אתכם, ותקבלו פסק דין ALLOWED או BLOCKED לכל נתיב עם השורה המדויקת שהכריעה אותו. הוא מיישם את הכללים האמיתיים שזחלנים משתמשים בהם: קבוצת ה-user-agent הספציפית ביותר מנצחת, אחר כך הנתיב התואם הארוך ביותר, ו-Allow מנצח את Disallow בתיקו.
האם סדר הכללים ב-robots.txt משנה?
לא - וזה מפתיע כמעט את כולם. זחלנים לא קוראים כללים מלמעלה למטה. בתוך הקבוצה שחלה עליהם, הכלל עם הנתיב התואם הארוך ביותר מנצח, בכל מקום שהוא יושב בקובץ. אם Allow ו-Disallow תואמים באורך שווה, Allow מנצח. הסדר משנה רק לקריאוּת.
מה המשמעות של Disallow עם לוכסן בלבד ב-robots.txt?
Disallow: / חוסם את כל האתר עבור אותם user-agents שהקבוצה מכסה, כי כל נתיב מתחיל בלוכסן. Disallow: ריק (בלי כלום אחרי הנקודתיים) פירושו ההפך - לא לחסום כלום. תו אחד מפריד בין "ברוכים הבאים" ל"לכו מכאן", ולכן בדיקה עדיפה על ניחוש.
עוד כלים חינמיים:
האם ה-AI רואה את האתר שלכם? ·
מציג שרשראות הפניה ·
כל הכלים החינמיים
מעדיפים לא לגעת בקובץ הזה שוב? ראו SEO בטייס אוטומטי