האם AI רואה
את האתר שלכם?
אנשים מבקשים מ-ChatGPT, Claude ו-Perplexity המלצות כל יום. הקלידו את כתובת האתר שלכם וראו - זחלן אחר זחלן - האם עוזרי AI מורשים להיכנס. אנחנו שולפים את העמוד שלכם באופן מאובטח - שום דבר אחר לא עוזב את הדפדפן.
הקלידו את הכתובת שלכם. קבלו את פסק הדין.
או הדביקו robots.txt ו-HTML ידנית
פסקי דין לזחלני AI
| זחלן | מה הוא מזין | פסק דין | כלל מכריע / תיקון |
|---|
בדיקות עמוד הבית
אתרי Yetty מקבלים בברכה זחלני AI כברירת מחדל, מגישים llms.txt ונתונים מובנים אוטומטית, ונותנים לכם חסימה במתג אחד אם תשנו את דעתכם אי פעם.
הזחלנים שמאחורי
כל תשובת AI
OpenAI / ChatGPT
GPTBot אוסף נתוני אימון, OAI-SearchBot בונה את חיפוש ChatGPT, ChatGPT-User מבקר בזמן אמת כשמשתמש שואל עליכם.
Anthropic / Claude
ClaudeBot זוחל, Claude-SearchBot מאנדקס לחיפוש, Claude-User שולף עמודים במהלך שיחה חיה.
Perplexity
PerplexityBot בונה את אינדקס התשובות; Perplexity-User שולף את העמוד שלכם בזמן אמת כשהוא מצטט אתכם.
Google-Extended
לא זחלן בפני עצמו - מתג robots.txt שמכריע אם Google רשאית להשתמש בתוכן שלכם ב-Gemini.
בוטי מאגרי הנתונים
CCBot (Common Crawl) מזין מאגרים שהרבה מודלי AI מתאמנים עליהם; Bytespider הוא ByteDance; meta-externalagent הוא Meta.
Applebot-Extended
המתג של Apple עבור אימון Apple Intelligence - אותו רעיון כמו Google-Extended.
אנשים גם שואלים
איך אדע אם ChatGPT יכול לראות את האתר שלי?
בדקו את ה-robots.txt שלכם עבור הזחלנים ש-OpenAI משתמשת בהם: GPTBot, OAI-SearchBot ו-ChatGPT-User. אם כלל Disallow חוסם אותם (או חוסם את כולם עם Disallow ולוכסן תחת User-agent כוכבית), ChatGPT לא יכול לקרוא את העמודים שלכם. הזינו את כתובת האתר שלכם לבודק הזה (או הדביקו את ה-robots.txt) ותקבלו פסק דין לכל זחלן עם הכלל המדויק שמכריע אותו.
האם כדאי לחסום זחלני AI כמו GPTBot?
זה תלוי במטרה שלכם. אם אתם מוכרים תוכן עצמו, חסימת זחלני אימון יכולה להיות הגיונית. אבל עבור רוב העסקים, עוזרי AI הם מקור גדל של לקוחות: כש-ChatGPT או Perplexity ממליצים עליכם, התנועה הזו חינמית. חסימת זחלני AI פירושה שאתם פשוט לא קיימים בתשובות האלה.
האם robots.txt משפיע על תשובות ChatGPT ו-Perplexity?
כן. OpenAI, Anthropic ו-Perplexity כולן מצהירות שהזחלנים שלהן מכבדים robots.txt. אם הקובץ שלכם חוסם את הבוטים שלהן, לא ניתן לשלוף את העמודים שלכם לתשובות גלישה או לאינדקסי חיפוש, אז מתחרים מצוטטים במקומכם. Google-Extended שולט באופן דומה אם Google רשאית להשתמש בתוכן שלכם עבור Gemini.
עוד כלים חינמיים:
בודק robots.txt ·
מחולל llms.txt ·
כל הכלים החינמיים
רוצים את כל השכבה אוטומטית? ראו SEO בטייס אוטומטי