GPTBot, OAI-SearchBot ו-ClaudeBot: אילו בוטים לפתוח ואילו לחסום
Second Nature · עודכן 03.11.2026
לא כל בוט של AI עושה את אותו דבר. חלק מהבוטים מביאים קונים וחלק לומדים מהאתר כדי לאמן מודלים. ההחלטה מה לחסום היא שלך, אבל כדאי לקבל אותה בידיעה.
הטבלה
| בוט | של מי | מה הוא עושה | ההמלצה לחנות |
|---|---|---|---|
| OAI-SearchBot | OpenAI | מוצא אתרים לתשובות ולקניות ב-ChatGPT | לפתוח |
| ChatGPT-User | OpenAI | נכנס לעמוד כשמשתמש מבקש ממנו | לפתוח |
| GPTBot | OpenAI | אוסף מידע לאימון מודלים | החלטה שלך |
| PerplexityBot | Perplexity | מוצא אתרים לתשובות | לפתוח |
| ClaudeBot | Anthropic | אוסף מידע לאימון מודלים | החלטה שלך |
| Googlebot | גוגל | החיפוש הרגיל, ו-AI Mode | לפתוח |
| Google-Extended | גוגל | הרשאה לשימוש בתוכן לאימון Gemini | החלטה שלך |
| Bingbot | מיקרוסופט | החיפוש של Bing, שעליו נשען Copilot | לפתוח |
איך זה נראה ב-robots.txt
קובץ robots.txt נמצא בכתובת הראשית של האתר. כדי לפתוח את הבוטים שמביאים קונים ולחסום אימון, כותבים בלוק נפרד לכל בוט: User-agent עם שם הבוט ואחריו Allow או Disallow.
החסימה שאף אחד לא רואה
הרבה חנויות חוסמות בוטים בלי לדעת. Cloudflare, למשל, מאפשר לחסום בוטים של AI בלחיצה ובחלק מההגדרות זו ברירת המחדל. גם תוספי אבטחה ב-WordPress חוסמים לפעמים. במקרים האלה robots.txt נראה תקין, אבל הבוט מקבל שגיאה.
שלוש אסטרטגיות
| אסטרטגיה | מה פותחים | למי מתאים |
|---|---|---|
| פתוח לכולם | את כל הבוטים | רוב החנויות. יותר חשיפה, בלי מחיר אמיתי |
| חיפוש בלבד | בוטים שמביאים קונים וחוסמים בוטי אימון | מי שלא רוצה שהתוכן ישמש לאימון |
| חסום | אף בוט של AI | לא מומלץ לחנות. היא נעלמת מהתשובות |
איך בודקים שהבוט באמת נכנס
robots.txt הוא בקשה, לא חומה. כדי לדעת אם בוט באמת נכנס, בודקים את יומני השרת או משתמשים בכלי שסופר ביקורים. התוסף של מדף מציג את הביקורים של הבוטים המוכרים, לפי ימים, בלי לשמור כתובות IP.
שאלה של שליטה
ההחלטה אם לתת לבוטים לאמן מודלים על התוכן שלך היא עסקית ואישית. מה שחשוב לדעת: חסימה של בוטי אימון לא מוציאה אותך מהתשובות, כל עוד בוטי החיפוש פתוחים.
מה מדף עושה
הבדיקה של מדף מנסה להיכנס לאתר כמו הבוטים האמיתיים ומראה אם משהו חוסם. התוסף מגדיר robots.txt לפי הבחירה שלך: לפתוח הכול, או לפתוח רק את הבוטים שמביאים קונים. ראו גם איך להופיע ב-ChatGPT.
שאלות נפוצות
אם אחסום את GPTBot, ChatGPT לא ימליץ עליי?
לא בהכרח. GPTBot משמש לאימון. הבוט שמביא קונים הוא OAI-SearchBot. אפשר לחסום את הראשון ולפתוח את השני.
איך יודעים אם האתר חוסם בוטים?
הבדיקה של מדף בודקת את זה, כולל חסימות של Cloudflare שלא מופיעות ב-robots.txt.