Cloudflare חוסם את ChatGPT? איך בודקים ומתקנים

Cloudflare מגן על בערך חמישית מהאתרים ברשת וגם על הרבה חנויות ישראליות. מאז יולי 2025 הוא נותן לבעלי אתרים לשלוט בבוטים של AI ובחלק מההגדרות הם חסומים מראש. הבעיה: robots.txt נראה תקין, אבל הבוט של ChatGPT מקבל שגיאה ולא נכנס.

מה השתנה ומתי

בגלל השינויים האלה, כל חנות צריכה לבדוק מה מוגדר אצלה בפועל. ההגדרה תלויה במתי הדומיין נוסף ובמה מישהו שינה מאז.

איך בודקים

1. נכנסים ללוח הבקרה של Cloudflare ובוחרים את הדומיין.
2. פותחים את המסך AI Crawl Control. הוא נמצא בדרך כלל באזור האבטחה וניהול הבוטים.
3. בודקים את הסטטוס של כל בוט: מותר או חסום.
4. בודקים גם את Bot Fight Mode וחוקי חומת האש. הם יכולים לחסום בוטים גם כשהמסך הראשי נראה תקין.

מה לפתוח

אחרי שינוי

השינוי נכנס לתוקף מיד, אבל הבוטים חוזרים לבקר בקצב שלהם. בדרך כלל רואים ביקורים תוך כמה ימים. התוסף של מדף מציג את הביקורים לפי בוט ולפי יום, כך שרואים מתי זה התחיל לעבוד. ראו גם אילו בוטים לפתוח ואילו לחסום.

בדיקה מבחוץ

הבדיקה של מדף מנסה להיכנס לחנות כמו הבוטים האמיתיים ומראה אם משהו חוסם, גם כש-robots.txt תקין.