פתחתם את הלוגים של השרת לאחרונה? יש שם שמות שלא היו קיימים לפני שנתיים -GPTBot, ChatGPT-User, OAI-SearchBot. שלושה בוטים של OpenAI, כל אחד עם תפקיד אחר. ואם אתם לא רואים אותם בלוגים -זו בעיה בפני עצמה, כי זה אומר ש-ChatGPT כנראה לא שולף מידע מהאתר שלכם.
במאמר הזה אני מפרק את שלושת הבוטים, מראה נתוני תנועה אמיתיים מאתר ישראלי (ספוילר: OpenAI כבר כמעט שליש מתנועת הבוטים), ומסביר מתי לדאוג ומתי לשמוח כשהם מבקרים.
שלושת הבוטים של OpenAI
בוא נתחיל מהתמונה המלאה. ל-OpenAI יש שלושה בוטים עיקריים, וההבדלים ביניהם קריטיים:
1. GPTBot -הסורק הראשי
User-Agent:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.3; +https://openai.com/gptbot)GPTBot הוא הסורק הכבד של OpenAI. הוא אחראי על בניית בסיס הידע שמזין את ChatGPT -סורק דפים, מעבד את התוכן, ומכניס אותו למודל. חישבו עליו כמו Googlebot, רק שבמקום אינדקס חיפוש, הוא בונה את המוח של ChatGPT.
מכבד robots.txt: כן.
מה חסימה שלו אומרת: ChatGPT לא ילמד תוכן חדש מהאתר שלכם. תוכן שכבר נלמד ישאר, אבל שום דבר חדש לא ייכנס.
2. ChatGPT-User -שליפה בזמן אמת
User-Agent:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/botזה הבוט שהכי חשוב להבין. ChatGPT-User מגיע כשמישהו עכשיו שואל את ChatGPT שאלה והמודל צריך מידע עדכני מהאתר שלכם כדי לענות. כל בקשה שלו אומרת: מישהו שאל על התחום שלכם, ו-ChatGPT בחר לשלוף את הדף שלכם כתשובה.
מכבד robots.txt: כן.
מה חסימה שלו אומרת: גם אם ChatGPT יודע על האתר שלכם מאימון קודם, הוא לא יוכל לשלוף מידע עדכני. התשובות שלו יהיו מיושנות או שהוא פשוט ידלג עליכם.
3. OAI-SearchBot -החיפוש של ChatGPT
User-Agent:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbotהבוט של פיצ’ר החיפוש בתוך ChatGPT (מה שהיה SearchGPT). כשמשתמש מבקש מ-ChatGPT לחפש משהו ברשת, OAI-SearchBot הוא מה שיוצא לסרוק.
מכבד robots.txt: כן.
מה חסימה שלו אומרת: לא תופיעו בתוצאות החיפוש של ChatGPT.
ההבדל הקריטי: אימון לעומת שליפה בזמן אמת
רוב המדריכים ברשת מתייחסים לבוטים של OpenAI כיחידה אחת. זו טעות. ההבדל בין GPTBot ל-ChatGPT-User הוא כמו ההבדל בין Googlebot שסורק את האתר שלכם לבין משתמש שלוחץ על הקישור שלכם בתוצאות החיפוש.
GPTBot הוא השקעה ארוכת טווח -הוא בונה את הידע של ChatGPT על האתר שלכם. ChatGPT-User הוא תנועה בזמן אמת -מישהו רוצה לדעת משהו, ו-ChatGPT שולח אותו אליכם.
נתונים אמיתיים מאתר ישראלי
רוצים לראות איך זה נראה בפועל? הנה נתונים מאתר של נותן שירותים ישראלי -אתר קטן עם עשרות דפים, לא ענקית תוכן. הנתונים מכסים חודש שלם (פברואר-מרץ 2026):
| בוט | אחוז מכלל תנועת הבוטים |
|---|---|
| Googlebot | 61% |
| ChatGPT-User | 15% |
| OAI-SearchBot | 7% |
| GPTBot | 7% |
| סה”כ OpenAI | 29% |
| ClaudeBot (Anthropic) | 8% |
| Bingbot | 3% |
הבוטים של OpenAI הם כבר כמעט שליש מכלל תנועת הבוטים -אחוז משמעותי לשחקן שלא היה קיים לפני שנתיים. ובשבועות מסוימים, בפרט כשתוכן באתר עולה לטרנד ב-ChatGPT, המספרים עולים בחדות.
שימו לב ש-ChatGPT-User הוא הבוט הפעיל ביותר של OpenAI -שליפה בזמן אמת. כל בקשה שלו אומרת שמישהו שאל שאלה ו-ChatGPT שלף מידע מהאתר כדי לענות. זו תנועה איכותית.
(לא אשתף נתוני לקוחות, אבל התמונה דומה ברוב האתרים שאני עובד איתם.)
איך לזהות את הבוטים של OpenAI בלוגים
אם יש לכם גישה ללוגים של השרת (או ל-Cloudflare Analytics, או לכל פלטפורמה שמראה user agents), חפשו את המחרוזות הבאות:
GPTBot/1.3
ChatGPT-User/1.0
OAI-SearchBot/1.0שימו לב שמספרי הגרסאות משתנים -OpenAI מעדכנים אותם מעת לעת. חפשו לפי השם (GPTBot, ChatGPT-User, OAI-SearchBot) ולא לפי מספר הגרסה.
טווחי IP של הבוטים של OpenAI
OpenAI מפרסמים את טווחי ה-IP הרשמיים שלהם:
- GPTBot -openai.com/gptbot.json
- ChatGPT-User -openai.com/chatgpt-user.json
- OAI-SearchBot -openai.com/searchbot.json
אפשר להשתמש בטווחים האלה לאימות -אם מישהו טוען שהוא GPTBot אבל ה-IP שלו לא ברשימה, זה מתחזה.
איך לחסום את הבוטים של OpenAI ב-robots.txt
ב-robots.txt אתם יכולים לשלוט על כל בוט בנפרד:
לחסום את כולם (לא מומלץ לרוב האתרים):
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: OAI-SearchBot
Disallow: /חסימה סלקטיבית (יותר הגיוני):
User-agent: GPTBot
Disallow: /members/
Disallow: /premium/לתת לכולם להיכנס (ברירת המחדל המומלצת) -פשוט אל תוסיפו חסימות.
ההמלצה שלי: לרוב האתרים, לא לחסום כלום. אם אתם רוצים שאנשים ימצאו אתכם דרך ChatGPT, אתם צריכים לתת לבוטים לסרוק את האתר. חסימה של GPTBot שקולה להסרת האתר מ-ChatGPT -בדיוק כמו שחסימת Googlebot מסירה אתכם מגוגל.
יוצאי דופן:
- תוכן מוגן בתשלום -לגיטימי לחסום GPTBot על תוכן פרמיום
- קניין רוחני רגיש -אם לא רוצים שהתוכן ישמש לאימון
- בעיות ביצועים -אם הבוטים עומסים על השרת (נדיר)
חשוב להבין: robots.txt זו המלצה, לא הגנה
בסופו של דבר, robots.txt הוא פרוטוקול מבוסס כבוד -אין שום מנגנון טכני שמונע מבוט להתעלם ממנו. הבוטים של OpenAI, Anthropic וגוגל מכבדים את הכללים, אבל שחקנים אחרים לא תמיד. Cloudflare תיעדו מקרים שבהם Perplexity עקפו חסימות robots.txt באמצעות user agents מזויפים שהתחזו לדפדפן Chrome רגיל.
אם יש לכם תוכן שבאמת חייב להיות מוגן -robots.txt לבד לא מספיק. תצטרכו שכבות נוספות: אימות IP, rate limiting, או חסימה ברמת WAF.
בוטים של AI מעבר ל-OpenAI -Claude, Perplexity, Gemini
OpenAI הם לא היחידים. הנה השחקנים העיקריים:
| בוט | חברה | תפקיד | robots.txt |
|---|---|---|---|
| ClaudeBot | Anthropic | אימון/אינדוקס | כן |
| Claude-User | Anthropic | שליפה בזמן אמת | כן |
| PerplexityBot | Perplexity | אינדוקס | כן |
| Perplexity-User | Perplexity | שליפה לתשובות | כן |
| Google-Extended | אימון Gemini | כן |
שימו לב לדפוס -כמעט כל חברת AI מפעילה שני סוגי בוטים: אחד לאימון ואחד לשליפה בזמן אמת. זה אותו הבדל כמו GPTBot לעומת ChatGPT-User.
שאלות נפוצות על הבוטים של OpenAI
מה ההבדל בין GPTBot ל-ChatGPT-User?
GPTBot סורק דפים לצורך אימון ואינדוקס של המודל -הוא בונה את בסיס הידע של ChatGPT. ChatGPT-User מגיע כשמשתמש אמיתי שואל שאלה ו-ChatGPT צריך לשלוף מידע עדכני מהאתר שלכם כדי לענות. GPTBot הוא השקעה ארוכת טווח, ChatGPT-User הוא תנועה בזמן אמת.
האם כדאי לחסום את GPTBot ב-robots.txt?
ברוב המקרים, לא. חסימת GPTBot מונעת מ-ChatGPT ללמוד על האתר שלכם, מה שאומר שהוא לא ימליץ עליכם. אם יש לכם סיבה ספציפית (תוכן מוגן בתשלום, קניין רוחני רגיש) -אפשר לחסום סלקטיבית. אבל לרוב העסקים, הנוכחות ב-ChatGPT שווה יותר מההגנה על התוכן.
איך אני יודע אם ChatGPT מצטט את האתר שלי?
חפשו ChatGPT-User בלוגים של השרת. כל בקשה כזו אומרת שמישהו שאל שאלה ו-ChatGPT שלף את הדף שלכם כדי לענות. אפשר גם לבדוק ב-Cloudflare Analytics אם אתם משתמשים ב-CF. דרך נוספת -פתחו ChatGPT ושאלו שאלות בתחום שלכם.
האם הבוטים של OpenAI מכבדים robots.txt?
כן. GPTBot, ChatGPT-User ו-OAI-SearchBot כולם מכבדים robots.txt. אפשר לחסום כל אחד בנפרד. חשוב לזכור שחסימת ChatGPT-User תמנע מ-ChatGPT לשלוף מידע מהאתר שלכם בזמן אמת, גם אם GPTBot כבר סרק אותו.
כמה בקשות הבוטים של OpenAI שולחים?
תלוי בגודל ובפופולריות האתר. מניסיוני עם אתרים ישראליים, הבוטים של OpenAI מהווים כשליש מכלל תנועת הבוטים -עם שבועות שיא שבהם הם עולים משמעותית. ChatGPT-User הוא הפעיל ביותר מביניהם, והוא מגיע בגלים לפי מה שאנשים שואלים.
האם robots.txt באמת מגן מפני סריקת AI?
לא באופן הרמטי. robots.txt הוא פרוטוקול מבוסס כבוד -הבוטים הגדולים (OpenAI, Anthropic, Google) מכבדים אותו, אבל אין מנגנון טכני שמונע מבוט להתעלם ממנו. שחקנים מסוימים תועדו עוקפים חסימות באמצעות user agents מזויפים. אם יש תוכן שחייב להיות מוגן, צריך שכבות נוספות -אימות IP, rate limiting, או חסימה ברמת WAF.
האם חסימת GPTBot משפיעה על הדירוג בגוגל?
לא. אלו מערכות נפרדות לחלוטין. GPTBot הוא של OpenAI ואין לו שום קשר לאינדקס של גוגל. באותה מידה, Google-Extended (שמשמש לאימון Gemini) מופרד מ-Googlebot -חסימה שלו לא משפיעה על הדירוג בחיפוש.
מה ההבדל בין OAI-SearchBot ל-ChatGPT-User?
OAI-SearchBot מופעל כשמשתמש מבקש מ-ChatGPT לחפש ברשת -זה פיצ'ר החיפוש. ChatGPT-User מופעל כשהמודל צריך מידע עדכני כדי לענות על שאלה. לכל אחד טווחי IP נפרדים ותפקיד שונה, ואפשר לחסום כל אחד בנפרד ב-robots.txt.
איך לוודא שבוט הוא באמת של OpenAI ולא מתחזה?
OpenAI מפרסמים רשימות IP רשמיות לכל בוט. אם ה-IP של הבקשה לא נמצא ברשימה הרשמית אבל ה-user agent טוען שהוא GPTBot או ChatGPT-User -זה מתחזה. אפשר להשתמש בטווחים האלה כ-allowlist ב-WAF או בשרת.
מה לקחת מפה
- לא כל הבוטים של OpenAI שווים -ChatGPT-User הוא תנועה אמיתית, GPTBot הוא השקעה ארוכת טווח
- הבוטים של AI כבר שולחים יותר בקשות מגוגלבוט באתרים מסוימים
- חסימת הבוטים שקולה להיעלמות מ-AI -לרוב לא כדאי
- כדאי לעקוב אחרי ChatGPT-User בלוגים -כל בקשה שלו אומרת שמישהו שאל עליכם
אם אתם רוצים להשפיע על מה ש-ChatGPT אומר עליכם ולא רק לצפות מהצד, זה בדיוק מה שאני עושה כמומחה קידום ב-ChatGPT.
יאללה, בהצלחה.
