במדריך זה אסביר על הבוטים של OpenAI: מה כל אחד עושה באתר, איך לזהות ולאמת בקשות ממנו, איך לחסום אותו ומה המשמעות לחיפוש, לאימון ולקריאת עמודים דרך ChatGPT.
הבוטים של OpenAI ומה כל אחד עושה
| בוט או כלי | תפקיד | מתי הוא מגיע |
|---|---|---|
| GPTBot | איסוף תוכן שעשוי לשמש לאימון | סריקה אוטומטית |
| OAI-SearchBot | סריקה עבור החיפוש של ChatGPT | סריקה אוטומטית |
| ChatGPT-User | שליפת עמוד בעקבות פעולת משתמש | בעת שימוש ב־ChatGPT |
| OAI-AdsBot | בדיקת עמודי נחיתה של מודעות | בעקבות הגשת מודעה ל־ChatGPT |
| הדפדפן בענן של ChatGPT Work | גלישה מטעם המשתמש | בעת ביצוע משימה |
OpenAI מפרידה בין מטרות הסריקה, ולכן חסימת בוט אחד אינה בהכרח חוסמת את האחרים. קובץ robots.txt מכיל הוראות סריקה לבוטים. דוגמאות החסימה בהמשך חלות על האתר כולו, כשחסימה כזו נתמכת. OpenAI: התיעוד של OpenAI על הבוטים שלה robots.txt robots.txt הוא קובץ טקסט שיושב בשורש האתר ומגדיר אילו כתובות סורקים רשאים לשלוף. robots.txt שולט בסריקה, לא באינדוקס. להגדרה המלאה של robots.txt
User-Agent הוא שדה בבקשה לשרת שמציין באיזה שם התוכנה מזדהה. אפשר לזייף אותו, ולכן מציאת שם הבוט בלוג הגישה של האתר אינה מוכיחה שהבקשה הגיעה מ־OpenAI. כדי לבדוק את המקור, צריך לאמת את הבקשה.
ייתכן שכבר יש בקובץ הוראות שחוסמות את הבוט או מאפשרות לו גישה לחלק מהעמודים. לפני הוספת דוגמה צריך לבדוק אילו הוראות כבר חלות עליו, כמוסבר בסעיף קבוצות הכללים ב־robots.txt.
GPTBot
מה GPTBot עושה?
GPTBot אוסף תוכן ציבורי מהאינטרנט שעשוי לשמש לאימון מודלים עתידיים של OpenAI. הוא סורק באופן אוטומטי, גם בלי שמשתמש ביקש לקרוא את העמוד.
הופעה של GPTBot בלוג אינה מוכיחה שהתוכן נכלל באימון או יצוטט בתשובות של ChatGPT. הלוג מתעד בקשת גישה, ולצדה אפשר לבדוק מה השרת החזיר.
איך לזהות את GPTBot?
כדי למצוא בקשות שנשלחו בשם GPTBot, צריך לחפש את השם GPTBot בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotכש־GPTBot מבקש את קובץ robots.txt עצמו, הוא עשוי להוסיף למחרוזת הזיהוי את הסימון robots.txt. OpenAI מציגה את הסימון בדוגמה של OAI-SearchBot, ולפי אותו מבנה הבקשה של GPTBot תיראה כך:
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; robots.txt; +https://openai.com/gptbotמה קורה כשחוסמים את GPTBot?
חסימת GPTBot מורה שלא לאסוף את התוכן החסום לצורך אימון עתידי. היא אינה חוסמת את OAI-SearchBot או את ChatGPT-User, ואינה מבטיחה מחיקה של תוכן שכבר נאסף בעבר.
איך לחסום את GPTBot?
כדי לחסום את GPTBot בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: GPTBot
Disallow: /OAI-SearchBot
מה OAI-SearchBot עושה?
OAI-SearchBot סורק תוכן עבור החיפוש של ChatGPT. ההרשאה שלו נפרדת מההרשאה של GPTBot, ולכן אפשר להשאיר את האתר נגיש לחיפוש גם כשמגבילים איסוף לאימון.
כששני הבוטים מורשים, OpenAI עשויה להשתמש בתוצאות של סריקה אחת גם לחיפוש וגם לאימון. לכן היעדר בקשות של GPTBot בלוג אינו מעיד שהתוכן לא שימש לאימון. כדי להגביל אימון צריך לחסום את GPTBot במפורש.
איך לזהות את OAI-SearchBot?
כדי למצוא בקשות שנשלחו בשם OAI-SearchBot, צריך לחפש את השם OAI-SearchBot בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotגם OAI-SearchBot עשוי להוסיף את הסימון robots.txt למחרוזת הזיהוי כשהוא מבקש את הקובץ, בדומה ל־GPTBot.
מה קורה כשחוסמים את OAI-SearchBot?
אם חוסמים את OAI-SearchBot, האתר לא יופיע בתשובות החיפוש של ChatGPT, אבל עדיין עשוי להופיע כקישור ניווט. חסימת הבוט אינה מגבילה את GPTBot, וכשלעצמה אינה מונעת קריאת עמודים בעקבות בקשת משתמש.
איך לחסום את OAI-SearchBot?
כדי לחסום את OAI-SearchBot בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: OAI-SearchBot
Disallow: /עשויות לעבור כ־24 שעות עד שהשינוי בהוראות של OAI-SearchBot יחול במערכות של OpenAI. הרשאה בקובץ אינה מספיקה אם השרת או ה־CDN חוסמים בפועל את הבקשות.
איך Cloudflare עוזרת לסורק החיפוש של OpenAI לגלות עמודים
ב־15 באוקטובר 2026 Cloudflare ו־OpenAI פרסמו תוצאות של פיילוט שבו אותות מהרשת של Cloudflare עזרו לסורק החיפוש של OpenAI למצוא כתובות חדשות ולהחליט לאילו עמודים כדאי לחזור. לפי שתי החברות, הפיילוט התבסס על כ־1% מהרשת של Cloudflare, ובעקבותיו OpenAI גילתה והכניסה לאינדקס מאות מיליוני עמודים חדשים. Cloudflare: תוצאות הפיילוט של Cloudflare ו־OpenAI לגילוי עמודים
הפיילוט לא הוסיף בוט חדש, ולכן לא יופיע בגללו שם חדש בלוגים. את העמודים עצמם עדיין מבקש סורק החיפוש של OpenAI, וההגדרות ל־OAI-SearchBot ב־robots.txt, בשרת וב־WAF ממשיכות לקבוע אם הוא יכול לגשת אליהם. גם כש־Cloudflare מסמנת עמוד, הסימון אינו מתיר לסורק לגשת אליו. את הדירוג והציטוט OpenAI קובעת בעצמה, כך שגילוי בדרך הזו אינו מבטיח שהעמוד יצוטט. אילו אותות עוברים מ־Cloudflare ל־OpenAI, ומה עדיין לא פורסם על הפיילוט, פירטתי במאמר על הפיילוט של Cloudflare ו־OpenAI.
ChatGPT-User
מה ChatGPT-User עושה?
ChatGPT-User הוא כלי שליפה שפועל בעקבות בקשת משתמש, למשל כשמבקשים מ־ChatGPT לפתוח עמוד. הוא אינו הסורק האוטומטי שמשמש להחלטה אם אתר ייכלל בחיפוש. user-triggered fetcher user-triggered fetcher הוא בוט ששולף עמוד כי משתמש ביקש זאת עכשיו, ולא כחלק מסריקה יזומה. להגדרה המלאה של user-triggered fetcher
איך לזהות את ChatGPT-User?
כדי למצוא בקשות שנשלחו בשם ChatGPT-User, צריך לחפש את השם ChatGPT-User בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/botבקשה מאומתת של ChatGPT-User מעידה על ניסיון לקרוא עמוד בעקבות פעולת משתמש. היא אינה מוכיחה שהעמוד צוטט בתשובה או שהמשתמש עבר ממנה לאתר.
מה קורה כשחוסמים את ChatGPT-User?
חסימה בשרת יכולה למנוע מ־ChatGPT לקבל את העמוד שביקש לקרוא עבור המשתמש. כדי להגביל את הופעת האתר בחיפוש האוטומטי של ChatGPT, צריך להגדיר בנפרד את ההוראות ל־OAI-SearchBot.
איך להגביל את ChatGPT-User?
כללי robots.txt אינם בהכרח חלים על ChatGPT-User, מפני שהוא פועל בעקבות בקשת משתמש. כדי למנוע ממנו גישה בפועל, צריך להגדיר חסימה בשרת או ב־WAF, מערכת שמסננת בקשות לפני שהן מגיעות לאתר. חסימה של הבוט צריכה להתבסס על בקשות שמקורן אומת.
OAI-AdsBot
מה OAI-AdsBot עושה?
OAI-AdsBot בודק עמודי נחיתה שהוגשו כמודעות ב־ChatGPT, כדי לבדוק את בטיחותם ואת התאמתם למדיניות הפרסום. תוכן מהעמוד יכול לשמש גם להתאמת הצגת המודעה. הבוט אינו סורק את כלל הרשת ואינו אוסף תוכן לאימון מודלים גנרטיביים.
איך לזהות את OAI-AdsBot?
כדי למצוא בקשות שנשלחו בשם OAI-AdsBot, צריך לחפש את השם OAI-AdsBot בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbotמה קורה כשחוסמים את OAI-AdsBot?
גישה של OAI-AdsBot היא תנאי לבדיקה ואישור של עמוד הנחיתה במודעות ChatGPT. חסימה ב־robots.txt, ב־WAF או בשרת עלולה לעצור את הבדיקה ולמנוע את אישור המודעה. גישה של OAI-SearchBot לעמודי הנחיתה מומלצת, אבל אינה תנאי לאישור. OpenAI: הנחיות OpenAI לגישה לעמודי מודעות
בפיד מוצרים יש תנאי נוסף. OAI-SearchBot צריך להצליח לגשת לכתובות של תמונות המוצרים, גם כשהתמונות נמצאות בדומיין או ב־CDN נפרד, ותגובת 403 משרת התמונות עלולה לחסום את עיבוד הפיד.
איך לחסום את OAI-AdsBot?
כדי לחסום את OAI-AdsBot בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: OAI-AdsBot
Disallow: /הדפדפן בענן של ChatGPT Work
מה הדפדפן בענן עושה?
הדפדפן בענן מבצע גלישה מטעם המשתמש. אפשר לאמת את בקשותיו באמצעות חתימות Web Bot Auth, במקום להסתמך על שם במחרוזת User-Agent. OpenAI: אימות בקשות הדפדפן בענן של ChatGPT Work
איך לזהות בקשה מהדפדפן בענן?
בבקשות של הדפדפן בענן אפשר למצוא את כותרת הזיהוי הבאה. זו דוגמה לכותרת בבקשה, ולא קוד שצריך להוסיף לאתר:
Signature-Agent: "https://chatgpt.com"לצד הכותרת הזו נשלחות Signature ו־Signature-Input. אלה חלק ממנגנון Web Bot Auth, שמאפשר לבדוק חתימה דיגיטלית של הבקשה. הערך https://chatgpt.com לבדו אינו הוכחה למקור הבקשה. אפשר להסתמך על אימות שביצע ספק ה־CDN, או לממש אימות מול המפתח הציבורי של OpenAI בעזרת הוראות האימות המקושרות בתחילת הסעיף. web-bot-auth web-bot-auth הוא פרוטוקול מתגבש ב-IETF לאימות בוטים: הבוט חותם קריפטוגרפית על בקשות, והאתר מאמת מי שלח אותן. להגדרה המלאה של web-bot-auth
ספקי תשתית שתומכים באימות הזה יכולים לזהות את הבקשות בלי שיהיה צורך לבדוק כל חתימה ידנית. אימות הזהות אינו מבטל חסימות אחרות שהוגדרו באתר.
מה קורה כשחוסמים את הדפדפן בענן?
חסימה בשרת או ב־WAF יכולה למנוע מהדפדפן לקרוא עמודים ולבצע את המשימה באתר עבור המשתמש. היא אינה משנה את ההוראות שניתנו לבוטי החיפוש והאימון.
איך להגביל את הגישה של הדפדפן בענן?
צריך להגדיר את החסימה במערכת שמסננת את הבקשות לאתר, לפי זהות הדפדפן שאומתה בחתימה. אם ספק התשתית מנהל את הסינון, אפשר לבקש ממנו לחסום את התנועה המאומתת של ChatGPT Work לאתר או לנתיב מסוים. קבוצת robots.txt בשם GPTBot או ChatGPT-User אינה תחליף לחסימה הזו.
איך לקרוא את הבקשות בלוגים?
לוג הגישה הוא רישום של הבקשות שהגיעו לאתר. אפשר לקבל אותו דרך ספק האחסון או ה־CDN, השירות שמתווך את התעבורה לאתר. אם אין גישה ללוגים, כדאי לבקש מהתמיכה את רישומי הבקשות של הבוט בטווח הזמן שרוצים לבדוק. לכל בקשה כדאי לבדוק את שם הבוט, כתובת המקור, הנתיב, זמן הבקשה וקוד התגובה. לדוגמה, 403 יכול להעיד שהשרת או ה־WAF דחו גישה, ו־429 יכול להעיד על הגבלת קצב.
מספרי הגרסאות במחרוזות משתנים, ולכן כדאי לסנן לפי שם הבוט ולא לפי כותרת שלמה. אחרי הסינון צריך לבדוק את הכתובות והתגובות בפועל, ולא להסתפק בספירת בקשות.
בדוגמת הלוג הבאה, שנכתבה להמחשה, הבקשה מציגה את עצמה כ־GPTBot:
192.0.2.10 - - [04/Oct/2026:10:00:00 +0300] "GET /article/ HTTP/1.1" 200 18432 "-" "GPTBot/1.4"כתובת המקור היא 192.0.2.10, העמוד שהתבקש הוא /article/, והקוד 200 מציין שהשרת החזיר תגובת הצלחה. ה־User-Agent בדוגמה מקוצר. כתובת ה־IP נועדה להמחשה ואינה כתובת מאומתת של הבוט.
בקשת בוט לעומת ביקור מ־ChatGPT
בקשת סריקה בלוג אינה מוכיחה שהאתר צוטט או שאדם ביקר בו. מי שלוחץ על קישור ב־ChatGPT מופיע בכלי האנליטיקס, לא בשורות הלוג של הבוטים. בדרך כלל אפשר לזהות את הביקורים האלה בשתי דרכים: לקישורים מתווסף לעיתים קרובות הפרמטר utm_source=chatgpt.com, והדפדפן עשוי להעביר את chatgpt.com כמקור ההפניה (referrer).
אף אחד מהסימונים האלה אינו מובטח. באוקטובר 2026 חלק מהקליקים מ־ChatGPT הגיעו לאתרים בלי פרמטר UTM ובלי referrer, וכלי האנליטיקס רשמו אותם כתנועה ישירה. בניתוח של Adobe על כ־500 עמודים, הירידה בביקורים שסומנו כ־ChatGPT הייתה דומה בגודלה לעלייה בתנועה הישירה. זה מצביע על בעיה בייחוס התנועה, כלומר הביקורים כנראה המשיכו להגיע ורק לא סומנו כמגיעים מ־ChatGPT. Search Engine Land: קליקים מ־ChatGPT שמגיעים בלי תיוג UTM
לכן, לפני שמסיקים שהתנועה מ־ChatGPT ירדה, כדאי להשוות אותה לתנועה הישירה לאותם עמודי נחיתה באותם ימים. גם כשהפרמטר מופיע, הוא אינו מראה איזו תשובה הציגה את הקישור או כמה פעמים האתר הוזכר בלי שמישהו לחץ.
אימות הבקשות
כדי לאמת בקשה, צריך לקחת את כתובת ה־IP שממנה הגיעה מלוג השרת או ה־CDN. OpenAI מפרסמת לכל בוט קובץ JSON, קובץ נתונים שמכיל את טווחי כתובות ה־IP שלו. הקישורים הבאים מובילים לקבצים העדכניים. צריך לבדוק אם כתובת הבקשה שייכת לאחד הטווחים ברשימה המתאימה, ולא רק לחפש בה מספר זהה:
- טווחי ה־IP של GPTBot.
- טווחי ה־IP של OAI-SearchBot.
- טווחי ה־IP של ChatGPT-User.
- טווחי ה־IP של OAI-AdsBot.
אם האתר נמצא מאחורי CDN, צריך להשתמש בכתובת המקור כפי שהיא נרשמת אצל הספק. כתובת שרת התיווך או כותרת שהשולח יכול לכתוב בעצמו אינן תחליף לכתובת המקור האמיתית.
הטווחים כתובים בסימון CIDR, שמייצג קבוצת כתובות. למשל, הטווח 192.0.2.0/24 כולל את הכתובת 192.0.2.10, גם אם היא אינה כתובה ברשימה בנפרד. זו דוגמה להמחשה בלבד. אם אין במערכת האחסון כלי לבדיקת כתובת מול טווחים, אפשר להעביר לתמיכה את כתובת המקור מהלוג ואת הקישור לרשימה הרשמית, ולבקש לבדוק אם הכתובת נמצאת באחד הטווחים. הבדיקה צריכה להשתמש ברשימה העדכנית של הספק.
robots.txt
קבוצה ספציפית לבוט אינה יורשת אוטומטית את ההגבלות של User-agent: *, בהתאם לכללי התאמת הקבוצות בתקן. אם נתיב צריך להישאר חסום, ההגבלה צריכה להופיע גם בקבוצה שחלה על הבוט. RFC Editor: התאמת קבוצות User-Agent בתקן robots.txt
איך לחסום נתיב בלי לחסום את כל האתר?
לחסימת תיקייה בלבד אפשר להחליף את / בנתיב שלה. בדוגמה הזו GPTBot מתבקש לא לסרוק את members. היא מחליפה את דוגמת החסימה המלאה, ואינה נוספת אליה:
User-agent: GPTBot
Disallow: /members/כדי להגביל את אותו נתיב עבור בוט אחר שמכבד robots.txt, צריך לכתוב את שמו בשורת User-agent. אם כבר קיימת קבוצה עבורו, צריך לערוך אותה ולשמור בה גם את ההגבלות האחרות שעדיין נחוצות.
robots.txt אינו מנגנון הרשאות. תוכן פרטי מחייב הגנת שרת כגון התחברות ובדיקת הרשאות. כלל Disallow אינו מונע טכנית מלקוח שאינו מציית לבקש את העמוד.
מתי נדרשת חסימה בשרת או ב־WAF?
חסימה בשרת נחוצה כשצריך למנוע גישה לתוכן, או כשהבוט אינו מחויב להוראות הסריקה. כדי לא לחסום בטעות משתמשים או שירותים אחרים, כדאי להחיל את כללי החסימה על בקשות שמקורן אומת ולבדוק מה השרת מחזיר.
Allow ב־robots.txt אינו מבטל חסימת WAF, דרישת התחברות או CAPTCHA. אם המטרה היא לאפשר חיפוש או בדיקת מודעות, צריך לוודא שהבוט יכול לגשת לעמוד ולמשאבים הדרושים לקריאתו.
איזו הגבלה מתאימה למטרה?
בעבודתי כמומחה GEO, אני מבחין בין איסוף לאימון לבין סריקה לחיפוש של ChatGPT. אם המטרה היא להגביל איסוף לאימון ולהשאיר את האתר נגיש לחיפוש, אפשר לחסום את GPTBot ולהשאיר את OAI-SearchBot נגיש.
| המטרה | ההגדרה המתאימה |
|---|---|
| להגביל אימון ולהישאר נגישים לחיפוש | לחסום GPTBot ולהשאיר OAI-SearchBot נגיש |
| לצאת מתשובות החיפוש של ChatGPT | לחסום OAI-SearchBot. קישורי ניווט עדיין עשויים להופיע |
| למנוע שליפה בעקבות משתמש | לבדוק בקרת גישה ל־ChatGPT-User ולדפדפן בענן, כל אחד לפי הזיהוי שלו |
| לאפשר בדיקת מודעות | להשאיר OAI-AdsBot ועמודי הנחיתה נגישים |
| להגן על תוכן פרטי | להשתמש בהתחברות ובהרשאות |
מדריך זה הוא חלק מסדרת מדריכים על בוטים שחשוב להכיר בעבודת SEO ו־GEO. להמשך קריאה: המדריך לבוטים של גוגל והמדריך לבוטים של קלוד.
בהצלחה.
