מדריך הבוטים של OpenAI: GPTBot, ChatGPT-User ו-OAI-SearchBot

פתחתם את הלוגים של השרת לאחרונה? יש שם שמות שלא היו קיימים לפני כמה שנים: GPTBot, ChatGPT-User, OAI-SearchBot. אלו שלושת הבוטים העיקריים של OpenAI.

בשנים האחרונות נוספה שכבה חדשה של סריקות לאינטרנט. בוטים של מערכות AI מחפשים תוכן כדי לענות על שאלות של משתמשים. OpenAI הם לא היחידים. גם ל-Anthropic יש בוטים משלה שסורקים אתרים בדפוס דומה, ולגוגל יש משפחה שלמה של בוטים שחלקם מזינים את החיפוש וחלקם את Gemini.

אם אתם לא רואים אותם בלוגים לאורך זמן זה לא בהכרח אומר שיש בעיה. ייתכן שהאתר קטן, חדש, או פשוט עדיין לא נכנס לרדאר של מערכות AI.

שלושת הבוטים של OpenAI

ל-OpenAI יש שלושה בוטים עיקריים שתראו בלוגים. כל אחד מהם ממלא תפקיד שונה.

בתיעוד הרשמי מופיע גם בוט רביעי, OAI-AdsBot, שבודק עמודים שהוגשו כמודעות ב-ChatGPT. הוא מבקר רק בעמודים כאלה, כך שרוב האתרים לא יפגשו אותו.

1. GPTBot

User-Agent:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

GPTBot הוא הסורק הראשי של OpenAI. הוא אוסף תוכן ציבורי מהאינטרנט שעשוי לשמש לאימון מודלים עתידיים.

חשוב להבין: זה לא אומר שהתוכן נכנס ישירות ל-ChatGPT. הוא עשוי לשמש כחלק ממערכי האימון של מודלים עתידיים.

2. ChatGPT-User

User-Agent:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

ChatGPT-User אינו crawler רגיל. זה user-agent שמופעל כאשר משתמש מבקש מ-ChatGPT לפתוח עמוד או לקרוא מידע מהאתר.

כל בקשה כזו אומרת שמישהו שאל שאלה. ChatGPT בחר לשלוף את הדף שלכם כדי לענות.

לפעמים ChatGPT משתמש בעותק שמור או במידע שכבר נאסף. ChatGPT-User מופעל בעיקר כאשר נדרש מידע עדכני.

3. OAI-SearchBot

User-Agent:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot

OAI-SearchBot משמש לאינדוקס תוכן עבור החיפוש של ChatGPT.

בניגוד ל-ChatGPT-User שמופעל בעקבות שאלות של משתמשים, OAI-SearchBot מבצע סריקות יזומות כדי לבנות אינדקס חיפוש.

ההבדל הקריטי

רבים מתייחסים לבוטים של OpenAI כאל דבר אחד. זו טעות.

שלושת הבוטים פועלים בשכבות שונות:

• GPTBot: אוסף תוכן ציבורי שעשוי לשמש לאימון מודלים עתידיים.
• OAI-SearchBot: מאנדקס עמודים עבור מנוע החיפוש של ChatGPT.
• ChatGPT-User: ניגש לעמודים כאשר משתמש מבקש מ-ChatGPT לפתוח קישור.

איך לזהות את הבוטים בלוגים

אם יש לכם גישה ללוגים של השרת, כדאי לחפש את המחרוזות:

GPTBot
ChatGPT-User
OAI-SearchBot

מספר הגרסה משתנה לעיתים קרובות. עדיף לחפש לפי שם הבוט בלבד.

טווחי IP רשמיים

OpenAI מפרסמים רשימות IP:

• https://openai.com/gptbot.json
• https://openai.com/chatgpt-user.json
• https://openai.com/searchbot.json
• https://openai.com/adsbot.json

טיפ טכני: user-agent לבדו אינו מספיק לזיהוי בוט אמיתי. תמיד כדאי לאמת גם את כתובת ה-IP.

robots.txt

אפשר לשלוט בכל בוט בנפרד.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

כך אפשר לחסום שימוש בתוכן לאימון מודלים ועדיין לאפשר הופעה בתוצאות החיפוש של ChatGPT.

ברגע שקיימת בקובץ קבוצה ספציפית לבוט, למשל User-agent: GPTBot, הבוט הזה מציית רק לקבוצה שלו ומתעלם לגמרי מהכללים שתחת User-agent: *. קבוצה ספציפית וקבוצת כוכבית לא מתמזגות, וזה מפיל גם אתרים גדולים. אז אם חסמתם נתיב רגיש תחת * והוספתם קבוצת GPTBot נפרדת, הנתיב הרגיש פתוח בפני GPTBot עד שתחזרו על החסימה גם בקבוצה שלו.

זה חלק מהתקן של robots.txt^? מה זה robots.txt? ✕ robots.txt הוא קובץ טקסט שיושב בשורש האתר ומגדיר אילו כתובות סורקים רשאים לשלוף. robots.txt שולט בסריקה, לא באינדוקס. להגדרה המלאה של robots.txt ← וחל על כל הבוטים. ג׳ון מולר מגוגל הזכיר את זה ביולי 2026 בהקשר של Googlebot, והיא חלה בדיוק באותו אופן גם על הבוטים של גוגל ושל Anthropic.

זיהוי תנועה מ-ChatGPT

לעיתים ביקורים מ-ChatGPT יגיעו עם הפרמטר:

utm_source=chatgpt.com

כך ניתן לזהות תנועה שמגיעה מ-ChatGPT באנליטיקס.

מה שלא תראו לפי שם: ChatGPT agent ו-Atlas

שלושת השמות למעלה כבר לא מכסים את כל התנועה של OpenAI.

ChatGPT agent, המוצר שבלע את Operator, גולש עם user-agent שנראה כמו Chrome רגיל. במקום שם בוט, הוא חותם על כל בקשה בחתימה קריפטוגרפית בפרוטוקול web-bot-auth^? מה זה web-bot-auth? ✕ web-bot-auth הוא פרוטוקול מתגבש ב-IETF לאימות בוטים: הבוט חותם קריפטוגרפית על בקשות, והאתר מאמת מי שלח אותן. להגדרה המלאה של web-bot-auth ← , עם כותרות Signature ו-Signature-Agent שמצביעות על chatgpt.com. מי שמשתמש ב-Cloudflare מקבל את האימות הזה אוטומטית.

ChatGPT Atlas, הדפדפן של OpenAI, הוא סיפור אחר: התנועה שלו יוצאת מהדפדפן של המשתמש עצמו, עם user-agent רגיל של Chrome ומכתובת IP ביתית, בלי חתימה. אין דרך אמינה לזהות אותה בלוגים, וכללי robots.txt לא חלים עליה.

השורה התחתונה: זיהוי לפי שם בוט עובד מצוין לשלושת הסורקים המתועדים, אבל הוא כבר לא כל התמונה.

מה לקחת מפה

1. ל-OpenAI יש שלושה בוטים מרכזיים שמופיעים בלוגים: GPTBot, OAI-SearchBot ו-ChatGPT-User, ולצידם OAI-AdsBot שרלוונטי רק למודעות.
2. לכל אחד מהם תפקיד שונה.
3. GPTBot אוסף תוכן לאימון מודלים עתידיים.
4. OAI-SearchBot קשור לנראות בתוצאות ChatGPT.
5. ChatGPT-User מופעל כאשר משתמש מבקש לפתוח עמוד.
6. תנועה של ChatGPT agent מזוהה בחתימה קריפטוגרפית, ותנועת Atlas לא מזוהה בכלל.