ב־15 באוקטובר 2026 פרסמו Cloudflare ו־OpenAI פוסט משותף עם התוצאות הראשונות של פיילוט שבו אותות מהרשת של Cloudflare עזרו לסורק החיפוש של OpenAI להחליט אילו כתובות לסרוק. לפי שתי החברות, הפיילוט התבסס על קבוצה של כ־1% מהרשת של Cloudflare, ובעקבותיו OpenAI גילתה והכניסה לאינדקס מאות מיליוני עמודים חדשים. Cloudflare: התוצאות של הפיילוט, בפוסט המשותף של Cloudflare ו־OpenAI
Cloudflare רואה את התעבורה שעוברת דרך האתרים שמשתמשים בה, של אנשים ושל בוטים. מהתעבורה הזו אפשר ללמוד אילו כתובות קיימות, אילו עמודים השתנו ואילו כתובות לא מובילות לשום דבר שימושי. את המידע הזה על הכתובות Cloudflare מעבירה ל־OpenAI, בלי התוכן של העמודים. הסורק של OpenAI משתמש בו כדי לבחור מה לבקש, ו־OpenAI מחליטה בעצמה מה לדרג ולהציג ב־ChatGPT.
המספר שפורסם מתאר גילוי ואינדוקס. החברות לא פרסמו כמה מהעמודים האלה צוטטו ב־ChatGPT, כמה תנועה הם הביאו לאתרים או אם הייתה לכך השפעה על הכנסות. הן גם לא פרסמו אילו אתרים השתתפו בפיילוט, או אם העמודים החדשים נמצאים באתרים האלה. הנתון מההודעה של Cloudflare מיולי, שלפיו יותר מ־20% מהרשת נמצאים מאחורי Cloudflare, מתאר את גודל הרשת שלה ולא את היקף הפיילוט. Cloudflare: ההודעה של Cloudflare על הפיילוט עם OpenAI
למה לסורק קשה למצוא עמודים חדשים ולדעת מה השתנה
סורק מגלה כתובות חדשות בעיקר דרך קישורים ומפות אתר. עמוד שכמעט אין אליו קישורים מתגלה לאט, גם כשהוא שימושי מאוד. Cloudflare נותנת בפוסט דוגמאות לעמודים כאלה: המדריך לדגם מסוים של מכונת כביסה, הדרישות והאגרות העדכניות להוצאת דרכון, והתפריט ושעות הפתיחה של מסעדה שכונתית.
הבעיה השנייה היא עדכניות. כדי לדעת שעמוד השתנה, הסורק צריך לבקש אותו שוב. סורק שחוזר לכל עמוד לעיתים קרובות מעמיס על האתרים, ורוב הבקשות שלו מחזירות עמודים שלא השתנו. סורק שחוזר לעיתים רחוקות גורם לכך ש־ChatGPT מסתמך על גרסה ישנה של העמוד. זו אותה שאלה שמוכרת מ־תקציב הסריקה של Googlebot באתרים גדולים, הפעם מהצד של סורק אחר.
אילו אותות Cloudflare מעבירה ל־OpenAI
בפוסט המשותף מתוארים האותות האלה:
- אותות סינון, שמסמנים כתובות שלא קיימות או שלא מובילות לשום דבר שימושי: קבצים שבוטים מבקשים ואינם קיימים, כתובות שמפנות לעמוד הבית וכתובות שמגישות תוכן כפול. בעזרתם הסורק יכול לוותר על הכתובות האלה עוד לפני שהוא מבקש אותן.
- אותות שינוי, שמראים מתי כדאי לחזור לעמוד ומתי אין בכך צורך.
- אותות על עמודים שעלולים להזיק, למשל טופס התחברות מזויף שהושתל באתר שנפרץ. הסימון חל על העמוד הבודד, כך שהאתר כולו לא נפגע בגלל עמוד אחד.
לפי שתי החברות, המחקר משתמש במידע על הכתובות ועל העמודים לצורך חיפוש וגילוי, ואינו מעביר את תוכן העמודים לאימון מודלים. כבר בפוסט שפרסמה ביולי Cloudflare כתבה שהיא אינה משתפת תוכן, ושדבר מהמידע אינו משמש לאימון מודלי בסיס. Cloudflare: הפוסט של Cloudflare על אותות לחיפוש AI
OpenAI סורקת ומדרגת בעצמה, לפי הגדרות הגישה של האתר
האותות עוזרים לסורק להחליט אילו כתובות לבקש, אבל הם עצמם אינם מבקשים דבר. את העמודים מבקש סורק החיפוש של OpenAI, OAI-SearchBot. שתי החברות כתבו שאות על עמוד אינו נותן הרשאה לגשת אליו, כך שאתר שחסם את OAI-SearchBot ב־robots.txt, בשרת או ב־WAF לא נפתח לסריקה בגלל הפיילוט.
גם הדירוג נשאר אצל OpenAI. לפי שתי החברות, OpenAI מעריכה ומדרגת את העמודים שהתגלו לפי הרלוונטיות והתועלת שלהם, באופן עצמאי. לא פורסם שום יתרון בדירוג לעמוד שהתגלה דרך האותות של Cloudflare, וגילוי העמוד אינו מבטיח שיצוטט.
מה הפיילוט עשוי לשנות באתרים גדולים
ההשפעה הסבירה ביותר היא על אתרים עם הרבה עמודים שקשה להגיע אליהם דרך קישורים, ועם הרבה כתובות שלא שוות סריקה. הדוגמאות הבאות הן שלי ולא מהפיילוט, והן מראות איפה האותות עשויים לעזור:
- בחנות עם אלפי מוצרים, דף של דגם ישן שאין אליו כמעט קישורים יכול להתגלות בזכות התעבורה שמגיעה אליו, גם כשהסורק לא הגיע אליו דרך הקישורים באתר.
- באתר חדשות, אות שינוי יכול להחזיר את הסורק לכתבה שעודכנה, במקום שיבקש שוב כתבות ישנות שלא השתנו.
- באתר שמייצר כתובות עם פרמטרים של סינון ומיון שמגישות את אותו תוכן, אותות הסינון יכולים לחסוך סריקה של הכתובות הכפולות.
כדאי גם להיערך לעלייה בסריקה בהתחלה. Cloudflare כותבת שגילוי עמודים חדשים עשוי להגדיל את הסריקה בשלב הראשון, בזמן שהעמודים נבדקים ונכנסים לאינדקס, ושהמטרה היא להפחית את העומס הכולל לאורך זמן. באתר גדול כדאי לעקוב אחרי כמות הבקשות של OAI-SearchBot בלוגים, ולוודא לפי כתובת ה־IP שהן באמת מגיעות מ־OpenAI.
האם אפשר להצטרף לפיילוט של Cloudflare ו־OpenAI?
לא פורסמה דרך להצטרף. ביולי Cloudflare כתבה שהיא מתכננת להפוך את היכולת לזמינה באופן רחב בהמשך 2026, ובפוסט מאוקטובר נכתב רק שהשלב הבא ימדוד גם מה קורה אחרי שהתוכן מתגלה. תאריך או מסלול הרשמה לא פורסמו. אני לא חושב שזה יהיה משהו שצריך להירשם אליו. אם הניסוי ייחשב מוצלח, סביר בעיניי ש־Cloudflare פשוט תפעיל את זה לאתרים שעוברים דרכה כ־CDN, בלי שתצטרכו לעשות דבר.
הפיילוט נפרד מ־Pay Per Crawl, השירות של Cloudflare שמאפשר לאתרים לגבות תשלום מסורקי AI. הפוסט על תוצאות הפיילוט אינו מזכיר תשלום לאתרים.
מה לבדוק באתר כדי להופיע בחיפוש של ChatGPT
הפיילוט לא משנה את ההחלטות שבידי האתר. אם רוצים להופיע בחיפוש של ChatGPT, הייתי בודק את הדברים האלה:
- ש־OAI-SearchBot מורשה ב־robots.txt ולא נחסם ב־WAF או ב־CDN. באתרים שעל Cloudflare, הכלי AI Crawl Control מראה אילו מערכות AI ניגשות לאתר ומאפשר לנהל את הגישה שלהן.
- שהבקשות של OAI-SearchBot בלוגים מאומתות לפי כתובת ה־IP, ושהשרת מחזיר להן תגובה תקינה.
- שעמודים חשובים מקושרים מתוך האתר ומופיעים במפת האתר. הפוסט של Cloudflare ו־OpenAI לא מזכיר קישורים או מפות אתר, ולא הייתי מוותר עליהם בגלל אותות שזמינים כרגע רק בפיילוט.
ההגדרות ל־GPTBot נפרדות, והן קובעות אם התוכן עשוי לשמש לאימון. איך לזהות, לאמת ולחסום כל אחד מהבוטים פירטתי במדריך לבוטים של OpenAI.
בהצלחה.
