מה זה User-Triggered Fetcher?

נתי אלימלך נתי אלימלך·עודכן 24.07.2026
ההגדרה הקצרה

user-triggered fetcher הוא בוט ששולף עמוד כי משתמש ביקש זאת עכשיו, ולא כחלק מסריקה יזומה. לכן robots.txt בדרך כלל לא חל עליו.

ההבדל בין fetcher לסורק רגיל הוא מי לחץ על ההדק. Googlebot מחליט לבד מתי לסרוק אתכם. ChatGPT-User מגיע כי מישהו, ברגע זה, שאל את ChatGPT שאלה והמערכת החליטה שהתשובה נמצאת אצלכם. הבקשה היא שליח של משתמש אמיתי, לא של מנוע.

מהמאפיין הזה נגזר הכלל שהכי מבלבל אנשים: רוב ה-fetchers מתעלמים מ-robots.txt, בכוונה ובאופן מתועד. כך גוגל מתעדת את שלה, וכך OpenAI לגבי ChatGPT-User. יוצאת הדופן היא Anthropic, שמצהירה ש-Claude-User דווקא מכבד robots.txt. ההיגיון של הרוב: robots.txt נועד לרסן סריקה אוטומטית, ופעולה שמשתמש יזם היא לא סריקה אוטומטית. לכן חסימת ChatGPT-User ב-robots.txt לא באמת סוגרת את הדלת, והדרך לזהות ולנהל את התנועה הזאת היא לוגים, רשימות IP רשמיות, ובהמשך גם web-bot-auth.

דוגמה מהלוגים: בקשת GET בודדת עם user-agent של ChatGPT-User היא כמעט תמיד שאלה של משתמש שהובילה לעמוד שלכם. לא סריקה, הזדמנות לציטוט.

איך זה קשור ל-SEO ול-GEO

בעולם ה-GEO, בקשות fetcher הן רגע האמת: זה הביקור שקורה שנייה לפני שהמותג שלכם מצוטט בתשובה. אתר שחוסם fetchers של מנועי AI, במכוון או בטעות דרך WAF, מוחק את עצמו מהתשובות בדיוק ברגע שמשתמש שאל. מעקב אחרי תנועת fetchers בלוגים הוא אחת הדרכים הישירות למדוד נראות ב-AI: כל בקשה כזאת היא שאלה אמיתית שהובילה אליכם.

ההבדל בין fetcher ל-crawler

crawler בונה אינדקס לטווח ארוך ומכבד robots.txt. fetcher משרת משתמש בזמן אמת ולרוב מתעלם ממנו. כשמנתחים לוגים או בונים מדיניות חסימה, חובה להפריד בין השניים: חסימת crawler מוציאה אתכם מהאינדקס של מחר, חסימת fetcher מוציאה אתכם מהתשובה של עכשיו.

שאלות על User-Triggered Fetcher

האם user-triggered fetcher מכבד robots.txt?▼
בדרך כלל לא, וזה מתועד. גוגל כותבת שה-fetchers שלה מתעלמים מכללי robots.txt, ו-OpenAI מציינת שהכללים לא בהכרח חלים על ChatGPT-User. ההיגיון: המשתמש ביקש, לא הבוט.
מה ההבדל בין fetcher ל-crawler?▼
crawler סורק באופן יזום ושיטתי כדי לבנות אינדקס. fetcher ניגש לעמוד בודד ברגע שמשתמש מבקש. אותו אתר יכול לפגוש את שניהם מאותה חברה, עם כללים שונים לגמרי.
אילו user-triggered fetchers נפוצים בלוגים?▼
ChatGPT-User של OpenAI, Claude-User של Anthropic, ו-Google-Agent של גוגל, לצד fetchers ותיקים כמו Feedfetcher ו-Site Verifier. לכל אחד רשימת IP משלו לאימות.

המונח מופיע במאמרים

כתובות ה-IP של Googlebot: רשימה מלאה (מתעדכנת מדי יום מה-API הרשמי)

מונחים קשורים

מה זה web-bot-auth?מה זה ביקוש סריקה?
נתי אלימלך
נתי אלימלך
יועץ SEO ו-GEO לאתרים גדולים וארגונים, עם למעלה מ-20 שנות ניסיון. ראש מחלקת SEO ונגישות לשעבר ב-Wix, שם בניתי מערכות SEO המשרתות 250 מיליון אתרים. אני מתמחה בפתרון אתגרי SEO טכניים מורכבים בסקייל ארגוני, באופטימיזציה למנועי AI (ChatGPT, Perplexity, Gemini) ובתרגום דרישות SEO לשפה שצוותי מוצר ופיתוח מבינים. עוד על נתי אלימלך.