במדריך זה אסביר על גוגלבוט, הזחלן של גוגל, ועל שאר הבוטים של גוגל: מה כל אחד עושה באתר, איך לזהות ולאמת בקשות ממנו, איך לחסום או להגביל אותו ומה המשמעות של החסימה.
הבוטים של גוגל ומה כל אחד עושה
| שם | תפקיד |
|---|---|
| Googlebot | סריקה לחיפוש של גוגל |
| Googlebot-Image | סריקת תמונות |
| Googlebot-Video | סריקת וידאו |
| Googlebot-News | הוראות סריקה עבור Google News. בלי User-Agent נפרד |
| Storebot-Google | סריקה עבור Google Shopping |
| Google-InspectionTool | בדיקות URL ותוצאות עשירות |
| Google-Extended | הגבלת שימוש בתוכן ב־Gemini, ללא בוט נפרד |
| GoogleOther | סריקות כלליות, לרבות מחקר ופיתוח |
| GoogleOther-Image | גרסת GoogleOther לתמונות |
| GoogleOther-Video | גרסת GoogleOther לווידאו |
| Google-CloudVertexBot | סריקה לבניית Vertex AI Agents |
| AdsBot-Google | בדיקת איכות עמודי מודעות |
| AdsBot-Google-Mobile | בדיקת עמודי מודעות במובייל |
| Mediapartners-Google | התאמת מודעות באתרי פרסום |
| APIs-Google | מסירת הודעות push משירותי API |
| Google-Safety | בדיקות אבטחה ואיתור שימוש לרעה |
| Google-Agent | גלישה וביצוע פעולות לפי בקשת משתמש |
| Google-GeminiNotebook | קריאת מקורות לפרויקט ב־Gemini Notebook |
| FeedFetcher-Google | שליפת פידים של RSS ו־Atom |
| Google-Read-Aloud | הקראת עמודים |
| Google-Site-Verification | אימות בעלות ב־Search Console |
| GoogleMessages | תצוגות מקדימות לקישורים בהודעות |
| Google-Pinpoint | קריאת מקורות לאוסף מסמכים |
| Google-CWS | בדיקת כתובות מחנות התוספים של Chrome |
| GoogleProducer | עיבוד פידים שסופקו ל־Publisher Center |
שם הבוט מופיע בדרך כלל בכותרת User-Agent שבבקשה לשרת. ב־robots.txt, השם בשורת User-agent קובע למי מיועדות ההוראות. השם הזה נקרא טוקן, והוא יכול להיות קצר ממחרוזת הזיהוי המלאה. יש גם טוקנים כמו Google-Extended שקובעים אילו שימושים בתוכן מותרים, בלי לזהות בוט נפרד. הרשימה כוללת את השמות שגוגל מפרסמת לבעלי אתרים, ולא את כל המערכות הפנימיות שלה.
- סורקים רגילים: פועלים לפי robots.txt בסריקה אוטומטית, למשל גוגלבוט (Googlebot) ו־GoogleOther.
- סורקים למוצרים מסוימים: כללי הגישה תלויים בסורק. בוטים של פרסום עשויים להתעלם מקבוצת הכוכבית.
- שליפות ביוזמת משתמש: בדרך כלל אינן כפופות ל־robots.txt, ולכן צריך לבדוק איך אפשר להגביל את הגישה בכל שירות.
שימו לב: בדוגמאות הבאות W.X.Y.Z מייצג גרסת Chrome שמשתנה עם הזמן. כדי לזהות את הבוט כדאי לחפש את שמו, ולא מספר גרסה קבוע. דוגמאות החסימה מונעות מהבוט לסרוק את כל האתר. ייתכן שכבר יש בקובץ robots.txt הוראות שחוסמות אותו או מאפשרות לו גישה לחלק מהעמודים, ולכן לפני הוספת הדוגמה צריך לבדוק מה כבר כתוב בקובץ ואילו הוראות חלות עליו. ההסבר בפרק כללי robots.txt יעזור להבין איזו הוראה קובעת כשיש כמה כללים.
אפשר לזייף את שם הבוט ב־User-Agent, ולכן הוא אינו מוכיח שהבקשה הגיעה מגוגל. כדי לאמת את המקור, צריך להשוות את כתובת ה־IP לטווחים שגוגל מפרסמת, או לבצע בדיקת DNS בשני הכיוונים. את הרשימות וההסבר אפשר למצוא במדריך לאימות הבוטים של גוגל לפי כתובת IP.
גוגלבוט (Googlebot)
מה גוגלבוט עושה?
גוגלבוט (Googlebot), הזחלן הראשי של גוגל, מוריד עמודים ומשאבים עבור החיפוש של גוגל, כולל Discover ותכונות החיפוש. יש לו גרסאות מובייל ודסקטופ, ושתיהן משתמשות בטוקן Googlebot להוראות הסריקה.
איך לזהות את גוגלבוט?
כדי למצוא בקשות של גוגלבוט, צריך לחפש את השם Googlebot בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)זו דוגמה לכותרת ה־User-Agent של גרסת הדסקטופ. גם עליה חלות ההוראות שמוגדרות לגוגלבוט:
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36מה קורה כשחוסמים את גוגלבוט?
החסימה מונעת מגוגל לסרוק את הנתיבים שהוגדרו, לקרוא את העמודים ולזהות שינויים בתוכן שלהם. כתובת עדיין עשויה להופיע בחיפוש בלי תיאור. חסימת סריקה אינה תחליף להסרה מהאינדקס.
איך לחסום את גוגלבוט?
כדי לחסום את גוגלבוט בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Googlebot
Disallow: /גוגלבוט משמש גם לסריקה עבור AI Overviews ו־AI Mode. תכונות ה־AI בחיפוש משתמשות בתשתית החיפוש, ואין להן User-Agent נפרד שכדאי לחפש בלוגים. Google: ההנחיות של Google להופעה ולשליטה בתכונות AI בחיפוש
כדי להגביל הופעה ב־AI Overviews, ב־AI Mode ובתכונות ה־AI ב־Discover, קיימת ב־Search Console ההגדרה Settings ואז Search generative AI. ההגדרה הזו נפרדת מההוראות ל־Googlebot ול־Google-Extended ב־robots.txt. Google: ההגדרה Search generative AI ב־Search Console
Googlebot-Image
מה Googlebot-Image עושה?
Googlebot-Image מבקש תמונות עבור Google Images, Discover ותכונות אחרות שמציגות תמונות, סמלים ולוגואים. אפשר לתת לו הוראות ייעודיות בלי להחיל אותן על כל הסריקה של Googlebot.
איך לזהות את Googlebot-Image?
כדי למצוא בקשות שנשלחו בשם Googlebot-Image, צריך לחפש את השם Googlebot-Image בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Googlebot-Image/1.0מה קורה כשחוסמים את Googlebot-Image?
חסימה מגבילה את סריקת התמונות בנתיבים החסומים, ועלולה לפגוע בשימוש בהן בתכונות החיפוש. הוראות לגוגלבוט עשויות לחול גם עליו, ולכן צריך לבדוק איזו קבוצה ספציפית מתאימה בקובץ.
איך לחסום את Googlebot-Image?
כדי לחסום את Googlebot-Image בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Googlebot-Image
Disallow: /Googlebot-Video
מה Googlebot-Video עושה?
Googlebot-Video סורק לצורך תכונות וידאו בחיפוש ומוצרים נוספים שתלויים בתוכן וידאו.
איך לזהות את Googlebot-Video?
כדי למצוא בקשות שנשלחו בשם Googlebot-Video, צריך לחפש את השם Googlebot-Video בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Googlebot-Video/1.0מה קורה כשחוסמים את Googlebot-Video?
חסימה מגבילה את הסריקה לצורכי וידאו ועלולה לפגוע בהצגתו במוצרים הרלוונטיים. אפשר להגדיר קבוצה ייעודית, במקום לחסום את גוגלבוט כולו.
איך לחסום את Googlebot-Video?
כדי לחסום את Googlebot-Video בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Googlebot-Video
Disallow: /Googlebot-News
מה Googlebot-News עושה?
Googlebot-News הוא השם שמאפשר להפנות הוראות robots.txt ל־Google News ולאפליקציה שלו. הוא כלול ברשימת הסורקים והטוקנים של גוגל, אך אינו שולח בקשות עם User-Agent נפרד. Google: התיעוד של Google על הסורקים הנפוצים שלה
איך לזהות את Googlebot-News?
ל־Googlebot-News אין User-Agent נפרד. בקשות הסריקה שלו מזדהות כ־Googlebot, ולכן אי אפשר לדעת מה־User-Agent לבדו אם הבקשה נועדה ל־Google News.
מה קורה כשחוסמים את Googlebot-News?
חסימה באמצעות Googlebot-News מגבילה את הסריקה עבור Google News. היא אינה מסירה את האתר מתוצאות החיפוש הרגילות של גוגל.
איך לחסום את Googlebot-News?
כדי לחסום את Googlebot-News בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Googlebot-News
Disallow: /Storebot-Google
מה Storebot-Google עושה?
Storebot-Google סורק עבור Google Shopping, כולל לשונית Shopping בחיפוש. הוא רלוונטי במיוחד לאתרי מסחר.
איך לזהות את Storebot-Google?
כדי למצוא בקשות שנשלחו בשם Storebot-Google, צריך לחפש את השם Storebot-Google בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36מה קורה כשחוסמים את Storebot-Google?
החסימה מגבילה את הסריקה עבור Google Shopping. לפני חסימת הבוט בחנות, כדאי לבדוק אם רוצים שגוגל תמשיך לקרוא את עמודי המוצרים לצורך השירות הזה.
איך לחסום את Storebot-Google?
כדי לחסום את Storebot-Google בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Storebot-Google
Disallow: /Google-InspectionTool
מה Google-InspectionTool עושה?
Google-InspectionTool מגיע בעקבות בדיקת URL חיה ב־Search Console או בדיקת תוצאות עשירות. הוא מאפשר לכלי הבדיקה לגשת לעמוד ולבדוק אותו.
איך לזהות את Google-InspectionTool?
כדי למצוא בקשות שנשלחו בשם Google-InspectionTool, צריך לחפש את השם Google-InspectionTool בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (compatible; Google-InspectionTool/1.0)מה קורה כשחוסמים את Google-InspectionTool?
חסימה מונעת מכלי הבדיקה לגשת לנתיבים החסומים. היא אינה משנה כשלעצמה את הסריקה הרגילה של גוגלבוט או את הופעת האתר בחיפוש.
איך לחסום את Google-InspectionTool?
כדי לחסום את Google-InspectionTool בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Google-InspectionTool
Disallow: /Google-Extended
מה Google-Extended עושה?
Google-Extended קובע אם תוכן שגוגל סרקה יכול לשמש לאימון דורות עתידיים של Gemini ולביסוס תשובות ב־Gemini Apps וב־Grounding with Google Search on Vertex AI.
איך לזהות את Google-Extended?
אין ל־Google-Extended User-Agent או בקשות נפרדות. גוגל סורקת באמצעות הבוטים הקיימים, והטוקן ב־robots.txt שולט בשימוש בתוכן. אי אפשר לאמת את ההגבלה באמצעות חיפוש השם בלוגים.
מה קורה כשחוסמים את Google-Extended?
ההגבלה חלה על השימושים האלה בתוכן. היא אינה מוציאה את האתר מהחיפוש ואינה סיגנל דירוג, ולכן אינה תחליף להגדרה הנפרדת של תכונות ה־AI בחיפוש.
איך לחסום את Google-Extended?
כדי להגביל את השימוש בתוכן מכל האתר באמצעות Google-Extended, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Google-Extended
Disallow: /GoogleOther
מה GoogleOther עושה?
GoogleOther הוא סורק כללי שצוותים שונים בגוגל משתמשים בו לשליפת תוכן ציבורי, למשל למחקר ופיתוח. הוא אינו משויך למוצר מסוים.
איך לזהות את GoogleOther?
כדי למצוא בקשות שנשלחו בשם GoogleOther, צריך לחפש את השם GoogleOther בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36מה קורה כשחוסמים את GoogleOther?
החסימה מונעת מ־GoogleOther לסרוק את הנתיבים שהוגדרו. הוראות שמיועדות ל־GoogleOther אינן חוסמות את גוגלבוט, שמשמש לחיפוש.
איך לחסום את GoogleOther?
כדי לחסום את GoogleOther בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: GoogleOther
Disallow: /GoogleOther-Image
תפקיד וזיהוי: GoogleOther-Image הוא הגרסה של GoogleOther שמותאמת לשליפת תמונות ציבוריות. כדי למצוא בקשות שנשלחו בשם GoogleOther-Image, צריך לחפש את השם GoogleOther-Image בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: GoogleOther-Image/1.0חסימה והמשמעות שלה: הקבוצה הבאה מגבילה את שליפת התמונות של GoogleOther. הבוט מכבד גם את הטוקן GoogleOther, כך שהוראות חסימה ל־GoogleOther עשויות לחול גם עליו בלי כלל נפרד. כדי לחסום את GoogleOther-Image בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: GoogleOther-Image
Disallow: /GoogleOther-Video
תפקיד וזיהוי: GoogleOther-Video הוא הגרסה שמותאמת לשליפת וידאו ציבורי. כדי למצוא בקשות שנשלחו בשם GoogleOther-Video, צריך לחפש את השם GoogleOther-Video בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: GoogleOther-Video/1.0חסימה והמשמעות שלה: הקבוצה הבאה מגבילה את שליפת הווידאו של GoogleOther. גם הגרסה הזו מכבדת את הטוקן GoogleOther, אך ההוראות האלה אינן חוסמות את Googlebot-Video שמשמש לחיפוש. כדי לחסום את GoogleOther-Video בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: GoogleOther-Video
Disallow: /Google-CloudVertexBot
מה Google-CloudVertexBot עושה?
Google-CloudVertexBot מבצע סריקות שבעלי אתרים ביקשו לצורך בניית Vertex AI Agents. הוא אינו משמש לסריקת האתר עבור Google Search.
איך לזהות את Google-CloudVertexBot?
צריך לחפש את הרצף Google-CloudVertexBot בתוך ה־User-Agent. גוגל מפרסמת עבורו את הרצף לזיהוי, ולא מחרוזת בקשה מלאה. בדוגמה המקוצרת, שלוש הנקודות מייצגות את יתר הכותרת:
User-Agent: ... Google-CloudVertexBot ...מה קורה כשחוסמים את Google-CloudVertexBot?
החסימה מגבילה את הסריקות לבניית סוכנים ב־Vertex AI, בלי להשפיע כשלעצמה על החיפוש. אם אין ב־robots.txt קבוצה בשם Google-CloudVertexBot, הבוט פועל לפי ההוראות של גוגלבוט. אם הוגדרה קבוצה בשמו, ההוראות שלה קובעות מה מותר לו לסרוק.
איך לחסום את Google-CloudVertexBot?
כדי לחסום את Google-CloudVertexBot בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Google-CloudVertexBot
Disallow: /סורקי פרסום ושירותים נוספים
הסורקים בקבוצה הזו משתמשים בטווחי כתובות IP נפרדים מהסורקים הרגילים, וכללי robots.txt הרגילים אינם חלים על כולם באותו אופן. Google: התיעוד של Google על סורקים למקרים מיוחדים
AdsBot-Google, AdsBot-Google-Mobile, Mediapartners-Google ו־APIs-Google מתעלמים מקבוצת User-agent: *. כדי להגביל אותם ב־robots.txt צריך קבוצה מפורשת בשם המתאים, כמו בדוגמאות הבאות.
AdsBot-Google
מה הבוט עושה: בודק את איכות עמודי הנחיתה של מודעות ב־Google Ads.
זיהוי: כדי למצוא בקשות שנשלחו בשם AdsBot-Google, צריך לחפש את השם AdsBot-Google בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: AdsBot-Google (+http://www.google.com/adsbot.html)משמעות החסימה: חסימה מגבילה את בדיקת העמוד לצורכי פרסום, ועלולה לפגוע ביכולת של Google Ads לבדוק את איכותו.
כדי לחסום את AdsBot-Google בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: AdsBot-Google
Disallow: /AdsBot-Google-Mobile
מה הבוט עושה: בודק עמודי נחיתה של מודעות במובייל. גרסת Android פעילה. מחרוזת ה־iPhone הישנה כבר הוצאה משימוש.
זיהוי: כדי למצוא בקשות שנשלחו בשם AdsBot-Google-Mobile, צריך לחפש את השם AdsBot-Google-Mobile בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)משמעות החסימה: חסימה מגבילה את בדיקת איכות העמוד במובייל. היא אינה חוסמת את Googlebot Smartphone שמשמש לחיפוש.
כדי לחסום את AdsBot-Google-Mobile בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: AdsBot-Google-Mobile
Disallow: /Mediapartners-Google
מה הבוט עושה: מבקר באתרים שמציגים מודעות כדי להתאים מודעות רלוונטיות, בין היתר עבור AdSense ו־Ad Manager.
זיהוי: כדי למצוא בקשות שנשלחו בשם Mediapartners-Google, צריך לחפש את השם Mediapartners-Google בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mediapartners-Googleמשמעות החסימה: החסימה מגבילה את יכולת הבוט לקרוא את העמודים כדי להתאים להם מודעות.
כדי לחסום את Mediapartners-Google בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Mediapartners-Google
Disallow: /APIs-Google
מה הבוט עושה: משמש למסירת הודעות push משירותי Google APIs.
זיהוי: כדי למצוא בקשות שנשלחו בשם APIs-Google, צריך לחפש את השם APIs-Google בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)משמעות החסימה: החסימה עשויה למנוע קבלת הודעות משירותי Google APIs בכתובות שנחסמו. היא אינה חוסמת סריקה לחיפוש.
כדי לחסום את APIs-Google בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: APIs-Google
Disallow: /Google-Safety
מה הבוט עושה: Google-Safety מבצע סריקות שקשורות לשימוש לרעה ולאבטחה, כגון איתור נוזקות בקישורים שפורסמו במוצרי גוגל. הוא מתעלם מ־robots.txt. כדי למצוא בקשות שנשלחו בשם Google-Safety, צריך לחפש את השם Google-Safety בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Google-Safetyהגבלת הגישה: כשנדרשת חסימה טכנית, אפשר להחיל בקרת גישה בשרת או ב־WAF על תנועה מאומתת. החסימה תמנע מ־Google-Safety לקרוא את התוכן לצורך בדיקת האבטחה. אין להניח שהיא תשנה סיווג אבטחה שכבר נקבע.
Google-Agent
מה Google-Agent עושה?
Google-Agent גולש באתרים ומבצע פעולות לפי בקשת משתמש, באמצעות סוכנים שרצים על תשתית גוגל.
איך לזהות את Google-Agent?
כדי למצוא בקשות שנשלחו בשם Google-Agent, צריך לחפש את השם Google-Agent בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; Google-Agent; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-agent) Chrome/W.X.Y.Z Safari/537.36גוגל מתנסה גם באימות חתימות Web Bot Auth בזהות agent.bot.goog. היעדר חתימה אינו כשלעצמו הוכחה להתחזות. web-bot-auth web-bot-auth הוא פרוטוקול מתגבש ב-IETF לאימות בוטים: הבוט חותם קריפטוגרפית על בקשות, והאתר מאמת מי שלח אותן. להגדרה המלאה של web-bot-auth
מה קורה כשחוסמים את Google-Agent?
חסימה בשרת יכולה למנוע מהסוכן לגשת לעמודים או לבצע את הפעולה עבור המשתמש. היא אינה מסירה את האתר מתוצאות החיפוש.
איך להגביל את Google-Agent?
שליפות ביוזמת משתמש בדרך כלל מתעלמות מ־robots.txt. כדי למנוע גישה בפועל, צריך להגדיר בקרת גישה בשרת או ב־WAF על סמך מקור מאומת, ולבדוק את ההשפעה על פעולות המשתמש. Google: התיעוד של Google על שליפות ביוזמת משתמש
Google-GeminiNotebook
מה Google-GeminiNotebook עושה?
Google-GeminiNotebook קורא עמודים שמשתמשי Gemini Notebook הוסיפו כמקורות לפרויקט שלהם.
איך לזהות את Google-GeminiNotebook?
כדי למצוא בקשות שנשלחו בשם Google-GeminiNotebook, צריך לחפש את השם Google-GeminiNotebook בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 (compatible; Google-GeminiNotebook; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-gemininotebook)השם הקודם Google-NotebookLM נתמך עד אוגוסט 2026. מסנן שמחפש רק אותו יחמיץ בקשות עם השם החדש.
מה קורה כשחוסמים את Google-GeminiNotebook?
חסימת הגישה בשרת יכולה למנוע מהשירות לקרוא עמוד שהמשתמש הוסיף כמקור. היא אינה חוסמת את גוגלבוט או את שאר מוצרי גוגל.
איך להגביל את Google-GeminiNotebook?
אי אפשר להסתמך על robots.txt כדי למנוע מהכלי לקרוא עמוד בעקבות בקשת משתמש. כדי למנוע את הגישה, צריך להגדיר חסימה בשרת או ב־WAF. תוכן פרטי צריך להיות מוגן בהרשאות בכל מקרה.
כלים נוספים שניגשים לאתר בעקבות פעולה של משתמש
הכלים האלה בדרך כלל מתעלמים מ־robots.txt, ולכן צריך לבדוק איך השירות מאפשר להגביל גישה או להגדיר את החסימה בשרת. לכל כלי יש משמעות אחרת לחסימה:
FeedFetcher-Google
תפקיד וזיהוי: מבקש פידים של RSS או Atom עבור Google News ו־WebSub. כדי למצוא בקשות שנשלחו בשם FeedFetcher-Google, צריך לחפש את השם FeedFetcher-Google בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)הגבלה והמשמעות שלה: חסימת הגישה לפיד בשרת יכולה למנוע את שליפתו לשירותים האלה. אם המטרה היא להפסיק שימוש בפיד מסוים, כדאי לבדוק גם היכן נרשם או הוגש לשירות.
Google-Site-Verification
תפקיד וזיהוי: מבקש אסימוני אימות בעלות ב־Search Console. כדי למצוא בקשות שנשלחו בשם Google-Site-Verification, צריך לחפש את השם Google-Site-Verification בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (compatible; Google-Site-Verification/1.0)הגבלה והמשמעות שלה: חסימת בקשת האימות עלולה להכשיל שיטת אימות שתלויה בגישה לשרת. צריך להתאים את ההגבלה לשיטת האימות שנבחרה, ולא לחסום את כתובת האימות בלי לבדוק את ההשלכה.
GoogleMessages
תפקיד וזיהוי: יוצר תצוגה מקדימה של קישורים שנשלחו בהודעות. כדי למצוא בקשות שנשלחו בשם GoogleMessages, צריך לחפש את השם GoogleMessages בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: GoogleMessagesהגבלה והמשמעות שלה: חסימה בשרת עשויה למנוע יצירת תצוגה מקדימה של העמוד בהודעה. היא אינה חסימת אינדוקס בחיפוש.
Google-Pinpoint
תפקיד וזיהוי: קורא עמודים שמשתמשים הוסיפו כמקורות לאוספי מסמכים ב־Pinpoint. כדי למצוא בקשות שנשלחו בשם Google-Pinpoint, צריך לחפש את השם Google-Pinpoint בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Google-Pinpointהגבלה והמשמעות שלה: חסימה בשרת יכולה למנוע מ־Pinpoint לקרוא עמוד שהמשתמש הוסיף כמקור לאוסף.
Google-CWS
תפקיד וזיהוי: ניגש לכתובות שמפתחים מוסיפים לפרטי תוספים וערכות נושא בחנות Chrome. כדי למצוא בקשות שנשלחו בשם Google-CWS, צריך לחפש את השם Google-CWS בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (compatible; Google-CWS)הגבלה והמשמעות שלה: חסימה בשרת יכולה למנוע גישה לכתובות שסופקו במסגרת פרטי התוסף או ערכת הנושא.
GoogleProducer
תפקיד וזיהוי: שולף ומעבד פידים שמפרסמים סיפקו ל־Publisher Center עבור דפי Google News. כדי למצוא בקשות שנשלחו בשם GoogleProducer, צריך לחפש את השם GoogleProducer בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: GoogleProducer; (+https://developers.google.com/search/docs/crawling-indexing/google-producer)הגבלה והמשמעות שלה: חסימה בשרת עשויה למנוע מהשירות לקרוא את הפידים שסופקו לו. הוראות Googlebot-News אינן תחליף לבקרת הגישה לכלי הזה.
Google-Read-Aloud
תפקיד וזיהוי: Google-Read-Aloud קורא עמודים לצורך הקראתם למשתמש. google-speakr הוא שם ישן שכבר הוצא משימוש. כדי למצוא בקשות שנשלחו בשם Google-Read-Aloud, צריך לחפש את השם Google-Read-Aloud בשדה User-Agent בלוגים של השרת. זו דוגמה לכותרת שנשלחת בבקשה:
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)הגבלה והמשמעות שלה: אפשר לבטל הקראה באמצעות תגית nopagereadaloud בתוך ה־head של העמוד. השירות עדיין עשוי לבקש את העמוד כדי לזהות את התגית. אחרי הזיהוי מספר הבקשות העתידיות אמור לרדת. robots.txt אינו מנגנון ביטול ההקראה: Google: ביטול הקראת עמודים ב־Google Read Aloud
<meta name="google" content="nopagereadaloud">איך לקרוא את הבקשות בלוגים?
כדאי לסנן לפי שם הבוט, ואז לבדוק יחד את כתובת המקור, הנתיב, זמן הבקשה וקוד התגובה. שתי בקשות מגוגל יכולות לשרת מטרות שונות לגמרי, ולכן ספירה כוללת של ״תנועת גוגל״ אינה מסבירה מה קרה באתר.
Googlebot-News ו־Google-Extended אינם שולחים בקשות עם User-Agent נפרד. חיפוש השמות האלה בלוגים לא יאפשר למדוד את השימושים בתוכן שהם שולטים בהם.
בדוגמת הלוג הבאה, שנכתבה להמחשה, הבקשה מציגה את עצמה כ-Googlebot:
192.0.2.10 - - [03/Oct/2026:10:00:00 +0300] "GET /article/ HTTP/1.1" 200 18432 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"בדוגמה מופיעים כתובת ה־IP שממנה נשלחה הבקשה, הזמן, הנתיב, קוד התגובה וה־User-Agent. הקוד 200 מציין שהשרת החזיר תגובת הצלחה. כתובת ה־IP נועדה להמחשה ואינה כתובת מאומתת של גוגל. אם האתר נמצא מאחורי CDN או שרת תיווך, צריך לבדוק את כתובת המבקר המקורית כפי שתיעדה המערכת המהימנה. כתובת שרת התיווך אינה הכתובת שצריך לאמת, ואי אפשר להסתמך על כותרת שהמבקר יכול לשלוח בעצמו.
איזו קבוצת IP מתאימה לכל בוט?
| הבוטים או הכלים | הקבוצה ברשימת ה־IP |
|---|---|
| Googlebot, Googlebot-Image, Googlebot-Video, Storebot-Google, Google-InspectionTool, GoogleOther, GoogleOther-Image, GoogleOther-Video, Google-CloudVertexBot | סורקים רגילים |
| AdsBot-Google, AdsBot-Google-Mobile, Mediapartners-Google, APIs-Google, Google-Safety | סורקים מיוחדים |
| Google-GeminiNotebook, FeedFetcher-Google, Google-Read-Aloud, Google-Site-Verification, GoogleMessages, Google-Pinpoint, Google-CWS, GoogleProducer | פעולות משתמש |
| Google-Agent | סוכני AI |
ל־Googlebot-News ול־Google-Extended אין בקשות נפרדות שנשלחות בשמות האלה. כשבודקים בקשה בלוגים, צריך לאמת את הבוט ששלח אותה בפועל.
robots.txt
קובץ robots.txt מגדיר לבוטים אילו נתיבים מותר להם לסרוק. הוא חל על המארח, הפרוטוקול והפורט שבהם הוא מוגש. הוראות בדומיין הראשי אינן חלות אוטומטית על סאב־דומיין אחר. robots.txt robots.txt הוא קובץ טקסט שיושב בשורש האתר ומגדיר אילו כתובות סורקים רשאים לשלוף. robots.txt שולט בסריקה, לא באינדוקס. להגדרה המלאה של robots.txt
אצל הסורקים של גוגל שמצייתים ל־robots.txt, הקבוצה הספציפית ביותר שמתאימה לבוט קובעת אילו הוראות יחולו. קבוצה ספציפית אינה מתמזגת עם קבוצת הכוכבית. כמה קבוצות באותה רמת ספציפיות כן מתמזגות. לכן צריך לבדוק את הקובץ הקיים לפני הוספת קבוצה. Google: התיעוד של Google על פרשנות robots.txt
איך לחסום נתיב בלי לחסום את כל האתר?
אם המטרה היא להגביל רק תיקייה, אפשר להחליף את / בנתיב שלה. בדוגמה הזו גוגלבוט מתבקש לא לסרוק את internal-search. היא מחליפה את דוגמת החסימה המלאה שלו, ואינה נוספת אליה:
User-agent: Googlebot
Disallow: /internal-search/כדי להשתמש בדוגמה עבור בוט אחר שמכבד robots.txt, צריך להחליף את Googlebot בשם שלו בשורת User-agent. כדאי לשלב את ההוראה בקבוצה שכבר חלה עליו ולוודא ששאר ההגבלות הדרושות נשארו בתוקף.
גוגלבוט אינו תומך בהוראת Crawl-delay. הוספתה לקובץ אינה דרך להאט את הסריקה שלו.
מתי נדרשת חסימה בשרת או ב־WAF?
לתוכן פרטי צריך להגדיר התחברות ובקרת גישה בשרת. robots.txt אינו מחסום אבטחה, ובוטים מסוימים גם אינם מצייתים לו. כשבקשות מתחזות או יוצרות עומס, אפשר להגביל אותן בשרת או ב־WAF אחרי אימות המקור.
אם המטרה היא להסיר עמוד מהאינדקס, צריך לאפשר לגוגל לקרוא את הוראת noindex שבעמוד. חסימת גוגלבוט ב־robots.txt יכולה למנוע את קריאתה, ולכן אינה תחליף להוראת הסרה מהאינדקס. Google: המדריך של Google ל־robots.txt
איזו הגבלה מתאימה למטרה?
בעבודתי כמומחה GEO, אני בוחר מה להגביל לפי המטרה. הגבלת שימוש בתוכן ב־Gemini דורשת הגדרה שונה מהגבלת ההופעה בתשובות AI בחיפוש, וחסימת גוגלבוט עלולה לפגוע גם בסריקה לחיפוש הרגיל.
| המטרה | ההגדרה המתאימה |
|---|---|
| להגביל סריקה לחיפוש | הוראות לגוגלבוט, שעלולות לפגוע ביכולת של גוגל לקרוא את האתר |
| להגביל הופעה ב־AI Overviews וב־AI Mode | הגדרת Search generative AI ב־Search Console |
| להגביל אימון וביסוס תשובות במוצרי Gemini הרלוונטיים | Google-Extended |
| להגביל סריקות כלליות למחקר ופיתוח | GoogleOther |
| למנוע הקראת עמוד | תגית nopagereadaloud |
| למנוע גישה לתוכן פרטי | התחברות והרשאות בשרת |
מדריך זה הוא חלק מסדרת מדריכים על בוטים שחשוב להכיר בעבודת SEO ו־GEO. להמשך קריאה: המדריך לבוטים של OpenAI והמדריך לבוטים של קלוד.
בהצלחה.
