בודק כתובות IP של Googlebot

בכל ניתוח לוגים חוזרת אותה שאלה: האם בקשה שמזדהה כ-Googlebot באמת הגיעה מגוגל. אפשר להדביק בשדה למטה כתובת IP מהלוג של השרת, והבודק יראה אם היא נמצאת בטווחים שגוגל מפרסמת לסורקים שלה, ובאיזו קטגוריה. מתחת לבודק יש הסבר על אימות עם DNS, שלא תלוי ברשימה בכלל, ואחריו הרשימה המלאה של טווחי ה-IP וה-CIDR מכל חמשת קובצי ה-JSON של גוגל, שנבדקת מולם מדי יום.

נבדק לאחרונה: 21/10/26 · גוגל עדכנה את הרשימה לאחרונה בתאריך 13/10/26

איך להשתמש בבודק כתובות ה-IP של Googlebot

קודם צריך את כתובת ה-IP של הבקשה שרוצים לבדוק. בלוג הגישה של השרת היא בדרך כלל השדה הראשון בשורה, באותה שורה שבה מופיע ה-User-Agent שטוען שהוא Googlebot. אם האתר יושב מאחורי CDN או פרוקסי, צריך לקחת את כתובת המבקר שה-CDN מעביר, ולא את הכתובת של ה-CDN עצמו.

אחר כך צריך להדביק את הכתובת בבודק, ב-IPv4 או ב-IPv6, וללחוץ Enter. התוצאה היא אחת משתיים:

• יש התאמה: הכתובת נמצאת באחד הטווחים שגוגל מפרסמת. הבודק מציג את הטווח ואת קטגוריית הסורק שהוא שייך לה.
• אין התאמה: הכתובת לא מופיעה באף אחד מחמשת הקבצים, נכון לבדיקה האחרונה שמופיעה למעלה.

התאמה של כתובת לטווחים האלה היא אחת משתי שיטות האימות שגוגל מתעדת לסורקים שלה. ההתאמה לא אומרת איזה סורק בדיוק שלח את הבקשה, רק לאיזו קטגוריה הוא שייך, והיא נכונה לקבצים כפי שהיו בבדיקה האחרונה. מחרוזת ה-User-Agent לבדה לא מוכיחה כלום, כי כל אחד יכול לשלוח בה Googlebot. Google: התיעוד של גוגל על אימות בקשות של הסורקים שלה

איך לאמת את Googlebot עם reverse DNS ו-forward DNS

הדרך השנייה לאמת בקשה עוברת דרך DNS ולא דרך הרשימה. קודם צריך לבדוק לאיזה שם מארח שייכת הכתובת, ואז לוודא שהשם הזה מצביע בחזרה על אותה כתובת.

בשלב הראשון צריך להריץ reverse DNS על כתובת ה-IP מהלוג, עם הפקודה host בלינוקס או במק, או nslookup בווינדוס:

# Linux / macOS
host 66.249.66.1

# Windows
nslookup 66.249.66.1

בבקשה אמיתית של Googlebot, שם המארח מסתיים ב-googlebot.com:

1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

בשלב השני צריך להריץ forward DNS על שם המארח שהתקבל, ולוודא שהוא מחזיר את הכתובת המקורית:

host crawl-66-249-66-1.googlebot.com

הבקשה עוברת כששם המארח מסתיים ב-googlebot.com,‏ google.com או googleusercontent.com, וה-forward DNS מחזיר את אותה כתובת. כל אחד יכול להגדיר ל-IP שלו reverse DNS עם שם שנראה כמו של גוגל, אבל רק גוגל קובעת לאיזו כתובת מצביע שם בדומיין שלה. לכן ה-forward DNS הוא החלק שאי אפשר לזייף.

תוצאות שונות בבדיקת ה-IP ובבדיקת ה-DNS

• הכתובת בטווחים, אבל ה-reverse DNS נכשל. כדאי לוודא שהבדיקה רצה על הכתובת המלאה, ושנבדק שם המארח הנכון: שולפים שמשתמש יזם מקבלים שם שמסתיים ב-gae.googleusercontent.com או ב-google.com, לא ב-googlebot.com. ההתאמה לטווחים היא בעצמה אחת משתי שיטות האימות. אם ה-DNS עדיין לא מוביל לגוגל, הייתי משאיר את הבקשה כלא מאומתת ומריץ את שתי הבדיקות שוב מאוחר יותר.
• ה-reverse DNS וה-forward DNS עוברים, אבל הכתובת לא ברשימה. הבקשה עוברת את שיטת ה-DNS של גוגל. כדאי לוודא שהכתובת נבדקה מול כל חמשת הקבצים, ולהסתכל על תאריך הבדיקה האחרונה מעל הבודק, כי ייתכן שגוגל הוסיפה טווח אחריו.
• שתי הבדיקות נכשלות. הבקשה לא הגיעה מגוגל, לא משנה מה כתוב ב-User-Agent שלה.

טווחי ה-IP של Googlebot וקובצי ה-JSON של גוגל

גוגל מפרסמת את טווחי ה-IP של הסורקים שלה בחמישה קובצי JSON, והטבלה שבראש העמוד מציגה את כולם.

בכל קובץ נמצאים הטווחים של בוטים אחרים של גוגל, ולכן צריך לבדוק כל בקשה מול הקובץ של הבוט שמופיע ב-User-Agent שלה. מה כל בוט עושה, אפשר לקרוא במדריך שלי לסורקים ולבוטים של גוגל.

Google-Extended לא מופיע בטבלה. הוא טוקן של robots.txt ולא סורק, ולכן אין לו User-Agent ואין לו כתובות IP משלו.

• סך הרשתות: 2,181 רשתות IP (בלוקים של CIDR)
• תדירות בדיקה: העמוד נבדק מדי יום מול קובצי ה-JSON הרשמיים. לגוגל עצמה אין לוח זמנים מפורסם.
• גוגל עדכנה את הרשימה לאחרונה בתאריך: 13/10/26
• כיסוי: כתובות IPv4 ו-IPv6

הורדת קובצי ה-JSON

אפשר להוריד את הנתונים הגולמיים ישירות מגוגל:

• common-crawlers.json, הטווחים של Googlebot
• special-crawlers.json
• user-triggered-fetchers.json
• user-triggered-fetchers-google.json
• user-triggered-agents.json

מתי צריך את רשימת ה-IP של Googlebot

הרשימה עוזרת להבדיל בין בקשות אמיתיות של Googlebot לבין בוטים שמתחזים אליו, וזה חלק מהעבודה בביקורת SEO טכנית של אתר. היא שימושית במיוחד כדי:

• לסנן תעבורה לפי IP או בחומת אש
• לנתח את התעבורה של הסורקים בלוגים
• לאבחן תקלות סריקה שמופיעות ב-Search Console
• לוודא שבוטים זדוניים לא מתחזים ל-Googlebot

איך הסורקים של גוגל מתחלקים בין קובצי ה-IP

בתיעוד שלה גוגל מחלקת את הסורקים לשלוש קטגוריות: common crawlers,‏ special-case crawlers ו-user-triggered fetchers. טווחי ה-IP שלהם מתפרסמים בחמישה קבצים, כי הקטגוריה השלישית מתפרסת על שלושה קבצים נפרדים. user-triggered fetcher user-triggered fetcher הוא בוט ששולף עמוד כי משתמש ביקש זאת עכשיו, ולא כחלק מסריקה יזומה. להגדרה המלאה של user-triggered fetcher

לכן כדי לאמת בקשה צריך לדעת באיזה קובץ לחפש אותה, ולא מספיק לדעת לאיזו קטגוריה היא שייכת.

Googlebot והסורקים הרגילים (Common Crawlers)

אלה הסורקים שאוספים את התוכן ל-Google Search, ובראשם Googlebot עצמו.

Reverse DNS:
crawl-***.googlebot.com
geo-crawl-***.geo.googlebot.com

רשתות: 317 (170 IPv4, 147 IPv6)

סורקים מיוחדים, כמו AdsBot (Special Crawlers)

אלה סורקים של מוצרים ייעודיים, כמו AdsBot ו-Mediapartners-Google.

Reverse DNS: rate-limited-proxy-***.google.com
רשתות: 272 (136 IPv4, 136 IPv6)

בקשות שמשתמש יזם (User-Triggered Fetchers)

כאן הבקשה נשלחת כי משתמש ביקש אותה, למשל דרך Feedfetcher,‏ Site Verifier או Read Aloud. גם שירותים חיצוניים וסוכני ה-AI של גוגל שייכים לקטגוריה הזו.

זו הקטגוריה שמתפרסת על שלושה קבצים, והם מופרדים לפי המקום שבו הבקשה רצה:

• user-triggered-fetchers.json: בקשות של אתרים ושירותים שרצים על Google Cloud, למשל קריאה של פיד RSS לבקשת משתמש של האתר. ה-reverse DNS שלהן מסתיים ב-gae.googleusercontent.com.
• user-triggered-fetchers-google.json: שולפים שגוגל עצמה מפעילה. ה-reverse DNS שלהם מסתיים ב-google.com.
• user-triggered-agents.json: הקובץ הייעודי לסוכני ה-AI של גוגל.

רשתות בשני קבצי ה-fetchers: 1,572 (786 IPv4, 786 IPv6)
רשתות בקובץ הסוכנים: 20 (12 IPv4, 8 IPv6)

בתיעוד של גוגל הסוכנים שייכים לקטגוריה הזו. הטבלה למעלה מציגה אותם בשורה נפרדת רק כי יש להם קובץ IP משלהם.

כמה רשתות יש בכל קטגוריה ומה גודל הבלוקים

התפלגות הרשתות לפי סוג

גודל הבלוקים ב-CIDR

רוב הבלוקים שגוגל מפרסמת קטנים, אבל יש ביניהם גם טווחים רחבים:

• רוב הבלוקים ב-IPv4 הם /27 (עד 32 כתובות כל אחד)
• רוב הבלוקים ב-IPv6 הם /64
• הבלוק הקטן ביותר: /28, הגדול ביותר: /16

רשימות IP של סורקים שאינם של גוגל

• בינג מפרסמת רשימה רשמית של כתובות ה-IP של Bingbot ב-bing.com/toolbox/bingbot.json.
• ל-Facebook Crawler יש רק רשימה חלקית.
• ל-Semrush Bot יש רשימה פומבית.

שימוש בטווחים בחומת אש או בסקריפט

לפני הוספת כלל, כדאי לבדוק מה חומת האש או השרת כבר מאשרים או חוסמים, כי ייתכן שכלל קיים כבר קובע מה קורה לתעבורה של גוגל. גוגל לא מפרסמת לוח זמנים לשינוי הטווחים, ולכן רשימה שהועתקה פעם אחת מתיישנת. כדאי לטעון את הטווחים מקובצי ה-JSON ולרענן אותם אוטומטית, אחרת טווח חדש של גוגל ייחסם.

אישור ב-iptables

כדי לאשר טווח של Googlebot ב-iptables, צריך להוסיף כלל אחד לכל בלוק CIDR. הדוגמה הבאה מאשרת בלוק אחד בלבד, והגדרה אמיתית צריכה כלל לכל טווח בקבצים שבשימוש:

iptables -A INPUT -s 66.249.64.0/27 -j ACCEPT

שימוש ב-Nginx

כדי לסמן בקשות של Googlebot ב-Nginx, אפשר להוסיף בלוק geo לחלק ה-http של קובץ ההגדרות, עם שורה לכל טווח CIDR. המשתנה $is_googlebot מקבל את הערך 1 בבקשות שמגיעות מהטווחים האלה:

geo $is_googlebot {
    default 0;
    66.249.64.0/27 1;
    # ... רשתות נוספות
}

הורדת קובץ ה-JSON בסקריפט

סקריפט שמרענן את הרשימה יכול להוריד את קובץ ה-JSON ישירות מגוגל:

curl https://developers.google.com/static/crawling/ipranges/common-crawlers.json

פלט לדוגמה:

{
  "creationTime": "2026-07-24T14:46:00.000000",
  "prefixes": [
    { "ipv4Prefix": "66.249.64.0/27" },
    { "ipv6Prefix": "2001:4860:4801:10::/64" }
  ]
}

בכל אחד מהקבצים האלה השדה creationTime מראה מתי גוגל פרסמה אותו.

בהצלחה.