רשימה מלאה ומעודכנת של כל כתובות ה-IP וטווחי ה-CIDR של סורקי גוגל. הנתונים נשלפים ישירות מה-API הרשמי של Google Search Central ומתעדכנים באופן יומי. השתמשו בכלי הבדיקה למטה כדי לוודא אם כתובת IP ספציפית שייכת ל-Googlebot אמיתי.
בדוק כתובת IP
| רשת (CIDR) | גרסה | סוג | Reverse DNS |
|---|---|---|---|
| 2001:4860:4801:10::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:12::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:13::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:14::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:15::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:16::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:17::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:18::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:19::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
| 2001:4860:4801:1a::/64 | IPv6 | Googlebot רגיל | crawl-***.googlebot.com |
סה"כ 1937 רשתות IP
עמוד 1 מתוך 194
שאלות נפוצות
למה צריך את הרשימה הזו?▼
אם אתם מנהלים אתר, אפליקציה, או שרת, חשוב לדעת לזהות בקשות אמיתיות מ-Googlebot:
• אבטחה - חסימת בוטים מזויפים שמתחזים ל-Googlebot
• אופטימיזציה - מתן עדיפות לבקשות אמיתיות מגוגל
• ניטור - זיהוי דפוסי סריקה של Googlebot בלוגים
• לדאבג - בעיות אינדוקס ב-Search Console
• אבטחה - חסימת בוטים מזויפים שמתחזים ל-Googlebot
• אופטימיזציה - מתן עדיפות לבקשות אמיתיות מגוגל
• ניטור - זיהוי דפוסי סריקה של Googlebot בלוגים
• לדאבג - בעיות אינדוקס ב-Search Console
מה ההבדל בין כתובת IP לטווח CIDR?▼
כתובת IP בודדת (למשל
טווח CIDR (למשל
גוגל משתמשת בטווחי CIDR כי יש לה אלפי שרתים שסורקים את האינטרנט, ולא מעשי לפרסם כל כתובת IP בנפרד.
66.249.66.1) מזהה מכשיר ספציפי אחד ברשת.טווח CIDR (למשל
66.249.64.0/19) מייצג טווח שלם של כתובות IP - במקרה זה 8,192 כתובות IP שונות.גוגל משתמשת בטווחי CIDR כי יש לה אלפי שרתים שסורקים את האינטרנט, ולא מעשי לפרסם כל כתובת IP בנפרד.
כמה כתובות IP יש ל-Googlebot?▼
גוגל משתמשת במאות רשתות IP שונות. הרשימה כוללת כ-1,800 טווחי CIDR המכסים גם IPv4 וגם IPv6.
הרשימה מתעדכנת באופן אוטומטי מה-API הרשמי של גוגל.
הרשימה מתעדכנת באופן אוטומטי מה-API הרשמי של גוגל.
מהם סוגי הסורקים השונים של גוגל?▼
גוגל משתמשת ב-3 סוגים עיקריים של סורקים:
1. סורקים רגילים (Googlebot)
הסורקים הרגילים של גוגל למוצרים כמו Google Search. תמיד מכבדים את robots.txt.
• Reverse DNS:
• כמות: 164 רשתות (128 IPv6 + 36 IPv4)
2. סורקים מיוחדים
סורקים שמבצעים פונקציות ספציפיות (כמו AdsBot) שבהן יש הסכם בין האתר למוצר. עשויים להתעלם מ-robots.txt.
• Reverse DNS:
• כמות: 280 רשתות (128 IPv6 + 152 IPv4)
3. פעולות משתמש
כלים ופונקציות שבהן המשתמש מפעיל את ה-fetch (כמו Google Site Verifier). מתעלמים מ-robots.txt כי הם מופעלים על ידי משתמש.
• Reverse DNS:
• כמות: 1,351 רשתות (724 IPv6 + 627 IPv4)
1. סורקים רגילים (Googlebot)
הסורקים הרגילים של גוגל למוצרים כמו Google Search. תמיד מכבדים את robots.txt.
• Reverse DNS:
crawl-***.googlebot.com• כמות: 164 רשתות (128 IPv6 + 36 IPv4)
2. סורקים מיוחדים
סורקים שמבצעים פונקציות ספציפיות (כמו AdsBot) שבהן יש הסכם בין האתר למוצר. עשויים להתעלם מ-robots.txt.
• Reverse DNS:
rate-limited-proxy-***.google.com• כמות: 280 רשתות (128 IPv6 + 152 IPv4)
3. פעולות משתמש
כלים ופונקציות שבהן המשתמש מפעיל את ה-fetch (כמו Google Site Verifier). מתעלמים מ-robots.txt כי הם מופעלים על ידי משתמש.
• Reverse DNS:
***.gae.googleusercontent.com או google-proxy-***.google.com• כמות: 1,351 רשתות (724 IPv6 + 627 IPv4)
מה ההבדל בין סורקים רגילים לסורקים מיוחדים?▼
סורקים רגילים (Googlebot הרגיל) תמיד מכבדים את כללי robots.txt.
סורקים מיוחדים (כמו AdsBot) עשויים להתעלם מ-robots.txt במקרים מסוימים, בהתאם להסכם עם בעל האתר.
סורקים מיוחדים (כמו AdsBot) עשויים להתעלם מ-robots.txt במקרים מסוימים, בהתאם להסכם עם בעל האתר.
האם Googlebot תמיד מכבד את robots.txt?▼
זה תלוי בסוג הסורק:
• סורקים רגילים - תמיד מכבדים את robots.txt
• סורקים מיוחדים - עשויים להתעלם במקרים מסוימים
• פעולות משתמש - מתעלמים מ-robots.txt כי הם מופעלים לבקשת המשתמש
• סורקים רגילים - תמיד מכבדים את robots.txt
• סורקים מיוחדים - עשויים להתעלם במקרים מסוימים
• פעולות משתמש - מתעלמים מ-robots.txt כי הם מופעלים לבקשת המשתמש
איך אני יכול לוודא שבקשה באמת מגיעה מ-Googlebot?▼
שיטה 1: כלי הבדיקה באתר
הזינו את כתובת ה-IP בכלי למעלה והוא יבדוק אוטומטית אם היא נמצאת ברשימה הרשמית של גוגל.
שיטה 2: Reverse DNS Lookup
בצעו בדיקת Reverse DNS כדי לוודא שה-hostname מסתיים ב-
אם זה Googlebot אמיתי, תקבלו תוצאה כמו:
הזינו את כתובת ה-IP בכלי למעלה והוא יבדוק אוטומטית אם היא נמצאת ברשימה הרשמית של גוגל.
שיטה 2: Reverse DNS Lookup
בצעו בדיקת Reverse DNS כדי לוודא שה-hostname מסתיים ב-
googlebot.com או google.com:# Linux / macOS
host 66.249.66.1
# Windows
nslookup 66.249.66.1אם זה Googlebot אמיתי, תקבלו תוצאה כמו:
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.comאיך אני יכול להשתמש ברשימה ב-Firewall או בשרת שלי?▼
חסימה/התרה בחומת אש
אם אתם רוצים לחסום או להתיר רק Googlebot אמיתי, השתמשו ברשימת טווחי ה-CIDR.
דוגמה ל-iptables:
שימוש ב-Nginx
דוגמה לבלוק GEO לזיהוי Googlebot:
אם אתם רוצים לחסום או להתיר רק Googlebot אמיתי, השתמשו ברשימת טווחי ה-CIDR.
דוגמה ל-iptables:
# התרת Googlebot
iptables -A INPUT -s 66.249.64.0/19 -j ACCEPTשימוש ב-Nginx
דוגמה לבלוק GEO לזיהוי Googlebot:
# בלוק GEO לזיהוי Googlebot
geo $is_googlebot {
default 0;
66.249.64.0/19 1;
# ... שאר הרשתות
}מקורות
עדכון אחרון: הנתונים מתעדכנים באופן יומי מה-API הרשמי של גוגל.
