מה זה קיבולת סריקה?

גוגל מווסתת את עצמה. היא לא רוצה להפיל לכם את השרת, ולכן היא שמה תקרה, שנקראת בתיעוד שלה גם hostload, על הזמן הכולל שהשרת מחזיק חיבורים פתוחים בשבילה: גם כמה חיבורים במקביל וגם כמה זמן כל אחד נשאר פתוח. התקרה הזאת היא קיבולת הסריקה של האתר.

איך קיבולת סריקה עובדת

כל אתר מתחיל מאותה תקרה נמוכה כברירת מחדל, וכשיש ביקוש סריקה, כלומר רצון של גוגל לסרוק יותר, והאתר נשאר בריא, גוגל מרימה את התקרה אוטומטית לאורך זמן. משם התקרה זזה לפי שני גורמים. הראשון הוא בריאות הסריקה: זמני תגובה יציבים או משתפרים מרימים את התקרה, והאטה, שגיאות 5xx או תשובות 429 מורידים אותה. השני הוא המשאבים של גוגל עצמה, שסופיים גם הם ומתחלקים בין כל האתרים ברשת.

גוגל מחשבת את התקרה לכל hostname בנפרד, ולכן לתת-דומיין יש תקרה משלו.

דוגמה לקיבולת סריקה שנפתחת

באתר גדול שליוויתי זמן התגובה ירד מ-500 ל-120 מילישניות, וכמות הסריקה היומית קפצה בערך פי שבעה. התוכן לא השתנה באותה תקופה. מה שהשתנה הוא כמה חיבורים במקביל גוגל הרשתה לעצמה מול שרת שהפסיק להתנשף.

איך קיבולת סריקה קשורה ל-SEO ול-GEO

באתרים גדולים קיבולת הסריקה היא המנוף ההנדסי של תקציב הסריקה: שיפור זמן תגובה מרים את התקרה, וכשהביקוש קיים, כמות הסריקה עולה בהתאם לאורך זמן. סורקים כמו OAI-SearchBot של OpenAI מושכים מאותו שרת, ושרת איטי מאט גם אותם. עמוד שאף סורק לא הגיע אליו לא נכנס לא לאינדקס ולא לתשובות.

ההבדל בין קיבולת סריקה לביקוש סריקה

הקיבולת היא כמה גוגל יכולה לסרוק בלי להזיק לאתר. ביקוש הסריקה הוא כמה היא בכלל רוצה. הקיבולת נפתרת בהנדסה, הביקוש נפתר בתוכן. כשמאבחנים ירידה בסריקה זו ההפרדה הראשונה: תקרה נמוכה מתקנים בשרת, ביקוש נמוך מתקנים באתר.