מה זה web-bot-auth?

הבעיה ש-web-bot-auth פותר מוכרת לכל מי שניהל אתר גדול: כל בקשה יכולה לטעון שהיא Googlebot או GPTBot, כי user-agent הוא טקסט חופשי שכל אחד יכול לזייף. עד היום האימות נשען על רשימות IP ובדיקות reverse DNS, תחזוקה ידנית שנשברת בשקט כשטווח מתחלף.

הפרוטוקול, שפותח בהובלת Cloudflare וגוגל על בסיס תקן RFC 9421, עובד אחרת: מפעיל הבוט מחזיק מפתח פרטי וחותם על כל בקשת HTTP בכותרות ייעודיות. האתר שולף את המפתח הציבורי מכתובת ידועה מראש אצל המפעיל ומאמת את החתימה. זיוף דורש את המפתח הפרטי, ולכן בלתי אפשרי בפועל.

דוגמה חיה: ChatGPT agent של OpenAI חותם היום על כל בקשה שהוא שולח, ומי שמאחורי Cloudflare מקבל את האימות הזה אוטומטית, בלי שורת קוד.

איך זה קשור ל-SEO ול-GEO

נראות ב-AI מתחילה בזה שהבוטים הנכונים מצליחים להיכנס. ככל שאתרים חוסמים בוטים באגרסיביות, גובר הסיכון שחסימה גורפת תפגע גם בבוטים שמזינים את התשובות של ChatGPT ו-Gemini, כולל ה-fetchers שמגיעים רגע לפני ציטוט. web-bot-auth מאפשר מדיניות מדויקת: להכניס בוטים מאומתים של מנועי AI, לחסום מתחזים, ולא לאבד ציטוטים בגלל חסימה עיוורת. מי שמנהל SEO טכני צריך להכיר את השכבה הזאת כמו שהוא מכיר robots.txt.

ההבדל בין web-bot-auth ל-robots.txt

robots.txt הוא בקשה מנומסת שמסתמכת על כבוד הדדי, והתקן עצמו מצהיר שהוא אינו מנגנון הרשאות. web-bot-auth הוא הוכחת זהות קריפטוגרפית. הראשון עונה על “מה מותר לך”, השני על “מי אתה בכלל”. אתר רציני יצטרך את שניהם.