במדריך זה אסביר על הבוטים של קלוד: מה כל אחד עושה באתר, איך לזהות ולאמת בקשות ממנו, איך לחסום אותו ומה המשמעות לחיפוש, לאימון ולקריאת עמודים דרך Claude.
הבוטים של קלוד ומה כל אחד עושה
| בוט | תפקיד | מתי הוא מגיע |
|---|---|---|
| ClaudeBot | איסוף תוכן שעשוי לשמש לאימון | סריקה אוטומטית |
| Claude-SearchBot | אינדוקס תוכן לחיפוש | סריקה אוטומטית |
| Claude-User | קריאת עמוד בעקבות בקשת משתמש | בזמן שימוש ב־Claude |
שלושת הבוטים של Anthropic מכבדים את קובץ robots.txt, שמכיל הוראות סריקה לבוטים. אפשר להגדיר לכל אחד מהם הוראות נפרדות. דוגמאות החסימה בהמשך חלות על האתר כולו. claude.com: ההסבר של Anthropic על הבוטים וחסימת הסריקה robots.txt robots.txt הוא קובץ טקסט שיושב בשורש האתר ומגדיר אילו כתובות סורקים רשאים לשלוף. robots.txt שולט בסריקה, לא באינדוקס. להגדרה המלאה של robots.txt
User-Agent הוא שדה בבקשה לשרת שמציין באיזה שם התוכנה מזדהה. אפשר לזייף אותו, ולכן מציאת שם הבוט בלוג הגישה של האתר אינה מוכיחה שהבקשה הגיעה מ־Anthropic. כדי לבדוק את המקור, צריך לאמת את הבקשה. דוגמאות הזיהוי בהמשך מקוצרות, ושלוש הנקודות מחליפות את יתר הכותרת.
ייתכן שכבר יש בקובץ הוראות שחוסמות את הבוט או מאפשרות לו גישה לחלק מהעמודים. לפני הוספת דוגמה צריך לבדוק אילו הוראות כבר חלות עליו, כמוסבר בסעיף קבוצות הכללים ב־robots.txt.
ClaudeBot
מה ClaudeBot עושה?
ClaudeBot אוסף תוכן ציבורי מהאינטרנט שעשוי לשמש לאימון מודלים עתידיים של Claude. הסריקה מתבצעת באופן אוטומטי ואינה דורשת שמשתמש יבקש לקרוא את העמוד.
בקשה של ClaudeBot בלוג מעידה שהבוט ניסה לגשת לעמוד. היא אינה מוכיחה שהתוכן שימש בפועל לאימון או הופיע בתשובה למשתמש.
איך לזהות את ClaudeBot?
כדי למצוא בקשות שנשלחו בשם ClaudeBot, צריך לחפש את השם ClaudeBot בשדה User-Agent בלוגים של השרת. זו דוגמה מקוצרת לכותרת שנשלחת בבקשה:
User-Agent: ... ClaudeBot/1.0 ...מה קורה כשחוסמים את ClaudeBot?
חסימת ClaudeBot מורה להפסיק איסוף עתידי מהנתיבים החסומים לצורך אימון. היא אינה חוסמת את Claude-SearchBot או את Claude-User, ואינה מוחקת תוכן שכבר נאסף בעבר.
איך לחסום את ClaudeBot?
כדי לחסום את ClaudeBot בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: ClaudeBot
Disallow: /Claude-SearchBot
מה Claude-SearchBot עושה?
Claude-SearchBot סורק ומאנדקס עמודים עבור יכולות החיפוש של Claude. הוא מאפשר למערכת למצוא תוכן רלוונטי כשמשתמש מבקש מידע מהאינטרנט.
איך לזהות את Claude-SearchBot?
כדי למצוא בקשות שנשלחו בשם Claude-SearchBot, צריך לחפש את השם Claude-SearchBot בשדה User-Agent בלוגים של השרת. זו דוגמה מקוצרת לכותרת שנשלחת בבקשה:
User-Agent: ... Claude-SearchBot/1.0 ...מה קורה כשחוסמים את Claude-SearchBot?
חסימה מונעת מהבוט לסרוק את התוכן לצורכי החיפוש של Claude, ועלולה לצמצם את נראות האתר ואת הדיוק של תשובות שמתייחסות אליו. היא אינה חוסמת את ClaudeBot, ולכן אינה דרך להגביל איסוף לאימון.
איך לחסום את Claude-SearchBot?
כדי לחסום את Claude-SearchBot בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Claude-SearchBot
Disallow: /Claude-User
מה Claude-User עושה?
Claude-User הוא כלי שקורא עמודים בעקבות בקשת משתמש, למשל כשמבקשים מ־Claude לקרוא קישור או לבדוק מידע באתר. הוא אינו סורק את האתר באופן יזום כדי לבנות אינדקס. user-triggered fetcher user-triggered fetcher הוא בוט ששולף עמוד כי משתמש ביקש זאת עכשיו, ולא כחלק מסריקה יזומה. להגדרה המלאה של user-triggered fetcher
איך לזהות את Claude-User?
כדי למצוא בקשות שנשלחו בשם Claude-User, צריך לחפש את השם Claude-User בשדה User-Agent בלוגים של השרת. זו דוגמה מקוצרת לכותרת שנשלחת בבקשה:
User-Agent: ... Claude-User/1.0 ...בקשה מאומתת של Claude-User אינה מוכיחה שהעמוד צוטט בתשובה או שמשתמש עבר מהתשובה לאתר.
מה קורה כשחוסמים את Claude-User?
חסימת Claude-User מונעת מ־Claude לשלוף עמודים חסומים גם כשמשתמש מבקש לקרוא אותם. לכן החסימה עשויה לפגוע בשימוש באתר כמקור בזמן השיחה, בלי למנוע סריקה של שני הבוטים האחרים.
איך לחסום את Claude-User?
כדי לחסום את Claude-User בכל האתר, צריך להוסיף את ההוראות הבאות לקובץ robots.txt:
User-agent: Claude-User
Disallow: /איך לקרוא את הבקשות בלוגים?
לוג הגישה הוא רישום של הבקשות שהגיעו לאתר. אפשר לקבל אותו דרך ספק האחסון או ה־CDN, השירות שמתווך את התעבורה לאתר. אם אין גישה ללוגים, כדאי לבקש מהתמיכה את רישומי הבקשות של הבוט בטווח הזמן שרוצים לבדוק. בלוג של השרת או ה־CDN כדאי לבדוק יחד את שם הבוט, כתובת ה־IP, הנתיב המבוקש, זמן הבקשה וקוד התגובה. השם מסביר את מטרת הביקור. הנתיב וקוד התגובה מראים מה התבקש ואם השרת החזיר את התוכן.
מספרי הגרסאות ופרטי הדפדפן בכותרת יכולים להשתנות. לכן כדאי לסנן לפי שם הבוט, ואז לבדוק את הבקשות המלאות ואת כתובות המקור, במקום לחפש התאמה לכותרת שלמה וקבועה.
בדוגמת הלוג הבאה, שנכתבה להמחשה, הבקשה מציגה את עצמה כ־ClaudeBot:
192.0.2.10 - - [04/Oct/2026:10:00:00 +0300] "GET /article/ HTTP/1.1" 200 18432 "-" "ClaudeBot/1.0"כתובת המקור היא 192.0.2.10, העמוד שהתבקש הוא /article/, והקוד 200 מציין שהשרת החזיר תגובת הצלחה. ה־User-Agent בדוגמה מקוצר. כתובת ה־IP נועדה להמחשה ואינה כתובת מאומתת של הבוט.
בקשת בוט אינה ביקור של אדם שהגיע מ־Claude. כדי לבדוק ביקורים של אנשים, צריך לבחון בנפרד הפניות ונתוני תנועה בכלי האנליטיקס. לוג הסריקה לבדו אינו מדד לחשיפה או לציטוטים.
אימות הבקשות
Anthropic מפרסמת רשימת טווחי IP של הבוטים שלה. הקישור מוביל לקובץ JSON, קובץ נתונים שמכיל את טווחי הכתובות. כדאי להשתמש ברשימה העדכנית, מפני שהטווחים יכולים להשתנות. claude.com: טווחי ה־IP של הבוטים של Anthropic
כדי לאמת בקשה, צריך לקחת את כתובת ה־IP שממנה הגיעה מלוג אמין של השרת או ה־CDN, ולבדוק אם היא שייכת לאחד הטווחים ברשימה. חיפוש מספר זהה בקובץ אינו מספיק, מפני שכל טווח יכול לכלול כתובות רבות.
הטווחים כתובים בסימון CIDR, שמייצג קבוצת כתובות. למשל, הטווח 192.0.2.0/24 כולל את הכתובת 192.0.2.10, גם אם היא אינה כתובה ברשימה בנפרד. זו דוגמה להמחשה בלבד. אם אין במערכת האחסון כלי לבדיקת כתובת מול טווחים, אפשר להעביר לתמיכה את כתובת המקור מהלוג ואת הקישור לרשימה הרשמית, ולבקש לבדוק אם הכתובת נמצאת באחד הטווחים. הבדיקה צריכה להשתמש ברשימה העדכנית של הספק.
אם הכתובת אינה ברשימה, אין אימות שהבקשה שייכת ל־Anthropic. לפני הסקת מסקנה כדאי לוודא שהרשימה עדכנית ושהלוג מציג את כתובת המקור, ולא כתובת של מתווך בדרך לשרת.
robots.txt
קובץ robots.txt צריך להיות נגיש בשורש האתר שעליו חלות ההוראות, למשל https://example.com/robots.txt. אם התוכן נמצא גם בסאב־דומיין, צריך להגדיר את הכללים גם בקובץ שלו.
כשקיימת קבוצה ספציפית לבוט, הכללים שמתחת User-agent: * אינם מתווספים אליה אוטומטית. לכן צריך לוודא שהקבוצה הספציפית כוללת את כל ההגבלות הנדרשות לאותו בוט, בהתאם לכללי התאמת הקבוצות בתקן. RFC Editor: התאמת קבוצות User-Agent בתקן robots.txt
איך לחסום נתיב בלי לחסום את כל האתר?
אם המטרה היא להגביל רק חלק מהאתר, אפשר להשתמש בנתיב במקום /. זו דוגמה לחסימת התיקייה members עבור ClaudeBot. היא מחליפה את דוגמת החסימה המלאה שלו, ואינה נדרשת בנוסף אליה:
User-agent: ClaudeBot
Disallow: /members/כדי להגביל את אותו נתיב עבור בוט אחר, צריך לכתוב את שמו בשורת User-agent בקבוצה המתאימה. אם כבר קיימת קבוצה עבורו, צריך לערוך אותה ולשמור בה גם את ההגבלות האחרות שעדיין נחוצות.
איך להאט את הסריקה?
אם הבעיה היא עומס, אפשר להאט את הסריקה בעזרת Crawl-delay, הוראה שהבוטים של Anthropic תומכים בה. כדי להגדיר ל־ClaudeBot השהיה של שנייה, אפשר להוסיף את ההוראה לקבוצה שלו ב־robots.txt, כפי שמופיע בדוגמה. אם הקבוצה כבר קיימת, צריך לשמור על שאר ההוראות שבה:
User-agent: ClaudeBot
Crawl-delay: 1מתי נדרשת חסימה בשרת או ב־WAF?
robots.txt אינו מונע טכנית גישה לתוכן. תוכן שצריך להישאר פרטי מחייב בקרת גישה בשרת, כמו התחברות והרשאות. פרסום נתיב שלו בקובץ אינו מגן עליו.
WAF הוא מערכת שמסננת בקשות לפני שהן מגיעות לאתר. אפשר להשתמש בו ובכללי הגבלת קצב כדי לעצור בקשות שממשיכות להגיע למרות הוראות הסריקה או יוצרות עומס. חסימת IP רחבה עלולה למנוע מהבוט לקרוא גם את robots.txt, ולכן אינה תחליף להגדרת הוראות הסריקה בקובץ.
איזו הגבלה מתאימה למטרה?
בעבודתי כמומחה GEO, אני בודק איזה שימוש בתוכן רוצים להגביל. חסימת ClaudeBot, למשל, מגבילה איסוף לאימון בלי לחסום את סורק החיפוש או את קריאת העמוד בעקבות בקשת משתמש.
| המטרה | ההגדרה המתאימה |
|---|---|
| להגביל איסוף לאימון ולשמור על אפשרות חיפוש וקריאה | לחסום ClaudeBot ולהשאיר את שני הבוטים האחרים נגישים |
| להגביל אינדוקס לחיפוש של Claude | לחסום Claude-SearchBot |
| למנוע שליפה בעקבות בקשת משתמש | לחסום Claude-User |
| להפחית עומס | לבדוק Crawl-delay ומדיניות קצב בשרת |
| לשמור תוכן פרטי | להשתמש בהתחברות ובהרשאות בשרת |
מדריך זה הוא חלק מסדרת מדריכים על בוטים שחשוב להכיר בעבודת SEO ו־GEO. להמשך קריאה: המדריך לבוטים של גוגל והמדריך לבוטים של OpenAI.
בהצלחה.
