רשימת הבוטים שתומכים ב-Markdown Content Negotiation

מה זה Markdown Content Negotiation?

Markdown Content Negotiation הוא מנגנון שבו בוט מבקש מאותה כתובת URL גרסת Markdown של העמוד, במקום לקבל HTML רגיל.

במאמר הזה אני עוקב אחרי הבוטים וסוכני ה-AI שבאמת עושים את זה.

הדרך לעשות את זה היא content negotiation: הבוט שולח בקשת HTTP עם כותרת Accept שאומרת לשרת איזה פורמט הוא מעדיף. במקרה הזה:

Accept: text/markdown

זה נשמע טכני, אבל ההבחנה חשובה. זה לא אתר שמפרסם קובצי .md, לא llms.txt, ולא כלי שמוריד HTML ואז ממיר אותו ל-Markdown אצלו. כאן אני בודק שאלה צרה יותר: מי מבקש Markdown בשלב הבקשה לשרת, ומי עדיין מקבל HTML כרגיל.

טבלת תמיכה ב-Markdown

בוט או כלי	תמיכה רשמית	הערה ומקור
Claude Code / WebFetch סוכן קוד	כן	התיעוד מציין ש-WebFetch שולח User-Agent שמתחיל ב-`Claude-User` ו-`Accept` שמעדיף Markdown על HTML. מקור: תיעוד Claude Code
GitHub Copilot CLI / web_fetch סוכן קוד	כן	ה-changelog מציין ש-`web_fetch` מעדיף Markdown כשאפשר, דרך HTTP content negotiation. מקור: GitHub Copilot CLI changelog
OpenCode / webfetch סוכן קוד	כן	ברירת המחדל היא `format: markdown`, והכלי בונה כותרת `Accept` עם עדיפות ל-`text/markdown`. מקור: קוד המקור של OpenCode
Gemini CLI סוכן קוד	כן במסלול direct	במסלול direct/experimental הכלי שולח `Accept` שמעדיף `text/markdown`. במסלול Web Fetch הרגיל התיעוד מתאר שימוש ב-`urlContext`. מקור: קוד המקור של Gemini CLI
Cursor סוכן קוד	לא
GPTBot סורק OpenAI	לא
OAI-SearchBot סורק OpenAI	לא
ChatGPT-User fetch שמגיע בעקבות פעולה של משתמש	לא
ClaudeBot סורק Anthropic	לא
PerplexityBot סורק Perplexity	לא
Googlebot סורק Google Search	לא

מה נחשב כאן תמיכה רשמית

אני מסמן “כן” רק כשיש מקור רשמי: תיעוד מוצר, changelog רשמי, או קוד מקור של הפרויקט עצמו. מדידה חיצונית, גם אם היא טובה, היא עדיין מדידה חיצונית.

הסיבה להפרדה פשוטה: הרבה מהשיח סביב Markdown לבוטים מערבב בין כמה דברים שונים:

אתר שמחזיר Markdown כשמבקשים ממנו Accept: text/markdown
כלי שמוריד HTML וממיר אותו ל-Markdown בעצמו
קובץ נפרד כמו llms.txt או עמודי .md

רק הראשון הוא content negotiation אמיתי מול אותה כתובת URL.

מה הרשימה אומרת כרגע

נכון ל-22 באוגוסט 2026, התמיכה הברורה נמצאת בעיקר אצל סוכני קוד. זה די הגיוני: Claude Code, Copilot CLI, OpenCode ו-Gemini CLI קוראים הרבה תיעוד טכני, ו-Markdown הוא פורמט נוח וזול יותר בשבילם.

אצל סורקי מנועי התשובות התמונה אחרת. אין כרגע תמיכה רשמית ב-Markdown Content Negotiation אצל GPTBot, OAI-SearchBot ו-ChatGPT-User, וגם לא אצל ClaudeBot או PerplexityBot. זה לא אומר שהם לא יתמכו בזה בעתיד. זה כן אומר שלא כדאי לבנות טיעון SEO טכני או GEO כאילו הם כבר מבקשים את הפורמט.

מה כדאי לעשות עם זה

באתרי תיעוד, API docs ומרכזי מפתחים זה כבר מעניין. אלה בדיוק העמודים שסוכני קוד קוראים, ושם יש ביקוש אמיתי יותר לגרסת Markdown נקייה.

באתרי תוכן, אתרי חדשות ואתרים שיווקיים, זה עדיין יותר משהו לעקוב אחריו מאשר משימת חירום. אפשר לבדוק, אפשר לנסות אם זה כבר זמין בתשתית, אבל לא הייתי משלם על “התאמה לסוכני AI” שמסתכמת במתג אחד.

הבסיס עדיין חשוב יותר: HTML נקי, תוכן שאפשר לצטט, רינדור בצד שרת, וזיהוי נכון של הבוטים שקוראים את האתר.

מקורות

בהצלחה.