גוגל, מיקרוסופט ו-OpenAI יכבדו שורה אחת לחסימת אימון AI

גוגל, מיקרוסופט ו-OpenAI הודיעו שבעתיד יכבדו שורה אחת משותפת בקובץ robots.txt, שבה אתר אומר אם מותר להשתמש בתוכן שלו לאימון מודלים של בינה מלאכותית. כרגע אף אחת מהן עוד לא תומכת בה בפועל, ולכן אין צורך לשנות משהו היום.

לפי Search Engine Journal, השורה מבוססת על טיוטה שהגיש קווין קלי מ-Anthropic לקבוצת עבודה ב-IETF, הגוף שמגדיר תקנים לאינטרנט. זו טיוטה אישית ולא תקן רשמי. לפי הטיוטה, Anthropic התחילה לפתח תמיכה, אבל זה ייקח זמן.

איך השורה עובדת

במקום לכתוב חוק נפרד לכל חברה, כותבים קבוצה אחת תחת השם __usage_ai-training, עם Allow ו-Disallow רגילים. לפי הכתבה, חוקים שכבר קיימים בקובץ שלך לא נחשבים כהעדפה משותפת, וגם חוק כללי (User-Agent: *) לא נתפס כהעדפה כזו. כלומר, אם לא תוסיף את הקבוצה, האתר שלך פשוט לא הביע העדפה. השורה גם לא חוסמת סריקה של האתר, רק אימון.

גוגל ומיקרוסופט מתייחסות לזה אחרת

החסימה לא תעשה אותו דבר אצל כל חברה. לפי המקור:

• גוגל תתייחס לחסימה כאילו חסמת את Google-Extended, שמכסה גם אימון של Gemini וגם שימוש בתוכן שלך כשהעוזר של Gemini עונה. לפי התיעוד שלה, אין דרך לחסום אימון ועדיין להופיע בתשובות של Gemini. התמיכה מתוכננת לתחילת 2027, וזה לא משפיע על ההופעה בחיפוש הרגיל של גוגל.
• מיקרוסופט מפרידה בין אימון לבין שימוש בתוכן בתשובות של Copilot. לדבריה, חסימה של השימוש בתשובות תפגע בנראות של המותג שלך בתשובות AI, אבל לא בהופעה בתוצאות של Bing. היא תתחיל לכבד את ההגדרות החדשות ב-1 בפברואר 2027 ותפסיק להכיר בתגיות הישנות NoArchive ו-NoCache לצורך זה אחרי 1 במרץ 2027.
• OpenAI מתכוונת לכבד את השורה בחודשים הקרובים, והמדיניות הנוכחית שלה נשארת בתוקף.

מה זה אומר לעסק שלך

השאלה האמיתית היא לא טכנית: האם העסק שלך רוצה להופיע כשמישהו שואל עוזר AI על התחום שלך. אצל גוגל, חסימת האימון והופעה בתשובות של Gemini הולכות יחד, אז מי שחוסם אימון מוותר גם על חלק מהנראות.

מה אפשר לבדוק:

• אם האתר שלך משתמש בתגיות NoArchive או NoCache כדי להגביל את Copilot, יש פעולה לעשות. לפי המקור, אפשר לרשום העדפה זמנית ב-Bing Webmaster Tools החל מ-15 בדצמבר.
• אם לא כתבת אף פעם חוקים ל-AI בקובץ robots.txt, אין מה לתקן כרגע.
• לפני שמוסיפים חסימה, כדאי להחליט מה חשוב לך יותר: להגן על התוכן או להופיע בתשובות.

שורה אחת במקום רשימת חוקים לכל חברה היא שיפור, אבל היא לא אומרת אותו דבר לכל מי שקורא אותה.