איך מודדים אם ChatGPT ו-Gemini ממליצים על העסק שלכם?

אתמול שאלתם את ChatGPT מי בעל המקצוע הכי טוב בתחום שלכם באזור, והוא הזכיר אתכם. או שלא הזכיר.

אף אחת משתי התשובות לא אומרת הרבה. אותה שאלה מחזירה תשובה אחרת בכל פעם, ולכן מודדים בשאלות קבועות שחוזרות על עצמן, רושמים כל הרצה בגיליון, ומשווים לאורך זמן.

בעמוד הזה: מה נחשב המלצה, למה תשובה אחת היא לא מדידה, איך מריצים את הבדיקה לבד, למה כלי שבודק דרך API לא רואה את מה שהלקוח רואה, ואיך קוראים את מה שנרשם בלי להסיק ממנו יותר ממה שיש בו.

מה זה אומר ש-ChatGPT או Gemini ממליצים על העסק

לקוח יושב בערב על הספה, פותח את הצ'טבוט ושואל: "מי עושה שיפוץ מטבחים טוב באזור שלי?" הוא מקבל כמה שמות, לכל אחד משפט או שניים.

ההמלצה היא השם שלכם ברשימה הזאת. והיא גם המשפט שנכתב לידו: "מתמחה במטבחים קטנים" זו המלצה אחרת מ"יש עליו ביקורות מעורבות".

מי שעוד לא מכיר את הכלים עצמם יכול להתחיל במה זה ChatGPT ובג'ימני גוגל. כאן מתעניינים רק בשאלה אחת: האם השם שלכם עולה, ואיך.

למה אותה שאלה נותנת תשובה אחרת בכל פעם

הרצתי את אותו פרומפט, מילה במילה, וקיבלתי תשובה אחרת. לא ניסוח קצת שונה, אלא רשימה אחרת של שמות.

המודלים לא מחזירים תשובה זהה בכל הרצה. הם מרכיבים את התשובה מחדש בכל פעם, ומה שהופיע בפעם הקודמת יכול להיעלם בבאה.

הרצה אחת היא דגימה, לא מדידה.

אז צילום מסך שבו העסק מוזכר משמח, ולא מוכיח כלום. וצילום מסך שבו הוא לא מוזכר מלחיץ, ולא מוכיח כלום באותה מידה.

איך מריצים את הבדיקה לבד

לא צריך כלי ולא צריך מומחה. צריך שלושה דברים, ומשמעת.

1. שאלות קבועות שלקוח אמיתי היה שואל.
2. מספר הרצות קבוע לכל שאלה, שנקבע מראש.
3. גיליון אחד שבו כל הרצה מקבלת שורה.

אילו שאלות לשאול

כותבים את השאלות כמו שלקוח היה כותב אותן, במילים שלו. נניח שאתם אדריכלית: "מי אדריכלית טובה לשיפוץ דירה ישנה בעיר שלי?", ולא "האם [שם המשרד] מומלץ?".

שם העסק לא נכנס לשאלה. שאלה שמכילה את השם בודקת אם המודל מכיר אתכם, לא אם הוא היה ממליץ עליכם למי שלא שמע עליכם.

כדאי לגוון את סוג השאלות, כי לקוחות שואלים מכמה כיוונים:

• שאלת המלצה: "מי טוב ב…".
• שאלת בעיה: "יש לי רטיבות בקיר, למי פונים?".
• שאלת השוואה: "מה ההבדל בין… לבין…".

את הרשימה כותבים פעם אחת ולא נוגעים בה בין בדיקה לבדיקה. שאלה ששיניתם, אפילו במילה, היא כבר שאלה אחרת, וההשוואה נשברת.

כמה פעמים להריץ כל שאלה

מספר קבוע, שבוחרים מראש ולא משנים באמצע. אם התחלתם עם מספר מסוים של הרצות לשאלה, ממשיכים איתו בכל סבב.

לא אכתוב כאן מספר. אין לי מספר מבוסס שאפשר לעמוד מאחוריו, ומי שנותן לכם אחד בביטחון מלא כנראה המציא אותו.

מה שכן אפשר לומר: ככל שיש יותר הרצות, תמונה אחת חריגה מזיזה פחות את התוצאה. והמחיר הוא זמן, עליו בפרק הבא.

מה לרשום בכל הרצה

גיליון אחד, שורה לכל הרצה. ChatGPT ו-Gemini נרשמים בנפרד, כי הם שני מקורות שונים לגמרי.

העמודה האחרונה נראית כמו תוספת, והיא מה שהכי יעזור כשהעסק לא מופיע.

כמה זמן וכמה עולה הבדיקה

העלות העיקרית היא זמן. מספר השאלות, כפול מספר ההרצות לכל שאלה, כפול שני צ'טבוטים: זה מספר השורות שתמלאו בכל סבב.

כל שורה היא העתקה של שאלה, קריאה של תשובה ורישום. זה לא קשה, זה פשוט חוזר על עצמו (מי שאוהב להעתיק לגיליון, מצא את התחביב שלו).

את הסבבים מריצים בקצב קבוע שבוחרים מראש. סבב שמגיע מתי שנזכרים לא משתווה לסבב שלפניו, ולכן קצב קבוע חשוב יותר מקצב מהיר.

בכסף, אם בודקים בגרסה של הצ'טבוט שכבר יש לכם, הבדיקה לא מוסיפה הוצאה. מחיר שעה של בעל עסק הוא כבר עניין אחר.

למה בדיקה דרך API לא רואה את מה שהלקוח רואה

API הוא החיבור שדרכו תוכנה מדברת עם המודל ישירות, בלי המסך שבו אדם מקליד. כלים שבודקים "אוטומטית" עובדים כמעט תמיד דרכו.

הבעיה: מה שחוזר דרך API לא בהכרח זהה למה שמשתמש פוגש בממשק. בממשק יש שכבות שהלקוח לא רואה ולא בוחר בהן, כמו הגדרות, חיפוש ברשת, מיקום והיסטוריה של שיחות.

זה מה שראיתי בעצמי: בדיקה דרך API נתנה תמונה אחת, והממשק נתן תמונה אחרת. את הלקוח מעניין רק הממשק.

כלי אוטומטי מהיר יותר, ומודד משהו אחר.

איך קוראים את התוצאות

שלוש שאלות לכל צ'טבוט, בכל סבב: מתוך כל ההרצות, בכמה העסק הוזכר; איך הוא תואר; ואילו מקורות חזרו לצידו.

משווים סבב לסבב, באותן שאלות ובאותו מספר הרצות. שתי הרצות בודדות שמראות שינוי הן שתי דגימות, ושום דבר לא זז ביניהן בהכרח.

ומה לא מסיקים. לא את הסיבה: הגיליון מראה מה קרה, לא למה. לא דירוג קבוע: "אני שני ברשימה" נכון להרצה ההיא בלבד. ולא הבטחה לעתיד.

מה עושים אם העסק לא מופיע בהמלצות

קודם חוזרים לגיליון, לעמודה של מי כן הוזכר. אילו עסקים עלו, איך הם תוארו, ואילו מקורות הוצגו לידם.

לרוב התשובה יושבת שם. אם המתחרה מופיע עם קישור לביקורות, לכתבה או לעמוד מסודר ב"גוגל לעסק שלי", זה מה שהמודל מצא עליו ולא מצא עליכם.

משם יוצאים הצעדים הראשונים שבידיים שלכם: עמוד באתר שמסביר במילים פשוטות מה העסק עושה ולמי, פרופיל עסקי מעודכן, וביקורות אמיתיות. כל צעד כזה הוא ניסיון, לא תיקון מובטח.

ואז ממשיכים למדוד באותן שאלות, באותו קצב. רק כך יודעים אם משהו זז, ומי שמבטיח לכם הופעה בתשובות עד תאריך מסוים מוכר לכם אוויר.

המגבלות של בדיקה ידנית

הבדיקה מראה מה קרה בהרצות שבדקתם. היא לא מראה מה כל לקוח רואה, כי הלקוח ההוא שואל אחרת, ממקום אחר, עם היסטוריה אחרת.

היא גם לא מסבירה למה. הגיליון יגיד שהעסק הוזכר יותר, ולא יגיד בגלל מה.

העלות היא זמן ומשמעת לאורך חודשים. רוב מי שמתחיל עוצר אחרי סבב או שניים, וסבב אחד בלי השוואה הוא שוב צילום מסך, רק ארוך יותר.

ההופעה בתשובות של הצ'טבוטים נבנית על אותו בסיס של קידום אתרים: אתר שמובן, מקורות שמדברים עליכם, מידע עקבי. ב-GPR אני עובד על שני הצדדים יחד, כי אי אפשר לזייף מקור שהמודל סומך עליו.

ויש הבדל שכדאי להכיר מול התשובות שגוגל עצמו מציג בראש תוצאות החיפוש. על ההופעה שם כתבתי במדריך AI Overview של גוגל, והמדידה שם שונה, כי זה עדיין עמוד של מנוע חיפוש.

שאלות ותשובות על מדידת המלצות ב-ChatGPT וב-Gemini

כל כמה זמן כדאי לבדוק?

בקצב קבוע שאתם מסוגלים להחזיק לאורך זמן. סבבים בקצב אחיד שווים יותר מסבבים תכופים שנעצרים אחרי חודש.

אם ChatGPT לא הזכיר אותי, זה אומר שאין לי סיכוי?

לא. זה אומר שבהרצות שבדקתם הוא לא הזכיר אתכם. הגיליון יראה מי כן הוזכר ולמה, ומשם מתחילים.

ChatGPT ו-Gemini ממליצים על אותם עסקים?

לא בהכרח. אלה שני מודלים שונים עם מקורות שונים, ולכן רושמים אותם בנפרד ולא מסכמים אותם יחד.

צריך מנוי בתשלום כדי לבדוק?

לא. הבדיקה מעניינת בגרסה שהלקוחות שלכם משתמשים בה, ומי שבודק בכמה גרסאות רושם כל אחת בעמודה משלה.

אפשר פשוט לבקש מ-ChatGPT שימליץ עליי?

אפשר לבקש, והוא כנראה יכתוב משהו נחמד. זה לא משנה מה הוא יענה ללקוח אחר שלא ביקש, ולכן זה גם לא נכנס לגיליון.