דלגו לתוכן הראשי
Confi
שאלה ותשובה

איך אני בודק שסוכן AI לשירות לקוחות מבין עברית באמת, בצ'אט ובטלפון, לפני שאני משלם עליו?

התשובה בקצרה

בדקו סוכן שירות בעברית עם תסריט שכולל שמות, מספרים, כתובות, תאריכים והעברה לנציג. הריצו אותו בצ'אט וגם בקו הטלפון שבו העסק מתכנן להשתמש. לפני הרכישה, הגדירו איזו טעות מחייבת לעצור את הטיפול בפנייה, ואיך תוודאו שהפרט המתוקן הגיע לנציג.

נכתב על ידי Confi, חברת אוטומציות ו-AI ישראלית.

המאמר מבוסס על מחקר ועל הידע שצברנו ב-Confi מעבודה עם עסקים. את העובדות והמספרים בדקנו מול המקורות המקושרים במאמר, ותאריך הבדיקה מופיע בו. בכתיבה נעזרנו בבינה מלאכותית. האיור נוצר בסיוע בינה מלאכותית.

נבדק לאחרונה: עודכן:

פעמון שירות ומחברת פתוחה על דלפק לצד ספל תה.

איך מחליטים אם הסוכן עבר את הבדיקה?

מחליטים לפי תסריט בדיקה שמכסה את מה שחשוב בעסק, עם מקום לתעד כל תשובה ותיקון. זו הצעת בדיקה, לא דירוג של מוצר מסוים. הוסיפו לבדיקה מצב שבו המתקשר מתקן מספר טלפון, כתובת מייל או מועד, ובדקו איך התיקון עובר לנציג.

מה מנסים בתסריט הבדיקה מה מבקשים לראות
שם עברי עם גרש, ואחר כך איות האותיות הקראה חוזרת וקבלת התיקון
מספר טלפון או מספר הזמנה שנאמרים בקבוצות ספרות אישור המספר לפני שממשיכים
שם רחוב שהוא גם מילה יומיומית, עם עיר ומספר בית כתובת מלאה שאפשר לתקן
תאריך יחסי כמו "יום ראשון הבא" תאריך ושעה מפורשים לאישור
המתקשר קוטע את הסוכן באמצע התשובה עצירה והמשך מהבקשה המתוקנת
בקשה לנציג בתחילת השיחה ובאמצעה מעבר ברור לנציג, שמקבל את מה שנאמר עד כאן

סמנו כל תוצאה באחת משלוש קטגוריות: תקין, תוקן, או כשל שעדיין לא טופל. לפני השיחה עם הספק, רשמו איך תתעדו את התוצאות.

איזו טעות צריכה לעצור את הטיפול בפנייה?

אם הסוכן ממשיך עם מספר שגוי, צריך לעצור את הטיפול בפנייה ולהעביר אותה לנציג.

דוגמה להמחשה, לא תוצאת לקוח: מתקשר אומר מספר בקבוצות ומתקן ספרה. הסוכן צריך להקריא מחדש את התיקון ולבקש אישור.

בקשו מהספק להדגים גם איך הסוכן מתנהל מול מתקשר כועס ומול בקשה שמשתנה באמצע השיחה. החליטו אילו פעולות הסוכן לא עושה לבד, ובדקו שהן באמת עוברות לנציג.

מה בודקים לפני שמשלמים?

לפני התשלום, עברו על הנקודות האלה:

  • התקשרו ממכשיר נייד ומקו נייח, ולא רק דרך עמוד הדגמה.
  • בדקו בנפרד צ'אט ושיחה קולית, ורשמו את ההבדלים.
  • שאלו איזה מנוע זיהוי דיבור ואיזה מודל שפה כלולים בהצעה.
  • בקשו תמליל ובדקו את הפרטים מול מה שאמרתם.
  • נסו בקשה לנציג כשאין נציג פנוי, ושאלו מי מקבל את הפנייה.
  • קבעו מראש שהתסריט ירוץ שוב אחרי כל שינוי במודל או במערכת.

בתיעוד של OpenAI להמרת דיבור לטקסט כתוב שדיוק הזיהוי משתנה בין שפות [1].

בדקו את הסוכן בעברית גם אם ראיתם הדגמה בשפה אחרת.

לפי המלצות Google Cloud, שיחת טלפון נקלטת בדרך כלל ב-8,000 דגימות בשנייה [2].

לבדיקת הסוכן, השתמשו בקו הטלפון עצמו ולא רק בצ'אט.

הקליטו שיחה עם שמות, מספרים ומונחים מהעסק שלכם. השוו את ההקלטה לתמליל וציינו אם כל פרט נקלט נכון.

שאלות על בדיקת סוכן שירות בעברית

מספיק לבדוק בצ'אט כדי לדעת איך זה יהיה בטלפון?

לא. כדי לדעת איך זה יעבוד בטלפון, הריצו את הבדיקה בקו שבו אתם מתכננים להשתמש, גם אם כבר בדקתם צ'אט או הקלטת הדגמה.

אפשר לסמוך על הדגמה של הספק?

הדגמה מראה מה הספק בחר להראות. בדקו גם מצבים שלא נבחרו להדגמה. בקשו לנסות אותם בעצמכם ולתעד את המקרים שלא עמדו בדרישות שלכם.

מה עושים אם הסוכן טועה בספרה?

בקשו הקראה חוזרת ותיקון לפני שהסוכן עושה משהו עם הפרט. הריצו את הבדיקה שוב אחרי התיקון, ובדקו גם מה שהנציג מקבל.

מקורות

נדבר על התהליך בעסק שלכם

שיחת התאמה קצרה: מסתכלים יחד על תהליך אחד בעסק, ואומרים בכנות אם יש פה מה לבנות.