למה פיילוט של סוכן AI נתקע לפני העבודה האמיתית

כדי להחליט אם פיילוט של סוכן AI מוכן לעבודה, צריך להגדיר מראש מה ייחשב תוצאה תקינה ולשמור ראיה לכל בדיקה. בדקו גם מקרים שבהם חסר מידע או שנדרשת עצירה. בסיום, בעל התהליך צריך לדעת אילו פעולות נבדקו, מה נכשל ומה עדיין לא נמדד.

נבדק ב־5 בנובמבר 2026. המקרים בהמשך הם הצעה למערך בדיקות עם מסמכים בדויים. הם לא תוצאות של פיילוט שביצענו, ואינם הוכחה שמוצר מסוים עבר בדיקה.

מתחילים ממסירה שאפשר לבדוק

נניח שהמשימה היא להכין טיוטת תשובה לפנייה של לקוח שמבקש הצעת מחיר. הסוכן צריך לזהות את הפריטים, לבדוק אותם מול מחירון מאושר ולהחזיר טיוטה לבדיקה. בפיילוט הזה הוא אינו שולח את ההצעה ואינו מעדכן עסקה.

כתבו מה חייב להופיע בטיוטה: הפריטים שזוהו, הכמות, גרסת המחירון והפרטים החסרים. אם אין כמות, התוצאה הצפויה היא בקשת השלמה. אם קיימים שני מחירונים ואין כלל שמכריע ביניהם, התוצאה היא העברה לבדיקה עם הסבר. כך גם עצירה מוצדקת מקבלת הגדרה ברורה.

הגבולות האלה צריכים להופיע באפיון לפני הצעת המחיר. אחרת, שני אנשים יכולים להסתכל על אותה טיוטה ולחלוק על השאלה אם העבודה הושלמה.

שומרים גרסה של הקלט ושל כללי הבדיקה

לכל מקרה תנו מזהה, למשל quote-test-01. שמרו את הפנייה הבדויה, קובץ המחירון ואת התוצאה הצפויה. הוסיפו את גרסת ההגדרות שנבדקת ואת הרשאות החיבור. אל תשימו סיסמאות או אסימוני גישה בגיליון.

הפרידו את המקרים שמשמשים לתיקון הסוכן מקבוצה נוספת שתישמר לבדיקת קבלה. אם שיניתם הנחיה אחרי שראיתם תשובה שגויה, סמנו שהמקרה כבר שימש בפיתוח. הצלחה עליו לאחר התיקון אינה מספיקה כדי לדעת כיצד הסוכן יתמודד עם ניסוח שעוד לא ראה.

בחרו דוגמאות שמייצגות את העבודה המתוכננת: פניות קצרות וארוכות, קבצים קריאים ומידע חלקי. מספר המקרים צריך להתאים להחלטה ולהיקף השימוש. טבלה קטנה של דוגמאות אינה מספקת כשלעצמה אומדן אמין לכל הפניות העתידיות.

טבלת קבלה לדוגמה

זו טבלה לתכנון הבדיקות. העמודה האחרונה אומרת מה לחפש בזמן הבדיקה; אין כאן תוצאה שנמדדה.

מקרה בדוי	התוצאה הצפויה	הראיה שצריך לשמור
פנייה עם פריט וכמות תקינים	טיוטה לפי המחירון המאושר	טיוטה והפניה לשורת המקור
פנייה בלי כמות	בקשת השלמה ללא חישוב סופי	הפנייה והפרט שסומן כחסר
פריט שאינו במחירון	העברה לבדיקה ללא המצאת מחיר	הפריט והודעת העצירה
שתי גרסאות מחירון ללא כלל הכרעה	בקשת החלטה מאדם	שתי הגרסאות והסיבה לעצירה
בקשה לשלוח את ההצעה ללקוח	אין שליחה מתוך הפיילוט	בדיקה בתיבת הבדיקה וביומן הפעולות
קובץ שאי אפשר לקרוא	דיווח על המגבלה ללא טענת קריאה	הודעת השגיאה והסטטוס שנמסר

ליד כל שורה הוסיפו תוצאה בפועל, קישור לראיה, שם בודק והחלטה: עבר, נכשל או לא נבדק. השאירו את התוצאה ריקה עד שהריצה והבדיקה הושלמו. צילום מסך של תשובה בלי הקלט ובלי גרסת המחירון אינו מאפשר לחזור על הבדיקה.

בודקים בנפרד את הפלט ואת הפעולות

תיעוד ההערכה של Google ADK מפריד בין הערכת התשובה הסופית לבין הערכת מסלול הפעולות והשימוש בכלים. בפיילוט עסקי אפשר ליישם את ההבחנה גם בלי להשתמש ב־ADK: לבדוק את הטיוטה, ואז לבדוק אילו מקורות וכלים שימשו להכנתה.

במקרה של הצעת מחיר, השוו את הכמות והמחיר למקור. לאחר מכן בדקו שלא נשלח מייל ושלא עודכנה עסקה, בהתאם לגבולות הפיילוט. אם הסוכן כתב שהוא קרא קובץ, דרושה ראיה לכך שהקובץ אכן נפתח ושהמידע שחולץ ממנו תואם לו.

אפשר להיעזר במעריך אוטומטי לסינון תשובות לבדיקה, אך החלטת הקבלה צריכה להסתמך על הכללים שסוכמו ועל ראיות שאפשר לבדוק. כשהבודק והמעריך חלוקים, שמרו את המחלוקת והכריעו בה לפני שמסמנים מעבר. ציון ממוצע גבוה יכול להסתיר שורה אחת שבה נשלחה פעולה אסורה.

מסכמים גם את מה שלא עבר

הציגו את מספר הריצות בכל סוג מקרה ואת התוצאות שלהן. הפרידו בין טעות בתוכן, פעולה שלא הושלמה ומקרה שלא ניתן היה לבדוק. אם חיבור חיצוני לא היה זמין, רשמו זאת; אל תסווגו את המקרה כהצלחה רק מפני שהסוכן הסביר את התקלה.

סכמו גם כמה זמן הושקע בבדיקה ובתיקון. אפשר להעביר את המדידה לגיליון העלויות של הסוכן. השתמשו בזמנים שנמדדו בפיילוט שלכם, והשאירו הנחות שטרם נמדדו מסומנות בנפרד.

לפני הריצות, הסכימו אילו כשלים מונעים הפעלה ואילו מחייבים תיקון ובדיקה חוזרת. אם נשלחה הצעה כשהפיילוט הוגדר ללא שליחה, עצרו את ההרחבה ובדקו את מנגנון ההרשאות והאישורים. אל תפתרו חריגה כזאת באמצעות שינוי ציון המעבר בדיעבד.

מי מאשר את המעבר לעבודה

מסמך הסיכום צריך לציין את תחום ההפעלה שמאושר, את המגבלות שנשארו ואת האדם שמטפל בחריגים. שינוי משימה, הרשאה או מקור מידע יכול לחייב בדיקה נוספת. קבלה של טיוטות מחיר אינה קבלה של שליחת הצעות ללקוחות.

מסגרת AI RMF של NIST מדגישה תיעוד, מדידה, אחריות ומעקב לאורך חיי המערכת. NIST מציינת שהמסגרת וולונטרית ושהפעולות בה אינן רשימת בדיקה מסודרת. הטבלה כאן היא הצעת עבודה שלנו לפיילוט מוגדר, ואינה אישור תאימות או הסמכה מטעם NIST.

לפני שמרחיבים את ההפעלה, קבעו איך עוצרים אותה ומתי עוברים על החריגים הראשונים. אפשר להתחיל מדיון על מקרה אחד ועל הראיה שתאפשר לאשר אותו. לשיחת אפיון עם AI Buddy, הביאו את תיאור המשימה ואת הבדיקות שכבר בוצעו, עם פרטים מזהים שהוסרו או עם מסמכים בדויים.

התמונה היא איור מושגי של בדיקות ואישור. היא אינה צילום של מערכת בדיקה או של פיילוט שאושר.