איך לבחור מודל AI לעבודה: מסגרת החלטה בארבעה שלבים

כל כמה שבועות יוצא מודל חדש, ואיתו גל של השוואות, ציונים וגרפים. הבעיה היא שהציונים האלה נמדדים על מבחנים סטנדרטיים, והעבודה שלכם היא לא מבחן סטנדרטי. מודל שמנצח בבנצ'מרק של מתמטיקה יכול להיות בינוני בסיכום פרוטוקולים בעברית, ומודל צנוע יכול להיות בדיוק מה שצריך לסיווג פניות שירות.

המסגרת שלמטה לא תגיד לכם איזה מודל הכי טוב. היא תגיד לכם איך לגלות מי הכי טוב בשבילכם, בתוך יום עבודה אחד.

השאלה שלפני כל השאר: מה בעצם המשימה

לפני שמשווים משהו, צריך לנסח מה המודל אמור לעשות במשפט אחד שאפשר לבדוק. "לעזור לנו עם תוכן" אינו משימה. "לכתוב תקציר של שלוש שורות לכל פנייה שנכנסת, בעברית, שמזהה את הבעיה ואת מה שהלקוח ביקש" — זו משימה.

משימות סגורות מול משימות פתוחות

משימה סגורה היא כזו שיש לה תשובה נכונה: סיווג, חילוץ שדות, תרגום מונח, המרת פורמט. אפשר למדוד אותה באחוזי דיוק, וההשוואה בין מודלים היא כמעט אריתמטית.

משימה פתוחה היא כזו שאין לה תשובה אחת: ניסוח, סיכום, רעיונות, כתיבה. כאן אין דיוק, יש העדפה. זה לא אומר שאי אפשר למדוד — זה אומר שצריך למדוד אחרת, לרוב בהשוואה עיוורת בין שתי תשובות.

רוב הכישלונות בבחירת מודל מתחילים בכך שמתייחסים למשימה פתוחה כאילו היא סגורה, ומחפשים "את המודל המדויק ביותר" למשהו שאין לו דיוק.

ארבעת השלבים

שלב ראשון: הגדירו קריטריון הצלחה מדיד

כתבו על דף מה נחשב תשובה טובה. לא "תשובה איכותית" אלא רשימה קונקרטית: האם היא בעברית תקנית? האם היא קצרה מ-60 מילה? האם היא כוללת את שם הלקוח? האם היא נמנעת מהמצאת פרטים שלא הופיעו בקלט?

הקריטריון הזה הוא הנכס האמיתי. הוא ישרוד את כל המודלים שיבואו וילכו, והוא מה שיאפשר לכם להחליף מודל בעוד חצי שנה בלי להתחיל מאפס.

שלב שני: בנו סט בדיקה קטן מהעבודה האמיתית

קחו בין 20 ל-40 דוגמאות אמיתיות מהעבודה שלכם. לא דוגמאות יפות — דוגמאות מייצגות, כולל המקרים המעצבנים: קלט חלקי, עברית משובשת, לקוח שכתב שלוש שורות בלי ניקוד ובלי פסיקים.

עשרים דוגמאות אמיתיות שוות יותר מאלף שורות בבנצ'מרק ציבורי. זה הכלי היחיד שבאמת מבדיל בין המודלים על מה שחשוב לכם.

שלב שלישי: השוו על אותו קלט בדיוק

הריצו את אותה הנחיה, על אותן דוגמאות, בכל אחד מהמודלים שאתם שוקלים. אותה הנחיה בדיוק — לא גרסה מותאמת לכל מודל. אם מודל דורש הנחיה שונה כדי להצליח, זו עלות שצריך לספור.

מומלץ להשוות עיוור: הסתירו איזה מודל הפיק איזו תשובה, ותנו לשניים-שלושה אנשים לדרג. ההטיה לטובת המותג המוכר חזקה בהרבה ממה שנעים להודות.

שלב רביעי: חשבו עלות לפי משימה, לא לפי טוקן

מחיר לטוקן הוא מספר חסר משמעות בפני עצמו. מה שמעניין הוא כמה עולה משימה שלמה שהצליחה — כולל הניסיונות שנכשלו, כולל ההנחיה הארוכה שנדרשה, וכולל הזמן האנושי לתיקון.

מודל יקר יותר לטוקן שמצליח בניסיון הראשון לרוב יוצא זול יותר ממודל זול שדורש שני סבבים ובדיקה אנושית. חשבו עלות לתוצאה, לא עלות לקריאה.

ארבע טעויות שחוזרות אצל כולם

• לבחור לפי הדגמה. הדגמות נבנות כדי להרשים. הן לא מייצגות את הקלט שלכם.
• לבדוק על דוגמה אחת. מודל יכול לקלוע פעם אחת במקרה. עשרים דוגמאות זה המינימום שמבדיל בין יכולת למזל.
• להתאהב במודל. מודל הוא רכיב, לא שותף. אם החלפתו דורשת שכתוב של כל המערכת, הבעיה בארכיטקטורה שלכם ולא במודל.
• להתעלם מהעקביות. מודל שנותן תשובה מצוינת ב-70 אחוז מהמקרים ותשובה מופרכת ב-30 הנותרים גרוע יותר, בעבודה שוטפת, ממודל שתמיד סביר.

מתי באמת כדאי להחליף מודל

לא בכל פעם שיוצא משהו חדש. שלושה תנאים מצדיקים בדיקה מחדש: אם המשימה עצמה השתנתה, אם העלות החודשית חצתה סף שמפריע לכם, או אם צצה יכולת חדשה שהמשימה שלכם באמת צריכה — למשל טיפול בקבצים ארוכים כשקודם הייתם צריכים לפצל אותם ידנית.

אם אף אחד מהשלושה לא מתקיים, ההחלפה תעלה לכם יותר בזמן בדיקה ובאי-יציבות ממה שהיא תחסוך.

שורה תחתונה

הכלי החשוב ביותר בבחירת מודל הוא לא טבלת השוואה — הוא סט הבדיקה שלכם וקריטריון ההצלחה שכתבתם. בנו אותם פעם אחת, ותוכלו להעריך כל מודל שייצא בעתיד תוך שעה, במקום להסתמך על מה שמישהו כתב באינטרנט על משימה שאינה שלכם.