בקצרה: שיטה חדשה בשם ZTC (Zero-Token Confidence) בודקת אם מודל שפה טועה על ידי קריאת ה"מחשבות" הפנימיות שלו, בלי שהמודל כותב אפילו מילה אחת נוספת. זה מהיר וזול יותר מלהריץ מודל שני שיבדוק את התשובה. התוצאות נראות טוב, אבל עוד לא אומתו באופן עצמאי.
מודלי שפה כותבים תשובות משכנעות גם כשהן שגויות. וכששואלים אותם כמה הם בטוחים, הם לא באמת יודעים. במבחן שפורסם, הביטחון שהמודל דיווח עליו היה מדויק בערך כמו הטלת מטבע (AUC של 0.5).
המסקנה: שדה "ביטחון" שמבוסס על מה שהמודל אומר על עצמו לא מספיק כדי להגן על מערכת חשובה.
ZTC עובד אחרת. במקום לשאול את המודל, הוא מסתכל על המצב הפנימי שלו. זה עובד בשלושה שלבים:
לא נוצר טקסט נוסף ולא צריך מודל שופט, אז העלות כמעט לא משתנה.
| שיטה | AUC (1.0 = מושלם, 0.5 = ניחוש) |
|---|---|
| ZTC | 0.7394 |
| המודל מדרג את עצמו במילים | 0.5000 |
המבחן כלל 2,018 שאלות. לפי הפרסום, ZTC ניצח גם כמה מודלים שופטים שמייצרים טקסט.
סוכן AI לא רק עונה על שאלות. הוא עושה דברים: שולח תשלומים, מוחק רשומות, מריץ קוד. לפני פעולה כזו רוצים לדעת שהוא לא טועה.
היום הבדיקה הזו נעשית בדרך כלל עם מודל נוסף שקורא את התשובה ושופט אותה. זה איטי, יקר, ומתחרה על אותו כוח מחשוב. לפי הנתונים, בדיקת ZTC לוקחת עשיריות עד מאיות שנייה, ובחלק מהמקרים היא זולה פי עשרות. במערכת שמקבלת אלפי החלטות ביום, זה יכול להפוך בדיקה של כל החלטה ממותרות לשלב שגרתי.
אחד הממצאים המעניינים: מודל של 180 מיליארד פרמטרים שפט גרוע יותר ממודל של 27 מיליארד. לפי החוקרים, מה שקובע זה המבנה הפנימי של המודל ולא הגודל שלו. אם הייצוג הפנימי צר מדי, אין מספיק מקום להחזיק את המידע שצריך כדי לשפוט נכון.
בפועל: כשבוחרים מודל שישמש כבודק או כשומר סף, לא לבחור אוטומטית את הכי גדול והכי יקר.
זה פרסום קהילתי של FINAL-Bench ו-VIDRAFT, לא מחקר שעבר ביקורת עמיתים. שאלות פתוחות:
כדי לדעת אם AI טועה, לא מספיק לשאול אותו. צריך להסתכל פנימה. ZTC עוד לא כלי מוכן לשימוש, אבל הכיוון ברור: הבדיקה של סוכני AI תהיה מהירה וזולה יותר, והיא תגיע מתוך המודל ולא ממודל אחר.
Zero-Token Confidence: שיטה שמעריכה אם התשובה של מודל נכונה על ידי קריאת המצב הפנימי שלו, בלי לייצר טקסט.
כי ההערכה העצמית שלו מדויקת בערך כמו ניחוש (0.5). ZTC הגיע ל-0.74.
לא בהכרח. הארכיטקטורה חשובה יותר מהגודל.
עדיף לחכות לשחזור עצמאי של התוצאות.
מקורות: פרסום של FINAL-Bench ו-VIDRAFT, דרך סיקור של Zirat AI (23 בספטמבר 2026). התוצאות כפי שפורסמו ולא אומתו באופן עצמאי.