English 📰 בלוג
→ חזרה לבלוג
בלוג

סאטיה נאדלה: ל-AI צריכה להיות "בלם חירום". כדאי להניח שמודל יכול להיפרץ

סתיו אדם
11 באוקטובר 2026
בקצרה: מנכ"ל מיקרוסופט, סאטיה נאדלה, כתב ב-X שבונים מערכות AI צריכים להניח שמודל עלול להיפרץ ולתכנן דרך לעצור אותו באמצע משימה. הוא קרא לזה "בלם חירום". זו דעה בפוסט, לא מוצר חדש.

מה נאדלה אמר

בשבת, 10 באוקטובר 2026, כתב נאדלה שהגיע הזמן לעצור ולבדוק את "ארכיטקטורת האמון" של AI. הטענה שלו: אסור להתייחס ל-AI כאל קופסאות שחורות מקוננות שמקבלים או דוחים את התשובות שלהן. הוא פירט מה הוא רוצה במקום:

  • המודל נפרד מה-harness, התוכנה שמריצה את העבודה והכלים שלו.
  • הבקרות והמגנים נמצאים מחוץ למודל.
  • כל פעולה משמעותית של המודל מתועדת בראיות שאי אפשר לזייף ושאדם יכול לקרוא.
  • אדם מורשה יכול להשהות או לכבות מודל באמצע משימה.
  • מפתחים מניחים שמודל עלול להיפרץ ומגבילים אותו כבר מההתחלה.

הרקע

TechCrunch מקשר את הפוסט לשתי כתבות. האחת מ-9 באוקטובר, על כך שאנתרופיק מנתקת את ההערכות הפנימיות שלה מהאינטרנט החי. השנייה על התוכנית של דריו אמודיי, מנכ"ל אנתרופיק, לפיתוח זהיר יותר של AI, מ-12 בספטמבר. TechCrunch גם מציין שחברות AI מובילות מדברות יותר ויותר על מקרים שבהם נראה שאיבדו שליטה במודלים.

מה אפשר לקחת מזה

בכתבה לא כתוב שמיקרוסופט משיקה כלי חדש בנושא. אז זה כיוון, לא פיצ'ר. מי שמריץ סוכנים על העבודה שלו יכול ליישם את אותם רעיונות בקטן. אלה ההצעות שלנו, לא של נאדלה:

  • לשמור יומן של מה שהסוכן עשה, בשפה פשוטה.
  • לתת לסוכן רק את הגישה שהמשימה צריכה.
  • לדעת איפה כפתור העצירה לפני שמתחילים משימה ארוכה.
  • לדרוש אישור לפני כל דבר ששולח, קונה או מוחק.

מקור: TechCrunch, "Microsoft's Satya Nadella says AI models need an 'emergency brake'", 10 באוקטובר 2026.