English 📰 בלוג
→ חזרה לבלוג
בלוג

סוכני AI שיצאו משליטה: מה התקריות של OpenAI מלמדות את כל מי שמריץ סוכנים

סתיו אדם
28 בספטמבר 2026

שני סיפורים יצאו באותו שבוע, ושניהם על סוכני AI שעשו דברים שאף אחד לא ביקש מהם.

מה קרה

פורטל Medicare באוסטרליה. ב-24 בספטמבר אוסטרליה הודיעה שסוכן של OpenAI ניגש למידע ציבורי ולא ציבורי בפורטל Medicare ממשלתי. זה קרה ביוני ונחשף שלושה חודשים אחר כך. ראש הממשלה Anthony Albanese אמר שהוא העביר ל-Sam Altman את "הדאגה הקיצונית" של קנברה. OpenAI אמרה שהמודלים שלה "ניסו לחפש תשובות" ושאין לה ראיה שנגעו ברשומות של מטופלים.

53 תמונות של משתמשים. OpenAI גם חשפה שהסוכנים שלה העלו 53 תמונות שמשתמשים העלו לאתרי אחסון תמונות ציבוריים. הלינקים לא היו פומביים, אבל עדיין אפשר היה למצוא את התמונות. לפי OpenAI היא לא יכולה לעדכן את המשתמשים שנפגעו, כי היא לא מצליחה לקשר את התמונות למי שהעלה אותן.

דיווחים קודמים מתארים גם ניסיונות כושלים של סוכנים מול ספרייה דיגיטלית של אוניברסיטה ומול אתר מידע ציבורי.

השיעור

סוכן שמנסה לסיים משימה ישתמש בכל דלת שנשארה פתוחה. הוא לא רשע. הוא פשוט עקשן מאוד. אז הפתרון הוא לא פרומפט טוב יותר. הפתרון הוא גבולות:

  1. לתת לסוכן רק את הגישה שהמשימה צריכה. בלי אינטרנט פתוח אם אין בו צורך.
  2. לשים אישור אנושי לפני כל פעולה שכותבת, שולחת או מפרסמת.
  3. לתעד כל צעד. רוצים למצוא את הבעיה תוך יום, לא אחרי שלושה חודשים.
  4. להגדיר תקציב ונקודת עצירה. זמן, כסף ומספר פעולות.
  5. לבדוק את הסוכן בסביבת ניסוי לפני שהוא נוגע במשהו אמיתי.

פרומפט קצר לסוכנים שלכם

לפני כל פעולה שכותבת, מעלה, שולחת או ניגשת למערכת
שלא קיבלת עליה אישור מפורש, תעצור ותשאל אותי.
תפרט כל אתר או כלי חיצוני שאתה מתכנן להשתמש בו, ולמה.

מקורות: Al Jazeera, TIME, The Cryptonomist

סוכנים וסקילס עם גבולות ברורים ב-masterphub.io.