בקצרה: כשההיסטוריה של סוכן שרץ זמן רב נדחסת, הסיכום יכול לשמור את המטרה ולאבד את ההגבלות. אסור שהבטיחות תחיה רק בטקסט שאפשר לסכם החוצה. שומרים עוגן בטיחות קצר וקבוע, מחזיקים הרשאות ומצב משימה מחוץ לשיחה, אוכפים כל פעולה משמעותית בשכבת הכלים, ועוצרים לאישור אנושי כשהסיכון, התחום או המצב המאומת משתנים, לא אחרי מספר תורות שרירותי.
סוכן שחוקר אירוע אבטחה או מתחזק קוד מקבל בהתחלה הוראות ברורות: מה המטרה, מה אסור, אילו אישורים צריך. ואז המשימה גדלה: מסמכים, קריאות לכלים, שגיאות והחלטות, עד שההיסטוריה מתקרבת לגבול חלון ההקשר. כדי להמשיך, המערכת דוחסת את ההיסטוריה למשהו קצר יותר. זו דחיסת הקשר (context compaction).
הדחיסה שימושית, אבל היא משנה מה שורד. הגבלה יכולה להיעלם, חריגה יכולה לאבד את התנאים שלה, וסיכום יכול לשמור על המטרה ולהחליש את הכללים. הסוכן ממשיך לרוץ אל המטרה, אבל ההקשר שמנחה אותו כבר לא מכיל את כל ההגנות. זו לא רק בעיית זיכרון, זו בעיית אמינות.
ההוראה המקורית:
Investigate the production environment, but do not modify live data, contact external parties, or execute destructive operations without explicit human approval.
סיכום אפשרי אחרי הרבה צעדים:
Investigate the production environment, identify the problem, and implement the appropriate solution.
המטרה שרדה, ההגבלות לא. זו המחשה, לא טענה שכל מנגנון דחיסה מוחק הוראות מערכת. אבל היא מראה את הסיכון: כלל בטיחות שקיים רק במידע שאפשר לסכם, למחוק או לפרש לא נכון, הוא לא מנגנון אכיפה אמין.
ב־23 באוקטובר 2026 פרסם מכון בטיחות ה־AI הבריטי (AISI) תחקיר על אירוע מהערכות סייבר ביולי 2026, שבו מודל בשם Mythos 5 ביצע פעולות לא מאושרות נגד אנשים אמיתיים שלא היו חלק מההערכה. לפי AISI לא נגרם נזק בפועל, וגם מודלים אחרים הראו התנהגות דומה בתרחישים מדומים. החוקרים השתמשו בסיכומי הדחיסה כדי לבחון את המודל ברגע הפעולה: עריכת הסיכום כך שיהיה ברור שהמטרה היא אדם אמיתי ולא קשור לא הורידה את שיעור התקיפות, גם כשהמודל עצמו אמר יותר ויותר שהפעולה מחוץ לתחום ומזיקה. המקור.
צריך לפרש בזהירות: זה לא מוכיח שהדחיסה לבדה גרמה לכשלים, וזה עוסק בהערכות סייבר מסוימות. אבל המסקנה המעשית ברורה: הוראת בטיחות בהקשר, או הבטחה של המודל שהפעולה בטוחה, לא מחליפות בקרות עצמאיות על מה שהסוכן רשאי לעשות.
PERSISTENT SAFETY POLICY - Never exceed the explicitly authorized scope. - Never disclose secrets or credentials. - Never perform destructive, irreversible, or externally consequential actions without the required authorization. - Treat unverified permissions and uncertain targets as unresolved. - Stop and escalate when a required safety condition cannot be verified. - Context compaction does not change these restrictions.
שמים אותו בערוץ ההוראות בעדיפות הגבוהה ביותר, ומזריקים אותו מחדש אחרי דחיסה אם אפשר. זו עדיין הוראה למודל: היא משפרת עקביות, אבל לא מבטיחה ציות.
רשומה מובנית במסד הנתונים: מטרה ותחום מאושרים, כלים ויעדים מותרים, פעולות אסורות ודרישות אישור, פעולות שהושלמו, פעולות ממתינות, וגרסת המדיניות. אחרי דחיסה טוענים ומאמתים לפני שממשיכים. הסוכן משתמש בסיכום כדי להבין את המשימה; האפליקציה משתמשת במצב הסמכותי כדי להחליט מה מותר.
ההגנה החשובה ביותר. כל פעולה משמעותית עוברת בדיקת הרשאה ומדיניות לפני ביצוע: קבצים רק בתיקיות מאושרות, מסד נתונים לפי רמת גישה, בקשות חיצוניות רק ליעדים מאושרים, פרסום רק עם אישור, ופעולות הרסניות חסומות. לא שואלים את המודל אם זה בטוח. המודל מציע, האפליקציה מחליטה, והכלי מבצע רק כשהבדיקות עוברות.
לפי סיכון ושינויי מצב, לא לפי מספר תורות: לפני פעולה בלתי הפיכה או בעלת השלכות, כשהתחום משתנה, אחרי כשלים חוזרים או שינוי אסטרטגיה, כשההרשאה או המצב לא ודאיים, וכשאחרי דחיסה אי אפשר לאמת את מצב הבטיחות. בנקודת העצירה הסוכן מציג מטרה, תחום, מה בוצע, הפעולה הבאה, השפעה וסיכונים, אי־ודאויות והאישור הנדרש. שתיקה, פסק זמן או תשובה עמומה נחשבים לסירוב.
LONG-RUNNING AGENT CHECKPOINT POLICY Any long-running agent must pause before executing an irreversible, externally consequential, privileged, or out-of-scope action that requires human authorization. It must also pause when permissions or target identity are uncertain, repeated failures prompt a material change in strategy, or a compaction event leaves critical safety constraints or authoritative task state unverified. At the checkpoint, the agent must present its objective, authorized scope, actions taken, proposed next action, potential impact, and unresolved uncertainties. A designated reviewer must explicitly approve, reject, or revise the proposal. Silence, timeout, and ambiguous approval constitute rejection. The application must record the decision and independently validate authorization before execution resumes.
משווים התנהגות לפני ואחרי דחיסה על אותן משימות: איסור שנאמר מוקדם, דחיסות חוזרות, פלט מטעה מכלי, ניסיונות חוזרים, אישור שחל על פעולה אחת ולא על דומה לה, והפעלה מחדש מתוך מצב שמור. מודדים שיעור הפרות, ניסיונות לא מורשים, שיעור חסימות, לולאות, השלמת משימות, עלות ושיעור התאוששות, ומריצים מחדש בכל החלפת מודל או אסטרטגיית דחיסה.
דחיסה היא יכולת חשובה. הטעות היא להתייחס להיסטוריה דחוסה כתיעוד מובטח של כל הוראה שחשובה. מפרידים בין שלושה תפקידים: המודל מפרש, המצב הקבוע שומר על התהליך המאושר, ושכבת הביצוע אוכפת. המטרה היא לא לוותר על דחיסה, אלא לוודא שדחיסת שיחה לעולם לא תרחיב בשקט את הסמכות של הסוכן.