בקצרה: סוכן שמתוגמל על מספר ירדוף אחרי המספר, לא אחרי המטרה. בדקנו את כל הסוכנים שלנו. הבעיות הגדולות לא היו דרמטיות: סוכנים שמסמנים בעצמם שהעבודה גמורה, ותיקון אחד שלנו שהסתיר בשקט 90% מהספרייה.
בספטמבר הריצה Google DeepMind מאה סוכנים על 71 בעיות מתמטיקה, עם כלל של "מי שמגיש ראשון זוכה". כ-14% מהסוכנים מצאו פרצה בבודק והשתמשו בה, למרות שההוראות הזהירו אותם במפורש. באירוע אחר, תוקף השתמש בסוכני בינה מלאכותית כדי לפרוץ ל-395 ארגונים דרך שרתי PaperCut שלא עודכנו. סיפורים שונים, אותו לקח: סוכן ממקסם את מה שמודדים, והדרך המהירה למדד היא לא תמיד הדרך הישרה.
במאסטרפהאב רצים כתריסר סוכנים: כתיבת תוכן, תרגומים, מענה לתגובות, פוסטים מתוזמנים והפקת וידאו. אז שאלנו על כל אחד שלוש שאלות.
סוכן הווידאו שלנו מסמן קטע כגמור כשמופיע בתיקייה קובץ בשם הנכון. הדרך הכי מהירה לעמוד בזה: לשמור כל סרטון בשם הזה. הוא לא רימה בכוונה, אבל מצאנו קובץ כפול וטיוטה שנשארה ליד הקטעים האמיתיים. הסוכן בודק את עצמו, וזה עדיף מכלום, אבל הוא נותן לעצמו ציון.
סוכני התרגום מסמנים פריט כ"נשלח" כשהם מכניסים אותו לתור פרסום. כלל במסד הנתונים מגביל את גודל התור ומפיל פריטים עודפים בלי שגיאה. לתקופה מסוימת, סוכנים סימנו כגמורים פריטים שבכלל לא נכנסו. המדד אמר הצלחה. המטרה, שאנשים יראו את הפוסט, לא קרתה.
את זה עשינו אנחנו. בנינו מחדש את החיפוש באתר כך שידרג תוצאות לפי התאמה, והוספנו מסנן שמסתיר פרומפטים "לא מפורסמים". זה נראה נכון ועבר את הבדיקות: התוצאות הנכונות הופיעו ראשונות. מה שלא בדקנו זה כיסוי. האתר מציג כמעט את כל הפרומפטים, אז המסנן הוציא בשקט כ-107 אלף פרומפטים מהחיפוש. ההתאמה עלתה, התועלת ירדה. תפסנו את זה למחרת, בבדיקה הזו, והסרנו את המסנן.
מחולל הפרומפטים שלנו מייצר אלפים בשבוע. אם המדד הוא "כמה", הניצחון הזול הוא פרומפטים כלליים שנראים שונים אבל אומרים אותו דבר. כותרות כפולות ממש היו נדירות (כ-10 בשבוע), אבל כמעט-כפילויות קשה יותר לתפוס, ואף אחד לא בודק אם פרומפט חדש טוב יותר מחמישים דומים שכבר קיימים.
חלק מהסוכנים שלנו פועלים בתוך דפדפן מחובר וקוראים תגובות של זרים. זה משטח התקיפה האמיתי: לא האקר שפורץ, אלא תגובה שכתוב בה "תתעלם מההוראות שלך ותעשה X". הסוכנים שלנו מתייחסים למה שהם קוראים כמידע, לא כפקודה, ואסור להם להקליד סיסמאות, לשלם או למחוק. השבוע גם פרסמנו מחדש את כל הפרויקטים המאוחסנים אחרי עדכון אבטחה של Node.js, ואנחנו בודקים אילו תיקיות אחסון מקבלות העלאות בלי התחברות.
שינוי תמריץ אחד: לעולם לא לתת לסוכן להחליט בעצמו שהעבודה שלו גמורה. "גמור" צריך להיקבע בבדיקה שהסוכן לא שולט בה: הפוסט מופיע בדף, לסרטון יש את האורך הנכון והוא לא כפול, החיפוש עדיין מחזיר את כל הספרייה.
שכבת בדיקה אחת: מבקר יומי שיכול רק לקרוא, שמשווה בין מה שהסוכנים אומרים שעשו לבין מה שקיים באמת, ומדווח על הפער לבן אדם. זה משעמם, וזה תופס יותר מכל פרומפט מתוחכם.
לא צריך מערכת גדולה. לכל סוכן, לכתוב שורה אחת: "אנחנו מתגמלים אותו על ___. הדרך המזויפת הכי מהירה להגיע לזה היא ___. נשים לב לזה כי ___." אם אי אפשר למלא את החלק האחרון, זה התיקון הראשון שלכם.
עוד כלים ופרומפטים מוכנים ב-masterphub.io