בקצרה: מאמר עבודה של NBER שעקב אחרי יותר מ-500,000 מפתחים ב-GitHub מצא שכלי קוד מבוססי AI מעלים הרבה את פעילות הכתיבה, אבל התוספת מצטמצמת עד שהתוכנה משוחררת. אצל סוכנים אוטונומיים ה-commits עלו בכ-240% והגרסאות המשוחררות בכ-30%.
המאמר נקרא "Writing Code vs. Shipping Code" (מאמר עבודה 35275 של NBER) ונכתב על ידי Mert Demirer, Leon Musolff ו-Liyuan Yang. הוא משווה שלושה סוגי כלים לפי נתוני GitHub שחוברו לנתוני שימוש ב-AI.
החוקרים בדקו גם ארבע חנויות תוכנה גדולות. אפליקציות חדשות עלו חד, אבל סך השימוש לא עלה.
לדבריהם הדפוס מתאים לרעיון של "חוליה חלשה": אנשים עדיין צוואר בקבוק באיזשהו שלב בשרשרת, ולכן כתיבת קוד מהירה יותר לא הופכת לאותה כמות תוכנה שיוצאת החוצה. הם מגדירים זאת כמתאים לנתונים, לא כמשהו שהוכח ישירות.
לוקחים מזה דבר אחד: אם עובדים עם סוכני קוד, בודקים כמה יצא לאוויר ולא כמה הסוכן כתב. בדיקות, בקרה והחלטה מה לבנות עדיין לוקחות זמן אנושי, ושם נראה שהתוספת מצטמצמת.
מקור: NBER, מאמר עבודה 35275, "Writing Code vs. Shipping Code"