OPSD-V הוא פרויקט קוד פתוח שמאמן מודלי דיפוזיה לווידאו בשיטה שנקראת on-policy self-distillation. בפשטות: המודל מלמד את עצמו בזמן האימון. התוצאה היא פחות צעדים בזמן היצירה, ואותה איכות.
מודלי דיפוזיה רגילים צריכים עשרות צעדים כדי לייצר תוצאה טובה. כל צעד לוקח זמן ועולה כוח מחשוב. OPSD-V מחליף את רוב הצעדים האלה במודל מזוקק שמנחש את הפריים הסופי ישירות. הווידאו נראה אותו דבר, אבל יוצא הרבה יותר מהר.
הרעיון עצמו פשוט. אחרי כמה סבבים של דיפוזיה, המודל שומר את התחזיות של עצמו. התחזיות האלה הופכות למטרה של רשת קטנה יותר, שלומדת לעבור מהקלט הרועש ישר לווידאו הנקי. המורה והתלמיד בנויים באותה ארכיטקטורה, אז התלמיד יורש את הידע בלי שלב אימון נפרד.
לפי הניסויים בריפו, ריצה של 6 צעדים ב-OPSD-V מגיעה לאיכות של ריצה רגילה עם 30 צעדים. פחות צעדים זה פחות זיכרון GPU וזמן המתנה קצר יותר. למי שמייצרים תוכן עם AI, הבחירה בין מהירות לאיכות נהיית הרבה פחות כואבת.
ב-Masterphub.io השיטה הזו כבר זמינה כסקיל מוכן. מושכים את ה-workflow של OPSD-V, מחברים מאגר וידאו משלכם, ומתחילים לייצר קליפים תוך דקות. בלי לכתוב לולאות זיקוק מאפס.
בגלל שהשיטה עובדת on-policy, היא מתאימה את עצמה לנתונים שהיא רואה. ככל שעוברים יותר פריימים, מודל התלמיד משתפר, והתוצאה נשארת עקבית גם בסצנות שונות מאוד. זה מה שמבדיל אותה משיטות זיקוק ישנות שעובדות רק אחרי שהאימון נגמר.
בפועל, בריפו יש סקריפט אימון, מעטפת קלה להרצה ונקודות שמירה לדוגמה. אפשר להפעיל את המעטפת מ-Python או משורת הפקודה, כך שקל לחבר אותה לתהליך עבודה קיים.
למי שרוצים לקצר זמני יצירה בלי לפגוע באיכות, OPSD-V הוא כיוון מעשי. הקוד פתוח, אז אפשר לבדוק אותו, לשנות את פונקציות ה-loss או לשלב אותו עם מודלים אחרים.
הפכנו את הרעיון הזה לסקיל מוכן לשימוש ב-Masterphub: "יצירת וידאו מהירה עם OPSD-V".