פעם הפקת וידאו הייתה שרשרת של שלבים נפרדים. מישהו כתב תסריט, מישהו ערך, מישהו הוסיף גרפיקה. איטי ויקר. הפרויקט הפתוח vox-director משנה את זה. הוא מחבר מודלי שפה, מחוללי תמונות וכלים ליצירת וידאו לצינור אחד.
הוא כתוב ב-Python ומשתמש ב-LangChain כדי לנהל את הפרומפטים. כותבים תיאור קצר של סצנה. מודל השפה מרחיב את הרעיון לסטוריבורד. כל פריים בסטוריבורד נשלח למודל תמונה, שמחזיר תמונת סטילס. התמונות עוברות למודל וידאו שמוסיף תנועה. בסוף מנוע הקראה מוסיף קריינות. הכל רץ לבד, וסרטון שלם יכול להיות מוכן תוך דקות.
כי כל התהליך מוגדר בקוד, אפשר להשתמש בו שוב ושוב. להחליף פרומפט או מודל זה לשנות כמה שורות. ככה קל לנסות סגנון, אורך או שפה אחרים בלי לבנות הכל מחדש.
ב-Masterphub.io הריפו הזה מופיע כסקיל מוכן. מורידים את שרשרת הפרומפטים, מכניסים מפתחות API משלכם, ומתחילים לייצר. הפלטפורמה גם מנהלת גרסאות, כך שעדכונים במודלים לא שוברים פרומפטים קיימים.
שימוש אחד ברור: שיווק ברשתות. מכניסים תיאור של מוצר ומקבלים קליפ קצר ומונפש שמראה מה חשוב בו. מייצאים בפורמט רגיל ומעלים ישר ל-TikTok או ל-Instagram. הכל קורה בענן, אז לא צריך כרטיס מסך בבית.
שימוש נוסף: למידה. מורים נותנים ראשי פרקים של שיעור, ו-vox-director מוציא אנימציות עם קריינות שמסבירות את החומר. סרטון שמתאים לטון של השיעור, בחלק קטן מהעלות של הפקה רגילה.
הפרויקט פתוח, אז כל מפתח יכול להוסיף מודלים או לשפר את הלוגיקה. הקהילה כבר הוסיפה חיבורים לשירותי תמונה שונים ולוידאו ברזולוציה גבוהה יותר. כל תרומה נכנסת דרך pull request, והליבה נשארת יציבה.
אוטומציה לא אומרת לאבד שליטה. אפשר לעצור אחרי כל שלב, לבדוק מה יצא, לתקן את הפרומפט ורק אז להמשיך. מהירות של AI, עם עין אנושית.
בשורה התחתונה, vox-director מראה איך סוכני AI תופרים כלים נפרדים למפעל וידאו אחד. מהר יותר, זול יותר, ויותר מקום ליצירה.
הפכנו את הרעיון לסקיל מוכן ב-Masterphub: "Generate a short narrated video from a text prompt".