בקצרה: pdoom-video הוא פרויקט קוד פתוח שמייצר קליפ מוזיקלי שלם מקוד, עם מילים שנדלקות מילה אחרי מילה בדיוק עם השיר. הכול רץ על המחשב שלכם עם bun, Chrome ו-ffmpeg, בלי שירות בתשלום. הקוד ברישיון MIT. השיר לא.
מה זה
pdoom-video הוא הקוד שמאחורי הקליפ לשיר "I'm Upping My P(doom)". אין פה ציר עריכה ואין קטעי וידאו מוכנים. כל פריים מצויר בקוד עם three.js, וכל פריים נקבע לפי הזמן בשיר. זה אומר שמה שרואים בתצוגה בדפדפן הוא בדיוק מה שיוצא בקובץ הסופי.
לפי הקובץ README, כל העבודה נעשתה עם Claude בתוך Claude Code: הרעיון, סנכרון המילים, המנוע, הסצנות והרינדור. כך שזו גם הצצה טובה למה שסוכן קוד יכול לבנות כשהמשימה ויזואלית ולא עוד אפליקציה.
איך זה עובד
- מילים מסונכרנות. התזמון של כל מילה וכל פעמה שמור בקבצי JSON בתוך הפרויקט. הם נוצרו עם הפרדת ערוצים (Demucs), יישור טקסט לשמע שנבדק מול Whisper, וניתוח קצב.
- סצנות צמודות לשיר. כל סצנה היא קובץ נפרד. קובץ ציר זמן מצמיד כל סצנה לשורה בשיר ומיישר אותה לפעמה.
- טשטוש תנועה אמיתי. כל פריים משלב הרבה תתי-פריימים, מ-12 ועד 324, לפי כמה תנועה יש.
- רינדור מקומי. סקריפט מפעיל Chrome בלי חלון, מוציא את הפריימים ומקודד אותם עם ffmpeg לוידאו ב-1080p או 4K ב-60 פריימים לשנייה.
מה צריך כדי להריץ
- bun, Google Chrome ו-ffmpeg עם libx264.
- uv (פייתון) רק אם רוצים להריץ את כלי הניתוח ולייצר תזמונים מחדש.
- מחשב חזק בשביל 4K. לפי ה-README: בערך שעתיים וחצי לשיר שלם על Mac עם M5 Pro, כ-5GB זיכרון ל-Chrome ועוד 4GB ל-ffmpeg בכל מסלול, וקובץ של 13GB.
התצוגה החיה עולה בכתובת localhost:5173 אחרי bun install ו-bunx vite. לפי ה-README היא רצה בזמן אמת על Mac חדש. מערכות אחרות לא מוזכרות.
למי זה מתאים
- מוזיקאים ויוצרים שרוצים קליפ מילים שנראה מעוצב ולא כמו תבנית, ומוכנים לעבוד עם קוד או עם סוכן AI.
- בוני סוכנים שמחפשים דוגמה אמיתית לפרויקט יצירתי ארוך שנעשה עם סוכן קוד, מניתוח השמע ועד הקובץ הסופי.
- מפתחים שלומדים three.js ורוצים מבנה ברור: קובץ לכל סצנה, ציר זמן, ומנוע שהופך את הדפדפן לכלי וידאו.
מה ששווה לקחת מפה זו השיטה: לנעול את הוויזואל לציר הזמן של השיר, לשמור את התזמונים כנתונים, ולרנדר מהדפדפן. על הבסיס הזה אפשר לשים שיר וסצנות משלכם.
על מה לשים לב
- השיר לא פתוח. השמע והמילים נמצאים בפרויקט אבל לא נכללים ברישיון MIT. הם שייכים ליוצרים שלהם. עדיף להשתמש בשיר משלכם.
- תזמון מחדש דורש עבודה. הערוצים המופרדים ומשקלי המודלים (כ-4GB) לא כלולים. לשיר חדש צריך להריץ את הניתוח לבד.
- 4K כבד. רינדור ארוך, תלוי בכרטיס גרפי, וקבצים ענקיים. כדאי להתחיל ב-1080p.
- נבנה בשביל קליפ אחד. זה פרויקט ולא כלי כללי עם הגדרות. צריך לקרוא ולשנות קוד.
- פרויקט צעיר. קרוב ל-800 כוכבים אבל רק כמה עדכונים, אז אין לצפות לתמיכה או לעדכונים קבועים.
מקור: mexicat/pdoom-video ב-GitHub
עוד כלי AI ופרומפטים מוכנים ב-masterphub.io
