איך עשיתי קליפ עלילתי לשיר שלי עם Claude

הוצאתי את הסינגל הראשון שלי, "My Love, You". בלוז דלתא עם מפוחית. רציתי לו קליפ אמיתי. לא תמונה אחת עם זום איטי... סיפור. סצנה אחרי סצנה, לפי המילים של השיר.

עשיתי את זה עם Claude, בסשן אחד ארוך. 40 סצנות מצוירות, תמונה חדשה כל כמה שניות, כל חיתוך על הביט. הנה כל התהליך, כדי שאפשר יהיה לעשות את אותו הדבר עם שיר משלכם.

מה צריך

• השיר כקובץ MP3 (שלי נעשה ב-Suno, עם הקול והמילים שלי)
• תמונה או שתיים של הדמויות בסיפור, לרפרנס
• מחולל תמונות שמקבל תמונת רפרנס (אני עבדתי עם Gemini)
• Claude עם הרצת קוד (Cowork או Claude Code)

שלב 1: Claude מקשיב לשיר

שני דברים רצו על ה-MP3:

1. תמלול עם זמנים (Whisper). עכשיו לכל שורה בשיר יש שנייה מדויקת.
2. ניתוח ביטים (librosa). מצא כל ביט, ואיפה השיר מתחזק ואיפה הוא נרגע.

על זה הכל נשען. המילים אומרות מה להראות. הביטים אומרים מתי לחתוך.

שלב 2: סטוריבורד מהמילים

Claude קרא את המילים וכתב סיפור ב-41 סצנות. כל סצנה קשורה לשורה ולזמן. למשל ב-4:15, בשורה "you walked in and changed everything", מגיעה הסצנה שבה היא נכנסת לבית הקפה בפעם הראשונה.

הכלל שנתתי: תמונה חדשה לפחות כל כמה שניות, והתמונות חייבות לזוז.

שלב 3: שהפרצופים יישארו אותו דבר

זה החלק הקשה בתמונות AI. בסצנה 12 צריכים להופיע אותם שני אנשים כמו בסצנה 3.

הפתרון: דף רפרנס אחד עם שתי הדמויות, שמצורף לכל בקשה. ואותה שורה בסוף כל פרומפט:

Same faces and ages as the reference.

טיפ מהשטח: כשהמחולל מתחיל לסטות (פנים צעירות מדי, שיער אחר) חוזרים לרפרנס המקורי. לא לוקחים תמונה שנוצרה כרפרנס חדש. הטעויות מצטברות.

שלב 4: יצירת הסצנות

Claude שלח את כל הפרומפטים ל-Gemini, אחד אחד, באותו צ'אט (ככה הסגנון נשמר) ואסף את התמונות. צבעי מים ודיו, אור חם, שפה ויזואלית אחת מההתחלה עד הסוף.

ל-Gemini יש מכסה יומית של תמונות. נתקעתי בתמונה 31 והשלמתי את השאר כשזה נפתח שוב.

שלב 5: להזיז את התמונות

אין פה מודל וידאו. Claude כתב סקריפט Python שהופך כל תמונה לשוט של מצלמה:

• זום איטי פנימה או החוצה, או תנועה ימינה, שמאלה או למעלה. לכל שוט תנועה אחרת.
• החיתוכים נצמדים לביט הקרוב. זה מה שהופך את זה לקליפ ולא למצגת.
• פעימה קטנה על כל ביט, שהתמונה תנשום עם המוזיקה.
• מעברים רכים בין שוטים, קצרים יותר בחלקים המהירים.
• גרעין של פילם, הצללה עדינה בקצוות, שם השיר בהתחלה ובסוף, והחתימה שלי בכתב יד בפינה.

בחלק האחרון של השיר החיתוכים מהירים: 20 סצנות, בערך 2 שניות כל אחת, כמו זיכרונות שעוברים מול העיניים. ואז זה נרגע לקראת הסוף.

שלב 6: רינדור

הסקריפט מצייר כל פריים (12,096 פריימים, 30 בשנייה) ומעביר אותם ל-ffmpeg יחד עם השיר. התוצאה: קליפ 1080p של 6:43. הרינדור לקח בערך 35 דקות.

הפרומפט להתחלה

נותנים ל-Claude את ה-MP3 ואת תמונות הרפרנס, ואז:

זה השיר שלי. תמלל אותו עם זמנים ותנתח את הביטים.
אחר כך תכתוב סטוריבורד שהולך לפי המילים: לפחות סצנה חדשה
כל כמה שניות, כל אחת קשורה לשורה ולזמן.
תכתוב פרומפט לתמונה לכל סצנה. כל פרומפט נגמר ב:
"Same faces and ages as the reference."
כשאתן לך את התמונות, תבנה את הקליפ ב-Python: תנועת מצלמה
על כל תמונה, חיתוכים על הביט, מעברים רכים, והשם שלי כחתימה.
רינדור ב-1080p עם האודיו המקורי.

מה למדתי

• הסיפור מגיע מהמילים. לא מתחילים מתמונות, מתחילים מהטקסט.
• חיתוך על הביט חשוב יותר מאיכות התמונה.
• פרצופים עקביים צריכים רפרנס קבוע ומשפט קבוע בכל פרומפט.
• סצנה כל כמה שניות מספיקה. תנועת המצלמה עושה את השאר.

הבא בתור: אותו תהליך לשיר "הוא השאיר את הנשמה שלו שם".

עוד פרומפטים, סקילים וסוכנים לעבודה יצירתית ב-masterphub.io