כמה מדריכים שמסתובבים ברשת מתארים את VibeVoice של Microsoft כדרך חינמית ומקומית לשבט את הקול שלכם מהקלטה קצרה. בדקנו את הריפו הרשמי ב-GitHub ואת כרטיסי המודל. התמונה שונה, וכדאי להכיר אותה לפני שמשקיעים ערב שלם בהתקנה.
מה זה
VibeVoice היא משפחה של מודלי דיבור בקוד פתוח מבית Microsoft, ברישיון MIT. היא מכסה את שני הכיוונים: הפיכת דיבור לטקסט, והפיכת טקסט לדיבור.
מה הוא יודע לעשות היום
- VibeVoice-ASR (7B): מתמלל עד 60 דקות אודיו במעבר אחד ומסמן מי דיבר ומתי. לפי Microsoft הוא תומך ביותר מ-50 שפות ומאפשר להוסיף מילות מפתח, כמו שמות או מונחים מקצועיים.
- VibeVoice-ASR-BitNet: מודל תמלול דחוס שרץ על מעבד רגיל, בלי כרטיס מסך.
- VibeVoice-Realtime (0.5B): הקראה בזמן אמת, עם כ-300 מילישניות עד הצליל הראשון. הוא תומך בדובר אחד, בנוי בעיקר לאנגלית, ויש לו קולות ניסיוניים בתשע שפות נוספות.
מה הוא לא עושה
בספטמבר 2025 Microsoft הסירה מהריפו את הקוד של VibeVoice-TTS להקראה ארוכה, אחרי שזיהתה שימושים שלא תואמים את מטרת הפרויקט. בכרטיס של מודל ה-Realtime כתוב שרכיב ה-acoustic tokenizer הוסר כדי שמשתמשים לא יוכלו ליצור הטמעות קול משלהם, שבכל קובץ יש הודעה קולית שהוא נוצר ב-AI, ושהאודיו מסומן בסימן מים. בקיצור, הגרסה הרשמית היא לא כלי לשיבוט קול, ושיבוט קול של אדם אמיתי בלי הסכמה מתועדת מוגדר כשימוש אסור.
איך מנסים
- מתחילים מהריפו הרשמי microsoft/VibeVoice ב-GitHub ועוקבים אחרי ההוראות למודל הרלוונטי.
- לתמלול פגישות, ראיונות או פודקאסטים, בודקים קודם את מודל ה-ASR על קובץ קצר ומוודאים שסימון הדוברים נכון.
- לאב-טיפוס של עוזר קולי, מנסים את מודל ה-Realtime עם הקולות המובנים שלו.
- כדאי להיזהר מגרסאות לא רשמיות שמבטיחות שיבוט. Microsoft לא מתחזקת אותן, וייתכן שהן לא שומרות על אמצעי ההגנה.
מגבלות ונקודות לתשומת לב
- Microsoft מגדירה את המודלים למחקר ופיתוח, ולא ממליצה על שימוש מסחרי בלי בדיקות נוספות.
- התוצאות עלולות להיות לא מדויקות או מוטות. בודקים תמלולים לפני שסומכים עליהם.
- הסכמה וחוק: כל עבודה עם קול של אדם דורשת את הסכמתו המפורשת. התחזות, הקלטות מזויפות של אנשים אמיתיים ו-deepfake בזמן אמת הם שימוש לרעה, ובמקומות רבים גם עבירה. כשמפרסמים אודיו שנוצר ב-AI, מציינים את זה.
למי זה מתאים
למפתחים ולחוקרים שצריכים תמלול חינמי עם זיהוי דוברים, או שרוצים להתנסות בהקראה מהירה לעוזר קולי. מי שרוצים להקריא תוכן שלהם בקול שלהם, עדיף שיפנו לשירות מסחרי עם תהליך הסכמה ברור.
עוד כלי AI ופרומפטים שנבדקו מחכים ב-masterphub.io.
Sources: microsoft/VibeVoice on GitHub; VibeVoice-Realtime-0.5B model card on Hugging Face.
