אני בטוח שזה קרה לכם: יש לכם הקלטה ארוכה של ראיון או שיעור, והמחשבה על תמלול הכל נראית כמו משימה ענקית. האמת היא, תמלול בכתב יד הוא משימה קשה ובזבוז זמן אדיר, במיוחד כאשר הכלים החינמיים הרגילים מתבלבלים עם מילים או ממציאים נתונים שלא קיימים.
כאן נכנסת לתמונה Whisper, מעצמת בינה מלאכותית שנוצרה על ידי OpenAI ובאה לשנות את חוקי המשחק. זוהי לא סתם עוד תוכנה, אלא מודל זיהוי דיבור אוטומטי (ASR) שמנתח צליל בדיוק מדהים, ומאפשר לנו לקבל טקסט הניתן לעריכה תוך דקות ספורות ללא כל טרחה.
מה זה בדיוק Whisper ואיך זה עובד באופן פנימי?
במילים פשוטות, Whisper היא מערכת בינה מלאכותית שתוכננה במיוחד להמרת דיבור לטקסט. בניגוד לתוכנות אחרות שנכשלות לעתים קרובות, מודל זה מנתח דפוסי שמע, הקשר ומאפייני הדובר כדי לספק תוצאה מקצועית. בגרסת v3 שלו, הוא אומן על למעלה ממיליון שעות שמע, הרבה מעבר ל-680.000 שעות של הגרסה הקודמת, מה שהביא לירידה של 10% עד 20% בשגיאות.
אחד הדברים המדהימים ביותר הוא היכולת שלו להתמודד עם ספרדית, שבה שיעור השגיאות שלו נמוך מ-5% . יתר על כן, הוא לא נופל בפער עם שפות אחרות; הוא יכול לתמלל יותר מ-100 שפות, כולל קטלאנית, בסקית, גליציאנית, גרמנית, ערבית ויפנית, ויכול אפילו לזהות מתי הדובר מחליף שפה באמצע משפט.
תכונות טכניות וגמישות
Whisper אינו יישום סגור, אלא מודל שפה המשמש כבסיס לחברות אחרות ליצור כלים משלהן באמצעות API. כדי להתאים אותו לכל חומרה, OpenAI הוציאה אותו בגדלים שונים בהתאם ליכולות המכונה . ישנן גרסאות קלות משקל הדורשות פחות מ-1 ג'יגה-בייט של VRAM ויש להן 39 מיליון פרמטרים, ועד למודלים ענקיים עם 1.550 מיליארד פרמטרים הדורשים כ-10 ג'יגה-בייט של VRAM כדי לפעול בקיבולת מלאה.
יתרון עצום נוסף הוא היכולת שלה לפרש את ההפסקות הטבעיות בשיחה. משמעות הדבר היא שהבינה המלאכותית יודעת היכן למקם פסיק או נקודה בהתבסס על שתיקת הדובר, מה שחוסך לנו המון עבודת עריכה בהמשך. היא אידיאלית לניהול פגישות, פודקאסטים או ראיונות עם מספר משתתפים, מכיוון שהיא מזהה ומפרידה אוטומטית בין דוברים.
איך להפעיל את זה: מהטכני ועד הפשוט
אם אתם אשפי מחשבים, תוכלו לגשת ישירות לדף GitHub שלהם, להוריד את קוד הקוד הפתוח ולהריץ אותו באופן מקומי במחשב שלכם לפי ההוראות הטכניות. זה דומה מאוד להגדרת עוזר תכנות מבוסס בינה מלאכותית , מכיוון שזה דורש ידע מתקדם וזה לא בדיוק טיול בפארק עבור מישהו שלא יודע לתכנת.
אם אינכם רוצים לסבך דברים, ישנן חלופות פשוטות הרבה יותר. לדוגמה, תוכלו להשתמש בפלטפורמת Replicate (replicate.com/openai/whisper) , המאפשרת לכם להעלות את הקבצים שלכם ולבחור באיזו גרסה של המודל תרצו להשתמש (כמו גרסה 3) מבלי שתצטרכו להתקין דבר במחשב. בדרך זו, כל אחד יכול לרתום את כוחה של הבינה המלאכותית כדי להשיג טיוטה הניתנת לעריכה בזמן שיא.
כלי כזה בהישג יד הוא הקלה, במיוחד עבור עיתונאים או סטודנטים שנהגו לבלות שעות בהאזנה לאותו קטע שמע. כעת, עם היכולת לעבד קול בזמן אמת ובדיוק כמעט כירורגי , התמלול הפך ממשימה מייגעת לתהליך אוטומטי ויעיל המאפשר לנו להתמקד במה שחשוב: ניתוח התוכן.