- מבנה בסיסי של רשתות נוירונים המבוסס על שכבות קלט, נסתרות ופלט המעבדות נתונים באמצעות פונקציות הפעלה.
- מנגנוני למידה מבוקרים המתמקדים בהתפשטות קדימה ואופטימיזציה של שגיאות באמצעות התפשטות לאחור וירידת גרדיאנט.
- הופעתן של ארכיטקטורות יעילות כגון רשתות קלות משקל ומודלים חסרי משקל המבטלים כפל יקרים כדי להפחית את צריכת האנרגיה.
אם אי פעם תהיתם מה עומד מאחורי הקסם של הבינה המלאכותית, התשובה הקצרה היא שאנחנו מנסים לחקות את פעולת המוח האנושי . דמיינו רשת מורכבת ביותר של תאים הנקראים נוירונים ששולחים דחפים חשמליים זה לזה כדי שנוכל להבין את העולם; ובכן, מדעני מחשב יצרו גרסת תוכנה, עם צמתים ואלגוריתמים, כדי לפתור בעיות מתמטיות שייקחו לנו שעות.
בעולם הבינה המלאכותית, לא הכל אותו הדבר. עברנו ממודלים פשוטים לרשתות עצביות עמוקות שמנהלות מיליוני חיבורים, ועכשיו אנחנו מחפשים ארכיטקטורות שמטרתן להיות הרבה יותר בנות קיימא ומהירות, ולשבור פרדיגמות בהן השתמשנו במשך עשרות שנים. בואו נפרק את כל זה כדי שלא יהיו לכם ספקות.
המבנה הבסיסי של רשת נוירונים
כדי שרשת תפעל, היא מאורגנת בדרך כלל לשלושה סוגי שכבות. ראשית, יש את שכבת הקלט , אליה נכנסים נתונים מבחוץ; כאן, הצמתים מנתחים ומסווגים את המידע לפני שליחתו לרמה הבאה. לאחר מכן מגיעות השכבות הנסתרות , שיכולות להיות שכבה אחת או אלפים במקרה של למידה עמוקה. שכבות אלו עושות את העבודה הקשה, ומעבדות את הפלט של השכבה הקודמת כדי לחלץ דפוסים.
לבסוף, אנו מגיעים לשכבת הפלט , אשר נותנת לנו את התוצאה הסופית. בהתאם למה שאנו מחפשים, ייתכן שיהיה צומת בודד (כמו בשאלת כן/לא) או כמה אם אנו מתמודדים עם בעיית סיווג רב-מחלקתית . ברשתות עמוקות, המפתח טמון במשקלים , מספרים המציינים האם נוירון אחד מגרה או מעכב אחר, ובכך קובעים את השפעת כל חיבור על התוצאה הסופית.
תהליך הלמידה: מתיאוריה למעשה
למידה היא פשוט התאמת המשקלים הללו כדי למנוע טעויות. הצעד הראשון הוא התפשטות קדימה , שהיא למעשה מעבר הנתונים מהצד השמאלי לצד הימני של הרשת. הנוירונים מבצעים סכום משוקלל של הקלטים , מוסיפים פרמטר הנקרא הטיה (כדי לספק גמישות אלגברית רבה יותר), ומעבירים את התוצאה דרך פונקציית הפעלה.
בואו נדבר על הפונקציות האלה, כי הן אלו שמונעות מהרשת להיות רגרסיה לינארית פשוטה. הנפוצות ביותר הן פונקציית הסיגמואיד , שמחזירה ערכים בין 0 ל-1 (אידיאלית להסתברויות), ופונקציית ReLu , שהיא מלכת הלמידה העמוקה כי היא פשוטה מאוד ומונעת מהגרדיאנט להיעלם במהלך האימון.
הקסם של התפשטות לאחור וירידה גרדיאנטית
כאשר הרשת נכשלת, נכנסת לתמונה פונקציה של התפשטות לאחור (backpropagation ). כאן, התהליך הפוך: אנו עובדים מהפלט לקלט כדי לחשב את השגיאה. אנו משתמשים בפונקציות כמו שגיאת ממוצע הריבוע (MSE) כדי לקבוע עד כמה סטינו מהמציאות. משם, אנו מיישמים גרסה נמוכה של גרדיאנט (gradient descent ), שאומרת לנו לאיזה כיוון להתאים את המשקלים כדי למזער את השגיאה.
נקודה קריטית כאן היא קצב הלמידה . אם הוא גבוה מדי, הרשת לומדת במהירות אך עלולה לחרוג מהנקודה האופטימלית ולהפוך ללא מדויקת; אם הוא נמוך מדי, התהליך הוא אינסופי וייתכן שהיא לעולם לא תסיים את הלמידה. זהו איזון עדין שמגדיר את איכות האימון.
אבולוציה לקראת בינה מלאכותית בת קיימא: רשתות קלות משקל ומודלים חסרי משקל
הבעיה עם למידה עמוקה עכשווית היא שהיא צורכת כמות עצומה של אנרגיה עקב מיליארדי ההכפלות שהיא מבצעת. זו הסיבה שצצו רשתות עצביות קלות משקל , המשתמשות בטכניקות כמו גיזום כדי לבטל קשרים מיותרים ולהפחית את טביעת הרגל האנרגטית שלהן מבלי לוותר על יותר מדי כוח עיבוד.
אבל הקפיצה המשבשת האמיתית מגיעה עם רשתות עצביות חסרות משקל , שנחקרו על ידי מומחים כמו ליזי ק. ג'ון. במקום להכפיל קלטים במשקלים, הם משתמשים בטבלאות חיפוש מחוברות עם נתונים בינאריים. זהו שינוי פרדיגמה מוחלט: אנו עוברים מביצוע חישובים אריתמטיים יקרים לביצוע שאילתות מהירות, מה שמאפשר לרשת להיות קטנה ויעילה עד פי 1.000 .
יישומים בעולם האמיתי ועתיד מחשוב קצה
ארכיטקטורות יעילות במיוחד אלו הן זהב טהור עבור מחשוב קצה , שבו העיבוד מתרחש ישירות על המכשיר, לא בענן. דמיינו חיישנים רפואיים המנטרים א.ק.ג. או לחץ דם בזמן אמת מבלי לרוקן את הסוללה תוך דקות, או מערכות לזיהוי מילות מפתח (כמו זו של אלקסה) שצורכות חלק קטן מהננו-ג'אול של ימינו.
יתר על כן, במגזר התעשייתי, אופטימיזציה של קירור במרכזי נתונים באמצעות מודלים קלים הפחיתה את צריכת האנרגיה בעד 30%. המגמה ברורה: אנחנו כבר לא מחפשים רק מודלים גדולים יותר, אלא בינה מלאכותית אחראית יותר שיכולה להתרחב מבלי להרוס את כדור הארץ.
המסע ממודל מק'קולוך-פיטס משנת 1943 לשנאים ורשתות חסרי משקל מדגים כי יעילות היא החזית החדשה. בעוד שלמידה עמוקה קלאסית העניקה לנו את הכוח לייצר טקסט ותמונות, אופטימיזציה באמצעות ארכיטקטורות פשוטות וטבלאות חיפוש תאפשר לנו לשלב בינה מלאכותית בכל אובייקט יומיומי, תוך מתן עדיפות לפרטיות וחיסכון באנרגיה על פני כוח חישובי ברוטלי.
