- ChatGPT עושה שגיאות מבניות בהיגיון, בנתונים ובשכל הישר, למרות המראה ה"אינטליגנטי" שלו.
- השגיאות נובעות משיטת האימון הסטטיסטית, מהטיות נתונים וחוסר הבנה אמיתית.
- מקצועות ומשימות חינוכיות רבות ישתנו, אך בינה מלאכותית תפעל בעיקר כעוזר, לא כתחליף מלא.
- שימוש ב-ChatGPT עם אימות מקור, הנחיות טובות ובדיקה אנושית מאפשר לך לנצל זאת מבלי לקחת סיכונים מוגזמים.
בינה מלאכותית גנרטיבית הפכה לחלק מחיי היומיום שלנו, ו- ChatGPT הפך לכלי המועדף לכתיבה, סיכומים, תכנות וסיעור מוחות . עם זאת, מרשים ככל שזה נראה, הוא רחוק מלהיות מושלם. אמון עיוור בתגובותיו יכול להוביל להפתעות לא נעימות אם אינכם מכירים את מגבלותיו.
זו הסיבה שיותר ויותר מומחים מתעקשים שהבנת המשימות שבהן ChatGPT לוקה בחסר חשובה כמעט כמו ידיעת השימוש בה . לא מדובר בדמוניזציה של הטכנולוגיה, אלא בלמידת חיים עם מגבלותיה: מתי היא אמינה, מתי לקחת את התגובות שלה בערבון מוגבל, וכיצד למנף אותה מבלי לאבד שיקול דעת ביקורתי אנושי.
למה חשוב להכיר את המגבלות של ChatGPT
מאחורי ממשק הצ'אט מסתתרת מערכת מורכבת המשלבת מודלים גדולים של שפה עם מנגנונים פנימיים שנותנים עדיפות למהירות או להיגיון בהתאם לשאלה . "החלטה" אוטומטית זו לא תמיד מתיישבת עם צרכי המשתמש: לפעמים תגובה מהירה מקבלת עדיפות גם אם הבעיה דורשת חשיבה שלב אחר שלב. ניתן להתעמק באופן שבו פרמטרים של בינה מלאכותית משפיעים על התנהגות זו.
יתר על כן, התנהגות המודל משתנה עם כל עדכון, מה שאומר ש- ChatGPT עשוי להגיב בצורה שונה לאותה שאילתה בזמנים שונים . לכך מתווספים מגבלות הקשר בשיחות ארוכות, שבהן הוא מתחיל "לשכוח" חלקים מהשרשור, ומסנני אבטחה שחוסמים נושאים רגישים או לגיטימיים לחלוטין מתוך שפע של זהירות.
שילוב גורמים זה גורם לכך שבפועל, חוויית המשתמש יכולה לעבור ממצב מבריק למתסכל תוך שניות ספורות . ההבדל בין תוצאה מועילה לתוצאה הרסנית טמון לעתים קרובות בשאלה האם המשתמש יכול לזהות מתי הבינה המלאכותית סוטה מהמסלול וכיצד לתקן זאת.
מספר מחקרים וסקרים שנערכו לאחרונה מראים שחלק ניכר מהמשתמשים אינם סומכים לחלוטין על תגובותיה של ChatGPT . בסקר של OCU, אנשים רבים ציינו "חוסר אמון" במידע שנוצר כסיבה העיקרית לאי-שימוש יומיומי בו, למרות שניסו אותו.
כתוצאה מכך, מומחים לבינה מלאכותית וחינוך ממליצים להשתמש ב-ChatGPT כמקור נוסף ולעולם לא כבורר האמת האולטימטיבי . אימות נתונים מול מקורות אחרים, הבנה בסיסית לפחות של הנושא, וקבלת העובדה שמידע יכול להיות מפוברק ("ההזיות" הידועות לשמצה) הן חיוניות בימינו.
שגיאות נפוצות ומגבלות טכניות של ChatGPT
ספרות טכנית תיעדה כי מערכות אלו נוטות לייצר תשובות סבירות אך שגויות , במיוחד כאשר השאלה מעורפלת, ספציפית מאוד, או סוטה מהנתונים שראו במהלך האימון. הבעיה היא שהניסוח כה משכנע שקשה לזהות את השגיאה אם המשתמש אינו מכיר את הנושא. כלים כמו הרחבות לגילוי תוכן שנוצר על ידי בינה מלאכותית יכולים לסייע בזיהוי חלק מהתשובות השגויות הללו.
מומחים כמו פרופסור ג'וזף קורטו מדגישים שחלק מהפגמים הנפוצים ביותר הם עמוקים ומשפיעים על האמינות הכוללת של המערכת . אלה כוללים תיאורים שגויים של עובדות ניתנות לאימות, תשובות לא שלמות, הסברים מפוברקים של "תהליך החשיבה" של המודל, וביצועים פחות מדויקים בשפות שאינן אנגלית.
יתר על כן, למרות שמושגים שיפורים, מגבלות אתיות וביטחוניות אינן תמיד מכוילות היטב . לפעמים הן חוסמות בקשות לגיטימיות תוך מתן אפשרות לבקשות בעייתיות, או שהן מייצרות תגובות עמוסות בהטיות שעברו בירושה מנתוני אימון, בין אם תרבותיות, פוליטיות או קשורות למגדר.
למרות הכל, מחקר מתמשך בתחום הלמידה העמוקה ועיבוד שפה טבעית הוביל לגרסאות העדכניות ביותר, כמו GPT-4, המשיגות ביצועים כמעט אנושיים במשימות מורכבות בתחומי המתמטיקה, התכנות, המשפט, הרפואה והפסיכולוגיה. אך ביצועים גבוהים אינם משמעותם חסינות מטעויות, ונקודות עיוורות נותרות.
7 משימות בהן ChatGPT נכשל (או אינו אמין)
בעוד ש-ChatGPT יכול להיות שימושי מאוד במצבים רבים, ישנם סוגים מסוימים של משימות שבהם הסבירות לקבלת תגובה שגויה, מוטה או מטעה עולה באופן משמעותי . מומלץ להכיר תרחישים אלה כדי לנקוט משנה זהירות.
1. חשיבה לוגית ומתמטיקה מורכבת
כאשר בעיה דורשת חישובים משורשרים, הדגמות לוגיות או הוכחות מתמטיות פורמליות , ChatGPT לעיתים קרובות מגמגם. הוא יכול לעשות טעויות בפעולות פשוטות, לדלג על שלבים מרכזיים או להציג תוצאות שגויות כנכונות.
זה בולט במיוחד בתרגילים עם שלבים ביניים רבים, כגון קומבינטוריקה, הסתברות, אלגברה מתקדמת או גיאומטריה . גם אם הטקסט נראה מנומק היטב, שגיאות קטנות בשלב אחד יכולות לפסול את התוצאה כולה, ולמודל אין דרך באמת "לבדוק" את ההיגיון שלו.
2. שכל ישר, אינטואיציה והקשר אנושי
הבינה המלאכותית מפרשת את מה שנאמר לה באופן מילולי, ולכן היא מתקשה לתפוס אירוניה, משמעויות כפולות, סרקזם או התייחסויות תרבותיות ספציפיות ביותר . התוצאה היא תגובות שעבור אדם הן בבירור "לא במקום".
כאשר המשימה דורשת אמפתיה אמיתית, הבנה רגשית עמוקה או ידע מעשי על העולם האמיתי , המודל רק מחקה דפוסי שפה, אך ללא כל ניסיון אישי. זה אולי נשמע אמפתי, אך הוא לא מרגיש דבר או תופס מצבים כפי שאדם היה עושה. כדי לשפר את הטון ולהתאים תגובות, מומלץ להתאים אישית את ChatGPT ולהתאים סגנונות ותפקידים.
3. זיכרון לטווח ארוך והמשכיות פרויקטים
למרות שנראה כאילו הוא "זוכר" את השיחה, ל-ChatGPT יש הקשר מוגבל ויכול לאבד חלקים מההיסטוריה ללא אזהרה . שיחות ארוכות מאוד או פרויקטים שנמשכים זמן רב נוטים לפגמי זיכרון.
זה משפיע ישירות על משימות כמו כתיבת ספרים, דוחות ארוכים או פרויקטים של תכנות מרובי סשנים . אם התוכן לא נשמר ומנוהל חיצונית, קיים סיכון לאובדן עקביות, חזרה על החלטות שכבר התקבלו או סתירה עצמית מבלי שהמודל יהיה מודע לכך.
4. חיסכון בזמן לכאורה שבסופו של דבר עולה לכם יותר
אנשים רבים פונים ל-ChatGPT בגלל מהירות, אך כאשר תגובות מכילות שגיאות עדינות או חסרות מידע מרכזי, סקירתן ותיקונן יכולים לקחת יותר זמן מאשר יצירתן מאפס . זה בולט במיוחד במשימות מקצועיות הדורשות סטנדרט איכות גבוה.
בתחומים כמו דוחות טכניים, תיעוד משפטי, תוכן אקדמי או קוד ייצור , הזמן הנוסף המושקע באימות יכול לבטל לחלוטין את התועלת לכאורה של שימוש בבינה מלאכותית אם אין תהליך סקירה קפדני.
5. נתונים מיושנים וחוסר חיבור בזמן אמת
מודלים כמו GPT-3 או GPT-4 מאומנים באמצעות מסגרת זמן ספציפית של נתונים, כך שאין להם גישה ישירה לאינטרנט כדי להתייעץ עם מידע בזמן אמת . בהתאם לגרסה, הידע שלהם עשוי להיות מוגבל לשנה ספציפית.
משמעות הדבר היא שבנוגע לאירועים אקטואליים, שינויים חקיקתיים אחרונים, פריצות דרך מדעיות או חדשות מתפרצות , התשובות עשויות להיות מיושנות או אפילו שגויות. אם המשתמש אינו בודק במקורות מעודכנים, השגיאה נעלמת מעיניו.
6. ביצועים ורוויה משתנים
בתקופות של ביקוש גבוה, במיוחד בחשבונות חינמיים, איכות ומהירות התגובות עשויות להיפגע . המודל עשוי לספק תשובות פחות מפורטות, לחתוך תשובות בטרם עת, או להציע פתרונות שטחיים יותר.
שונות זו פירושה שלא תמיד מדובר בתחליף אמין למשימות קריטיות עם דד-ליינים צפופים . הסתמכות מלאה על השירות בשעות העומס ללא תוכנית גיבוי עלולה להפוך לסיכון תפעולי עבור עסקים ואנשי מקצוע.
7. הגבלות, מסננים והטיות
מסיבות אבטחה, ChatGPT כולל פילטרים למניעת תוכן מזיק, לא חוקי או רגיש ביותר . הבעיה היא שמערכות ניהול אלו אינן מושלמות ולפעמים חוסמות בקשות לגיטימיות או מגיבות בצורה מעורפלת מתוך זהירות יתר.
אף על פי כן, מספר חוקרים הראו שמודלים עדיין יכולים לייצר תגובות עם הטיות גזעניות, סקסיסטיות או אידיאולוגיות , המשקפות את הדעות הקדומות הקיימות בנתוני האימון. תועדו מקרים של בוטים שאומנו בטכניקות דומות שבסופו של דבר יצרו תוכן מפלה. הערכה אתית של צ'אטבוטים מסייעת להבין ולמתן הטיות אלו.
טעויות יסודיות: מדוע ChatGPT עושה כל כך הרבה טעויות
בניתוח חסרונות אלה, פילוסופים של התודעה ומומחי בינה מלאכותית מצביעים על מגבלות מבניות: ChatGPT לא חושב, לא מבין או מודע כלל למה שהוא אומר . האינטליגנציה לכאורה שלו נובעת מקורלציות סטטיסטיות בקנה מידה גדול, לא מהיגיון אמיתי.
פרופסור נד בלוק, לדוגמה, הצביע על ניסויים עם מודלים של תמונות גנרטיביות שבהם משתמשים מתבקשים לצייר שעון המציג זמנים כמו 12:03 או 6:28, וכמעט תמיד שעון מופיע בשעה 10:10 . שעה זו שולטת בתמונות פרסום מקוון משום שהיא אסתטית ואינה מסתירה את הלוגו.
התנהגות זו ממחישה כיצד מודלים נוטים לשכפל את הדפוסים הנפוצים ביותר בנתוני האימון שלהם, גם אם הם סותרים את ההוראה הספציפית . הם לא "מבינים" את מושג הזמן; הם פשוט חוזרים על התצורה הנפוצה ביותר מבחינה סטטיסטית.
משהו דומה קורה כשמבקשים ממך תמונה של אדם הכותב ביד שמאל . מודלים רבים בסופו של דבר מייצרים באופן שיטתי אנשים ימניים, מכיוון שרוב הדוגמאות בנתונים הן גם ימניות. קבלת תמונה טובה של אדם שמאלי דורשת שימוש מתמשך בהנחיות ספציפיות מאוד, וגם אז זה לא תמיד עובד.
פגמים מבניים מסוג זה גורמים לכך שאפילו מפתחים אינם יכולים לתקן לחלוטין הטיות מושרשת עמוק . אימון חיזוק עם משוב אנושי עוזר, אך חיזוק ידני של כל תרחיש אפשרי (כל שעת שעון, כל תנוחת כתיבה וכו') אינו מעשי.
ברמה הטקסטואלית, הבעיה מתורגמת להסברים בטוחים יתר על המידה בדברים שהמודל לא באמת "יודע ". הם עשויים לפרט שלב אחר שלב שיטה לכאורה שמעולם לא השתמשו בה בפועל, או לבדות הפניות וקישורים אקדמיים בנימה משכנעת לחלוטין.
כיצד אימן ChatGPT ומדוע זה משפיע על טעויותיו
מודלים כמו GPT-3 ו-GPT-4 מבוססים על ארכיטקטורת Transformer, ואומנו עם כמויות אדירות של טקסט מהאינטרנט : דפי אינטרנט, ספרים, מאמרים מדעיים, חדשות ומשאבים ציבוריים אחרים כמו ויקיפדיה או Common Crawl.
לתהליך שני שלבים עיקריים. ראשית, אימון מקדים מסיבי שבו המודל לומד לחזות את המילה הבאה במיליוני משפטים . בשלב זה, הוא לא מלמד "דקדוק" מפורש, אלא מסיק דפוסים על ידי מילוי פערים בטקסט - מעין תרגיל השלמת מילים ענק.
לאחר מכן, מתבצע כוונון עדין עבור משימות ספציפיות, כגון תרגום, סיכום, מענה על שאלות או דיאלוג שיחתי . זה כרוך בשימוש בנקודות נתונים קטנות וספציפיות יותר, המסומנות כדי ללמד את המודל איזה סוג תגובה נחשב מתאים בכל הקשר.
במקרה של ChatGPT, נעשה שימוש גם בלמידת חיזוק משוב אנושית (HFRL) . מאמנים אנושיים העריכו מספר תגובות אפשריות של המודל לאותו קלט ודירגו אותן מהטובות ביותר לגרוע ביותר. בעזרת מידע זה, המערכת למדה להעדיף את התפוקות בעלות הדירוג הגבוה ביותר.
גישה זו משפרת את האיכות הנתפסת של התגובות, אך אינה מבטלת את הבעיה הבסיסית: למודל עדיין חסרה הבנה סמנטית וגישה ישירה למציאות . היא רק משפרת את ההסתברויות שלה כדי להישמע מועילה, מנומסת ובטוחה יותר, מה שלפעמים הופך את ההזיות למסוכנות עוד יותר.
יתר על כן, למרות שניקוי נתונים, רגולריזציה והערכה אנושית מיושמים כדי להפחית הטיות וסטריאוטיפים הקיימים בטקסטים של הדרכה , בלתי אפשרי לסנן אותם לחלוטין. לכן, חברות ממליצות על ניטור מתמשך של הפלט, במיוחד ביישומים רגישים.
השפעת ChatGPT על הלימודים ועולם העבודה
מאז השקתו, ChatGPT הציתה מחדש את הוויכוח על האופן שבו בינה מלאכותית גנרטורה תשפיע על מקומות עבודה אנושיים ועל מערכת החינוך . חברות טכנולוגיה גדולות מציגות אותה כ"טייס משנה" או עוזר, אך מחקרים רבים מצביעים על טרנספורמציות עמוקות במקצועות רבים.
מחקרים מאוניברסיטאות כמו אוניברסיטת ניו יורק ואוניברסיטת פנסילבניה, יחד עם ניתוחים של OpenAI וגופים אחרים, מראים שמשימות מבוססות שפה (כתיבה, תרגום, ניתוח טקסט, תיעוד, חשבונאות בסיסית) פגיעות במיוחד לאוטומציה חלקית.
בשוק העבודה, זוהו אנשי שיווק טלפוני, פרופסורים לשפות וספרות, מורים להיסטוריה ומשפטים, מתרגמים, צוות אדמיניסטרטיבי ותפקידי כתיבה מסוימים כפגיעים במיוחד . אין זה אומר שכולם ייעלמו, אך זה כן אומר שרבים מתפקידיהם יוכלו להיות נתמכים במידה רבה על ידי בינה מלאכותית.
מחקרים אחרים מצאו השפעות חיוביות ברורות. בניסויים עם מפתחי תוכנה, לדוגמה, אלו שהשתמשו בעוזרי קידוד מבוססי מודלים השלימו משימות מהר יותר עד 55% מאלה שעבדו ללא סיוע. הפרודוקטיביות במשימות שגרתיות עולה, מה שמאפשר להקדיש יותר זמן לבעיות מורכבות.
בחינוך, הוויכוח סוער במיוחד. מחקרים מראים כי קשה יותר ויותר להבחין האם חיבור קצר נכתב על ידי תלמיד או על ידי ChatGPT , אפילו עבור מורים מנוסים וכותבים מקצועיים. בכמה ניסויים, מורים ומומחים לא הצליחו לזהות את המחבר האמיתי.
בתגובה, מחנכים רבים מתחילים להציע יותר הערכות בעל פה, עבודה בכיתה ופעילויות המדגימות את תהליך החשיבה של התלמיד , ולא רק את התוצר הסופי. אחרים מציעים להשתמש ב-ChatGPT ככלי הוראה: נקודת התחלה שהתלמיד חייב לבקר, לתקן, להשוות למקורות מהעולם האמיתי ולשפר.
שיטות עבודה מומלצות לשימוש ב-ChatGPT מבלי ליפול למלכודותיו
למרות כל הבעיות הללו, ChatGPT שימושי ביותר אם ניתן לו את התפקיד הנכון. המפתח הוא שילוב של עיצוב הודעות טקסט טוב עם פיקוח אנושי קפדני על התפוקה שלו , במיוחד כאשר ישנן השלכות אקדמיות, משפטיות או מקצועיות.
המלצה בסיסית ראשונה היא תמיד לאמת נתונים, איורים, מקורות ושמות פרטיים לפני השימוש בהם. לא מספיק שמשהו "יישמע טוב": יש לבדוק עם מקורות אמינים (מאמרים מדעיים, חקיקה רשמית, ספרי עיון, מאגרי מידע ייעודיים וכו').
כמו כן, מומלץ לא לבסס החלטות קריטיות על תגובה אחת מהמודל . כאשר העניין חשוב, מומלץ לבקש חוות דעת מרובות (מכלים אחרים, מומחים אנושיים או תיעוד) ולהשתמש בצ'אט רק ככלי תמיכה או ליצירת טיוטות.
לעיצוב ההוראות יש השפעה עצומה: הנחיות ברורות, ספציפיות ומובנות היטב מפחיתות עמימות ונוטות להפיק פלטים שימושיים יותר . בקשה מהמשתמש להסביר את נימוקיו שלב אחר שלב, הכללת דוגמאות נגדיות או הצבעה על מגבלות פוטנציאליות יכולה לסייע בזיהוי שגיאות.
לבסוף, שימוש ב-ChatGPT כמחולל תבניות, קווי מתאר, טיוטות ורשימות רעיונות שעליהם האדם יכול לעבוד לאחר מכן הוא יעיל מאוד , במקום פשוט לקבל את הטקסט הסופי. זה חוסך זמן בחלק המכני יותר, אך התוכן הסופי עדיין עובר זיקוק ואישור על ידי אדם.
הניסיון מהשנים האחרונות מראה שבינה מלאכותית גנרטיבית פועלת בצורה הטובה ביותר כאשר מתייחסים אליה כעוזרת רבת עוצמה אך עלולה לטעות . עם עין ביקורתית, שיקול דעת מושכל בבחירת משימות ומערכת ביקורת קפדנית, היא הופכת לבעלת ברית חשובה ולא לאיום שקט.
