- הזיות ב-ChatGPT נובעות משום שהמודל מנבא מילים, אינו מבין את המציאות ונוטה למלא פערים כאשר המידע מועט או דו משמעי.
- שימוש נכון בהנחיות, עם הקשר ברור, מגבלות מפורשות, בקשות למקורות והכרה בחוסר ודאות, מפחית בבירור את הסבירות לתשובות מפוברקות.
- אימות תמידי של נתונים מרכזיים עם מקורות חיצוניים ושימוש במודלים, שיטות הנמקה ותצורות מתאימים הוא חיוני כאשר דיוק הוא קריטי.
- למרות שהתעשייה עובדת על טכניקות הדרכה חדשות, האחריות הסופית לאיתור שגיאות ולבדיקת המידע שנוצר מוטלת על המשתמש.
הזיות ב-ChatGPT הפכו לאחד הנושאים המדוברים ביותר בכל פעם שמוזכרת בינה מלאכותית גנרטיבית, והן מופיעות בשגיאות אופייניות רבות ב-ChatGPT . אלו הן תשובות שנשמעות משכנעות מאוד, כתובות בנימה בטוחה, אך למעשה מכילות נתונים כוזבים, ציטוטים מפוברקים או מסקנות לא מבוססות. עבור מישהו שמשתמש בזה מתוך סקרנות, זו אולי לא בעיה, אבל עבור מישהו שמסתמך על בינה מלאכותית בעבודתו היומיומית, זה יכול להיות כאב ראש אמיתי.
אמנם כיום בלתי אפשרי לבטל לחלוטין הזיות ממודל שפה, אך ניתן להפחית אותן באופן משמעותי על ידי שילוב של שלושה דברים: הנחיות טובות יותר, שיטות אימות טובות והתאמות מסוימות באופן שבו אנו משתמשים בכל מודל. מאמר זה יסביר בפירוט מהן הזיות אלו, מדוע הן מתרחשות, מה התעשייה (ובפרט OpenAI) עושה כדי לצמצם אותן, וחשוב מכל, כיצד ניתן לשנות את השימוש ב-ChatGPT כך שיעשה הרבה פחות טעויות.
מהן הזיות ב-ChatGPT ומדוע הן מתרחשות?
בהקשר של בינה מלאכותית, הזיה מתרחשת כאשר מודל כמו ChatGPT מייצר מידע שגוי, מפוברק או לא מבוסס , אך מציג אותו בצורה כה טבעית עד שהוא נראה אמיתי. זה לא מוגבל לשגיאה בודדת במספר; לפעמים הוא בונה פסקאות שלמות, ציטוטים ישירים, שמות של מחקרים או טיעונים שאינם קיימים בשום מקור אמין.
זה קורה מכיוון ש-ChatGPT, כמו מודלים גדולים אחרים של שפות, לא מבין את העולם כמוך . הוא לא מסיק או בודק עובדות מול מסד נתונים בזמן אמת; במקום זאת, הוא מחשב איזו מילה היא בעלת הסיכוי הגבוה ביותר לבוא אחרי המילה הקודמת, בהתבסס על דפוסים שלמד במהלך האימון שלו. בעיקרון, זהו כלי השלמת טקסט מתוחכם ביותר.
כאשר השאלה שאתם שואלים מתיישבת היטב עם מה שהמודל צפה במהלך האימון, הוא בדרך כלל צודק. הבעיה מתעוררת כאשר אתם מבקשים מידע ספציפי מאוד, נדיר או מיוצג בצורה גרועה בנתוני האימון שלו. במצבים אלה, המודל "נאלץ" למלא את החסר במה שהוא מחשיב כתשובה הסבירה ביותר, גם אם אין מציאות תומכת.
דוגמה אופיינית היא בקשת ציטוט ישיר ממחבר ספציפי . אם נתוני האימון אינם מכילים את הציטוט המדויק, המשתמש עשוי להמציא ביטוי ש"נשמע" כמו של אותו מחבר, לייחס אותו לו באופן טבעי למדי, ולפעמים להכיר בטעות רק כאשר המשתמש מתעקש. אותו הדבר חל על תאריכים, איורים, שמות פרטיים או הפניות למאמרים אקדמיים - תחומים הרגישים במיוחד להזיות.
ישנו גם גורם חשוב נוסף: מודלים רבים מאומנים תמיד לייצר תגובה . הכרה גלויה ב"אני לא יודע" לא הייתה היסטורית בראש סדר העדיפויות באימון שלהם; לכן, הם נוטים למלא מידע גם כאשר הנתונים שהם מטפלים בהם אינם מספיקים או דו משמעיים.
כיצד ChatGPT פועל באופן פנימי (ומה המשמעות שלו לגבי הזיות)
כדי להבין טוב יותר מדוע ChatGPT כה בלתי צפוי, כדאי לזכור שמדובר במודל שפה שאומן על כמויות עצומות של טקסט. במהלך האימון, הוא לומד דפוסים: אילו מילים נוטות להשתלב יחד, אילו מבני משפט אופייניים במאמר מדעי, כיצד כותבים סיפור חדשותי, כיצד מתווכחים על חיבור וכן הלאה.
כשאתם שואלים אותו שאלה, ChatGPT לא מחפש באינטרנט (למעט בגרסאות עם גלישה באינטרנט מופעלת), אלא חוזה, מילה אחר מילה, את התגובה הבאה הסבירה ביותר בהתבסס על ההקשר שסיפקתם. זו הסיבה, שכאשר אתם רואים אותו מקליד לאט על המסך, הוא למעשה משלים טקסט בזמן אמת, בלי "לחשוב" כמו אדם אחר.
זה מסביר מדוע המודל כל כך טוב בחיקוי סגנונות, סיכום טקסטים או יצירת תגובות קוהרנטיות מתיעוד שאתם מספקים, אבל גם מדוע הוא יכול להיכשל בצורה דרמטית כשאתם מבקשים נתונים הדורשים דיוק מדויק. אם הוא לא בטוח לגבי המידע, המודל נוטה למלא את הפערים כדי להימנע משיבוש זרימת השיח.
יתר על כן, לאופן שבו מאמנים את הבינה המלאכותית יש השפעה משמעותית. באופן מסורתי, העדיפות הייתה על המודל שמייצר תשובות שימושיות ומשכנעות עבור המשתמש , דבר שלעיתים מתנגש עם דיוק עובדתי קפדני. מציאת איזון זה היא אחד האתגרים העיקריים הנוכחיים של התעשייה.
בינה מלאכותית פתוחה ואסטרטגיות תעשייתיות להפחתת הזיות
בשנים האחרונות, עלו ביקורות רבות בנוגע להזיות של בינה מלאכותית גנרטיבית, החל מטעויות בהדגמות פומביות (כגון המקרה המפורסם של טענה שקרית לגבי טלסקופ החלל ג'יימס ווב) ועד להתייחסויות פיקטיביות המשמשות בהקשרים משפטיים או תקשורתיים. כשלים מסוג זה גרמו לחברות כמו OpenAI לחשוב מחדש על האופן שבו הן מאמנות ומעריכות את המודלים שלהן.
אחד מקווי המחקר ש-OpenAI עובדת עליהם ידוע בשם "ניטור תהליכים ". במקום להתמקד אך ורק בשאלה האם התשובה הסופית נכונה ("ניטור תוצאות"), היא מנסה להעריך ולתגמל את המודל על שלבי ההיגיון השונים שהוא מבצע כדי להגיע לתשובה זו.
הרעיון הוא שאם בינה מלאכותית מתוגמלת על חשיבה שקופה וקוהרנטית , ולא רק על הגעה לתשובה סופית מסודרת, הסבירות שהיא תגיע למסקנות שגויות אך לכאורה מבוססות מצטמצמת. זה גם מאפשר למודל להסביר טוב יותר את הצעדים שנקט, ולקרב אותו ל"שרשרת חשיבה" אנושית.
עם זאת, קיימת ספקנות ניכרת בקהילה לגבי המידה שבה גישה זו יכולה באמת לחסל הזיות. מומחי פרטיות ואתיקה קוראים לפרטים נוספים על הנתונים והדוגמאות המשמשים בתהליכי הכשרה אלה, כמו גם מחקר עצמאי שעבר ביקורת עמיתים כדי לאמת את התוצאות.
נכון לעכשיו, OpenAI לא קבעה תאריך סופי לפריסה נרחבת של טכניקות אלו בכל מוצריה, אך הבהירה כי צמצום אי דיוקים הוא בראש סדר העדיפויות. בינתיים, האחריות המעשית לשימוש נכון מוטלת במידה רבה על המשתמש.
שינוי התנהגות: כאשר נראה ש-ChatGPT מזיז יותר
משתמשים קבועים רבים שמו לב שעם הזמן, נראה ש-ChatGPT נוטה יותר לבלבול, או לבלבול בצורה שונה , במיוחד כאשר עובדים עם מסמכים ארוכים, ציטוטים אקדמיים או מטלות מחקר. דוגמה אופיינית לכך היא חוקרים שמעלים תריסר קבצי PDF ומבקשים סיכומים, זיהוי נושאים מרכזיים וציטוטים ישירים כדי לתמוך במסקנותיהם.
תלונה חוזרת ונשנית היא שכאשר מבקשים ממנו ציטוטים ישירים עם מקורות , המודל מתחיל להמציא אותם. אפילו כשהוא מתוקן ומקבל הכרה, הוא מייצר ציטוטים שקריים נוספים, ובחלק מהצ'אטים, נראה שהוא נכנס למעין "לולאת הזיות" שממנה קשה לשחרר אותו מבלי להתחיל שיחה חדשה.
בעיה נוספת המוזכרת לעתים קרובות היא ההשפעה של זיכרון משופר והקשרים צולבים . כאשר העוזר זוכר העדפות או נושאים שנדונו בשיחות אחרות, הוא עלול להתחיל לערבב תחומים בצורה לא נכונה: לדוגמה, הצגת מושגי מחשוב קוונטי בעת מענה על שאלות על מדעי החברה, פשוט משום שהמשתמש הזכיר מכניקת קוונטים בצ'אט אחר.
יש אנשים שבחרו לנסות כלים חלופיים המתמחים בניתוח מסמכים, כגון מערכות המתמקדות ב-PDF כמו NotebookLM , לאחר ששמו לב ש-ChatGPT מייצר ציטוטים שנשמעו סבירים מאוד אך לא היו קיימים. במקרים אלה, המודל נותר כלי שימושי ליצירתיות, סיעור מוחות או ניסוח ראשוני, אך משמש בזהירות רבה יותר עבור משימות הדורשות דיוק אקדמי.
בתוך המערכת האקולוגית של OpenAI, נצפו גם הבדלים בין מודלים. גרסאות המכוונות לחשיבה מדויקת יותר, כמו משפחת o3 , נוטות להיות איטיות יותר אך מייצרות פחות אשליות בניתוח מסמכים מפורט. גרסאות אחרות, כמו GPT-4o או מודלים קלים יותר, טובות מאוד ליצירתיות ומהירות, אך יש להשתמש בהן בזהירות כאשר נדרשים נתונים מאומתים במלואם.
כיצד למזער הזיות ב-ChatGPT בעזרת הנחיות טובות
למרות שעיצוב המודל מציב גבול, לאופן שבו אתם שואלים שאלות יש השפעה עצומה; התאמה אישית של ChatGPT ועידון ההנחיות יכולים להפחית מאוד את הסבירות ש-ChatGPT ימציא דברים , או לפחות להבטיח שהוא יתריע בפניכם כאשר אין לו מספיק מידע.
אחד המפתחות הוא לספק הקשר ברור וספציפי . ככל שההוראה מעורפלת יותר, כך יש למודל יותר מקום למלא בהנחות. במקום לשאול "מהי ההיסטוריה של מקסיקו?", עדיף הרבה יותר לפרט: "הסבר שלוש סיבות עיקריות לתחילת העצמאות המקסיקנית, תוך תמיכה בתשובתך במקורות היסטוריים מוכרים."
כמו כן, כדאי מאוד להגביל את היקף המידע . אם אתם נותנים להם מסמך או סט טקסטים, אמרו להם שתגובתם חייבת להתבסס אך ורק על חומר זה: "ענו רק באמצעות המידע הכלול במאמרים אלה. אם משהו חסר בהם, אמרו שאין לכם מספיק נתונים." זה מפחית את הפיתוי של המודל להסתמך על ידע מעורפל מההכשרה הכללית שלו.
אסטרטגיה יעילה נוספת היא לבקש מקורות או להודות בחוסר ודאות . ביטויים כמו "אם אינך בטוח, אמור במפורש שאתה לא יודע" או "אל תמציא מידע; אם חסרים נתונים, ציין אותם" מנחים את המודל לתעדף כנות על פני שטף. אמנם זה לא חסין תקלות, אך בדרך כלל מפחית את שיעור ההמצאות הבוטות.
אם יש לך גישה ל-API, תוכל להתאים את טמפרטורת המודל . ערכים נמוכים (קרוב ל-0) הופכים את הפלט לשמרני יותר וניתן לחזרה, מה שמפחית את רמת היצירתיות ולכן את הסיכון להזיות. לא ניתן לשנות פרמטר זה ישירות בממשק האינטרנט, אך ניתן לבקש משהו דומה עם הוראות כמו: "ענה באופן אובייקטיבי, ללא ספקולציות או דעות".
שיטות עבודה מומלצות לגילוי ואימות הזיות אפשריות
בנוסף לשיפור ההנחיות, חיוני לאמץ שגרת אימות שיטתית . אותן טכניקות בהן אנו משתמשים כדי לזהות מתיחות באינטרנט יכולות לשמש לזיהוי תגובות בינה מלאכותית מפוקפקות.
ההמלצה הראשונה היא כמעט הגיון בריא, אך ראוי לחזור עליה: תמיד יש לאמת מידע מרכזי עם מקורות חיצוניים אמינים. אם ChatGPT מספק לכם נתונים מספריים, תאריכים, שמות מחברים או הפניות למחקרים, בדקו אותם באתרים רשמיים, מאגרי מידע אקדמיים, ספרים או מאמרי עיון; לדוגמה, עיינו ברשימות של משימות שבהן ChatGPT לא מצליח למצוא דוגמאות רלוונטיות.
כמו כן, כדאי מאוד לבקש מהמודל להראות את נימוקיו שלב אחר שלב . הוראות כמו "הסבר לי כיצד הגעת למסקנה הזו, שלב אחר שלב" מאפשרות לך לזהות פערים לוגיים או קפיצות לא מוצדקות. אם אתה רואה שה"נתיב" לא הגיוני, התשובה כנראה מבוססת על הזיה.
פירוק שאלות גדולות לתת -שאלות ספציפיות מסייע במניעת הצורך לכסות יותר מדי הקשר בבת אחת. במקום להציג שאלת מאקרו על תחום שלם, שאלו תחילה על התיאוריות העיקריות, לאחר מכן על המחברים המרכזיים, אחר כך על הראיות האמפיריות וכן הלאה. בדרך זו, תוכלו לאמת כל בלוק באופן עצמאי.
בגרסאות ChatGPT עם חיפוש באינטרנט , כמו חלק מהתוכניות בתשלום עם גלישה מופעלת, כדאי להפעיל תכונה זו כשאתם זקוקים למידע עדכני. אמנם זה לא מבטל הזיות, אבל זה מפחית את הסיכון מכיוון שהמודל מסתמך על מסמכים אמיתיים ולא רק על זיכרון סטטיסטי.
טריק מעניין הוא לחזור על אותה הנחיה עם שינויים קלים . אם המודל נותן תשובות סותרות לשאלות זהות כמעט לחלוטין, זוהי אינדיקציה טובה לכך שהוא עשוי להמציא או להסיק מסקנות בצורה לא אמינה. במקרים כאלה, מומלץ לבצע אימות חיצוני יסודי.
לבסוף, אם אתם משתמשים ב-API או בתצורות מתקדמות, הגדירו הוראות מערכת קבועות כגון: "אם אינכם בטוחים לגבי פיסת מידע מסוימת, ענה 'אין לי מספיק מידע' ואל תנסה לנחש." זה לא מבטל לחלוטין את הבעיה, אבל זה כן קובע סטנדרט מחמיר יותר של יושר.
תצורות ומצבי שימוש המפחיתים שגיאות
מעבר להנחיות, ישנן הגדרות מסוימות בתוך ChatGPT שיכולות לעזור לך למזער תגובות מומצאות , במיוחד אם אתה משתמש בו מדי יום בנושאים רגישים כמו מחקר, מדע או משפטים.
אם יש לכם גישה למודלים מתקדמים עם חיפוש אינטרנט משולב , הפעלתם בעת עבודה עם נתונים המשתנים במהירות (אירועים אקטואליים, תקנות, ספרות עדכנית) היא רעיון טוב. על ידי הסתמכות על מידע בזמן אמת, לבינה מלאכותית יש יותר אפשרויות להשוואה ופחות צורך למלא פערים באמצעות אינטואיציה סטטיסטית.
מצבי חשיבה מתקדמים , כגון מודלים המתמקדים בדיוק אנליטי (לדוגמה, משפחת o3), נועדו לתת עדיפות לקפדנות על פני מהירות. ייתכן שייקח להם זמן רב יותר לייצר תשובה, אך הם נוטים לעשות פחות שגיאות חמורות בבעיות לוגיות, מתמטיות או ניתוח מסמכים מפורט.
תכונה מרכזית נוספת היא ההוראות המותאמות אישית של ChatGPT . בהגדרות, ניתן לציין את סוג התגובות המועדפות עליכם: טכניות יותר, חינוכיות יותר, זהירות יותר וכו'. לדוגמה, ניתן להורות לו לתעדף דיוק על פני יצירתיות, לצטט תמיד מקורות כאשר זה לא ודאי לחלוטין, או להזהיר אתכם אם זה ספקולציות.
כשמשתמשים ב-ChatGPT למחקר, חשוב לספק הקשר עשיר, מלא בהפניות ברורות , במיוחד אם מבקשים ניתוח של מאמרים או סיכומים אקדמיים. הכללת מקורות אמינים בשאלה עצמה והבהרה שהתגובה צריכה להתבסס על מסמכים אלה יפחיתו את הסבירות שהמודל יסתמך על מידע מעורפל.
אל תשכחו שלמודלים שונים יש פרופילי סיכון שונים . מודל קל משקל עשוי להיות מצוין ליצירת רעיונות יצירתיים ("תנו לי 20 דרכים להגיע מ-X ל-Y"), אך לא האפשרות הטובה ביותר להפקת ציטוטים מדויקים ממאמר. לעומת זאת, מודל כבד יותר עשוי להיות הבחירה הנכונה לניתוח מעמיק, גם אם הוא איטי יותר. חלק מההתאמות הללו נובעות מפרמטרי הבינה המלאכותית שמעצבים את המודלים.
שגיאות משתמש נפוצות הגורמות להזיות
רבות מההזיות שאנו רואים מדי יום נובעות לא רק מהמודל עצמו, אלא גם מהאופן שבו אנו משתמשים בו. ישנם מספר דפוסי שימוש שכמעט מזמינים את הבינה המלאכותית לעשות טעויות , וחשוב לזהות אותם.
אחת הטעויות הנפוצות ביותר היא שאילת שאלות כלליות מדי . בקשות כמו "הסבר הכל על פסיכולוגיה חברתית" או "סכם את מצב הטכנולוגיה בתחום זה" הן כה רחבות עד שהן מאלצות את המודל לדחוס כמות עצומה של מידע, מה שמגדיל את הסבירות לטעויות או פישוטים לא מדויקים.
נוהג מסוכן נוסף הוא הסתמכות עיוורת על בינה מלאכותית כדי לייצר ציטוטים מילה במילה, הפניות ביבליוגרפיות או פסיקות משפטיות מבלי לאמת אותן. דווקא בסוגים אלה של משימות מודלים של שפה נוטים במיוחד להמציא כותרות, מחברים או נתונים ש"נשמעים טוב" אך אינם קיימים.
זה גם לא עוזר לערבב יותר מדי נושאים שונים באותו שרשור . אם בשיחה עוברים מדיבור על פיזיקה קוונטית לפדגוגיה, אחר כך למשפטים, ומסיימים לדבר על תולדות האמנות, הקשר הצ'אט הופך לכאוטי ומגדיל את הסבירות שהמודל יגרור מושגים מתחום אחד למשנהו שלא לצורך.
מנקודת מבט של גישה, טעות מסוכנת היא להתייחס ל-ChatGPT כאילו היה מקור לאמת מוחלטת ולא ככלי תמיכה. בדיוק כפי שהייתם סוקרים את עבודתו של מתמחה, עליכם לסקור את התפוקה של המודל, במיוחד אם המוניטין המקצועי או האקדמי שלכם מונח על כף המאזניים.
לבסוף, כדאי לזכור שמודלים של בינה מלאכותית יכולים להשתפר או להחמיר עם הזמן ככל שהם מתעדכנים. אם אתם מבחינים שמודל מסוים מתחיל לגרום לכם לבעיות אמינות רבות יותר בסוגים מסוימים של משימות (לדוגמה, ניתוח מסמכים ארוכים), שקלו לעבור לגרסה אחרת, להתחיל צ'אט חדש ונקי, או לשלב אותו עם כלים ייעודיים אחרים.
איך לחיות עם הזיות ועדיין ליהנות מ-ChatGPT
ההזיות לא ייעלמו מחר, אבל זה לא אומר ש-ChatGPT מאבד מערכו. המפתח הוא להשתמש בכלי בחוכמה : לנצל את מה שהוא עושה היטב (כתיבה, יצירת רעיונות, בניית מידע, מתן הסברים ברורים) ולהיות הרבה יותר תובעניים כאשר נתונים קריטיים נכנסים לתמונה.
אם אתם משתמשים בו ליצירתיות, סיעור מוחות או כתיבה ראשונית, הזיות הן בדרך כלל פחות בעייתיות; הן יכולות אפילו לספק תפניות מעניינות. עם זאת, אם אתם משתמשים בו למחקר, דוחות טכניים או תוכן הדורש קפדנות , מומלץ לשלב סקירה יסודית משלכם ולא לפרסם דבר מבלי לאמת אותו.
במעשה האיזון הזה, חשוב לקבל שתי אמיתות בו זמנית: מודלים כמו ChatGPT עושים טעויות , לפעמים בולטות, אבל נכון גם שבני אדם עושים טעויות. אם בינה מלאכותית מבצעת משימה ספציפית פחות פגומה מאיתנו או עוזרת לנו להפחית משמעותית את הזמן שאנו משקיעים, היא נשארת אופציה אטרקטיבית מאוד, בתנאי שלא נעביר לה את האחריות הסופית.
בסופו של דבר, אתם אחראים על מה שאתם חותמים בשמכם, לא על המודל. להאשים את ChatGPT בטעות חמורה זה כמו לומר "הכלב אכל לכם את שיעורי הבית" : זה אולי נשמע כמו תירוץ, אבל זה לא פוטר אתכם מההשלכות. הדבר ההגיוני לעשות הוא ללמוד לזהות הזיות, לשלב מנגנוני אימות בתהליך העבודה שלכם, ולשפר בהדרגה את ההנחיות וההגדרות.
אם נשלב מודלים טובים יותר, טכניקות אימון חדשות המתמקדות בתהליך, כלי חיפוש משולבים וחוויית משתמש בוגרת יותר, הזיות יהפכו בהדרגה לפחות נפוצות. עד אז, הגישה הנבונה ביותר היא להתייחס ל-ChatGPT כפי שהוא: כלי רב עוצמה אך לא חסין מטעויות שיכול להגביר את הפרודוקטיביות שלכם כל עוד לא מקבלים את התגובות שלו כפשוטן מבלי לבדוק אותן תחילה.
