- ChatGPT 雖然看起來很“智能”，但在推理、數據和常識方面卻存在結構性錯誤。
- 這些錯誤源於統計訓練方法、數據偏差以及缺乏真正的理解。
- 許多職業和教育任務將會改變，但人工智慧主要會作為輔助工具，而不是完全取代。
- 透過 ChatGPT 進行來源驗證、提供良好的提示以及人工審核，您可以充分利用其優勢，而無需承擔過大的風險。
生成式人工智慧已成為我們日常生活的一部分，而ChatGPT 也成為了寫作、總結、程式設計和腦力激盪的首選工具。然而，儘管它看起來令人印象深刻，但遠非完美。如果您不了解它的局限性，盲目信任它的回答可能會導致意想不到的後果。
因此，越來越多的專家堅持認為，了解 ChatGPT 的缺點幾乎與了解如何使用它同等重要。這並非要妖魔化這項技術，而是要學會接受它的局限性：何時它可靠，何時應該對其回答持保留態度，以及如何在不喪失人類批判性判斷的前提下充分利用它。
為什麼了解 ChatGPT 的局限性至關重要
聊天介面背後是一個複雜的系統，它結合了大型語言模型和內部機制，根據問題的不同，優先考慮速度還是推理。這種自動「決策」並不總是符合使用者的需求：有時，即使問題需要逐步思考，快速回覆也會優先考慮。您可以深入了解人工智慧參數如何影響這種行為。
此外，此模型的行為會隨著每次更新而改變，這意味著ChatGPT 對相同查詢在不同時間可能會有不同的回應。除此之外，在長時間的對話中，它還會受到上下文的限制，開始「遺忘」部分對話內容；出於謹慎起見，安全過濾器也會屏蔽一些敏感或完全合法的話題。
這些因素綜合起來意味著，在實踐中，使用者體驗可能在幾秒鐘內從出色變成令人沮喪。一個有用的結果和一個糟糕的結果之間的區別，往往在於使用者能否識別出人工智慧何時偏離軌道以及如何修正它。
近期多項研究和調查顯示，相當一部分使用者並不完全信任 ChatGPT 的回覆。在俄勒岡天主教大學 (OCU) 的一項調查中，許多人表示，儘管他們已經嘗試過 ChatGPT，但「缺乏信任」是他們不每天使用它的主要原因。
因此，人工智慧和教育專家建議將 ChatGPT 作為輔助資訊來源，而絕不能將其視為真理的最終仲裁者。如今，使用其他來源驗證數據、至少對相關主題有基本的了解，以及接受資訊可能被捏造（即臭名昭著的「幻覺」）這一事實至關重要。
ChatGPT 的常見錯誤和技術限制
技術文獻表明，這些系統往往會產生看似合理但卻是錯誤的答案，尤其是在問題含糊不清、過於具體或與訓練資料有偏差的情況下。問題在於，這些答案的措詞極具說服力，如果使用者不熟悉相關主題，就很難發現其中的錯誤。諸如用於檢測人工智慧生成內容的擴充功能之類的工具可以幫助識別部分此類錯誤答案。
像 Josep Curto 教授這樣的專家強調，一些最常見的缺陷影響深遠，會危及系統的整體可靠性。這些缺陷包括對可驗證事實的錯誤描述、不完整的回應、對模型「推理過程」的捏造解釋，以及在英語以外的語言中表現不佳。
此外，儘管已有所改進，但倫理和安全限制並非總是恰當的。有時，它們會阻止合法請求，卻允許有問題的請求通過；或者，它們產生的回應會帶有從訓練資料中繼承的偏見，這些偏見可能與文化、政治或性別相關。
儘管如此，深度學習和自然語言處理領域的持續研究已經催生了諸如 GPT-4 等最新版本，它們在數學、程式設計、法律、醫學和心理學等複雜任務中取得了接近人類的表現。但高性能並不意味著完美無缺，盲點依然存在。
ChatGPT 在以下 7 項任務中失敗（或不可靠）
雖然 ChatGPT 在許多情況下都非常有用，但在某些類型的任務中，收到錯誤、帶有偏見或誤導性答案的可能性會顯著增加。建議熟悉這些情況，以便格外謹慎。
1. 邏輯推理與複雜數學
當問題需要複雜的計算、邏輯論證或正式的數學證明時，ChatGPT 往往會出錯。它可能會犯下簡單的運算錯誤，跳過關鍵步驟，或把錯誤的結果當作正確結果。
這一點在包含許多中間步驟的練習中尤其明顯，例如組合數學、機率論、高等代數或幾何學。即使文本論證看似充分，但其中一步的微小錯誤就可能導致整個結論失效，而模型本身卻無法真正「檢驗」自身的推理過程。
2. 常識、直覺與人文背景
人工智慧會以字面意思理解所接收到的訊息，因此很難理解反諷、雙關語、挖苦或非常具體的文化典故。這導致它的回答在人類看來明顯「不合時宜」。
當任務需要真正的同理心、深刻的情感理解或對現實世界的實踐知識時，該模型僅僅模仿語言模式，而沒有任何個人經驗。它聽起來或許很感同身受，但卻無法像真人一樣感受或感知情境。為了改善語氣並自訂回复，建議自訂 ChatGPT，並調整樣式和角色。
3. 長期記憶與項目連續性
儘管 ChatGPT 似乎能夠「記住」對話內容，但它的上下文資訊有限，可能會在毫無預警的情況下丟失部分歷史記錄。冗長的對話或拖延的項目尤其容易出現記憶缺失的情況。
這會直接影響諸如撰寫書籍、長篇報告或多階段程式設計專案等任務。如果內容沒有被保存並進行外部管理，則存在失去一致性、重複已做出的決定或在模型不知情的情況下自相矛盾的風險。
4. 所謂的節省時間最終反而讓你付出更多代價
許多人選擇 ChatGPT 是為了追求速度，但如果回復中包含細微錯誤或缺少關鍵訊息，那麼審核和修改它們所花費的時間可能比從頭開始創建回應還要長。在對品質要求較高的專業任務中，這一點尤其明顯。
在技術報告、法律文件、學術內容或生產程式碼等領域，如果沒有嚴格的審查流程，那麼在驗證上花費的額外時間可能會完全抵消使用人工智慧的所謂好處。
5. 數據過時且缺乏即時連接
像 GPT-3 或 GPT-4 這樣的模型是使用特定時間段的資料進行訓練的，因此它們無法直接存取網路來獲取即時資訊。根據版本不同，它們的知識可能僅限於特定年份。
這意味著，對於時事、近期立法變更、科學突破或突發新聞，答案可能已經過時甚至錯誤。如果使用者不查閱更新的資訊來源，就會忽略這些錯誤。
6. 可變性能和飽和度
在高峰期，尤其是在免費帳戶使用期間，回應的品質和速度可能會受到影響。系統可能會提供不夠詳細的答案、過早終止回應，或提供較為膚淺的解決方案。
這種不穩定性意味著它並非總是能夠可靠地取代那些時間緊迫的關鍵任務。在高峰時段完全依賴該服務而沒有備用方案，可能會給企業和專業人士帶來營運風險。
7. 限制、篩選與偏見
出於安全考慮，ChatGPT 內建了過濾器，以防止有害、非法或極其敏感的內容。但問題在於，這些審核系統並非完美無缺，有時會誤封合法請求，或出於過度謹慎而做出含糊不清的回應。
即便如此，一些研究人員已經證明，模型仍然可能產生種族主義、性別歧視或意識形態偏見的回复，反映出訓練數據中存在的偏見。已有案例記錄了使用類似技術訓練的機器人最終產生歧視性內容的情況。對聊天機器人進行倫理評估有助於理解和減輕這些偏見。
根本性錯誤：為什麼 ChatGPT 會犯這麼多錯誤
在分析這些缺陷時，心靈哲學家和人工智慧專家指出其結構性限制：ChatGPT 不會思考、理解，也不了解自己所說的話。它表面上的智能源自於大規模的統計相關性，而非真正的推理。
例如，內德·布洛克教授指出，在生成圖像模型的實驗中，使用者被要求繪製一個顯示諸如 12:03 或 6:28 之類的時間的時鐘，而幾乎總是會出現 10:10 這個時間。這個時間在網路廣告圖片中佔據主導地位，因為它美觀且不會遮擋標誌。
這種行為表明，模型傾向於複製訓練資料中最常見的模式，即使這些模式與特定的指令相矛盾。它們並不「理解」時間的概念；它們只是重複統計上最常見的配置。
當被要求產生一張左手寫字的人的圖片時，也會發生類似的情況。許多模型最終都會產生右撇子，因為資料集中的大多數樣本也都是右撇子。要獲得一個代表性的左撇子影像，需要持續使用非常具體的提示，即便如此，也並非總是能成功。
這類結構性缺陷意味著，即使是開發人員也無法完全修正一些根深蒂固的偏見。強化訓練結合人工回饋會有所幫助，但手動強化每一種可能的情況（每個時間點、每個書寫姿勢等等）是不切實際的。
從文本層面來看，問題在於對模型實際上並不「知道」的事情做出過於自信的解釋。他們可能會一步一步地詳細描述一種他們從未實際使用過的所謂方法，或者捏造出一些看起來完全令人信服的學術參考文獻和連結。
ChatGPT是如何訓練的，以及為何會影響他的錯誤
GPT-3 和 GPT-4 等模型基於 Transformer 架構，並使用大量來自互聯網的文本進行訓練：網頁、書籍、科學文章、新聞和其他公共資源，如維基百科或 Common Crawl。
這個過程分為兩個主要階段。首先是大規模預訓練，模型需要學習預測數百萬個句子中的下一個單字。在這個階段，模型不會被教導明確的“語法”，而是透過填補文本中的空白來推斷模式——這類似於一種大型的單字補全練習。
然後，針對特定任務進行微調，例如翻譯、摘要、回答問題或對話。這需要使用更小、更具體的數據點，並對其進行標記，以便教會模型在每種情況下哪種類型的回應才是合適的。
在 ChatGPT 的案例中，也採用了人工回饋強化學習 (HFRL)。訓練員評估模型對同一輸入的幾種可能反應，並按優劣排序。利用這些訊息，系統學會了優先選擇評分最高的輸出。
這種方法提高了人們對回覆品質的感知，但並沒有消除根本問題：該模型仍然缺乏語義理解和對現實的直接感知。它只是優化了機率，使其聽起來更有幫助、更有禮貌、更有自信，而這有時反而會使幻覺更加危險。
此外，儘管採用了資料清洗、正則化和人工評估等技術來減少訓練文本中存在的偏見和刻板印象，但仍無法完全消除它們。因此，企業建議持續監控輸出結果，尤其是在敏感應用中。
ChatGPT對學習和工作世界的影響
自推出以來，ChatGPT 再次引發了關於生成式人工智慧將如何影響人類工作和教育體系的討論。大型科技公司將其定位為「副駕駛」或助手，但許多研究表明，它將對眾多行業帶來深刻變革。
紐約大學和賓州大學等高校的研究，以及 OpenAI 和其他機構的分析表明，基於語言的任務（寫作、翻譯、文本分析、文件編制、基本會計）特別容易受到部分自動化的影響。
在就業市場中，電話推銷員、大學語言文學教授、歷史和法律教師、翻譯、行政人員以及某些寫作職位被認為特別容易受到衝擊。這並不意味著他們都會消失，但確實意味著他們的許多工作職能可以得到人工智慧的強大支持。
其他研究也發現了明顯的正面效果。例如，在對軟體開發人員的測試中，使用基於模型的編碼助手的開發人員完成任務的速度比不使用助手的開發人員快 55%。日常任務的效率提高，使開發人員能夠將更多時間投入複雜問題的解決中。
在教育領域，這場爭論尤其激烈。研究表明，即使是經驗豐富的教師和專業作家，也越來越難以區分一篇短文究竟是學生所寫還是由 ChatGPT 程式產生的。在一些實驗中，教師和專家甚至未能辨識出真正的作者。
對此，許多教育工作者開始提倡採用更多口頭評估、課堂作業和活動，以展現學生的思考過程，而不僅僅是最終成果。另一些人則建議將 ChatGPT 作為教學工具：一個起點，學生必須對其進行批判性思考、修正、與現實世界資源進行比較並加以改進。
如何正確使用 ChatGPT 而不落入其陷阱
儘管存在上述種種問題，但如果運用得當，ChatGPT 仍然非常有用。關鍵在於將精心設計的提示與嚴格的人工審核相結合，尤其是在涉及學術、法律或專業問題時。
首先，最基本的建議是：在使用數據、數字、參考文獻和專有名詞之前，請務必進行核實。僅僅「聽起來不錯」是不夠的，你必須透過可靠的來源（科學文章、官方法規、參考書、專業資料庫等）來核實。
此外，不建議僅憑模型的一次回饋就做出關鍵決策。當事情至關重要時，明智的做法是尋求多方意見（例如來自其他工具、人類專家或文件），並將聊天功能僅用作輔助工具或生成草稿。
指令的設計至關重要：清晰、具體且結構良好的提示可以減少歧義，並且往往產生更有用的輸出。要求使用者逐步解釋其推理過程、提供反例或指出潛在的局限性，有助於發現錯誤。
最後，與其直接接受最終文本，不如將 ChatGPT 用作模板、大綱、草稿和想法清單的生成器，供用戶後續修改，這種方式非常有效。這節省了機械操作的時間，同時最終內容仍然由人工進行潤色和驗證。
近年來的經驗表明，生成式人工智慧的最佳使用方式是將其視為強大但並非完美無缺的助手。透過批判性的審視、對任務選擇的合理判斷以及嚴格的審查機制，它將成為寶貴的盟友，而非潛在的威脅。
