- ChatGPT 虽然看起来很“智能”，但在推理、数据和常识方面却存在结构性错误。
- 这些错误源于统计训练方法、数据偏差以及缺乏真正的理解。
- 许多职业和教育任务将会改变，但人工智能主要会作为辅助工具，而不是完全取代。
- 通过 ChatGPT 进行来源验证、提供良好的提示以及人工审核，您可以充分利用其优势，而无需承担过大的风险。
生成式人工智能已成为我们日常生活的一部分，而ChatGPT 也成为了写作、总结、编程和头脑风暴的首选工具。然而，尽管它看起来令人印象深刻，但远非完美。如果您不了解它的局限性，盲目信任它的回答可能会导致意想不到的后果。
因此，越来越多的专家坚持认为，了解 ChatGPT 的不足之处几乎与了解如何使用它同等重要。这并非要妖魔化这项技术，而是要学会接受它的局限性：何时它可靠，何时应该对其回答持保留态度，以及如何在不丧失人类批判性判断的前提下充分利用它。
为什么了解 ChatGPT 的局限性至关重要
聊天界面背后是一个复杂的系统，它结合了大型语言模型和内部机制，根据问题的不同，优先考虑速度还是推理。这种自动“决策”并不总是符合用户的需求：有时，即使问题需要逐步思考，快速回复也会优先考虑。您可以深入了解人工智能参数如何影响这种行为。
此外，该模型的行为会随着每次更新而改变，这意味着ChatGPT 对同一查询在不同时间可能会有不同的响应。除此之外，在长时间的对话中，它还会受到上下文的限制，开始“遗忘”部分对话内容；出于谨慎起见，安全过滤器也会屏蔽一些敏感或完全合法的话题。
这些因素综合起来意味着，在实践中，用户体验可能在几秒钟内从出色变成令人沮丧。一个有用的结果和一个糟糕的结果之间的区别，往往在于用户能否识别出人工智能何时偏离轨道以及如何纠正它。
近期多项研究和调查显示，相当一部分用户并不完全信任 ChatGPT 的回复。在俄勒冈天主教大学 (OCU) 的一项调查中，许多人表示，尽管他们已经尝试过 ChatGPT，但“缺乏信任”是他们不每天使用它的主要原因。
因此，人工智能和教育专家建议将 ChatGPT 作为辅助信息来源，而绝不能将其视为真理的最终仲裁者。如今，使用其他来源验证数据、至少对相关主题有基本的了解，以及接受信息可能被捏造（即臭名昭著的“幻觉”）这一事实至关重要。
ChatGPT 的常见错误和技术限制
技术文献表明，这些系统往往会生成看似合理但却错误的答案，尤其是在问题含糊不清、过于具体或与训练数据存在偏差的情况下。问题在于，这些答案的措辞极具说服力，如果用户不熟悉相关主题，就很难发现其中的错误。诸如用于检测人工智能生成内容的扩展程序之类的工具可以帮助识别部分此类错误答案。
像 Josep Curto 教授这样的专家强调，一些最常见的缺陷影响深远，会危及系统的整体可靠性。这些缺陷包括对可验证事实的错误描述、不完整的响应、对模型“推理过程”的捏造解释，以及在英语以外的语言中表现不佳。
此外，尽管已有所改进，但伦理和安全限制并非总是恰当的。有时，它们会阻止合法请求，却允许有问题的请求通过；或者，它们产生的响应会带有从训练数据中继承的偏见，这些偏见可能与文化、政治或性别相关。
尽管如此，深度学习和自然语言处理领域的持续研究已经催生了诸如 GPT-4 等最新版本，它们在数学、编程、法律、医学和心理学等复杂任务中取得了接近人类的表现。但高性能并不意味着完美无缺，盲点依然存在。
ChatGPT 在以下 7 项任务中失败（或不可靠）
虽然 ChatGPT 在很多情况下都非常有用，但在某些类型的任务中，收到错误、带有偏见或误导性答案的可能性会显著增加。建议熟悉这些情况，以便格外谨慎。
1. 逻辑推理和复杂数学
当问题需要复杂的计算、逻辑论证或正式的数学证明时，ChatGPT 往往会出错。它可能会犯简单的运算错误，跳过关键步骤，或者把错误的结果当作正确结果。
这一点在包含许多中间步骤的练习中尤为明显，例如组合数学、概率论、高等代数或几何学。即使文本论证看似充分，但其中一步的微小错误就可能导致整个结论失效，而模型本身却无法真正“检验”自身的推理过程。
2. 常识、直觉和人文背景
人工智能会按字面意思理解接收到的信息，因此很难理解反讽、双关语、挖苦或非常具体的文化典故。这导致它的回答在人类看来明显“不合时宜”。
当任务需要真正的同理心、深刻的情感理解或对现实世界的实践知识时，该模型仅仅模仿语言模式，而没有任何个人经验。它听起来或许很感同身受，但却无法像真人那样感受或感知情境。为了改善语气并定制回复，建议自定义 ChatGPT，并调整样式和角色。
3. 长期记忆和项目连续性
尽管 ChatGPT 似乎能够“记住”对话内容，但它的上下文信息有限，可能会在毫无预警的情况下丢失部分历史记录。冗长的对话或拖延的项目尤其容易出现记忆缺失的情况。
这会直接影响诸如撰写书籍、长篇报告或多阶段编程项目等任务。如果内容没有被保存并进行外部管理，则存在失去一致性、重复已做出的决定或在模型不知情的情况下自相矛盾的风险。
4. 所谓的节省时间最终反而让你付出更多代价
许多人选择 ChatGPT 是为了追求速度，但如果回复中包含细微错误或缺少关键信息，那么审核和修改它们所花费的时间可能比从头开始创建回复还要长。在对质量要求较高的专业任务中，这一点尤为明显。
在技术报告、法律文件、学术内容或生产代码等领域，如果没有严格的审查流程，那么在验证上花费的额外时间可能会完全抵消使用人工智能的所谓好处。
5. 数据过时且缺乏实时连接
像 GPT-3 或 GPT-4 这样的模型是使用特定时间段的数据进行训练的，因此它们无法直接访问网络来获取实时信息。根据版本不同，它们的知识可能仅限于特定年份。
这意味着，对于时事、近期立法变更、科学突破或突发新闻，答案可能已经过时甚至错误。如果用户不查阅更新的信息来源，就会忽略这些错误。
6. 可变性能和饱和度
在高峰期，尤其是在免费账户使用期间，响应的质量和速度可能会受到影响。系统可能会提供不够详细的答案、过早地终止响应，或者提供较为肤浅的解决方案。
这种不稳定性意味着它并非总是能够可靠地替代那些时间紧迫的关键任务。在高峰时段完全依赖该服务而没有备用方案，可能会给企业和专业人士带来运营风险。
7. 限制、筛选和偏见
出于安全考虑，ChatGPT 内置了过滤器，以防止有害、非法或极其敏感的内容。但问题在于，这些审核系统并非完美无缺，有时会误封合法请求，或者出于过度谨慎而做出含糊不清的回应。
即便如此，一些研究人员已经证明，模型仍然可能生成带有种族主义、性别歧视或意识形态偏见的回复，反映出训练数据中存在的偏见。已有案例记录了使用类似技术训练的机器人最终生成歧视性内容的情况。对聊天机器人进行伦理评估有助于理解和减轻这些偏见。
根本性错误：为什么 ChatGPT 会犯这么多错误
在分析这些缺陷时，心灵哲学家和人工智能专家指出其结构性局限性：ChatGPT 不会思考、理解，也不了解自己所说的话。它表面上的智能源于大规模的统计相关性，而非真正的推理。
例如，内德·布洛克教授指出，在生成图像模型的实验中，用户被要求绘制一个显示诸如 12:03 或 6:28 之类的时间的时钟，而几乎总是会出现 10:10 这个时间。这个时间在网络广告图片中占据主导地位，因为它美观且不会遮挡标志。
这种行为表明，模型倾向于复制训练数据中最常见的模式，即使这些模式与具体的指令相矛盾。它们并不“理解”时间的概念；它们只是重复统计上最常见的配置。
当被要求生成一张左手写字的人的图片时，也会发生类似的情况。许多模型最终都会生成右撇子，因为数据集中的大多数样本也都是右撇子。要获得一个具有代表性的左撇子图像，需要持续使用非常具体的提示，即便如此，也并非总能成功。
这类结构性缺陷意味着，即使是开发人员也无法完全纠正一些根深蒂固的偏见。强化训练结合人工反馈会有所帮助，但手动强化每一种可能的情况（每个时间点、每个书写姿势等等）是不切实际的。
从文本层面来看，问题在于对模型实际上并不“知道”的事情做出过于自信的解释。他们可能会一步一步地详细描述一种他们从未实际使用过的所谓方法，或者捏造出一些看起来完全令人信服的学术参考文献和链接。
ChatGPT是如何训练的，以及这为何会影响他的错误
GPT-3 和 GPT-4 等模型基于 Transformer 架构，并使用来自互联网的大量文本进行训练：网页、书籍、科学文章、新闻和其他公共资源，如维基百科或 Common Crawl。
这个过程分为两个主要阶段。首先是大规模预训练，模型需要学习预测数百万个句子中的下一个词。在这个阶段，模型不会被教授明确的“语法”，而是通过填补文本中的空白来推断模式——这类似于一种大型的单词补全练习。
然后，针对特定任务进行微调，例如翻译、摘要、回答问题或对话。这需要使用更小、更具体的数据点，并对其进行标记，以便教会模型在每种情况下哪种类型的响应才是合适的。
在 ChatGPT 的案例中，也采用了人工反馈强化学习 (HFRL)。训练员评估模型对同一输入的几种可能响应，并按优劣排序。利用这些信息，系统学会了优先选择评分最高的输出。
这种方法提高了人们对回复质量的感知，但并没有消除根本问题：该模型仍然缺乏语义理解和对现实的直接感知。它只是优化了概率，使其听起来更有帮助、更礼貌、更自信，而这有时反而会使幻觉更加危险。
此外，尽管采用了数据清洗、正则化和人工评估等技术来减少训练文本中存在的偏见和刻板印象，但仍无法完全消除它们。因此，企业建议持续监控输出结果，尤其是在敏感应用中。
ChatGPT对学习和工作世界的影响
自推出以来，ChatGPT 再次引发了关于生成式人工智能将如何影响人类工作和教育体系的讨论。大型科技公司将其定位为“副驾驶”或助手，但许多研究表明，它将对众多行业带来深刻变革。
纽约大学和宾夕法尼亚大学等高校的研究，以及 OpenAI 和其他机构的分析表明，基于语言的任务（写作、翻译、文本分析、文档编制、基本会计）特别容易受到部分自动化的影响。
在就业市场中，电话推销员、大学语言文学教授、历史和法律教师、翻译、行政人员以及某些写作岗位被认为特别容易受到冲击。这并不意味着他们都会消失，但确实意味着他们的许多工作职能可以得到人工智能的有力支持。
其他研究也发现了明显的积极效果。例如，在对软件开发人员的测试中，使用基于模型的编码助手的开发人员完成任务的速度比不使用助手的开发人员快 55%。日常任务的效率提高，使开发人员能够将更多时间投入到复杂问题的解决中。
在教育领域，这场争论尤为激烈。研究表明，即使是经验丰富的教师和专业作家，也越来越难以区分一篇短文究竟是学生所写还是由 ChatGPT 程序生成的。在一些实验中，教师和专家甚至未能识别出真正的作者。
对此，许多教育工作者开始提倡采用更多口头评估、课堂作业和活动，以展现学生的思考过程，而不仅仅是最终成果。另一些人则建议将 ChatGPT 作为一种教学工具：一个起点，学生必须对其进行批判性思考、修正、与现实世界资源进行比较并加以改进。
如何正确使用 ChatGPT 而不落入其陷阱
尽管存在上述种种问题，但如果运用得当，ChatGPT 仍然非常有用。关键在于将精心设计的提示与严格的人工审核相结合，尤其是在涉及学术、法律或专业问题时。
首先，最基本的建议是：在使用数据、数字、参考文献和专有名词之前，务必进行核实。仅仅“听起来不错”是不够的，你必须通过可靠的来源（科学文章、官方法规、参考书、专业数据库等）进行核实。
此外，不建议仅凭模型的一次反馈就做出关键决策。当事情至关重要时，明智的做法是寻求多方意见（例如来自其他工具、人类专家或文档），并将聊天功能仅用作辅助工具或生成草稿。
指令的设计至关重要：清晰、具体且结构良好的提示可以减少歧义，并往往产生更有用的输出。要求用户逐步解释其推理过程、提供反例或指出潜在的局限性，有助于发现错误。
最后，与其直接接受最终文本，不如将 ChatGPT 用作模板、大纲、草稿和想法列表的生成器，供用户后续修改，这种方式非常有效。这节省了机械操作的时间，同时最终内容仍然由人工进行润色和验证。
近年来的经验表明，生成式人工智能的最佳使用方式是将其视为强大但并非完美无缺的助手。通过批判性的审视、对任务选择的合理判断以及严格的审查机制，它将成为宝贵的盟友，而非潜在的威胁。
