- 基础模型的定义是：大规模训练的系统，可作为多个特定任务的基础。
- 对 Transformer 架构以及自监督预训练和微调过程进行分析。
- 评估其大规模部署的社会影响、伦理风险和计算挑战。
如果你一直关注最近人工智能领域的热议，你可能听说过一些工具，它们似乎无所不能，从写诗到编写复杂的代码，无所不能。这一切神奇功能的背后，都蕴藏着一个关键概念：基础模型。本质上，它们就像汽车的底盘；一个稳健的通用结构，可以根据我们当时的需要进行定制，变成跑车、卡车或多用途车辆。
这些系统之所以具有颠覆性，是因为我们不再为单一任务设计人工智能，而是创造一个基于海量数据训练的数字巨头，然后对其进行“塑造”。这种范式转变使人工智能从一种非常僵化的工具演变为一种灵活的工具，它能够学习世界上的普遍模式，并将其应用于特定问题，从而以惊人的速度加速创新，坦白说，这种速度令人瞠目结舌。
基础模型究竟是什么？
简而言之，基础人工智能模型是指任何基于海量数据（通常通过自我监控）训练的人工智能系统，它可以通过称为微调的过程来适应各种各样的应用场景。它们并非全新概念，因为它们借鉴了深度学习和知识迁移技术，但前所未有的数据规模和计算能力催生了许多人始料未及的能力。
务必注意不要将它们与大型语言模型（LLM）混淆。尽管它们经常被混用，但二者之间的关系是属与种：所有LLM都是基础模型，但并非所有基础模型都是LLM。LLM侧重于文本和代码，而基础模型可以是多模态的，能够处理图像、音频、视频，甚至来自机器人的传感器信号。
技术支柱：变压器和培训
这一切得以实现的架构是Transformer。该系统使用一种名为“自注意力机制”的技术，使模型能够理解序列中不同部分的重要性，无论它们彼此之间的距离有多远。它通常由编码器和解码器组成，它们生成向量表示（嵌入），以捕捉语言或图像的深层含义。
创作过程通常分为几个阶段：
- 锻炼前： 这是成本最高的阶段。该模型会“吞噬”互联网、书籍和数据库，以学习信息的总体结构。这就是…… 参数数量标记的数量和上下文窗口。
- 微调： 一旦模型具备了通用性，就可以使用特定数据进行训练，并在人类的监督下，使其成为某个领域的专家，例如医学或法律。
- 适应任务： 这是最后一步，在此步骤中，模型将针对非常具体的功能进行优化，例如创建…… 案例法搜索引擎 或者技术报告生成器。
塑造历史的杰出模型
自 2018 年以来，我们见证了一系列颠覆性模型的涌现。BERT是其中的先驱之一，其双向理解上下文的能力尤为突出。随后，OpenAI 的 GPT 系列模型问世，从GPT-1 到 GPT-4 不断演进，证明了规模越大，涌现出的能力就越多，例如零样本学习。
但他们并非孤军奋战。Anthropic的 Claude就是一个很好的例子，它拥有 Sonnet、Opus 和 Haiku 等版本，力求在智能和速度之间取得平衡。而Amazon Nova则提供了从多模态理解到创意视频生成的全方位功能。我们也不能忘记Stable Diffusion，它将基础模型的强大功能引入了图像领域；还有BLOOM，这个多语言协作项目证明了开源软件同样拥有其独特的价值。
功能和实际应用
这些模型的功能不仅限于撰写电子邮件。它们的影响范围还延伸到关键领域：
- 健康： 它们在以下方面有所帮助： 药物发现 医学图像分析虽然需要完全可解释性以避免致命错误。
- 正确的： 它们有助于审查合同和分析冗长的法律叙述，从而降低获得司法救济的成本。
- 教育： 他们允许一个 个性化学习 而且具有适应性，尽管它们在抄袭和技术差距方面带来了挑战。
- 机器人： 目标是创建通用机器人，这些机器人无需针对每个任务从头开始编程，而是使用基础模型。 与环境互动 物理的
阴暗面：风险、伦理与环境
并非一切都尽如人意。同质化会带来严重风险：如果所有人都使用相同的基础模型，任何固有的偏差或错误都会传播到所有衍生应用中，从而形成“算法单一文化”。此外，还会出现幻觉——人工智能有时会以惊人的准确度捏造数据，这就需要不断进行人工验证。
从伦理和法律角度来看，知识产权之争已然公开，因为许多模型未经数据创建者明确同意便使用其数据进行训练。此外，环境问题也令人担忧；训练这些庞大的模型会消耗大量的能源和水，迫使人们寻求更高效的架构和可持续的数据中心。
人工智能的未来与治理
未来发展的关键在于普及获取人工智能技术。目前，由于硬件（GPU）成本高昂，训练最强大的模型主要集中在少数几家公司手中。因此，大学和政府必须投资公共基础设施，以防止人工智能的力量落入技术寡头手中。
关键在于透明度和独立审计。一家公司仅仅声称其模型安全是不够的；我们需要监管框架（例如欧盟的《人工智能法》）和专业标准，以确保这些工具用于改善社会，而不是用于大规模监控或传播虚假信息。
人工智能生态系统已向一种新的结构转变，即少数核心模型支撑数千个专业应用，将海量处理能力与人类级别的精准调优相结合。这一进步在引发深刻的伦理困境和能源消耗担忧的同时，也通过将人工智能转变为能够跨多个领域同时进行推理、创造和学习的通用基础设施，重新定义了人机关系。
