- 数据工程师的角色侧重于设计和维护以可靠和可扩展的方式收集、转换和存储数据的系统。
- 学习路径分为多个级别：编程和数据库、大数据和管道，以及最后的云计算、安全和流媒体。
- 掌握 SQL、数据建模、ETL、编排、容器以及至少一种云服务提供商是职业发展的关键。
- 实践项目、社区资源库和认证有助于巩固知识并改善求职选择。
数据工程师的职业道路已成为数据领域最具吸引力的职业道路之一，尤其对于那些来自数据分析师或数据科学家等背景，并希望转型从事技术性工作的求职者而言更是如此。越来越多的公司需要能够设计、构建和维护驱动信息运行的系统（而不仅仅是机器学习模型或仪表盘）的人才。
与此同时，网上流传的海量资源、课程和建议可能会让人不知所措：是应该从 Python 入手，还是先学习 SQL 和可视化，还是直接上云，或者转而使用 Spark……在本文中，您将找到一条完整的西班牙语学习路径，该路径基于参考资料并扩展了实际应用场景，因此您将确切地知道从哪里开始，如何进步，以及在作为数据工程师的成长过程中应该做出哪些决定。
什么是数据工程师？为什么数据工程师这个职业发展迅猛？
数据工程师负责设计、构建和实施用于收集、转换、存储和提供公司决策所需数据的系统。数据科学家更侧重于模型和分析，而数据工程师则确保信息能够及时、可靠、可扩展且安全地交付。
实际上，数据工程师的日常工作通常包括构建 ETL 或 ELT 管道、协调流程、设计数据架构（数据湖、数据仓库、数据集市）、集成多个数据源以及与其他团队（如分析、数据科学或产品团队）合作。
根据各种行业报告，对数据工程师的需求持续增长，而且在许多市场中，他们的薪资通常高于数据科学专业人员，这正是因为他们对技术基础设施和公司利用其数据的能力有着直接的影响。
专门从事数据培训的平台强调，超过 70% 的数据工程师职位招聘要求应聘者具备扎实的软件工程和分布式系统知识，而且如果结合编程、云计算和架构技能，该职位的薪资范围很容易超过其他更偏分析性的职位。
从数据科学家到数据工程师：为什么许多人会做出这样的转变
在许多组织，尤其是初创公司或成长型公司中，数据科学家和数据工程师之间的界限变得模糊不清。通常情况下，负责训练模型的人员还需要清洗数据、编写提取脚本、移动文件、自动化流程，甚至设置 API 来进行预测。
如果你曾经搭建过数据管道、手动部署过模型，或者连接过无数的数据源，那么你很可能已经在从事与数据工程师非常接近的工作了。这种技术上的经验往往会激发你对掌握整个工作流程（从数据摄取到生产）的兴趣，并帮助你减少对其他团队或临时解决方案的依赖。
这一变化的关键原因在于技术自主性：当你了解数据平台的设计方式、其背后的技术以及它们在云端的部署方式时，你就可以更稳健地将你的想法投入生产，而不会陷入永远无法触及最终用户的实验性笔记本中。
此外，就业市场对数据工程师的需求十分旺盛。虽然纯粹的数据科学职位趋于稳定，但对构建数据基础设施、实时管道和可扩展系统的人才的需求却在不断增长，因此，未来几年转型成为一项颇具战略意义的决策。
专业路线级别：初级、中级和高级
为了避免被海量信息淹没，将数据工程师的学习路径划分为三个成熟度级别会很有帮助：初级、中级和高级。这样做的目的并非限制你的学习方向，而是帮助你根据自身起点确定学习的优先顺序。
入门级课程涵盖编程、逻辑、版本控制和基础数据库等基础知识。如果您是零基础或技术背景较弱（例如从事业务或分析工作），那么这门课程正是您所需要的。
中级课程涵盖大数据、分布式处理工具、ETL管道设计和编排器等主题。在这里，你将开始探索生产环境中会用到的技术，并像数据架构师一样思考。
高级阶段包括云计算技能、认证、安全、持续部署、实时流媒体，以及求职和技术面试准备。在这个阶段，你的目标是获得更高级别的或更专业的职位。
一般来说，如果您编程能力尚不强，最好从“编程与数据库”部分入手。如果您已经熟悉 SQL 和一些 Python 知识，就可以更快地学习“大数据与数据处理”部分。如果您的目标是获得云计算认证，“云计算”部分则至关重要。
编程基础和版本控制
数据工程几乎所有工作的基础都在于掌握高效的编程技能。这不仅仅是编写“能运行”的脚本，更重要的是创建可维护、易读且易于调试的代码。在这个领域，Python 通常是最佳的入门选择，因为它语法简洁，并且在数据科学和数据工程领域拥有庞大的生态系统。
在这个阶段，深入理解编程基础概念至关重要：数据类型、数据结构（列表、字典、集合）、函数、类、错误处理以及文件的读写。如果您更喜欢其他语言，例如 Java、Scala、R 甚至 Julia，这些语言也完全可以，但在实际的数据工程中，Python 和 Java/Scala 是最佳选择。
与此同时，学习使用 Git 进行版本控制至关重要。许多人认为它只对团队协作有用，但实际上它能让你追踪代码的历史记录，了解变更内容和变更时间，无所顾忌地测试想法，并保持工作井然有序。GitHub 或 GitLab 将成为你日常托管代码仓库和协作的平台。
你不需要从一开始就成为 Git 高手，但你需要掌握基本命令（init、add、commit、branch、merge、push、pull），并了解分支、拉取请求和代码审查的工作原理。这种工作方式在任何像样的技术团队中都是标准做法。
数据库、SQL 和信息建模
一旦你打下了扎实的编程基础，就可以开始深入学习数据库和 SQL 了。很多人在这里会纠结于学习顺序：先学 Python 再学 SQL，还是反过来？最明智的做法是并行学习，但要确保你能够熟练地运用 SQL，成为一种本能反应。
对于结构化数据，PostgreSQL 因其强大的功能以及在许多项目中作为事实标准的地位，是强烈推荐的入门选择。如果您已经熟悉 MySQL、SQLite 或其他数据库引擎，它们仍然可以使用，尽管 PostgreSQL 通常能为专业环境提供更大的灵活性。
熟悉NoSQL 数据库也很有帮助，例如用于文档的 MongoDB 或用于键值对的 Redis，以及其他用于列式存储的数据库，例如 Cassandra。目标不是记住所有数据库，而是了解它们的使用场景、优势和劣势，并知道何时选择哪种数据库。
本阶段将介绍数据建模：关系模型、维度模型、事实和维度概念、规范化、主键和外键以及参照完整性。您将学习如何从表模式、关系和高效查询的角度思考问题，这对于任何后续架构都至关重要。
之后，你将深入学习数据湖、数据仓库、数据集市和数据中心，以及列式存储与行式存储、星型模式、雪花模式和读写模式策略等方法。所有这些都将为你提供在实际项目中用于大规模组织信息的语言和模式。
大数据、分析和商业智能的概念
在扎实掌握 SQL 和数据库基础知识之后，探索大数据和分析的概念就很有意义了。你不需要精通生态系统中的每个框架，但你应该了解它们旨在解决哪些问题以及它们存在的意义。
大数据领域依赖于分布式处理，它不是将所有任务都运行在单台机器上，而是将工作分散到多个节点上。像 Apache Spark 这样的工具因其能够处理海量数据（包括批处理和流处理）而变得非常流行，并且通常是数据驱动型公司技术栈的重要组成部分。
除了大数据之外，对人工智能、机器学习和商业智能有一定的了解也很有帮助。虽然作为数据工程师，你不会直接训练复杂的模型，但你会负责准备模型所需的数据，并设计支撑这些模型运行的基础设施。
你还将了解商业智能工具（例如 Power BI、Tableau、Looker 等）、报表流程以及业务分析师的需求是如何相互关联的。了解他们的工作流程将有助于你为信息使用者设计更有用的数据管道和模型。
数据处理：ETL、编排和数据管道
数据工程的真正核心在于数据管道的设计和构建。在这里，您将确切地了解什么是 ETL（提取、转换、加载）管道，何时适合采用 ELT 方法，如何协调任务、监控任务以及从故障中恢复。
典型的管道包括从多个来源（API、数据库、文件、消息队列）摄取数据、清理和转换步骤（规范化、聚合、增强）以及最终加载到某个目标系统（可以是数据仓库、数据湖、NoSQL 数据库或它们的组合）的阶段。
在此背景下，诸如 Apache Airflow 等工作流编排工具以及其他现代替代方案应运而生，使用户能够定义任务之间的依赖关系、安排执行、跟踪已执行的任务以及应对错误。尽管每家公司使用的技术栈各不相同，但编排和自动化流程的理念却是共通的。
关键在于理解这些环境中常用的概念：关系模型和维度模型、数据湖、数据集市、数据仓库、列式布局和行式布局、星型模式和雪花模式，以及不同模式的读写策略。清晰掌握这些术语将有助于你理解技术文档、专业书籍以及架构图中的内容。
本部分最能受益于实践练习和小规模个人项目，您可以在其中构建端到端的管道（即使是使用公共数据），并练习您以后在专业角色中会遇到的典型模式。
管道和数据平台的安全
第一步是将最小权限原则应用于角色和权限：每个服务帐户、用户或应用程序都应该只拥有完成其工作所必需的访问权限，不多不少。这可以减少攻击面，并限制错误或泄露的影响。
了解数据在传输中和静态存储时的加密原理也至关重要。这包括在服务之间传输数据时使用 HTTPS、TLS 和其他安全协议，以及在数据库、存储桶和其他存储信息的系统中启用加密。
在公开 API 或模型服务时，您必须注意身份验证和授权（令牌、API 密钥、OAuth 等）等细节，限制对关键端点的访问，并记录系统活动以进行滥用审计。您无需成为安全专家，但需要具备足够的专业知识来做出负责任的决策。
这一切不仅可以避免意外情况的发生，还能提升你在公司眼中的专业形象，因为你展现了你对自己的工作对业务以及客户和用户数据保护的真正影响的认识。
存储和数据架构设计类型
当你从数据科学家转型为数据工程师，处理静态数据集时，你与存储的关系会发生彻底改变。这不再仅仅是在本地打开 CSV 文件，而是要设计能够支持持续数据流、不断演进的模式以及多个用户同时使用的系统。
在日常工作中，您将结合使用不同类型的存储：关系数据库（PostgreSQL、MySQL）用于结构化和事务性信息；NoSQL 数据库，例如 MongoDB（文档）、Redis（键值）或 Cassandra（列），用于满足特定的性能、模式灵活性或水平扩展需求。
此外，基于云的对象存储（例如 Amazon S3、Azure Data Lake Storage 和 Google Cloud Storage）已成为许多现代数据湖的基石。大量的原始数据和处理后的数据都存储在此类存储中，通常采用 Parquet 或 Avro 等格式，随时可供各种分析引擎使用。
设计现代数据架构需要考虑数据如何从源头流向消费者，需要哪些中间层的质量控制、治理或转换机制，以及如何组织所有这些以确保可维护性。能够阅读和创建架构图将是您日常工作的一部分。
此外，许多组织正在采用以流为中心的架构，其中Apache Kafka等技术作为事件的骨干发挥着主导作用，这就引出了下一节。
使用 Apache Kafka 进行流式和实时处理
传统的数据分析大多采用批处理模式：定期加载数据、处理数据并生成结果。然而，越来越多的公司需要对各种实时变化做出反应，例如金融交易、用户活动或物联网传感器数据。
在此背景下，Apache Kafka 应运而生，成为全球数万家组织采用的事件流平台。Kafka 允许用户在主题中发布和消费消息，生产者和消费者解耦，并且系统可扩展至每秒处理从几个到数百万个事件。
对于数据工程师而言，深入理解Kafka 的架构至关重要：包括主题、分区、代理、生产者、消费者、消费组和偏移量等概念。此外，了解如何将 Kafka 与下游系统（数据库、数据仓库、告警系统）以及实时分析流程集成也至关重要。
许多机器学习模型现在也运行在数据流上，这就需要将MLOps 与流式平台相结合，以实现实时预测。Kafka 不再仅仅是“另一种技术”，而是正在成为现代事件驱动架构的核心。
大型企业的IT经理们将流式处理系统视为其数据和人工智能战略的关键组成部分，并表示采用这些架构后投资回报率显著提高。学习Kafka及相关概念将使您在众多求职者中脱颖而出。
容器、Docker 和服务部署
从数据科学家转型为数据工程师的关键在于掌握使用 Docker 进行服务打包和部署。这意味着你将不再局限于在本地运行脚本，而是能够构建可在任何服务器或云环境中运行的镜像，而不会出现意想不到的依赖问题。
Docker 允许你在 Dockerfile 中定义运行应用程序所需的一切：Python 或 Java 版本、库、基本配置等等。然后，你只需构建镜像，在本地测试，并在需要的地方运行容器即可。这大大减少了“在我的电脑上运行正常”这种经典场景，并促进了与 DevOps 团队的协作。
对于数据工程师来说，将数据摄取服务、模型 API、处理工作进程或编排任务打包到容器中是很常见的做法。这些容器随后会被集成到 Kubernetes 或其他编排器等平台中，尽管这一步骤可能会在稍后进行。
参考技术出版物和社区坚持认为，Docker 已成为从事模型部署和管道工作的人员几乎不可或缺的技能，因为它允许您复制环境、自动化部署，并以类似于代码版本控制的方式对基础设施进行版本控制。
生产模型：从脚本到 API，使用 Flask 或 FastAPI
这条道路上的另一个关键步骤，尤其对于有数据科学背景的人来说，是学习如何将模型作为 Web 服务公开。仅仅保存一个 pickle 文件或配置文件已经远远不够了：你需要创建其他团队或应用程序可以使用的 API。
像Flask 或 FastAPI这样的轻量级框架非常适合这种需求。借助它们，您只需几行代码即可设置一个 API，该 API 通过 POST 请求接收数据，运行您的模型，并以 JSON 格式返回预测结果。这些服务随后可以集成到更大的架构或流式工作流中。
将此功能与 Docker 结合使用，您可以创建包含模型的独立容器，并随时部署到不同的平台上。此外，FastAPI 还支持与 OpenAPI 模式的轻松集成以及 Swagger 风格的自动文档生成，从而简化了服务使用者的操作。
这种方法是通往MLOps世界的门户，它不仅涉及模型的部署，还包括监控模型性能、数据版本控制、自动化重新训练以及管理生产环境中的整个生命周期。即使您作为数据工程师的重点并非完全在于 MLOps，了解这方面的知识也至关重要。
永久保存在笔记本电脑上的模型与保存在强大且受监控的终端上的模型之间的差异，对公司而言价值巨大，而数据工程正是这种转变的核心。
云计算是数据工程师的自然环境
如今，大多数数据平台都构建在公共云提供商之上，主要是 AWS、Google Cloud 或 Azure。为了完善你的职业发展道路，深入学习至少一个云生态系统至关重要。
如果您已经在使用 PySpark，那么Databricks + Apache Spark 的组合是一个不错的选择。Databricks 提供了一个托管的分布式集群环境、协作笔记本以及一系列专注于数据工程和机器学习的工具。掌握这一组合将为拥有海量数据的公司开启诸多机遇。
另一个更轻量级的选择（适用于原型）是将MongoDB 与 Streamlit 等工具结合使用，这样就可以在 MongoDB 中存储半结构化数据，并使用 Streamlit 构建速度非常快的仪表板或数据应用程序，而无需太多额外的基础设施。
如果您想采用更云原生的方法，可以专注于AWS 或 GCP 服务，例如 Kinesis、Lambda、API Gateway、Pub/Sub、Dataflow、BigQuery 或类似工具，这些工具几乎可以从零开始构建无服务器工作流和可扩展架构。在许多情况下，大型公司非常重视这些服务的实际应用经验。
像谷歌云这样的服务提供商提供专门的数据工程师学习路径，其中包含一系列按需课程、实践实验室、技能徽章以及官方认证的备考资料。通过遵循这样的路径，您可以规划学习进度并衡量学习成效，直到准备好参加考试。
资源、存储库以及如何有效实践
对于那些刚开始走这条路的人来说，一个非常常见的问题是：应该选择哪些资源，应该开展哪些项目，才能让学习不局限于理论层面？如今，西班牙语社区中有很多资源库，其中包含各种概念、技术难题以及免费资料，可以作为实践指南。
这些资源库通常会按级别（初级、中级、高级）和语言对资源进行分类，以帮助您决定先观看哪些内容。虽然大部分内容是英文的，但您始终可以使用浏览器的“翻译成西班牙语”功能，或者利用视频中的字幕和自动生成的文字稿。
一些实用的实践例子包括“百日数据工程挑战”，即每天抽出一些时间构建一些东西：例如小型数据管道、数据清洗脚本、数据模型、API 连接器等等。持之以恒通常比偶尔的爆发式工作更有效。
强烈建议阅读一些专注于数据工程的书籍和设计模式，即使其中很多是英文的。它们教授设计健壮系统的成熟方法，让你接触到真实的架构，并帮助你避免初学者常犯的错误。
如果你发现真正有用的资源，不妨考虑为这些代码库做出贡献，例如改进、翻译、添加新资源或修复漏洞。参与开源项目不仅能帮助你学习，还能丰富你的公开作品集，给潜在雇主留下深刻印象。
求职、面试准备和常见问题
在求职之旅的最后阶段，你需要专注于如何向市场展示你的个人优势。这包括完善你的简历、创建数据项目作品集、在专业平台上保持活跃的个人资料，以及练习专门针对数据工程师的技术面试。
公司非常重视实践经验和个人项目，这些项目能够清晰地展现你解决的问题、做出的技术决策、使用的技术以及取得的成果。拥有数据工程师的经验并非必要条件；一份文档完善的个人项目就能起到至关重要的作用。
关于常见问题，总是会出现同样的问题：应该优先学习哪些技术技能，是否值得学习 Spark 还是 Pandas 和 SQL 就足够了，是否值得花时间考取云认证，转型需要多长时间，或者为什么有人说数据分析师“已经过时了”。
就技能而言，通常来说，成功的组合包括扎实的编程基础、高级 SQL 技能、对数据模型的深刻理解、至少一种云平台的使用经验，以及对编排和流处理的基本掌握。当处理海量数据或在已部署 Spark 的环境中，Spark 就显得尤为重要。
关于时间安排，从数据科学家或开发人员转型为数据工程师所需的时间因人而异，但只要持之以恒、专注投入，几个月后你就可以申请初级或过渡职位了。关键在于打好基础，避免盲目地学习各种课程，并专注于能够展现你技能的项目。
这条通往数据工程的道路结合了理论基础、大量的实践和浓厚的好奇心，但作为回报，它为你打开了通往技术领域最抢手、最具发展前景的职业之一的大门，同时还能让你了解和控制数据在组织内部的整个旅程，从而获得额外的满足感。
