成為資料工程師的職業道路

資訊科技數位 » recursos » 成為資料工程師的職業道路

資料工程師的職業道路已成為資料領域最具吸引力的職業道路之一，尤其對於那些來自資料分析師或資料科學家等背景，並希望轉型從事技術性工作的求職者而言更是如此。越來越多的公司需要能夠設計、建構和維護驅動資訊運行的系統（而不僅僅是機器學習模型或儀表板）的人才。

同時，網路上流傳的海量資源、課程和建議可能會讓人不知所措：是應該從 Python 入手，還是先學習 SQL 和可視化，還是直接上雲，或者轉而使用 Spark……在本文中，您將找到一條完整的西班牙語學習路徑，該路徑基於參考資料並擴展了實際應用場景，因此您將確切地知道從哪裡開始，如何

什麼是資料工程師？為什麼資料工程師這個職涯發展迅猛？

資料工程師負責設計、建置和實施用於收集、轉換、儲存和提供公司決策所需資料的系統。資料科學家更專注於模型和分析，而資料工程師則確保資訊能夠及時、可靠、可擴展且安全地交付。

實際上，資料工程師的日常工作通常包括建立 ETL 或 ELT 管道、協調流程、設計資料架構（資料湖、資料倉儲、資料集市）、整合多個資料來源以及與其他團隊（如分析、資料科學或產品團隊）合作。

根據各種行業報告，對數據工程師的需求持續增長，而且在許多市場中，他們的薪資通常高於數據科學專業人員，這正是因為他們對技術基礎設施和公司利用其數據的能力有著直接的影響。

專門從事資料培訓的平台強調，超過 70% 的資料工程師職位招聘要求應徵者俱備紮實的軟體工程和分散式系統知識，而且如果結合程式設計、雲端運算和架構技能，該職位的薪資範圍很容易超過其他更偏分析性的職位。

從資料科學家到資料工程師：為什麼許多人會做出這樣的轉變

在許多組織，尤其是新創公司或成長型公司中，資料科學家和資料工程師之間的界線變得模糊不清。通常情況下，負責訓練模型的人員還需要清洗資料、編寫提取腳本、移動文件、自動化流程，甚至設定 API 來進行預測。

如果你曾經搭建過資料管道、手動部署過模型，或是連接過無數的資料來源，那麼你很可能已經在從事與資料工程師非常接近的工作了。這種技術上的經驗往往會激發你對掌握整個工作流程（從資料攝取到生產）的興趣，並幫助你減少對其他團隊或臨時解決方案的依賴。

這項改變的關鍵原因在於技術自主性：當你了解數據平台的設計方式、背後的技術以及它們在雲端的部署方式時，你就可以更穩健地將你的想法投入生產，而不會陷入永遠無法觸及最終用戶的實驗性筆記本中。

此外，就業市場對資料工程師的需求十分旺盛。雖然純粹的數據科學職位趨於穩定，但對建構數據基礎設施、即時管道和可擴展系統的人才的需求卻在不斷增長，因此，在未來幾年內，轉型成為一項頗具戰略意義的決策。

專業路線等級：初級、中級和高級

為了避免被大量資訊淹沒，將資料工程師的學習路徑劃分為三個成熟度等級會很有幫助：初級、中級和高級。這樣做的目的並非要限制你的學習方向，而是幫助你根據自身起點決定學習的優先順序。

入門級課程涵蓋程式設計、邏輯、版本控制和基礎資料庫等基礎知識。如果您是零基礎或技術背景較弱（例如從事業務或分析工作），那麼這門課程正是您所需要的。

中級課程涵蓋大數據、分散式處理工具、ETL管道設計和編排器等主題。在這裡，你將開始探索生產環境中會用到的技術，並像資料架構師一樣思考。

高級階段包括雲端運算技能、認證、安全、持續部署、即時串流媒體，以及求職和技術面試準備。在這個階段，你的目標是獲得更高級別的或更專業的職位。

一般來說，如果您程式設計能力尚不強，最好從「程式設計與資料庫」部分著手。如果您已經熟悉 SQL 和一些 Python 知識，就可以更快地學習「大數據與資料處理」部分。如果您的目標是獲得雲端運算認證，「雲端運算」部分則至關重要。

程式設計基礎和版本控制

資料工程幾乎所有工作的基礎都在於掌握高效的程式設計技能。這不僅僅是編寫「能運行」的腳本，更重要的是創建可維護、易讀且易於調試的程式碼。在這個領域，Python 通常是最佳的入門選擇，因為它語法簡潔，並且在資料科學和資料工程領域擁有龐大的生態系統。

在這個階段，深入理解程式設計基礎概念至關重要：資料類型、資料結構（列表、字典、集合）、函數、類別、錯誤處理以及檔案的讀寫。如果您更喜歡其他語言，例如 Java、Scala、R 甚至 Julia，這些語言也完全可以，但在實際的資料工程中，Python 和 Java/Scala 是最佳選擇。

同時，學習使用 Git 進行版本控制至關重要。許多人認為它只對團隊協作有用，但實際上它能讓你追蹤程式碼的歷史記錄，了解變更內容和變更時間，無所顧忌地測試想法，並保持工作井然有序。 GitHub 或 GitLab 將成為你日常託管程式碼倉庫和協作的平台。

你不需要從一開始就成為 Git 高手，但你需要掌握基本指令（init、add、commit、branch、merge、push、pull），並了解分支、拉取請求和程式碼審查的工作原理。這種工作方式在任何像樣的技術團隊中都是標準做法。

資料庫、SQL 和資訊建模

一旦你打下了紮實的程式設計基礎，就可以開始深入學習資料庫和 SQL 了。很多人在這裡會糾結於學習順序：先學 Python 再學 SQL，還是反過來？最明智的做法是並行學習，但要確保你能熟練地運用 SQL，成為一種本能反應。

對於結構化數據，PostgreSQL 因其強大的功能以及在許多專案中作為事實標準的地位，是強烈推薦的入門選擇。如果您已經熟悉 MySQL、SQLite 或其他資料庫引擎，它們仍然可以使用，儘管 PostgreSQL 通常能為專業環境提供更大的靈活性。

熟悉NoSQL 資料庫也很有幫助，例如用於文件的 MongoDB 或用於鍵值對的 Redis，以及其他用於列式儲存的資料庫，例如 Cassandra。目標不是記住所有資料庫，而是了解它們的使用場景、優勢和劣勢，並知道何時選擇哪種資料庫。

本階段將介紹資料建模：關係模型、維度模型、事實和維度概念、標準化、主鍵和外鍵以及參考完整性。您將學習如何從表模式、關係和高效查詢的角度思考問題，這對於任何後續架構都至關重要。

之後，你將深入學習資料湖、資料倉儲、資料集市和資料中心，以及列式儲存與行式儲存、星型模式、雪花模式和讀寫模式策略等方法。所有這些都將為你提供在實際專案中用於大規模組織資訊的語言和模式。

大數據、分析與商業智慧的概念

在紮實掌握 SQL 和資料庫基礎知識之後，探索大數據和分析的概念就很有意義了。你不需要精通生態系統中的每個框架，但你應該了解它們旨在解決哪些問題以及它們存在的意義。

大數據領域依賴分散式處理，它不是將所有任務都運行在單一機器上，而是將工作分散到多個節點上。像 Apache Spark 這樣的工具因其能夠處理大量資料（包括批次和串流處理）而變得非常流行，並且通常是資料驅動型公司技術堆疊的重要組成部分。

除了大數據之外，對人工智慧、機器學習和商業智慧有一定的了解也很有幫助。雖然身為資料工程師，你不會直接訓練複雜的模型，但你會負責準備模型所需的數據，並設計支撐這些模型運作的基礎架構。

你還將了解商業智慧工具（例如 Power BI、Tableau、Looker 等）、報表流程以及業務分析師的需求是如何相互關聯的。了解他們的工作流程將有助於你為資訊使用者設計更有用的資料管道和模型。

資料處理：ETL、流程編排和資料管道

資料工程的真正核心在於資料管道的設計和建置。在這裡，您將確切地了解什麼是 ETL（提取、轉換、加載）管道，何時適合採用 ELT 方法，如何協調任務、監控任務以及從故障中恢復。

典型的管道包括從多個來源（API、資料庫、檔案、訊息佇列）攝取資料、清理和轉換步驟（規範化、聚合、增強）以及最終載入到某個目標系統（可以是資料倉儲、資料湖、NoSQL 資料庫或它們的組合）的階段。

在此背景下，諸如 Apache Airflow 等工作流程編排工具以及其他現代替代方案應運而生，使用戶能夠定義任務之間的依賴關係、安排執行、追蹤已執行的任務以及應對錯誤。儘管每家公司使用的技術堆疊各不相同，但編排和自動化流程的概念卻是共通的。

關鍵在於理解這些環境中常用的概念：關係模型和維度模型、資料湖、資料集市、資料倉儲、列式佈局和行式佈局、星型模式和雪花模式，以及不同模式的讀寫策略。清晰掌握這些術語將有助於你理解技術文件、專業書籍以及架構圖中的內容。

本部分最能受益於實踐練習和小規模個人項目，您可以在其中建立端到端的管道（即使是使用公共數據），並練習您以後在專業角色中會遇到的典型模式。

管道和數據平台的安全

第一步是將最小權限原則應用於角色和權限：每個服務帳戶、使用者或應用程式都應該只擁有完成其工作所需的存取權限，不多不少。這可以減少攻擊面，並限制錯誤或洩漏的影響。

了解資料在傳輸中和靜態儲存時的加密原理也至關重要。這包括在服務之間傳輸資料時使用 HTTPS、TLS 和其他安全協議，以及在資料庫、儲存桶和其他儲存資訊的系統中啟用加密。

在公開 API 或模型服務時，您必須注意身份驗證和授權（令牌、API 金鑰、OAuth 等）等細節，限制對關鍵端點的訪問，並記錄系統活動以進行濫用審計。您無需成為安全專家，但需要足夠的專業知識來做出負責任的決策。

這一切不僅可以避免意外情況的發生，還能提升你在公司眼中的專業形象，因為你展現了你對自己的工作對業務以及客戶和用戶資料保護的真正影響的認識。

儲存和資料架構設計類型

當你從資料科學家轉型為資料工程師，處理靜態資料集時，你與儲存的關係會徹底改變。這不再只是在本地打開 CSV 文件，而是要設計能夠支援持續資料流、不斷演進的模式以及多個使用者同時使用的系統。

在日常工作中，您將結合使用不同類型的儲存：關聯式資料庫（PostgreSQL、MySQL）用於結構化和事務性資訊；NoSQL 資料庫，例如 MongoDB（文件）、Redis（鍵值）或 Cassandra（列），用於滿足特定的效能、模式彈性或水平擴展需求。

此外，基於雲端的物件儲存（例如 Amazon S3、Azure Data Lake Storage 和 Google Cloud Storage）已成為許多現代資料湖的基石。大量的原始資料和處理後的資料都儲存在此類儲存中，通常採用 Parquet 或 Avro 等格式，隨時可供各種分析引擎使用。

設計現代資料架構需要考慮資料如何從源頭流向消費者，需要哪些中間層的品質控制、治理或轉換機制，以及如何組織所有這些以確保可維護性。能夠閱讀和建立架構圖將是您日常工作的一部分。

此外，許多組織正在採用以流為中心的架構，其中Apache Kafka等技術作為事件的骨幹發揮主導作用，這就引出了下一節。

使用 Apache Kafka 進行串流和即時處理

傳統的數據分析大多採用批次模式：定期載入資料、處理資料並產生結果。然而，越來越多的公司需要對各種即時變化做出反應，例如金融交易、用戶活動或物聯網感測器數據。

在此背景下，Apache Kafka 應運而生，成為全球數萬個組織採用的事件流平台。 Kafka 允許用戶在主題中發布和消費訊息，生產者和消費者解耦，並且系統可擴展至每秒處理從幾個到數百萬個事件。

對於資料工程師而言，深入理解Kafka 的架構至關重要：包括主題、分區、代理、生產者、消費者、消費組和偏移量等概念。此外，了解如何將 Kafka 與下游系統（資料庫、資料倉儲、警告系統）以及即時分析流程整合也至關重要。

許多機器學習模型現在也運行在資料流上，這需要將MLOps 與串流平台結合，以實現即時預測。 Kafka 不再只是“另一種技術”，而是正在成為現代事件驅動架構的核心。

大型企業的IT經理人將串流處理系統視為其資料和人工智慧策略的關鍵組成部分，並表示採用這些架構後投資報酬率顯著提高。學習Kafka及相關概念將使您在眾多求職者中脫穎而出。

容器、Docker 和服務部署

從資料科學家轉型為資料工程師的關鍵在於掌握使用 Docker 進行服務打包和部署。這意味著你將不再局限於在本地運行腳本，而是能夠建立可在任何伺服器或雲端環境中運行的鏡像，而不會出現意想不到的依賴問題。

Docker 允許你在 Dockerfile 中定義運行應用程式所需的一切：Python 或 Java 版本、函式庫、基本配置等等。然後，你只需建立鏡像，在本地測試，並在需要的地方運行容器。這大大減少了「在我的電腦上運行正常」這種經典場景，並促進了與 DevOps 團隊的協作。

對於資料工程師來說，將資料攝取服務、模型 API、處理工作流程或編排任務打包到容器中是很常見的做法。這些容器隨後會被整合到 Kubernetes 或其他編排器等平台中，儘管這一步驟可能會在稍後進行。

參考技術出版物和社群堅持認為，Docker 已成為從事模型部署和管道工作的人員幾乎不可或缺的技能，因為它允許您複製環境、自動化部署，並以類似於程式碼版本控制的方式對基礎架構進行版本控制。

生產模型：從腳本到 API，使用 Flask 或 FastAPI

這條道路上的另一個關鍵步驟，尤其對於有資料科學背景的人來說，是學習如何將模型作為 Web 服務公開。僅僅保存一個 pickle 檔案或設定檔已經遠遠不夠了：你需要建立其他團隊或應用程式可以使用的 API。

像Flask 或 FastAPI這樣的輕量級框架非常適合這種需求。借助它們，您只需幾行程式碼即可設定一個 API，該 API 透過 POST 請求接收數據，運行您的模型，並以 JSON 格式傳回預測結果。這些服務隨後可以整合到更大的架構或串流工作流程中。

將此功能與 Docker 結合使用，您可以建立包含模型的獨立容器，並隨時部署到不同的平台上。此外，FastAPI 還支援與 OpenAPI 模式的輕鬆整合以及 Swagger 風格的自動文件生成，從而簡化了服務使用者的操作。

這種方法是通往MLOps世界的門戶，它不僅涉及模型的部署，還包括監控模型效能、資料版本控制、自動化重新訓練以及管理生產環境中的整個生命週期。即使您作為資料工程師的重點並非完全在於 MLOps，了解這方面的知識也至關重要。

永久保存在筆記型電腦上的模型與保存在強大且受監控的終端上的模型之間的差異，對公司而言價值巨大，而數據工程正是這種轉變的核心。

雲端運算是資料工程師的自然環境

如今，大多數資料平台都建置在公有雲供應商之上，主要是 AWS、Google Cloud 或 Azure。為了完善你的職涯發展道路，深入學習至少一個雲端生態系統至關重要。

如果您已經在使用 PySpark，那麼Databricks + Apache Spark 的組合是一個不錯的選擇。 Databricks 提供了一個託管的分散式叢集環境、協作筆記本以及一系列專注於資料工程和機器學習的工具。掌握這項組合將為擁有大量數據的公司開啟許多機會。

另一個更輕量級的選擇（適用於原型）是將MongoDB 與 Streamlit 等工具結合使用，這樣就可以在 MongoDB 中存儲半結構化數據，並使用 Streamlit 構建速度非常快的儀表板或數據應用程序，而無需太多額外的基礎設施。

如果您想採用更雲端原生的方法，可以專注於AWS 或 GCP 服務，例如 Kinesis、Lambda、API Gateway、Pub/Sub、Dataflow、BigQuery 或類似工具，這些工具幾乎可以從零開始建立無伺服器工作流程和可擴充架構。在許多情況下，大型公司非常重視這些服務的實際應用經驗。

像Google雲端這樣的服務提供者提供專門的資料工程師學習路徑，其中包含一系列隨選課程、實踐實驗室、技能徽章以及官方認證的備考資料。透過遵循這樣的路徑，您可以規劃學習進度並衡量學習成效，直到您準備好參加考試。

資源、儲存庫以及如何有效實踐

對於那些剛開始走這條路的人來說，一個非常常見的問題是：應該選擇哪些資源，應該開展哪些項目，才能讓學習不限於理論層面？如今，西班牙語社群中有很多資源庫，其中包含各種概念、技術難題以及免費資料，可以作為實踐指南。

這些資源庫通常會按級別（初級、中級、高級）和語言對資源進行分類，以幫助您決定先觀看哪些內容。雖然大部分內容是英文的，但您始終可以使用瀏覽器的「翻譯成西班牙語」功能，或利用影片中的字幕和自動產生的文字稿。

一些實用的實踐範例包括「百日資料工程挑戰」，即每天抽出一些時間來建立一些東西：例如小型資料管道、資料清洗腳本、資料模型、API 連接器等等。持之以恆通常比偶爾的爆發工作更有效。

強烈建議閱讀一些專注於數據工程的書籍和設計模式，即使其中許多是英文的。它們教導設計健壯系統的成熟方法，讓你接觸到真實的架構，並幫助你避免初學者常犯的錯誤。

如果你發現真正有用的資源，不妨考慮為這些程式碼庫做出貢獻，例如改進、翻譯、新增資源或修復漏洞。參與開源專案不僅能幫助你學習，還能豐富你的公開作品集，給潛在雇主留下深刻印象。

求職、面試準備和常見問題

在求職之旅的最後階段，你需要專注於如何向市場展示你的個人優勢。這包括完善你的履歷、建立資料專案作品集、在專業平台上保持活躍的個人資料，以及練習專門針對資料工程師的技術面試。

公司非常重視實務經驗和個人項目，這些項目能夠清楚地展現你解決的問題、所做的技術決策、使用的技術以及所取得的成果。擁有資料工程師的經驗並非必要條件；一份文件完善的個人專案就能發揮至關重要的作用。

關於常見問題，總是會出現同樣的問題：應該優先學習哪些技術技能，是否值得學習 Spark 還是 Pandas 和 SQL 就足夠了，是否值得花時間考取雲端認證，轉型需要多長時間，或者為什麼有人說資料分析師「已經過時了」。

就技能而言，通常來說，成功的組合包括紮實的程式設計基礎、進階 SQL 技能、對資料模型的深刻理解、至少一種雲端平台的使用經驗，以及對編排和串流處理的基本掌握。當處理大量資料或在已部署 Spark 的環境中，Spark 就顯得格外重要。

關於時間安排，從資料科學家或開發人員轉型為資料工程師所需的時間因人而異，但只要持之以恆、專注投入，幾個月後你就可以申請初級或過渡職位了。關鍵在於打好基礎，避免盲目地學習各種課程，並專注於能夠展現你技能的專案。

這條通往數據工程的道路結合了理論基礎、大量的實踐和濃厚的好奇心，但作為回報，它為你打開了通往技術領域最搶手、最具發展前景的職業之一的大門，同時還能讓你了解和控制數據在組織內部的整個旅程，從而獲得額外的滿足感。