- Ito ay isang hybrid profile na pinagsasama ang teknikal na pag-iisip ng Data Engineer at ang analytical vision ng Data Analyst.
- Ang pangunahing tungkulin nito ay ang pagbabago ng hilaw na datos tungo sa malinis, nasubukan, at dokumentadong mga modelo gamit ang mga kagamitang tulad ng dbt at SQL.
- Nagdadala ito ng kahusayan sa software engineering sa pagsusuri ng datos, pagpapatupad ng version control, unit testing, at CI/CD.
Sigurado akong nangyari na ito sa iyo: titingnan mo ang isang dashboard at ang mga numero ay hindi tumutugma sa ulat ng isang kasamahan, o maligaw ka sa isang labirinto ng mga SQL view na walang nakakaalam kung sino ang lumikha o para saan ang mga ito. Ang kalituhang ito ang siyang nagbigay-daan sa Analytics Engineer, isang tungkulin na nakakakuha ng kahanga-hangang atensyon mula pa noong 2018 upang magdala ng kaayusan sa kaguluhan ng modernong data.
Sa esensya, ang propesyonal na ito ay nagsisilbing teknikal at estratehikong pandikit na nag-uugnay sa raw data infrastructure sa paggawa ng desisyon sa negosyo. Hindi lamang ito tungkol sa pagsulat ng code, kundi tungkol sa pagtiyak na ang sinuman sa organisasyon ay makakabuo ng maaasahang mga konklusyon nang hindi kinakailangang mag-alala sa source code sa tuwing kailangan nila ng isang piraso ng data.
Ano nga ba ang tunay na kahulugan ng pagiging isang Analytics Engineer?

Sa madaling salita, ito ay isang uri ng pagsasama sa pagitan ng isang analyst at isang data engineer. Bagama't ang Data Engineer ang responsable sa pagdadala ng data sa data warehouse (ang transport), tinitiyak naman ng Analytics Engineer na, kapag naroon na, ang data ay organisado at mauunawaan ng iba pang miyembro ng team.
Ang kanilang misyon ay manipulahin ang hilaw na datos upang gawin itong mas madaling ma-access, mas nakabalangkas, at, higit sa lahat, mas madaling suriin. Sa pamamagitan ng paglalapat ng mga pamantayan ng software engineering sa pagsusuri, tinitiyak nila na ang mga dataset ay maaaring kopyahin at maging transparent, na pumipigil sa bawat analyst na kalkulahin ang mga indicator sa sarili nilang paraan, na kadalasang isang bangungot sa malalaking kumpanya.
Mga responsibilidad at pang-araw-araw na gawain sa posisyon

Ang trabaho ng isang Analytics Engineer ay higit pa sa pagsulat ng mga SQL query. Sila ang responsable para sa buong siklo ng buhay ng data transformation. Isa sa kanilang mga pangunahing gawain ay ang pagmomodelo at transpormasyon , kung saan nililinis at binubuo nila ang impormasyon upang matiyak ang katumpakan at pagiging maaasahan.
- Konstruksyon ng tubo: Nagdidisenyo sila ng mga daloy ng trabaho upang kunin, baguhin, at i-load ang mataas na kalidad na data, na ino-optimize ang paglipat mula sa hilaw na data patungo sa mga modelo ng negosyo.
- Kalidad at pagpapatunay: Wala silang inilalabas nang hindi ito sinusubukan. Ipapatupad nila ito. pagsubok sa yunit at pagganap upang matiyak na ang datos ay walang mga hindi inaasahang null o duplicate.
- Dokumentasyon at lahi: Gumagawa sila ng mga repositoryo ng metadata at detalyadong dokumentasyon upang malaman ng sinuman kung saan nagmumula ang isang numero at kung ano ang eksaktong kahulugan nito.
- Malapit na pakikipagtulungan: Sila ay nagsisilbing tagasalin sa pagitan ng mga teknikal at negosyong stakeholder, na namamahala sa mga inaasahan at pagtukoy sa mga karaniwang sukatan.
Bukod pa rito, tinitiyak nila na ang code ay napapanatili. Kabilang dito ang paggamit ng modularity at reusability, pag-iwas sa pag-uulit ng parehong kalkulasyon sa sampung magkakaibang lugar at pagsentro ng lohika sa malinaw na mga layer ng pagmomodelo (source, intermediate, at business).
Ang teknikal na arsenal: Mga Kasanayan at Kasangkapan

Upang magtagumpay sa tungkuling ito, kinakailangan ang isang napaka-espesipikong halo ng mga kasanayan. Ang mataas na kahusayan sa SQL ay mahalaga, dahil ito ang wikang ginagamit upang manipulahin ang karamihan sa mga kasalukuyang data warehouse.
Kung pag-uusapan ang mga kagamitan, isa ang praktikal na mahalaga: dbt (Data Build Tool) . Ang kagamitang ito ay nagbibigay-daan sa iyong direktang ilapat ang mga daloy ng trabaho sa inhenyeriya (tulad ng pagkontrol ng bersyon gamit ang Git) sa SQL. Kasama nito, karaniwan silang gumagana sa mga cloud data store tulad ng Snowflake, Google BigQuery, o Amazon Redshift , at mga orchestrator tulad ng Airflow upang i-automate ang mga proseso.
Hindi rin dapat nilang kalimutan ang programming. Mahalaga ang Python at R para sa mas kumplikadong data mining at mga gawain sa predictive modeling . Gayundin, dapat silang maging pamilyar sa mga BI tool tulad ng Looker, Tableau, o Power BI, hindi kinakailangan para sa pagdidisenyo ng pangwakas na dashboard, kundi upang matiyak ang kahusayan ng pinagbabatayang database.
Mga pangunahing pagkakaiba mula sa iba pang mga tungkulin ng datos

Karaniwang mapagkamalan ang Analytics Engineer sa Data Engineer. Ang pagkakaiba ay pangunahing nasa kung saan nakikialam ang bawat isa . Nakatuon ang Data Engineer sa arkitektura, paggamit ng datos, at katatagan ng mga sistema (ang pipeline). Kinukuha ng Analytics Engineer ang naka-load nang datos at binabago ito sa mga kapaki-pakinabang na modelo (ang paggamot ng tubig).
Sa kabilang banda, kabaligtaran ng Data Analyst, ang analytics engineer ay hindi gaanong nakatuon sa pagsagot sa isang partikular na tanong sa negosyo, kundi sa pagbuo ng imprastraktura ng datos na nagbibigay-daan sa analyst na sagutin ang tanong na iyon nang awtomatiko at mabilis.
Paano makapasok sa propesyong ito at mga prospect sa hinaharap
Bagama't walang iisang landas, maraming analyst ang nagmula sa mga larangan ng matematika, agham pangkompyuter, o estadistika. Karaniwang makakita ng mga analyst na natutong magprograma o mga inhinyero na nakabuo ng pananaw na mas nakatuon sa negosyo . Ang mga bootcamp na dalubhasa sa Data Engineering o Analysis ay isa ring mabilis at epektibong ruta.
Kung tungkol sa merkado ng trabaho, maganda ang pananaw. Ang paglago ng agham ng datos ang nagtutulak sa pangangailangan para sa mga propesyonal na ito. Ang mga suweldo ay lubhang nag-iiba depende sa rehiyon; habang sa Europa ay mula €43.000 para sa mga junior na posisyon hanggang sa mahigit €78.000, sa Estados Unidos ang mga bilang ay maaaring mas mataas nang malaki, kadalasang lumalagpas sa $150.000 taun-taon depende sa karanasan at lokasyon.
Nilulutas ng propesyonal na profile na ito ang problema sa pagitan ng purong inhinyeriya at pangwakas na pagsusuri, tinitiyak na ang kumpanya ay hindi lamang mayroong datos, kundi pati na rin maaasahan at magagamit na impormasyon sa pamamagitan ng paggamit ng teknikal na kahusayan, mga modernong kagamitan sa pagbabago, at malalim na pag-unawa sa mga pangangailangan ng negosyo.
Mga madalas itanong
Ano ang pangunahing pagkakaiba sa pagitan ng isang Data Engineer at isang Analytics Engineer?
Ang Data Engineer ang namamahala sa imprastraktura at sa paggamit ng hilaw na datos, habang ang Analytics Engineer naman ang siyang nagbabago sa mga naka-load nang datos tungo sa malinis at organisadong mga modelo para sa pagsusuri.
Anong mga tool ang mahalaga para sa pagtatrabaho bilang isang Analytics Engineer?
Mahalaga ang pagiging dalubhasa sa SQL at DBTS para sa transpormasyon, gayundin ang paghawak sa mga cloud data store tulad ng Snowflake o BigQuery at version control gamit ang Git.
Bakit mahalaga ang paggamit ng dbt sa papel na ito?
Pinapayagan ng dbt ang paglalapat ng mga kasanayan sa software engineering sa pagsusuri ng datos, na nagpapadali sa paglikha ng mga pipeline, ang pagganap ng mga pagsusuri sa integridad, at ang dokumentasyon ng data lineage.
Anong mga soft skill ang kailangan ng isang Analytics Engineer?
Nangangailangan ito ng malaking kapasidad para sa komunikasyon at kolaborasyon upang bigyang-kahulugan ang mga pangangailangan ng mga stakeholder na hindi teknikal at isalin ang mga kinakailangan sa negosyo sa mga modelo ng datos.
Maaari bang maging isang Analytics Engineer ang isang Data Analyst?
Oo, ito ay isang karaniwang transisyon kung ang analyst ay nakakakuha ng mga advanced na teknikal na kasanayan sa SQL, natututo ng mga tool sa pagmomodelo tulad ng dbt, at gumagamit ng mga kasanayan sa software engineering.
Ano ang ginagawa ng isang Analytics Engineer upang matiyak ang kalidad ng data?
Magpatupad ng mga unit at integration test na nagpapatunay ng pagiging natatangi, kawalan ng mga null, at pagsunod sa mga patakaran ng negosyo sa bawat data load.
Talatuntunan
- 1 Ano nga ba ang tunay na kahulugan ng pagiging isang Analytics Engineer?
- 2 Mga responsibilidad at pang-araw-araw na gawain sa posisyon
- 3 Ang teknikal na arsenal: Mga Kasanayan at Kasangkapan
- 4 Mga pangunahing pagkakaiba mula sa iba pang mga tungkulin ng datos
- 5 Paano makapasok sa propesyong ito at mga prospect sa hinaharap
- 6 Mga madalas itanong