- Datu inženiera loma ir vērsta uz tādu sistēmu izstrādi un uzturēšanu, kas apkopo, pārveido un uzglabā datus uzticamā un mērogojamā veidā.
- Mācību ceļš ir strukturēts līmeņos: programmēšana un datubāzes, lielie dati un cauruļvadi un visbeidzot mākonis, drošība un straumēšana.
- SQL, datu modelēšanas, ETL, orķestrēšanas, konteineru un vismaz viena mākoņpakalpojumu sniedzēja apgūšana ir profesionālas izaugsmes atslēga.
- Praktiski projekti, kopienas krātuves un sertifikāti palīdz nostiprināt zināšanas un uzlabot darba meklēšanas iespējas.
Karjeras ceļš uz datu inženiera amatu ir kļuvis par vienu no pievilcīgākajiem datu pasaulē, īpaši tiem, kam ir tāda pieredze kā datu analītiķa vai datu zinātnieka amatā un kuri meklē tehniskākas pārmaiņas. Arvien vairāk uzņēmumu ir nepieciešami cilvēki, kas spēj izstrādāt, veidot un uzturēt sistēmas, kas vada informāciju, ne tikai mašīnmācīšanās modeļus vai informācijas paneļus.
Tajā pašā laikā milzīgais resursu, kursu un ieteikumu apjoms, kas cirkulē tiešsaistē, var būt milzīgs: vai sākt ar Python, vispirms apgūt SQL un vizualizāciju, doties tieši uz mākoņpakalpojumiem vai pāriet uz Spark… Šajā rakstā jūs atradīsiet pilnīgu mācību ceļu spāņu valodā, kas balstīts uz uzziņu materiāliem un paplašināts ar praktisku kontekstu, lai jūs precīzi zinātu, ar ko sākt, kā virzīties uz priekšu un kādus lēmumus pieņemt savā datu inženiera izstrādē.
Kas ir datu inženieris un kāpēc viņa loma kļūst arvien populārāka?
Datu inženieris ir atbildīgs par tādu sistēmu izstrādi, izveidi un ieviešanu , kas apkopo, pārveido, uzglabā un padara pieejamus datus, ko uzņēmumi izmanto lēmumu pieņemšanai. Kamēr datu zinātnieks vairāk koncentrējas uz modeļiem un analīzi, datu inženieris nodrošina, ka informācija tiek piegādāta laikā, uzticami, mērogojami un droši.
Praksē datu inženiera ikdienas darbs parasti ietver ETL vai ELT cauruļvadu veidošanu, procesu vadīšanu, datu arhitektūru (datu ezeru, datu noliktavu, datu martu) izstrādi , vairāku avotu integrēšanu un sadarbību ar citām komandām, piemēram, analītikas, datu zinātnes vai produktu komandām.
Saskaņā ar dažādiem nozares ziņojumiem, pieprasījums pēc datu inženieriem turpina pieaugt , un viņu algas daudzos tirgos parasti ir augstākas nekā datu zinātnes speciālistiem tieši tāpēc, ka viņiem ir tieša ietekme uz tehnisko infrastruktūru un uzņēmuma spēju izmantot savus datus.
Platformas, kas specializējas datu apmācībā, uzsver, ka vairāk nekā 70 % datu inženieru darba sludinājumu prasa pamatīgas zināšanas par programmatūras inženieriju un izkliedētajām sistēmām , un ka šīs lomas atalgojuma diapazons var viegli pārsniegt citu analītiskāku profilu atalgojumu, apvienojot programmēšanas, mākoņdatošanas un arhitektūras prasmes.
No datu zinātnieka līdz datu inženierim: kāpēc daudzi veic pāreju
Daudzās organizācijās, īpaši jaunuzņēmumos vai augošos uzņēmumos, robeža starp datu zinātnieku un datu inženieri ir neskaidra. Parasti personas apmācības modeļiem ir arī jāattīra dati, jāveido ieguves skripti, jāpārvieto faili, jāautomatizē procesi un pat jāiestata API prognožu sniegšanai.
Ja kādreiz esat strādājis pie datu plūsmu veidošanas, modeļu manuālas ieviešanas vai neskaitāmu datu avotu savienošanas , iespējams, jūs jau strādājat ļoti līdzīgi tam, ko dara datu inženieris. Šī tehniskā pieredze bieži vien rada interesi apgūt visu darbplūsmu, sākot no datu ievadīšanas līdz pat ražošanai, un samazināt atkarību no citām komandām vai pagaidu risinājumiem.
Galvenais iemesls šīm izmaiņām ir tehniskā autonomija : kad jūs saprotat, kā tiek izstrādātas datu platformas, kādas tehnoloģijas ir to pamatā un kā tās tiek izvietotas mākonī, jūs varat savas idejas stabilāk ieviest ražošanā, neiesprūstot eksperimentālās piezīmju grāmatiņās, kas nekad nesasniedz gala lietotāju.
Turklāt darba tirgū ir liels pieprasījums pēc datu inženierijas profiliem . Lai gan tīri datu zinātnes amati mēdz stabilizēties, nepārtraukti pieaug vajadzība pēc cilvēkiem, kas veido datu infrastruktūru, reāllaika cauruļvadus un mērogojamas sistēmas, padarot pāreju par diezgan stratēģisku lēmumu turpmākajiem gadiem.
Profesionālie maršrutu līmeņi: iesācējs, vidējs un progresīvs
Lai neapjuktu informācijas jūklī, datu inženiera ceļu ir lietderīgi sadalīt trīs brieduma līmeņos: iesācējs, vidējs un progresīvs. Doma nav jūs kategorizēt, bet gan palīdzēt jums noteikt prioritātes tam, kas jāapgūst vispirms, pamatojoties uz jūsu sākuma punktu.
Iesācēja līmenis aptver pamatus: programmēšanu, loģiku, versiju kontroli un pamata datubāzes. Tas ir nepieciešams , ja sākat no nulles vai jums ir mazāk tehniska pieredze, piemēram, biznesa vai analītiķa amats.
Vidējais līmenis aptver tādas tēmas kā lielie dati, izkliedētie apstrādes rīki, ETL cauruļvada projektēšana un orķestrētāji. Šeit jūs sākat izpētīt tehnoloģijas, ko redzēsiet ražošanas vidē, un domāt kā datu arhitekts.
Augstākais līmenis ietver mākoņdatošanas prasmes , sertifikāciju, drošību, nepārtrauktu izvietošanu, straumēšanu reāllaikā, kā arī darba meklēšanu un gatavošanos tehniskām intervijām . Šajā posmā jūs tiecaties uz augstākiem vai specializētiem amatiem.
Parasti, ja vēl neesat programmēšanas meistars , ir loģiskāk sākt ar sadaļu “Programmēšana un datubāzes”. Ja jau pārzināt SQL un nedaudz pārvaldāt Python, varat ātrāk pāriet uz sadaļu “Lielie dati un datu apstrāde”. Un, ja jūsu mērķis ir mākoņpakalpojumu sertifikācija, sadaļa “Mākoņpakalpojumi” būs izšķiroša.
Programmēšanas pamati un versiju kontrole
Gandrīz visa datu inženierijas pamatā ir zināšanas par to, kā efektīvi programmēt . Runa nav tikai par tādu skriptu rakstīšanu, kas "darbojas", bet gan par uzturējama, lasāma un viegli atkļūdojama koda izveidi. Šajā jomā Python bieži vien ir labākais sākumpunkts, pateicoties tā vienkāršajai sintaksei un plašajai ekosistēmai datu zinātnē un datu inženierijā.
Šajā posmā ir svarīgi iedziļināties programmēšanas pamatjēdzienos : datu tipos, struktūrās (sarakstos, vārdnīcās, kopās), funkcijās, klasēs, kļūdu apstrādē, kā arī failu lasīšanā un rakstīšanā. Ja dodat priekšroku citām valodām, piemēram, Java, Scala, R vai pat Julia, tās arī ir derīgas, taču reālajā datu inženierijas pasaulē vislabāk piemērotas ir Python un Java/Scala.
Vienlaikus ir svarīgi apgūt versiju kontroli, izmantojot Git . Daudzi to uzskata tikai par noderīgu komandas darbam, taču patiesībā tā ļauj izsekot koda vēsturei, saprast, kas mainījās un kad, bez bailēm testēt idejas un uzturēt darbu organizētu. GitHub vai GitLab būs jūsu ikdienas platformas repozitoriju mitināšanai un sadarbībai.
Tev nav jākļūst par Git guru jau no pirmās dienas, taču tev ir jāapgūst pamatkomandas (init, add, commit, branch, merge, push, pull) un jāsaprot, kā darbojas atzarojumi, pull pieprasījumi un koda pārskatīšana. Šāda darba metode ir norma jebkurā samērā nopietnā tehniskajā komandā.
Datu bāzes, SQL un informācijas modelēšana
Kad esat izveidojis stabilu programmēšanas pamatu, ir pienācis laiks iedziļināties datubāzēs un SQL . Šeit daudzi cilvēki jauc secību: vispirms Python, tad SQL vai otrādi? Vissaprātīgākā pieeja ir progresēt paralēli, taču jānodrošina, lai SQL lietošana kļūtu par jūsu otro dabu.
Strukturētiem datiem PostgreSQL ir ļoti ieteicams sākumpunkts, pateicoties tā jaudai un tā statusam kā de facto standartam daudzos projektos. Ja jau esat iepazinies ar MySQL, SQLite vai citiem datubāzu dzinējiem, tie joprojām darbosies, lai gan PostgreSQL parasti piedāvā lielāku elastību profesionālā vidē.
Tāpat ir ieteicams iepazīties ar NoSQL datubāzēm , piemēram, MongoDB dokumentiem vai Redis atslēgu-vērtību pāriem, kā arī citām, piemēram, Cassandra kolonnām. Mērķis nav iegaumēt tās visas, bet gan izprast to lietošanas gadījumus, priekšrocības un trūkumus, kā arī zināt, kad izvēlēties vienu, nevis otru.
Šajā fāzē tiek iepazīstināts ar datu modelēšanu : relāciju modeli, dimensiju modeli, faktu un dimensiju jēdzieniem, normalizāciju, primārajām un ārējām atslēgām, kā arī atsauces integritāti. Jūs iemācīsities domāt tabulu shēmu, relāciju un efektīvu vaicājumu izteiksmē, kas ir ļoti svarīgi jebkurai turpmākajai arhitektūrai.
Vēlāk jūs padziļināti apgūsiet datu ezerus, datu noliktavas, datu krātuves un datu centrus , kā arī tādas pieejas kā kolonnu un rindu glabāšana, zvaigžņu shēmas, sniegpārslu shēmas un lasīšanas un rakstīšanas shēmu stratēģijas. Tas viss sniegs jums valodu un modeļus, kas tiek izmantoti reālās pasaules projektos, lai organizētu informāciju plašā mērogā.
Lielo datu, analītikas un biznesa informācijas koncepcijas
Ar labām SQL un datubāzu pamatu zināšanām ir ieteicams izpētīt lielo datu un analītikas koncepcijas . Jums nav jākļūst par ekspertu katrā ekosistēmas ietvarā, taču jums vajadzētu saprast, kādas problēmas tie cenšas atrisināt un kāpēc tie pastāv.
Lielo datu pasaule balstās uz izkliedētu apstrādi , kur viss netiek darbināts vienā iekārtā, bet gan daudzos mezglos. Tādi rīki kā Apache Spark ir kļuvuši ļoti populāri lielu datu apjomu apstrādei gan partijveida, gan straumēšanas režīmā, un bieži vien ir daļa no datu vadītu uzņēmumu tehnoloģiju komplektiem.
Papildus lielajiem datiem ir lietderīgi iegūt vispārēju izpratni par mākslīgo intelektu, mašīnmācīšanos un biznesa intelektu . Lai gan kā datu inženieris jūs neapmācīsiet sarežģītus modeļus, jūs būsiet atbildīgs par datu sagatavošanu tiem un infrastruktūras, kas tos apgādā, izstrādi.
Jūs arī redzēsiet, kā tādas lietas kā BI rīki (Power BI, Tableau, Looker u.c.), atskaišu veidošanas procesi un biznesa analītiķu vajadzības sader kopā. Izpratne par to darbplūsmām palīdzēs jums izstrādāt noderīgākus datu plūsmas un modeļus tiem, kas patērē informāciju.
Datu apstrāde: ETL, orķestrēšana un datu cauruļvadi
Datu inženierijas patiesā būtība ir datu cauruļvadu projektēšana un būvniecība . Šeit jūs uzzināsiet, kas tieši ir ETL (Extract, Transform, Load) cauruļvads, kad ir lietderīgi izmantot ELT pieeju, kā organizēt uzdevumus, tos uzraudzīt un atgūties pēc kļūmēm.
Tipisks cauruļvads ietver datu uzņemšanas fāzes no vairākiem avotiem (API, datubāzēm, failiem, ziņojumu rindām), tīrīšanas un transformācijas soļus (normalizāciju, apkopošanu, bagātināšanu) un visbeidzot ielādi kādā mērķa sistēmā, kas var būt datu noliktava, datu ezers, NoSQL datubāze vai vairāku kombinācija.
Šajā kontekstā ir parādījušies darbplūsmas orķestrēšanas rīki, piemēram, Apache Airflow un citas mūsdienīgas alternatīvas, kas ļauj lietotājiem definēt atkarības starp uzdevumiem, plānot izpildi, izsekot izpildītajam un reaģēt uz kļūdām. Lai gan katrs uzņēmums izmanto atšķirīgu sistēmu steku, procesu orķestrēšanas un automatizācijas domāšanas veids ir kopīgs visiem.
Svarīgi ir izprast šajās vidēs tipiski izmantoto jēdzienu katalogu: relāciju un dimensionālie modeļi, datu ezeri, datu krātuves, datu noliktavas, kolonnu un rindu izkārtojumi, zvaigžņu un sniegpārsliņu shēmas , kā arī lasīšanas un rakstīšanas stratēģijas dažādām shēmām. Skaidra šīs terminoloģijas izpratne ļaus jums saprast tehnisko dokumentāciju, specializētās grāmatas un arhitektūras, ko redzat diagrammās.
Šajā sadaļā visvairāk noder praktiski vingrinājumi un nelieli personīgi projekti, kuros var veidot pilnīgus cauruļvadus , pat ja tie ir ar publiskiem datiem, un praktizēt tipiskos modeļus, ko vēlāk redzēsiet profesionālajās lomās.
Drošība cauruļvados un datu platformās
Pirmais solis ir piemērot lomām un atļaujām mazāko privilēģiju principu : katram pakalpojuma kontam, lietotājam vai lietojumprogrammai jābūt tikai piekļuvei, kas absolūti nepieciešama tā darba veikšanai, un nekam vairāk. Tas samazina uzbrukuma virsmu un ierobežo kļūdu vai noplūžu ietekmi.
Ir arī svarīgi saprast, kā datu šifrēšana darbojas gan pārsūtīšanas, gan miera stāvoklī . Tas ietver HTTPS, TLS un citu drošu protokolu izmantošanu, pārvietojot datus starp pakalpojumiem, kā arī šifrēšanas iespējošanu datubāzēs, krātuves segmentos un citās sistēmās, kurās tiek glabāta informācija.
Atklājot API vai modeļa pakalpojumus, jāpievērš uzmanība tādām detaļām kā autentifikācija un autorizācija (tokeni, API atslēgas, OAuth utt.), jāierobežo piekļuve kritiski svarīgiem galapunktiem un jāreģistrē sistēmas darbība, lai veiktu auditu par ļaunprātīgu izmantošanu. Jums nav jābūt drošības ekspertam, taču ir nepieciešams pietiekams zināšanu līmenis, lai pieņemtu atbildīgus lēmumus.
Tas viss ne tikai novērš pārsteigumus, bet arī stiprina jūsu profesionālo profilu uzņēmuma acīs, jo jūs apliecināt izpratni par sava darba reālo ietekmi uz uzņēmējdarbību un klientu un lietotāju datu aizsardzību.
Krātuves veidi un datu arhitektūras dizains
Pārejot no darba ar statiskām datu kopām kā datu zinātniekam uz datu inženiera darbu, jūsu attiecības ar datu krātuvi pilnībā mainās . Vairs nav runa par CSV faila atvēršanu lokāli, bet gan par sistēmu izstrādi, kas atbalsta nepārtrauktas datu plūsmas, mainīgas shēmas un vairākus patērētājus vienlaikus.
Savā ikdienas darbā jūs apvienosiet dažādus datu glabāšanas veidus: relāciju datubāzes (PostgreSQL, MySQL) strukturētai un transakciju informācijai; NoSQL datubāzes, piemēram, MongoDB (dokumenti), Redis (atslēga-vērtība) vai Cassandra (kolonnas), īpašām veiktspējas, shēmas elastības vai horizontālās mērogošanas vajadzībām.
Turklāt mākonī balstīta objektu glabātuve (Amazon S3, Azure Data Lake Storage, Google Cloud Storage) ir kļuvusi par daudzu mūsdienu datu ezeru stūrakmeni. Šeit tiek glabāti lieli neapstrādātu un apstrādātu datu apjomi, parasti tādos formātos kā Parquet vai Avro, kas ir gatavi izmantošanai dažādās analītikas programmās.
Mūsdienīgu datu arhitektūru izstrāde ietver datu plūsmas apsvēršanu no avotiem līdz patērētājiem, kādi kvalitātes, pārvaldības vai transformācijas starpslāņi ir nepieciešami un kā to visu organizēt, lai nodrošinātu uzturēšanas iespējas. Spēja lasīt un veidot arhitektūras diagrammas būs regulāra jūsu darba sastāvdaļa.
Turklāt daudzas organizācijas ievieš straumēšanas arhitektūras, kurās tādas tehnoloģijas kā Apache Kafka spēlē vadošo lomu kā notikumu mugurkauls, kas mūs noved pie nākamās sadaļas.
Straumēšana un apstrāde reāllaikā ar Apache Kafka
Liela daļa tradicionālās datu analīzes ir veikta pakešapstrādes režīmā: periodiski ielādējot datus, tos apstrādājot un ģenerējot rezultātus . Tomēr arvien vairāk uzņēmumu ir jāreaģē reāllaikā uz notiekošo, sākot no finanšu darījumiem līdz lietotāju aktivitātēm vai lietu interneta sensoriem.
Šajā kontekstā Apache Kafka kļuva par notikumu straumēšanas platformu, ko izmanto desmitiem tūkstošu organizāciju visā pasaulē. Kafka ļauj lietotājiem publicēt un patērēt ziņojumus tēmās, ar atdalītiem ražotājiem un patērētājiem, un mērogot sistēmu, lai apstrādātu no dažiem līdz miljoniem notikumu sekundē.
Datu inženierim ir ļoti svarīgi labi izprast Kafka arhitektūru : kas ir tēmas, nodalījumi, brokeri, ražotāji, patērētāji, patēriņa grupas un nobīdes. Ir arī svarīgi saprast, kā integrēt Kafka ar lejupējām sistēmām (datubāzēm, datu noliktavām, brīdināšanas sistēmām) un reāllaika analīzes procesiem.
Daudzi mašīnmācīšanās modeļi tagad darbojas arī datu plūsmās, kas rada nepieciešamību apvienot MLOps ar straumēšanas platformām , lai sniegtu tiešraides prognozes. Kafka vairs nav tikai "vēl viena tehnoloģija", bet gan kļūst par mūsdienu notikumu vadītu arhitektūru kodolu.
Lielu uzņēmumu IT vadītāji straumēšanas sistēmas uzskata par galveno savu datu un mākslīgā intelekta stratēģiju sastāvdaļu , ziņojot par ievērojamiem ieguldījumu atdeves uzlabojumiem, ieviešot šīs arhitektūras. Kafka un saistīto koncepciju apgūšana ļauj jums būt soli priekšā daudziem citiem kandidātiem.
Konteineri, Docker un pakalpojumu izvietošana
Pārejā no datu zinātnieka uz datu inženieri pagrieziena punkts ir pakalpojumu pakotnes un izvietošanas apgūšana, izmantojot Docker . Jūs pārejat no skriptu palaišanas savā datorā uz attēlu veidošanu, kurus var palaist jebkurā serverī vai mākoņvidē bez negaidītām atkarības problēmām.
Docker ļauj definēt visu nepieciešamo lietojumprogrammas palaišanai Dockerfile failā : Python vai Java versiju, bibliotēkas, pamata konfigurācijas un citas lietas. Pēc tam atliek tikai izveidot attēlu, pārbaudīt to lokāli un palaist konteineru, kur vien nepieciešams. Tas ievērojami samazina klasisko scenāriju "tas darbojas manā datorā" un atvieglo sadarbību ar DevOps komandām.
Datu inženieriem ir ierasts konteineros iesaiņot ievadīšanas pakalpojumus, modeļu API, apstrādes darbiniekus vai orķestrēšanas uzdevumus. Šie konteineri pēc tam tiek integrēti tādās platformās kā Kubernetes vai citos orķestrēšanas rīkos, lai gan šis solis varētu tikt veikts vēlāk.
Tehniskās atsauces publikācijas un kopienas uzstāj, ka Docker ir kļuvis par gandrīz neaizstājamu prasmi tiem, kas strādā ar modeļu izvietošanu un cauruļvadiem, jo tas ļauj replicēt vides, automatizēt izvietošanu un versiju infrastruktūras līdzīgi kā versiju kodēšana.
Ražošanas modeļi: no skripta līdz API ar Flask vai FastAPI
Vēl viens būtisks solis šajā ceļā, īpaši, ja jums ir datu zinātnes pieredze, ir iemācīties attēlot modeļus kā tīmekļa pakalpojumus . Vairs nepietiek tikai ar sālītas informācijas vai konfigurācijas faila saglabāšanu: jums ir jāizveido API, ko var izmantot citas komandas vai lietojumprogrammas.
Vieglie ietvari, piemēram, Flask vai FastAPI, ir ideāli piemēroti šim nolūkam. Ar to palīdzību jūs varat iestatīt API tikai dažās koda rindās, kas saņem datus, izmantojot POST, palaiž jūsu modeli un atgriež prognozi JSON formātā. Šos pakalpojumus pēc tam var integrēt lielākās arhitektūrās vai straumēšanas darbplūsmās.
Apvienojot šo iespēju ar Docker, jūs varat izveidot patstāvīgus konteinerus ar savu modeli , kas ir gatavi izvietošanai dažādās platformās. Turklāt FastAPI ietver vienkāršu integrāciju ar OpenAPI shēmām un Swagger stila automātisko dokumentāciju, atvieglojot dzīvi tiem, kas izmanto jūsu pakalpojumu.
Šī pieeja ir vārti uz MLOps pasauli , kur runa nav tikai par modeļa izvietošanu, bet arī par tā veiktspējas uzraudzību, datu versiju veidošanu, atkārtotas apmācības automatizāciju un visa dzīves cikla pārvaldību ražošanas vidē. Pat ja jūsu kā datu inženiera uzmanības centrā nav tikai MLOps, ir svarīgi izprast šo kontekstu.
Atšķirība starp modeli, kas pastāvīgi paliek piezīmju grāmatiņā, un tādu, kas atrodas stabilā un uzraudzītā galapunktā, uzņēmumam ir milzīga vērtība, un datu inženierija ir šīs transformācijas centrā .
Mākonis kā dabiska vide datu inženierim
Mūsdienās lielākā daļa datu platformu ir veidotas uz publiska mākoņpakalpojumu sniedzēja , galvenokārt AWS, Google Cloud vai Azure. Lai pabeigtu savu karjeras ceļu, ir svarīgi padziļināti apgūt vismaz vienu ekosistēmu.
Interesanta pirmā iespēja ir Databricks + Apache Spark kombinācija , īpaši, ja jūs jau izmantojat PySpark. Databricks piedāvā pārvaldītu vidi izkliedētiem klasteriem, sadarbības piezīmju grāmatiņām un virkni rīku, kas vērsti uz datu inženieriju un mašīnmācīšanos. Šīs kombinācijas apgūšana paver daudzas durvis uzņēmumos ar lieliem datu apjomiem.
Vēl viena vieglāka iespēja, kas noderīga prototipiem, ir apvienot MongoDB ar tādiem rīkiem kā Streamlit , kur var uzglabāt daļēji strukturētus datus MongoDB un veidot ļoti ātrus informācijas paneļus vai datu lietojumprogrammas ar Streamlit bez lielas papildu infrastruktūras.
Ja vēlaties izmantot mākoņpakalpojumos balstītu pieeju, varat koncentrēties uz AWS vai GCP pakalpojumiem, piemēram, Kinesis, Lambda, API Gateway, Pub/Sub, Dataflow, BigQuery vai līdzīgiem rīkiem, kas ļauj gandrīz no nulles veidot bezserveru darbplūsmas un mērogojamas arhitektūras. Daudzos gadījumos lieli uzņēmumi augstu vērtē reālu pieredzi ar šiem pakalpojumiem.
Pakalpojumu sniedzēji, piemēram, Google Cloud, piedāvā īpašus datu inženiera mācību ceļus ar pieprasījuma kursu, praktisko laboratorijas darbu, prasmju nozīmīšu un oficiālu sertifikāciju sagatavošanu kolekcijām. Sekojot šādam ceļam, jūs varat strukturēt savu mācīšanos un novērtēt savu progresu, līdz esat gatavs kārtot eksāmenu.
Resursi, krātuves un kā efektīvi praktizēties
Ļoti bieži uzdots jautājums tiem, kas uzsāk šo ceļu, ir, kādus resursus izvēlēties un kādus projektus īstenot , lai mācības nepaliktu tikai teorētiskas. Mūsdienās spāņu valodā ir pieejamas kopienas krātuves ar koncepcijām, tehniskām problēmām un bezmaksas materiālu kolekcijām, kas var kalpot kā dzīvs ceļvedis.
Šīs krātuves parasti kategorizē resursus pēc līmeņa (iesācējs, vidējs, progresīvs) un valodas, lai palīdzētu jums izlemt, ko skatīties vispirms. Lai gan liela daļa satura ir angļu valodā, jūs vienmēr varat izmantot pārlūkprogrammas opciju "tulkot uz spāņu valodu" vai izmantot subtitrus un automātiskās transkripcijas priekšrocības videoklipos.
Daži noderīgas prakses piemēri ir "100 datu inženierijas dienu" izaicinājumi , kuros jūs apņematies katru dienu veltīt laiku kaut kā izveidei: neliela cauruļvada, datu tīrīšanas skripta, datu modeļa, API savienotāja utt. Konsekvence parasti ir efektīvāka nekā neregulāri darbības uzliesmojumi.
Ir arī ļoti ieteicams lasīt grāmatas un projektēšanas modeļus, kas koncentrējas uz datu inženieriju , pat ja daudzi no tiem ir angļu valodā. Tajos tiek mācītas pārbaudītas pieejas robustu sistēmu projektēšanai, iepazītas ar reālās pasaules arhitektūrām un palīdzēt izvairīties no bieži pieļautām iesācēju kļūdām.
Ja atrodat kaut ko patiesi noderīgu, apsveriet iespēju sniegt ieguldījumu šajās krātuvēs ar uzlabojumiem, tulkojumiem, jauniem resursiem vai kļūdu labojumiem. Dalība atvērtajos projektos ne tikai palīdz mācīties, bet arī uzlabo jūsu publisko portfolio potenciālo darba devēju acīs.
Darba meklēšana, sagatavošanās intervijai un bieži uzdotie jautājumi
Ceļojuma noslēguma posmā ir pienācis laiks koncentrēties uz to, kā prezentēt savu profilu tirgū . Tas ietver CV pilnveidošanu, datu projektu portfeļa izveidi, aktīva profila uzturēšanu profesionālās platformās un tehnisko interviju praktizēšanu, kas paredzētas tieši datu inženieriem.
Uzņēmumi augstu vērtē praktisko pieredzi un personiskos projektus , kas skaidri parāda jūsu atrisināto problēmu, pieņemtos tehniskos lēmumus, izmantoto tehnoloģiju un sasniegtos rezultātus. Iepriekšēja pieredze datu inženiera amatā nav nepieciešama; labi dokumentēts personisks projekts var radīt visu atšķirību.
Runājot par bieži uzdotajiem jautājumiem, vienmēr parādās vieni un tie paši: kādām tehniskajām prasmēm dot priekšroku , vai ir vērts apgūt Spark vai pietiek ar Pandas un SQL, vai ir vērts ieguldīt laiku mākoņpakalpojumu sertifikācijās, cik ilgs laiks nepieciešams pārejai vai kāpēc daži saka, ka Data Analyst ir "novecojis".
Prasmju ziņā uzvarošā kombinācija parasti ir labas programmēšanas prasmes, padziļinātas SQL zināšanas, pamatīga datu modeļu izpratne , pieredze ar vismaz vienu mākoņpakalpojumu un pamata zināšanas par orķestrēšanu un straumēšanu. Spark kļūst īpaši aktuāla, strādājot ar lieliem datu apjomiem vai vidēs, kur tā jau ir ieviesta.
Runājot par laika grafiku, laiks, kas nepieciešams pārejai no datu zinātnieka vai izstrādātāja uz datu inženieri, ir atšķirīgs, taču ar pastāvīgu un mērķtiecīgu centību jūs varat būt gatavs pieteikties junioru vai pārejas amatiem dažu mēnešu laikā. Galvenais ir izveidot stabilu pamatu, izvairīties no pārlēkšanas no kursa uz kursu, nevienu nepabeidzot, un koncentrēties uz projektiem, kas demonstrē jūsu prasmes.
Šis ceļš uz datu inženieriju apvieno teorētiskos pamatus, daudz prakses un labu devu zinātkāres , bet pretī paver durvis uz vienu no pieprasītākajiem un vislabāk pozicionētajiem profiliem tehnoloģiju nozarē, ar papildu gandarījumu par visa datu ceļa izpratni un kontroli organizācijā.
