- Andmeinseneri roll keskendub selliste süsteemide kavandamisele ja hooldamisele, mis koguvad, teisendavad ja salvestavad andmeid usaldusväärsel ja skaleeritaval viisil.
- Õppetee on üles ehitatud tasemete kaupa: programmeerimine ja andmebaasid, suurandmed ja torujuhtmed ning lõpuks pilveteenused, turvalisus ja voogedastus.
- SQL-i, andmete modelleerimise, ETL-i, orkestreerimise, konteinerite ja vähemalt ühe pilveteenuse pakkuja valdamine on professionaalse arengu võtmeks.
- Praktilised projektid, kogukonna repositooriumid ja sertifikaadid aitavad teadmisi kinnistada ja tööotsingu võimalusi parandada.
Andmeinseneri karjääritee on muutunud andmemaailmas üheks atraktiivsemaks, eriti neile, kellel on andmeanalüütiku või andmeteadlase taust ja kes otsivad tehnilisemat nihet. Üha rohkem ettevõtteid vajab inimesi, kes on võimelised kavandama, ehitama ja hooldama infot edastavaid süsteeme, mitte ainult masinõppemudeleid või armatuurlaudu.
Samal ajal võib veebis levivate ressursside, kursuste ja soovituste tohutu hulk olla üle jõu käiv: kas alustada Pythoniga, õppida esmalt SQL-i ja visualiseerimist, minna otse pilve või minna üle Sparkile... Sellest artiklist leiad täieliku õppetee hispaania keeles, mis põhineb teatmematerjalidel ja on laiendatud praktilise kontekstiga, et teaksid täpselt, kust alustada, kuidas edasi liikuda ja milliseid otsuseid andmeinsenerina oma arengus langetada.
Mis on andmeinsener ja miks tema roll nii kiiresti kasvab?
Andmeinsener vastutab selliste süsteemide kavandamise, loomise ja juurutamise eest, mis koguvad, teisendavad, salvestavad ja teevad kättesaadavaks andmeid, mida ettevõtted otsuste tegemiseks kasutavad. Kui andmeteadlane keskendub rohkem mudelitele ja analüüsile, siis andmeinsener tagab teabe õigeaegse, usaldusväärse, skaleeritava ja turvalise edastamise.
Praktikas hõlmab andmeinseneri igapäevatöö tavaliselt ETL- või ELT-torustike loomist, protsesside orkestreerimist, andmearhitektuuride (andmejärved, andmelaod, andmemartid) kujundamist , mitme allika integreerimist ja koostööd teiste meeskondadega, näiteks analüütika, andmeteaduse või tootevaldkonnas.
Erinevate tööstusharu aruannete kohaselt kasvab andmeinseneride nõudlus jätkuvalt ning nende palgad on paljudel turgudel üldiselt kõrgemad kui andmeteaduse spetsialistidel, just seetõttu, et neil on otsene mõju tehnilisele infrastruktuurile ja ettevõtte võimele oma andmeid kasutada.
Andmekoolitusele spetsialiseerunud platvormid toovad esile, et üle 70% andmeinseneride töökuulutustest nõuavad tarkvaratehnika ja hajussüsteemide alaseid põhjalikke teadmisi ning et selle rolli palgavahemikud võivad programmeerimis-, pilve- ja arhitektuurioskuste kombineerimisel kergesti ületada teiste analüütilisemate profiilide omasid.
Andmeteadlasest andmeinseneriks: miks paljud selle ülemineku ette võtavad
Paljudes organisatsioonides, eriti idufirmades või kasvavates ettevõtetes, on andmeteadlase ja andmeinseneri vahelised piirid ähmased. Tavaliselt peavad isikukoolituse mudelid ka andmeid puhastama, ekstraktimisskripte looma, faile teisaldama, protsesse automatiseerima ja isegi API-sid ennustuste pakkumiseks seadistama.
Kui oled kunagi leidnud end andmevoogude loomisel, mudelite käsitsi juurutamisel või lugematute andmeallikate ühendamisel , siis on tõenäoline, et töötad juba väga lähedal sellele, mida andmeinsener teeb. See tehniline kogemus tekitab sageli huvi kogu töövoo valdamise vastu, alates andmete sisestamisest kuni tootmiseni, ning vähendab sõltuvust teistest meeskondadest või ajutistest lahendustest.
Selle muutuse peamine põhjus on tehniline autonoomia : kui mõistate, kuidas andmeplatvormid on loodud, millised tehnoloogiad nende taga on ja kuidas neid pilves juurutatakse, saate oma ideid tootmisse jõulisemalt viia, ilma et peaksite takerduma eksperimentaalsetesse märkmikesse, mis kunagi lõppkasutajani ei jõua.
Lisaks on tööturul suur nõudlus andmetehnika ametikohtade järele . Kuigi puhtalt andmeteaduse ametikohad kipuvad stabiliseeruma, kasvab pidevalt vajadus inimeste järele, kes ehitavad andmeinfrastruktuuri, reaalajas torujuhtmeid ja skaleeritavaid süsteeme, mistõttu on üleminek lähiaastatel üsna strateegiline otsus.
Professionaalsed marsruuditasemed: algaja, kesktase ja edasijõudnu
Et vältida liigse infohulgaga ülekoormamist, on kasulik jagada andmeinseneri tee kolmeks küpsustasemeks: algaja, kesktase ja edasijõudnu. Mõte ei ole sind lahterdada, vaid aidata sul oma lähtepunkti põhjal prioriseerida, mida kõigepealt õppida.
Algajate tase hõlmab põhitõdesid: programmeerimist, loogikat, versioonikontrolli ja baasandmebaase. See on see, mida vajad , kui alustad nullist või sul on vähem tehniline taust, näiteks äri- või analüütikuroll.
Kesktase hõlmab selliseid teemasid nagu suurandmed, hajutatud töötlustööriistad, ETL-torustiku disain ja orkestraatorid. Siin hakkate uurima tehnoloogiaid, mida näete tootmiskeskkondades, ja mõtlema nagu andmearhitekt.
Edasijõudnute tase hõlmab pilvandmetöötluse oskusi, sertifikaate, turvalisust , pidevat juurutamist, reaalajas voogedastust, samuti tööotsingut ja tehnilisteks intervjuudeks valmistumist . Selles etapis pürgite kõrgematele või spetsialiseeritumatele ametikohtadele.
Üldreeglina, kui sa pole veel programmeerimises osav , on mõistlikum alustada programmeerimise ja andmebaaside osast. Kui sa juba tunned SQL-i ja Pythonit, saad kiiremini edasi liikuda suurandmete ja andmetöötluse juurde. Ja kui sinu eesmärk on pilveteenuste sertifikaat, on pilveteenuste osa ülioluline.
Programmeerimise põhitõed ja versioonikontroll
Andmetehnikas on peaaegu kõige aluseks oskus tõhusalt programmeerida . Asi pole ainult "töötavate" skriptide kirjutamises, vaid ka hooldatava, loetava ja hõlpsasti silutava koodi loomises. Selles valdkonnas on Python sageli parim alguspunkt tänu oma lihtsale süntaksile ja ulatuslikule ökosüsteemile andmeteaduses ja andmetehnikas.
Selles etapis on oluline süveneda programmeerimise põhimõistetesse : andmetüübid, struktuurid (loendid, sõnastikud, hulgad), funktsioonid, klassid, veakäsitlus ning failide lugemine ja kirjutamine. Kui eelistate teisi keeli, näiteks Java, Scala, R või isegi Julia, on need samuti sobivad, kuid andmetehnika reaalses maailmas on parimad Python ja Java/Scala.
Samal ajal on oluline õppida Giti abil versioonikontrolli . Paljud peavad seda kasulikuks ainult meeskonnatöö jaoks, aga tegelikult võimaldab see jälgida oma koodi ajalugu, mõista, mis ja millal muutus, ideid kartmatult testida ja oma tööd organiseerituna hoida. GitHubist või GitLabist saavad teie igapäevased platvormid repositooriumide majutamiseks ja koostööks.
Sa ei pea Giti guruks saama esimesest päevast alates, aga sa pead valdama põhikäsklusi (init, add, commit, branch, merge, push, pull) ning mõistma, kuidas hargnemised, pull-taotlused ja koodiülevaated toimivad. Selline tööviis on normiks igas mõistlikult tõsiselt võetavas tehnilises meeskonnas.
Andmebaasid, SQL ja infomodelleerimine
Kui oled programmeerimises kindla aluse loonud, on aeg süveneda andmebaasidesse ja SQL-i . Siin ajab palju inimesi segadusse järjekord: kõigepealt Python, seejärel SQL või vastupidi? Kõige mõistlikum on edasi liikuda paralleelselt, kuid veenduda, et SQL-i kasutamisest saab sinu jaoks loomulik osa.
Struktureeritud andmete puhul on PostgreSQL väga soovitatav alguspunkt tänu oma võimsusele ja staatusele paljudes projektides de facto standardina. Kui olete juba tuttav MySQL-i, SQLite'i või muude andmebaasimootoritega, siis need ikkagi toimivad, kuigi PostgreSQL pakub professionaalses keskkonnas tavaliselt suuremat paindlikkust.
Samuti on hea mõte tutvuda NoSQL-i andmebaasidega , näiteks MongoDB dokumentide jaoks või Redis võtme-väärtuse paaride jaoks, aga ka teistega, näiteks Cassandra veergude jaoks. Eesmärk ei ole neid kõiki pähe õppida, vaid pigem mõista nende kasutusjuhtumeid, eeliseid ja puudusi ning teada, millal ühte teise asemel valida.
See etapp tutvustab andmete modelleerimist : relatsioonimudel, dimensioonimudel, faktide ja dimensioonide kontseptsioonid, normaliseerimine, primaar- ja võõrvõtmed ning referentsiaalne terviklikkus. Õpid mõtlema tabeliskeemide, seoste ja tõhusate päringute kaudu, mis on iga järgneva arhitektuuri jaoks ülioluline.
Hiljem süvenete andmejärvedesse, andmeladudesse, andmemägedesse ja andmekeskustesse , aga ka sellistesse lähenemisviisidesse nagu veergude ja ridade vaheline salvestamine, täheskeemid, lumehelveste skeemid ja lugemis- ja kirjutamisskeemi strateegiad. Kõik see annab teile keele ja mustrid, mida kasutatakse reaalsetes projektides teabe ulatuslikuks korraldamiseks.
Suurandmete, analüütika ja ärianalüütika kontseptsioonid
SQL-i ja andmebaasi põhitõdede hea tundmise korral on hea mõte uurida suurandmete ja analüütika kontseptsioone . Sa ei pea saama eksperdiks igas ökosüsteemi raamistikus, aga sa peaksid aru saama, milliseid probleeme need püüavad lahendada ja miks need eksisteerivad.
Suurandmete maailm tugineb hajutatud töötlemisele , kus kõige käitamise asemel ühes masinas on töö hajutatud paljude sõlmede vahel. Tööriistad nagu Apache Spark on muutunud väga populaarseks suurte andmemahtude töötlemiseks nii partiidena kui ka voogedastusena ning on sageli osa andmepõhiste ettevõtete tehnoloogiapaketist.
Lisaks suurandmetele on kasulik omandada üldine arusaam tehisintellektist, masinõppest ja ärianalüütikast . Andmeinsenerina ei treeni sa küll keerulisi mudeleid, kuid vastutad andmete ettevalmistamise ja neid toitva infrastruktuuri kujundamise eest.
Samuti näete, kuidas sellised asjad nagu ärianalüütika tööriistad (Power BI, Tableau, Looker jne), aruandlusprotsessid ja ärianalüütikute vajadused omavahel sobivad. Nende töövoogude mõistmine aitab teil kujundada kasulikumaid andmekanaleid ja -mudeleid neile, kes teavet tarbivad.
Andmetöötlus: ETL, orkestreerimine ja andmekanalid
Andmetehnika tõeline tuum on andmekanalite kavandamine ja ehitamine . Siit saate teada, mis täpselt on ETL-kanal (Extract, Transform, Load), millal on ELT-lähenemine mõttekas, kuidas ülesandeid orkestreerida, neid jälgida ja tõrgetest taastuda.
Tüüpiline torujuhe hõlmab andmete sisestamise etappe mitmest allikast (API-d, andmebaasid, failid, sõnumijärjekorrad), puhastamise ja teisendamise etappe (normaliseerimine, koondamine, rikastamine) ning lõpuks laadimist mingisse sihtsüsteemi, milleks võib olla andmelattu, andmejärv, NoSQL-i andmebaas või mitme segu.
Selles kontekstis on tekkinud töövoo korraldamise tööriistad nagu Apache Airflow ja muud kaasaegsed alternatiivid, mis võimaldavad kasutajatel määratleda ülesannete vahelisi sõltuvusi, ajastada täitmist, jälgida teostatut ja reageerida vigadele. Kuigi iga ettevõte kasutab erinevat tarkvarapaketti, on protsesside korraldamise ja automatiseerimise mõtteviis kõigile ühine.
Oluline on mõista nendes keskkondades tavaliselt kasutatavate kontseptsioonide kataloogi: relatsioonilised ja dimensioonilised mudelid, andmejärved, andmemartid, andmelaod, veergude ja ridade paigutused, tähe- ja lumehelveste skeemid ning erinevate skeemide lugemis- ja kirjutamisstrateegiad. Selle terminoloogia selge mõistmine võimaldab teil mõista tehnilist dokumentatsiooni, erialaseid raamatuid ja diagrammidel nähtud arhitektuure.
See osa on üks neist, mis saab kõige rohkem kasu praktilistest harjutustest ja väikestest isiklikest projektidest, kus saate luua otsast lõpuni torujuhtmeid , isegi kui need põhinevad avalikel andmetel, ja harjutada tüüpilisi mustreid, mida hiljem tööalases rollis näete.
Turvalisus andmekanalites ja platvormidel
Esimene samm on rollide ja õiguste puhul vähima privileegi põhimõtte rakendamine : igal teenusekontol, kasutajal või rakendusel peaks olema ainult oma töö tegemiseks hädavajalik juurdepääs ja mitte midagi enamat. See vähendab rünnakupinda ja piirab vigade või lekete mõju.
Samuti on oluline mõista, kuidas andmete krüptimine toimib nii edastamisel kui ka salvestatud olekus . See hõlmab HTTPS-i, TLS-i ja muude turvaliste protokollide kasutamist andmete edastamisel teenuste vahel, samuti krüptimise lubamist andmebaasides, salvestusämbrites ja muudes süsteemides, kus teavet talletatakse.
API-de või mudelteenuste avalikustamisel peate pöörama tähelepanu sellistele detailidele nagu autentimine ja autoriseerimine (tokenid, API-võtmed, OAuth jne), piirama juurdepääsu kriitilistele lõpp-punktidele ja logima süsteemi tegevust, et auditeerida väärkasutust. Te ei pea olema turvaekspert, kuid vastutustundlike otsuste langetamiseks on vaja piisavat asjatundlikkust.
Kõik see mitte ainult ei hoia ära üllatusi, vaid tugevdab ka teie professionaalset profiili ettevõtte silmis, kuna näitate üles teadlikkust oma töö tegelikust mõjust ettevõttele ning klientide ja kasutajate andmete kaitsele.
Salvestusruumi tüübid ja andmearhitektuuri disain
Kui lähed üle andmeteadlasena staatiliste andmekogumitega töötamiselt andmeinseneriks, muutub sinu suhe salvestusruumiga täielikult . Asi pole enam CSV-faili lokaalses avamises, vaid süsteemide loomises, mis toetavad pidevaid andmevooge, arenevaid skeeme ja mitut tarbijat samaaegselt.
Oma igapäevatöös kombineerid erinevat tüüpi salvestust: relatsioonandmebaase (PostgreSQL, MySQL) struktureeritud ja tehingulise teabe jaoks; NoSQL-i andmebaase, näiteks MongoDB (dokumendid), Redis (võtme-väärtuse) või Cassandra (veerud), spetsiifiliste jõudlus-, skeemi paindlikkuse või horisontaalse skaleerimise vajaduste jaoks.
Lisaks on paljude tänapäevaste andmejärvede nurgakiviks saanud pilvepõhine objektisalvestus (Amazon S3, Azure Data Lake Storage, Google Cloud Storage). Siin talletatakse suuri koguseid töötlemata ja töödeldud andmeid, tavaliselt sellistes vormingutes nagu Parquet või Avro, mis on valmis erinevate analüüsimootorite poolt tarbimiseks.
Kaasaegsete andmearhitektuuride kujundamine hõlmab andmete liikumise läbimõtlemist allikatest tarbijateni, vajalikke kvaliteedi-, haldus- või transformatsioonikihte ning seda, kuidas seda kõike hooldatavuse tagamiseks korraldada. Arhitektuuridiagrammide lugemise ja loomise oskus on teie töö tavapärane osa.
Lisaks võtavad paljud organisatsioonid kasutusele voogedastuskeskseid arhitektuure, kus sellised tehnoloogiad nagu Apache Kafka mängivad sündmuste selgroona juhtrolli, mis viib meid järgmise osani.
Voogesitus ja reaalajas töötlemine Apache Kafka abil
Suur osa traditsioonilisest andmeanalüüsist on tehtud partiirežiimis: andmeid laaditakse perioodiliselt, töödeldakse ja tulemusi genereeritakse . Kuid üha rohkem ettevõtteid peab reageerima reaalajas toimuvale, alates finantstehingutest kuni kasutajate tegevuse või asjade interneti anduriteni.
Selles kontekstis kujunes Apache Kafka sündmuste voogedastusplatvormiks , mille võtsid omaks kümned tuhanded organisatsioonid üle maailma. Kafka võimaldab kasutajatel avaldada ja tarbida sõnumeid teemade kaupa, eraldatud tootjate ja tarbijatega ning skaleerida süsteemi, et see käsitleks mõnest kuni miljonite sündmusteni sekundis.
Andmeinseneri jaoks on Kafka arhitektuuri põhjalik mõistmine võtmetähtsusega: millised on teemad, partitsioonid, maaklerid, tootjad, tarbijad, tarbimisrühmad ja nihked. Samuti on oluline mõista, kuidas integreerida Kafkat allavoolu süsteemidega (andmebaasid, andmelaod, hoiatussüsteemid) ja reaalajas analüüsiprotsessidega.
Paljud masinõppemudelid töötavad nüüd ka andmevoogudel, mis nõuab MLOpsi kombineerimist voogedastusplatvormidega, et pakkuda reaalajas ennustusi. Kafka pole enam lihtsalt "järjekordne tehnoloogia", vaid sellest on saamas tänapäevaste sündmuspõhiste arhitektuuride tuum.
Suurettevõtete IT-juhid peavad voogedastussüsteeme oma andmete ja tehisintellekti strateegiate võtmekomponendiks ning teatavad nende arhitektuuride kasutuselevõtul investeeringutasuvuse märkimisväärsest paranemisest. Kafka ja sellega seotud kontseptsioonide õppimine annab sulle sammu võrra ees paljudest teistest kandidaatidest.
Konteinerid, Docker ja teenuste juurutamine
Andmeteadlasest andmeinseneriks üleminekul on pöördepunktiks teenuste pakendamise ja juurutamise omandamine Dockeri abil . Skriptide käitamise asemel oma arvutis liigutakse edasi kujutiste loomiseni, mida saab käivitada mis tahes serveris või pilvekeskkonnas ilma ootamatute sõltuvusprobleemideta.
Docker võimaldab teil Dockerfile'is defineerida kõik, mida vajate oma rakenduse käitamiseks : Pythoni või Java versiooni, teegid, põhikonfiguratsioonid ja palju muud. Seejärel saate lihtsalt luua kujutise, testida seda lokaalselt ja käivitada konteineri kõikjal, kus vaja. See vähendab oluliselt klassikalist "see töötab minu arvutis" stsenaariumi ja hõlbustab koostööd DevOps meeskondadega.
Andmeinseneride jaoks on tavaline pakendada andmetöötlusteenuseid, mudeli API-sid, töötlemistöötajaid või orkestreerimisülesandeid konteineritesse. Seejärel integreeritakse need konteinerid platvormidesse nagu Kubernetes või muud orkestreerimisprogrammid, kuigi see samm võib tulla hiljem.
Tehnilistes väljaannetes ja kogukondades rõhutatakse, et Dockerist on saanud peaaegu asendamatu oskus neile, kes töötavad mudeli juurutuste ja torujuhtmetega, kuna see võimaldab teil keskkondi replikeerida, juurutusi automatiseerida ja infrastruktuure versioonida sarnaselt koodi versioonimisele.
Tootmismudelid: skriptist API-ni Flaski või FastAPI abil
Teine oluline samm sellel teel, eriti kui sul on andmeteaduse taust, on õppida mudeleid veebiteenustena pakkuma . Lihtsalt valitud tööriista või konfiguratsioonifaili salvestamisest enam ei piisa: pead looma API-sid, mida teised meeskonnad või rakendused saavad kasutada.
Kerged raamistikud nagu Flask või FastAPI sobivad selleks ideaalselt. Nende abil saate vaid mõne koodireaga seadistada API, mis võtab vastu andmeid POST-i kaudu, käivitab teie mudeli ja tagastab ennustuse JSON-vormingus. Neid teenuseid saab seejärel integreerida suurematesse arhitektuuridesse või voogedastusvoogudesse.
Selle võimaluse kombineerimine Dockeriga võimaldab teil luua oma mudeliga iseseisvaid konteinereid , mis on valmis juurutamiseks erinevatel platvormidel. Lisaks sisaldab FastAPI hõlpsat integratsiooni OpenAPI skeemide ja Swagger-stiilis automaatse dokumentatsiooniga, muutes teie teenuse kasutajate elu lihtsamaks.
See lähenemisviis on värav MLOpsi maailma , kus ei ole vaja ainult mudeli juurutamist, vaid ka selle jõudluse jälgimist, andmete versioonimist, ümberõppe automatiseerimist ja kogu elutsükli haldamist tootmises. Isegi kui teie kui andmeinsenerina ei keskendu ainult MLOpsile, on oluline seda konteksti mõista.
Erinevus sülearvutisse püsivalt jääva mudeli ja töökindlasse ning jälgitavasse lõpp-punkti paigutatud mudeli vahel on ettevõtte jaoks tohutu väärtusega ning andmetehnika on selle ümberkujundamise keskmes .
Pilv kui andmeinseneri loomulik keskkond
Tänapäeval on enamik andmeplatvorme üles ehitatud avaliku pilve pakkuja , peamiselt AWS-i, Google Cloudi või Azure'i baasil. Oma karjääritee lõpuleviimiseks on oluline investeerida vähemalt ühe ökosüsteemi põhjalikku tundmaõppimisse.
Huvitav esimene variant on Databricksi ja Apache Sparki kombinatsioon , eriti kui te juba kasutate PySparki. Databricks pakub hallatud keskkonda hajutatud klastritele, koostööl põhinevatele märkmikele ja hulgale tööriistadele, mis keskenduvad andmetehnikale ja masinõppele. Selle kombinatsiooni valdamine avab palju uksi ettevõtetes, kus töötab palju andmeid.
Teine kergem ja prototüüpide jaoks kasulik variant on MongoDB kombineerimine selliste tööriistadega nagu Streamlit , kus saab MongoDB-s salvestada poolstruktureeritud andmeid ja Streamlitiga luua väga kiireid armatuurlaudu või andmerakendusi ilma suurema lisataristuta.
Kui soovite kasutada pilvepõhisemat lähenemisviisi, võite keskenduda AWS-i või GCP teenustele nagu Kinesis, Lambda, API Gateway, Pub/Sub, Dataflow, BigQuery või sarnastele tööriistadele, mis võimaldavad teil luua serverita töövooge ja skaleeritavaid arhitektuure peaaegu nullist. Paljudel juhtudel hindavad suurettevõtted nende teenustega reaalset kogemust kõrgelt.
Teenusepakkujad nagu Google Cloud pakuvad spetsiifilisi andmeinseneri õppeteid , mis sisaldavad tellitavaid kursusi, praktilisi laboritöid, oskuste märke ja ettevalmistusi ametlikeks sertifikaatideks. Sellist teed järgides saate oma õppimist struktureerida ja oma edusamme mõõta, kuni olete eksamiks valmis.
Ressursid, repositooriumid ja kuidas tõhusalt harjutada
Selle tee alustajate seas on väga levinud küsimus, milliseid ressursse valida ja milliseid projekte ette võtta , et õppimine ei jääks pelgalt teoreetiliseks. Tänapäeval on olemas hispaaniakeelsed kogukonnahoidlad, mis sisaldavad kontseptsioone, tehnilisi väljakutseid ja tasuta materjalide kogusid, mis võivad olla elavaks teejuhiks.
Need repositooriumid kategoriseerivad ressursse tavaliselt taseme (algaja, kesktase, edasijõudnu) ja keele järgi, et aidata teil otsustada, mida kõigepealt vaadata. Kuigi suur osa sisust on inglise keeles, saate alati kasutada oma brauseri valikut „Tõlkida hispaania keelde” või kasutada videotes subtiitreid ja automaatset transkriptsiooni.
Mõned näited kasulikest praktikatest hõlmavad väljakutseid „100 päeva andmetehnikat” , kus kohustute iga päev kulutama aega millegi ehitamisele: väikese torujuhtme, andmete puhastamise skripti, andmemudeli, API-liidese jne. Järjepidevus on tavaliselt tõhusam kui juhuslikud tegevusepursked.
Samuti on tungivalt soovitatav lugeda andmetehnikale keskenduvaid raamatuid ja disainimustreid , kuigi paljud neist on inglise keeles. Need õpetavad tõestatud lähenemisviise robustsete süsteemide kujundamiseks, tutvustavad teile reaalseid arhitektuure ja aitavad vältida algajate tavalisi vigu.
Kui leiate midagi tõeliselt kasulikku, kaaluge nendesse repositooriumitesse panustamist täiustuste, tõlgete, uute ressursside või veaparandustega. Avatud projektides osalemine mitte ainult ei aita teil õppida, vaid rikastab ka teie avalikku portfooliot potentsiaalsete tööandjate silmis.
Tööotsing, intervjuuks ettevalmistumine ja korduma kippuvad küsimused
Teekonna viimases etapis on aeg keskenduda sellele, kuidas oma profiili turule esitleda . See hõlmab CV lihvimist, andmeprojektide portfoolio loomist, aktiivse profiili hoidmist professionaalsetel platvormidel ja andmeinseneridele mõeldud tehniliste intervjuude harjutamist.
Ettevõtted hindavad kõrgelt praktilist kogemust ja isiklikke projekte , mis selgelt näitavad lahendatud probleemi, tehtud tehnilisi otsuseid, kasutatud tehnoloogiat ja saavutatud tulemusi. Eelnev andmeinsenerina töötamise kogemus pole vajalik; hästi dokumenteeritud isiklik projekt võib muuta kõik.
Korduma kippuvate küsimuste puhul kerkivad alati esile samad küsimused: milliseid tehnilisi oskusi eelistada , kas tasub õppida Sparki või piisab Pandast ja SQL-ist, kas tasub investeerida aega pilvesertifikaatidesse, kui kaua üleminek aega võtab või miks mõned ütlevad, et andmeanalüütik on "aegunud".
Oskuste osas on võidukombinatsiooniks tavaliselt korralik programmeerimisoskus, edasijõudnud SQL-i oskused, andmemudelite põhjalik mõistmine , kogemus vähemalt ühe pilveteenusega ning orkestreerimise ja voogedastuse põhiteadmised. Spark muutub eriti oluliseks suurte andmemahtude käsitlemisel või keskkondades, kus see on juba rakendatud.
Ajakavade osas on andmeteadlasest või arendajast andmeinseneriks üleminekuks kuluv aeg erinev, kuid järjepideva ja sihipärase pühendumisega võite olla valmis kandideerima noorematele või üleminekupositsioonidele mõne kuuga. Peamine on luua kindel alus, vältida kursuselt kursusele hüppamist ilma ühtegi lõpetamata ja keskenduda projektidele, mis näitavad teie oskusi.
See tee andmetehnika poole ühendab endas teoreetilised alused, palju harjutamist ja hea annuse uudishimu , kuid vastutasuks avab see uksed ühele tehnoloogiasektori nõutumale ja parima positsiooniga profiilile, millele lisandub rahulolu kogu andmete teekonna mõistmisest ja kontrollimisest organisatsioonis.
