- Duomenų saugykla centralizuoja struktūrizuotus ir optimizuotus duomenis, kad būtų lengviau priimti strateginius sprendimus ir atlikti verslo analizę.
- Įrankio pasirinkimas priklauso nuo sąveikumo su dabartinėmis sistemomis, kainos, diegimo modelio ir tiekėjo strategijos.
- Duomenų saugyklos, duomenų ežerai ir didžiieji duomenys turi esminių skirtumų duomenų struktūros, lankstumo ir saugumo požiūriu.
- Migracija į debesį pagerina veiklos lankstumą, sumažina infrastruktūros sąnaudas ir pagreitina informacijos apdorojimą.
Šiandien duomenys tapo vertingiausiu bet kurios organizacijos turtu, beveik kaip XXI amžiaus nafta. Kad visa ši informacija nepavirstų visišku chaosu, įmonėms reikia tvirtų ir patikimų struktūrų , kurios leistų joms tvarkyti ir analizuoti didžiulius duomenų kiekius nesukeliant didelių sunkumų.
Jei tik pradedate pažintį su analitika, tikriausiai esate susidūrę su duomenų saugyklos koncepcija. Iš esmės tai yra centralizuota sistema, naudojama informacijai iš kelių šaltinių valdyti . Ji skiriasi nuo įprastų duomenų bazių, nes nėra orientuota į kasdienių operacijų apdorojimą, o į išsamių užklausų ir išsamios analizės optimizavimą.
Kas tiksliai yra duomenų saugykla ir kaip ji veikia?
Duomenų saugyklą galime apibrėžti kaip vieningą saugyklą, kurioje saugoma informacija iš įvairių įmonės sistemų. Šios saugyklos, kuri gali būti fizinė arba loginė, pagrindinė misija yra rinkti duomenis analizės tikslais , kad vadovai galėtų geriau suprasti savo verslą ir priimti sprendimus remiantis įrodymais, o ne nuojauta.
Istoriškai šią koncepciją 1988 m. propagavo IBM ekspertai, tokie kaip Barry Devlin ir Paul Murphy, nors šios disciplinos tėvu laikomas William H. Inmon, kuris ją apibrėžė kaip duomenų rinkinį, orientuotą į konkrečią temą , integruotą, nepastovią ir kintančią laikui bėgant.
Kad visa tai veiktų, sistema remiasi keliais esminiais komponentais:
- ETL procesas (ištraukimas, transformavimas, įkėlimas): Tai sistemos širdis; ji atsakinga už duomenų išgavimą, valymą ir transformavimą, kad prieš įkeliant jie būtų vienodo formato.
- Centrinė duomenų bazė: Vieta, kurioje saugoma informacija, kuri jau buvo konsoliduota ir optimizuota greitoms užklausoms.
- Metaduomenys: Informacija, apibūdinanti duomenų struktūrą ir naudojimą, veikianti kaip žodynas, kad nepasimestumėte.
- Ataskaitų teikimo įrankiai: Programinė įranga, leidžianti kurti vizualizacijas ir ataskaitų suvestines, kad galutiniai vartotojai galėtų suprasti rezultatus.
Duomenų saugyklų architektūra ir evoliucija
Duomenų saugyklos struktūra nėra griežta ir gali būti pritaikyta konkretiems poreikiams. Paprasčiausiame modelyje plokščiieji failai ir operacinės sistemos siunčia neapdorotus duomenis ir metaduomenis. Tačiau galima pridėti paruošiamąją sritį , kad duomenys būtų išvalyti prieš juos visam laikui saugant, taip užkertant kelią „šiukšlėms“ užteršti analizes.
Be to, yra duomenų saugyklos , kurios iš esmės yra miniatiūrinės ir specializuotos duomenų saugyklos versijos konkrečiam skyriui, pavyzdžiui, pardavimų ar atsargų skyriui. Tai leidžia kiekvienai komandai pasiekti tik tai, ko jai reikia, nereikalaujant naršyti po visą įmonės duomenų vandenyną.
Laikui bėgant, šie įrankiai tobulėjo. Anksčiau jie tvarkė tik struktūrizuotus duomenis (eilutes ir stulpelius), tačiau dabar, dėka kontekstualizavimo galimybių, jie gali integruoti kontekstinę informaciją iš nestruktūrizuotų duomenų , tokių kaip el. laiškai ar apklausų komentarai, todėl galima atlikti daug išsamesnę ir natūralesnę analizę.
Duomenų saugykla, duomenų ežeras ir didieji duomenys
Labai dažnai žmonės painioja šiuos terminus, tačiau jie nėra tas pats. Duomenų saugykla skirta struktūrizuotiems ir švariems duomenims , o schema apibrėžiama rašymo metu. Priešingai, duomenų ežeras yra daug lankstesnis: jis priima neapdorotus duomenis – vaizdus, vaizdo įrašus ar tekstą, o schema apibrėžiama tik tada, kai duomenys nuskaitomi.
Nors duomenų saugykla yra brandi ir labai saugi priemonė, duomenų ežeras dėl savo lankstumo yra idealus pasirinkimas eksperimentuoti su dirbtiniu intelektu ir mašininiu mokymusi. Tačiau jie nėra tarpusavyje nesuderinami; iš tikrųjų jie dažnai veikia kartu: duomenų ežeras naudojamas klausimams atrasti, o duomenų saugykla – atsakymams optimizuoti.
Kita vertus, didieji duomenys (Big Data) reiškia didžiulius duomenų kiekius, veikiančius stebėtinai greitai ir sudėtingai. Skirtingai nuo duomenų saugyklų, didieji duomenys paprastai tvarko nereliacinę informaciją iš už tradicinės įmonės aplinkos ribų, pavyzdžiui, socialinių tinklų sklaidos kanalus ar serverių žurnalus, o tai leidžia atlikti analizę realiuoju laiku.
Galiausiai, verslo analitika (BI) veikia kaip paskutinis sluoksnis. BI yra teigiama „kliūtis“ , kuri apdorotus duomenis iš duomenų saugyklos paverčia naudinga ir vaizdine informacija, skirta įmonės strategijoms įgyvendinti.
Raktai renkantis tinkamą įrankį
Neužtenka tiesiog nusipirkti brangiausią programinę įrangą; reikia patikrinti, ar įrankis suderinamas su esama ekosistema . Labai svarbu savęs paklausti, ar programinė įranga yra optimizuota jūsų tvarkomų duomenų tipui ir ar techninė komanda turi pajėgumų ją prižiūrėti nepervargdama.
Dilema tarp vietinių (lokalių diegimų) ir debesijos atrodo beveik išspręsta, nes tendencija juda debesijos link, tačiau daugelis didelių korporacijų dėl saugumo ar aparatinės įrangos kontrolės renkasi hibridinį modelį . Tokiais atvejais tradicinė duomenų bazių valdymo sistema (DBVS) išlieka perspektyvi alternatyva.
Kalbant apie kainą, tai keblus klausimas. Tiesioginis kainų palyginimas neįmanomas, nes vienas tiekėjas gali taikyti tokį patį valandinį įkainį kaip ir kitas, tačiau pasiūlyti žymiai galingesnes mašininio mokymosi galimybes . Investicijų grąža priklauso nuo to, kiek tiekėjo strategija atitinka įmonės strategiją.
Debesų kompiuterijos revoliucija ir saugyklų ateitis
Duomenų saugyklų perkėlimas į debesį yra ne tik tendencija; tai būtinybė siekiant lankstumo. Tai leidžia IT skyriams greičiau reaguoti į augančią istorinių duomenų paklausą ir palengvina naujų testavimo aplinkų kūrimą duomenų mokslininkams, nereikalaujant kaskart įsigyti fizinių serverių.
Be to, debesis siūlo efektyvesnę išlaidų kontrolę ir geresnį debesies saugumą bei duomenų apsaugą , nes apsaugos atnaujinimai teikiami sklandžiai. Kitas svarbus privalumas yra bendras darbas: jei jūsų pardavimo programos jau yra debesyje, duomenų saugyklos patalpinimas šalia jų žymiai pagreitina duomenų įkėlimą.
Šioje ekosistemoje išsiskiria tokie sprendimai kaip „Azure Synapse Analytics“ , apjungianti didžiuosius duomenis ir duomenų saugyklas, ir „Azure Data Factory“, skirta sudėtingiems darbo eigoms valdyti. Šie įrankiai leidžia daug greičiau ir efektyviau monetizuoti informaciją.
Tokios sistemos diegimas reikalauja griežtų veiksmų: reikalavimų apibrėžimo, duomenų modelio kūrimo, technologijos pasirinkimo, ETL proceso kūrimo ir, svarbiausia, kruopštaus duomenų tikslumo patvirtinimo . Tik tokiu būdu galima užtikrinti informacijos patikimumą priimant sprendimus.