- Isinasaayos ng Data Warehouse ang nakabalangkas at na-optimize na datos upang mapadali ang madiskarteng paggawa ng desisyon at pagsusuri ng negosyo.
- Ang pagpili ng isang tool ay nakasalalay sa interoperability sa kasalukuyang mga sistema, gastos, modelo ng pag-deploy, at estratehiya ng vendor.
- May mga pangunahing pagkakaiba sa pagitan ng mga Data Warehouse, Data Lake, at Big Data sa mga tuntunin ng istruktura ng data, liksi, at seguridad.
- Ang paglipat sa cloud ay nagpapahusay sa liksi ng operasyon, binabawasan ang mga gastos sa imprastraktura, at pinapabilis ang pagproseso ng impormasyon.
Sa kasalukuyan, ang datos ay naging pinakamahalagang asset ng anumang organisasyon, halos parang langis ng ika-21 siglo. Upang maiwasan ang lahat ng impormasyong iyon na magdulot ng labis na kaguluhan, ang mga kumpanya ay nangangailangan ng matibay at matatag na istruktura na magbibigay-daan sa kanila na isaayos at suriin ang napakalaking dami ng datos nang hindi nagiging abala sa proseso.
Kung nagsisimula ka pa lang sa mundo ng analytics, malamang ay naranasan mo na ang konsepto ng Data Warehouse. Sa madaling salita, ito ay isang sentralisadong sistema na ginagamit upang pamahalaan ang impormasyon mula sa maraming mapagkukunan . Naiiba ito sa mga regular na database dahil hindi ito nakatuon sa pagproseso ng pang-araw-araw na mga transaksyon, kundi sa pag-optimize ng malalalim na query at detalyadong pagsusuri.
Ano nga ba ang isang Data Warehouse at paano ito gumagana?
Maaari nating tukuyin ang isang Data Warehouse bilang isang pinag-isang imbakan kung saan nakaimbak ang impormasyon mula sa iba't ibang sistema sa loob ng isang kumpanya. Ang bodega na ito, na maaaring pisikal o lohikal, ay may pangunahing misyon na kumuha ng datos para sa mga layuning analitikal , na nagbibigay-daan sa mga tagapamahala na mas maunawaan ang kanilang negosyo at gumawa ng mga desisyon batay sa ebidensya sa halip na mga kutob lamang.
Sa kasaysayan, ang konseptong ito ay itinaguyod noong 1988 ng mga eksperto ng IBM tulad nina Barry Devlin at Paul Murphy, bagama't si William H. Inmon, na itinuturing na ama ng disiplinang ito, ang nagbigay-kahulugan dito bilang isang koleksyon ng datos na nakatuon sa isang partikular na tema , integrated, non-volatile at time-variant.
Para gumana ang lahat ng ito, ang sistema ay umaasa sa ilang mahahalagang bahagi:
- Proseso ng ETL (I-extract, I-transform, I-load): Ito ang puso ng sistema; responsable ito sa pagkuha ng datos, paglilinis nito, at pagbabago nito upang magkaroon ito ng pare-parehong format bago ito i-load.
- Sentral na Database: Ang lugar kung saan matatagpuan ang impormasyon na pinagsama-sama at na-optimize na para sa mabilisang mga query.
- Metadata: Impormasyong naglalarawan sa istruktura at gamit ng datos, na gumagana bilang isang diksyunaryo upang maiwasan ang pagkaligaw.
- Mga Kagamitan sa Pag-uulat: Ang software na nagbibigay-daan sa iyong lumikha ng mga visualization at dashboard upang maunawaan ng mga end user ang mga resulta.
Arkitektura at ebolusyon ng mga bodega ng datos
Ang istruktura ng isang data warehouse ay hindi matibay at maaaring iakma sa mga partikular na pangangailangan. Sa pinakasimpleng modelo, ang mga flat file at operating system ay nagpapadala ng hilaw na data at metadata. Gayunpaman, maaaring idagdag ang isang staging area upang linisin ang data bago ito permanenteng iimbak, na pumipigil sa "basura" na mahawa ang mga pagsusuri.
Bukod pa rito, may mga data mart , na mahalagang pinaliit at espesyalisadong mga bersyon ng data warehouse para sa isang partikular na departamento, tulad ng mga benta o imbentaryo. Pinapayagan nito ang bawat koponan na ma-access lamang ang kanilang kailangan nang hindi kinakailangang mag-navigate sa buong karagatan ng data ng kumpanya.
Sa paglipas ng panahon, ang mga kagamitang ito ay umunlad. Dati, nakabalangkas na datos (mga hilera at kolum) lamang ang kanilang pinangangasiwaan, ngunit ngayon ay nagagawa na nilang isama ang impormasyong kontekstwal mula sa hindi nakabalangkas na datos , tulad ng mga email o mga komento sa survey, salamat sa kanilang mga kakayahan sa kontekstwalisasyon, kaya nagbibigay-daan para sa mas mayaman at mas natural na pagsusuri.
Data Warehouse vs. Data Lake at Big Data
Karaniwang nalilito ang mga tao sa mga terminong ito, ngunit hindi sila pareho. Ang Data Warehouse ay dinisenyo para sa nakabalangkas at malinis na data , kung saan ang schema ay tinukoy habang isinusulat. Sa kabaligtaran, ang Data Lake ay mas flexible: tumatanggap ito ng raw data, maging mga imahe, video, o teksto, at ang schema ay tinutukoy lamang kapag ang data ay nabasa.
Bagama't ang isang data warehouse ay isang mahusay at lubos na ligtas na kagamitan, ang data lake ang mainam na opsyon para sa pag-eksperimento sa artificial intelligence at machine learning dahil sa husay nito. Gayunpaman, hindi sila magkasalungat; sa katunayan, madalas silang nagtutulungan: ang data lake ay ginagamit upang tumuklas ng mga tanong, at ang data warehouse upang i-optimize ang mga sagot.
Sa kabilang banda, ang Big Data ay tumutukoy sa napakalaking dami ng datos na may kahanga-hangang bilis at kasalimuotan. Hindi tulad ng isang Data Warehouse, ang Big Data ay karaniwang humahawak ng impormasyong hindi nauugnay sa relasyon mula sa labas ng tradisyonal na kapaligiran ng korporasyon, tulad ng mga social media feed o mga server log, na nagbibigay-daan sa real-time na pagsusuri.
Panghuli, ang Business Intelligence (BI) ang nagsisilbing pangwakas na patong. Ang BI ang positibong "bottleneck" na nagbabago ng naprosesong datos mula sa Data Warehouse tungo sa kapaki-pakinabang at biswal na impormasyon para sa pagpapatupad ng mga estratehiya ng korporasyon.
Mga susi sa pagpili ng tamang tool
Hindi sapat ang basta pagbili lang ng pinakamahal na software; kailangan mong suriin kung ang tool ay interoperable sa umiiral na ecosystem . Mahalagang tanungin ang iyong sarili kung ang software ay na-optimize para sa uri ng data na iyong hinahawakan at kung ang teknikal na pangkat ay may kapasidad na panatilihin ito nang hindi nauubusan ng oras.
Ang problema sa pagitan ng on-premises (mga lokal na instalasyon) at ng cloud ay tila halos nalutas na, dahil ang trend ay patungo sa cloud, ngunit maraming malalaking korporasyon ang mas gusto ang hybrid model para sa mga kadahilanang pangseguridad o kontrol sa hardware. Sa mga kasong ito, ang isang tradisyonal na database management system (DBMS) ay nananatiling isang mabisang opsyon.
Tungkol naman sa presyo, mahirap itong pag-usapan. Hindi posible ang direktang paghahambing ng presyo dahil maaaring maningil ang isang provider ng parehong oras-oras na singil gaya ng iba ngunit nag-aalok ng mas malakas na kakayahan sa machine learning . Ang balik sa puhunan ay depende sa kung gaano kahusay na naaayon ang diskarte ng provider sa diskarte ng kumpanya.
Ang rebolusyon sa ulap at ang kinabukasan ng imbakan
Ang paglipat ng imbakan ng datos patungo sa cloud ay hindi lamang isang uso; ito ay isang pangangailangan para sa liksi. Pinapayagan nito ang mga departamento ng IT na mas mabilis na tumugon sa lumalaking pangangailangan para sa makasaysayang datos at pinapadali ang paglikha ng mga bagong kapaligiran sa pagsubok para sa mga siyentipiko ng datos nang hindi kinakailangang bumili ng mga pisikal na server sa bawat pagkakataon.
Bukod pa rito, ang cloud ay nag-aalok ng mas mahusay na pagkontrol sa gastos at pinahusay na seguridad at proteksyon ng data sa cloud , dahil ang mga update sa proteksyon ay naihahatid nang walang putol. Ang isa pang mahalagang bentahe ay ang co-location: kung ang iyong mga aplikasyon sa pagbebenta ay nasa cloud na, ang paglalagay ng data warehouse sa tabi ng mga ito ay lubos na nagpapabilis sa paglo-load ng data.
Sa loob ng ecosystem na ito, namumukod-tangi ang mga solusyon tulad ng Azure Synapse Analytics , na pinagsasama ang Big Data at Warehousing, at ang Azure Data Factory para sa pamamahala ng mga kumplikadong daloy ng trabaho. Ang mga tool na ito ay nagbibigay-daan sa mas mabilis at mas epektibong pag-monetize ng impormasyon.
Ang pag-deploy ng ganitong sistema ay nangangailangan ng mahigpit na mga hakbang: pagtukoy sa mga kinakailangan, pagdidisenyo ng modelo ng datos, pagpili ng teknolohiya, pagbuo ng proseso ng ETL, at, higit sa lahat, pagsasagawa ng masusing pagpapatunay ng katumpakan ng datos . Sa ganitong paraan lamang magagarantiyahan ang pagiging maaasahan ng impormasyon para sa paggawa ng desisyon.