- Veliki podatki: nabori podatkov, ki so tako veliki ali kompleksni, da presegajo zmogljivosti tradicionalnih orodij za upravljanje in analizo.
- Štirje V-ji: volumen, raznolikost, hitrost in verodostojnost opisujejo velikost, vrste, stopnjo sprememb in zanesljivost podatkov.
- Vključuje strukturirane podatke (numerične baze podatkov) in nestrukturirane podatke (splet, e-pošta, družbena omrežja), kar povečuje vire in kompleksnost analize.
- Uporaba: zdravje, izboljšanje storitev, javna varnost in optimizacija poslovanja; oblak omogoča shranjevanje in skalabilnost v primerjavi s tradicionalnimi RDBMS.
Veliki podatki so širok izraz za tako velike ali zapletene nabore podatkov, da tradicionalne aplikacije za obdelavo podatkov ne ustrezajo. Veliki podatki lahko vključujejo vse vrste informacij, tako strukturirane kot nestrukturirane.
Primeri velikih podatkov in definicija
Veliki nabori podatkov
Veliki podatki so širok izraz za tako velike ali zapletene nabore podatkov, da tradicionalne aplikacije za obdelavo podatkov ne ustrezajo. Obseg velikih podatkov je lahko poljubne velikosti, od terabajtov do petabajtov (1 bilijon bajtov) in več. Na splošno obseg velikih podatkov vključuje tako strukturirane kot nestrukturirane vrste informacij.
Veliki podatki se nanašajo na ogromne količine informacij, ki jih ustvarjajo internet, družbeni mediji in drugi viri . Veliki podatki se nanašajo na nabore podatkov, katerih velikost presega zmogljivost tradicionalnih orodij za upravljanje baz podatkov za učinkovito zajemanje, shranjevanje, upravljanje in analizo z uporabo standardnih sistemov za upravljanje relacijskih baz podatkov (RDBMS).
Ocenjuje se, da je bilo 98 % podatkov na svetu ustvarjenih samo v zadnjih dveh letih.
Podatki rastejo eksponentno. Pravzaprav se ocenjuje, da je bilo 98 % podatkov na svetu ustvarjenih samo v zadnjih dveh letih. In če se sprašujete, kaj se je zgodilo s preostalima 2 %, no, tudi tega ne vemo.
Kako se lahko spopademo s to eksponentno rastjo? No, potrebujemo nov model shranjevanja podatkov , ki nam omogoča shranjevanje vseh naših informacij in nato ugotavljanje, kaj bomo z njimi storili pozneje (ali ne).
Zato večina organizacij uporablja storitve shranjevanja v oblaku, kot so Amazon Web Services (AWS), Google Cloud Platform (GCP) ali Microsoft Azure, namesto da bi gradile lastno infrastrukturo iz nič ali uporabljale tradicionalne relacijske baze podatkov, kot sta Oracle DBMS ali Microsoft SQL Server DBMS, ki zahtevajo vsako leto plačilo dragih licenc samo za shranjevanje vseh teh gigabajtov in gigabajtov digitalnih sredstev.
Štirje Vs velikih podatkov
Štirje V velikih podatkov so obseg, raznolikost, hitrost in verodostojnost.
Količina se nanaša na velikost podatkov, ki jih vaše podjetje obdeluje. Raznolikost se nanaša na vse vrste podatkov: strukturirane (kot so preglednice) in nestrukturirane (kot so slike). Hitrost se nanaša na to, kako hitro se informacije spreminjajo skozi čas: če gre za nekaj takega, kot so podatki o prodaji spletne trgovine, ki se spreminjajo približno vsako uro, potrebujete sistem, ki lahko te spremembe obravnava dovolj hitro, da ne vplivajo bistveno na poslovne odločitve.
Končno je tu še verodostojnost, to je natančnost: v kolikšni meri so informacije zanesljive? Če izvira iz zunanjega vira, na primer družbenih omrežij, kot sta Twitter ali Facebook, kjer lahko vsakdo kadar koli objavi kar koli brez predhodnega preverjanja, morda ni tako zanesljiv.
Strukturirani in nestrukturirani podatki.
Veliki podatki lahko vključujejo vse vrste informacij, tako strukturirane kot nestrukturirane.
Primeri strukturiranih podatkov: številke socialnega zavarovanja, številke kreditnih kartic in telefonske številke.
Primeri nestrukturiranih podatkov: spletne strani, e-pošta, tviti in druga vsebina družbenih medijev.
Tehnologijo velikih podatkov je mogoče uporabiti za analizo človeškega genoma in iskanje genetskih označevalcev bolezni.
Tehnologija velikih podatkov se lahko uporablja za analizo človeškega genoma in iskanje genetskih označevalcev bolezni. Sekvenciranje DNK je primer tehnologije velikih podatkov, ki se uporablja v medicinskih raziskavah že od samega začetka v začetku 2000-ih. Z identifikacijo posameznih genov in njihovih variacij lahko raziskovalci natančno določijo genetske dejavnike, ki prispevajo k boleznim, kot sta rak ali sladkorna bolezen.
Študije asociacij celotnega genoma (GWAS) uporabljajo tehniko, imenovano mikromreže, ki znanstvenikom omogoča, da analizirajo na tisoče vzorcev hkrati in iščejo specifične vzorce v ravneh izražanja genov. Ta proces jim omogoča identifikacijo genetskih variant, povezanih z boleznimi, kot sta Alzheimerjeva bolezen ali shizofrenija; Vendar večina rezultatov GWAS ostaja nedokončnih predvsem zato, ker temeljijo na majhnih velikostih vzorcev (v mnogih primerih manj kot 100 posameznikov).
Ker se število ljudi, ki sodelujejo v teh študijah, povečuje in še posebej, če se ti udeleženci strinjajo z dodatnim testiranjem, bi morali pričakovati vse večje stopnje natančnosti skupaj z boljšim razumevanjem, kako določeni okoljski dejavniki vplivajo na naše gene med razvojnimi stopnjami pozneje v življenjski poti.
Uporaba za velike podatke
Danes obstaja veliko načinov uporabe velikih podatkov, ki spreminjajo naš način življenja in dela.
Veliki podatki se lahko uporabijo za izboljšanje zdravstvenega varstva, storitev za stranke in izobraževanja . Prav tako lahko pomagajo agencijam za javno varnost bolje zaščititi svoje skupnosti, podjetjem pa dostopati do novih priložnosti z uporabo velikih podatkov za izboljšanje poslovnih procesov.
Zdravstvo : Zdravniki in medicinske sestre uporabljajo zdravstvene kartoteke pacientov za sprejemanje odločitev o zdravljenju, vendar je zaradi toliko informacij, ki so na voljo o vsakem pacientu, težko najti tisto, kar potrebujejo, ko to potrebujejo. Z orodji za analizo velikih količin podatkov bodo imeli zdravniki dostop do širšega nabora informacij o zdravstveni anamnezi svojih pacientov kot kdaj koli prej, vključno z informacijami o tem, ali je zdravilo povzročilo neželene učinke ali ali obstajajo druga zdravila, ki bi lahko negativno vplivala druga na drugo (na primer zdravila za krvni tlak). To bi lahko rešilo življenja, saj bi zdravniki na podlagi preteklih izkušenj takoj vedeli, katera zdravljenja bi bila najbolj učinkovita, namesto da bi izgubljali čas s preizkušanjem različnih kombinacij, dokler nekaj ne bi delovalo dovolj dobro.
Veliki podatki imajo danes veliko uporab, ki se jih morda ne zavedate.
Veliki podatki se uporabljajo na veliko različnih načinov za analizo človeškega vedenja. Uporablja se lahko za analizo, kako ljudje uporabljajo svoje mobilne naprave, kako komunicirajo drug z drugim in celo kako porabijo svoj denar.
Tukaj je nekaj primerov aplikacij za velike podatke:
- Analizirajte družbena omrežja, da ugotovite, kaj se dogaja v svetu okoli vas, česar morda ne poznate (na primer trendi v modi ali tehnologiji).
- Uporaba senzorjev in kamer, nameščenih v mestih, za spremljanje prometa, tako da lahko vlade bolje načrtujejo javna dela ali izboljšajo javni prevoz.
Zaključek
Big data je izraz, ki se uporablja za opis ogromne količine podatkov, ki jih lahko zbiramo, analiziramo in uporabljamo v vsakdanjem življenju. Te informacije je mogoče uporabiti za številne različne namene, kot je iskanje genetskih označevalcev za bolezni ali analiza človeških genomov za boljše razumevanje njihovega delovanja. Pomembno si je zapomniti, da so s to tehnologijo povezane tudi negativne posledice, kot je zaskrbljenost glede zasebnosti ljudi, ki imajo dostop do vaših osebnih podatkov.