- Dideli duomenys: duomenų rinkiniai, tokie dideli arba sudėtingi, kad viršija tradicinių valdymo ir analizės įrankių galimybes.
- Keturi V: tūris, įvairovė, greitis ir teisingumas apibūdina duomenų dydį, tipus, kitimo greitį ir patikimumą.
- Tai apima struktūrizuotus duomenis (skaitmenines duomenų bazes) ir nestruktūrizuotus duomenis (internetą, el. laiškus, socialinius tinklus), plečiant šaltinius ir analizės sudėtingumą.
- Taikymo sritys: sveikatos apsauga, paslaugų gerinimas, visuomenės saugumas ir verslo optimizavimas; debesija palengvina saugojimą ir mastelio keitimą, palyginti su tradicinėmis RDBMS.
Dideli duomenys yra platus terminas, apibūdinantis duomenų rinkinius, tokius didelius ar sudėtingus, kad tradicinės duomenų apdorojimo programos yra netinkamos. Dideli duomenys gali apimti bet kokios rūšies informaciją, tiek struktūrizuotą, tiek nestruktūruotą.
Didelių duomenų pavyzdžiai ir apibrėžimas
Dideli duomenų rinkiniai
Dideli duomenys yra platus terminas, apibūdinantis duomenų rinkinius, tokius didelius ar sudėtingus, kad tradicinės duomenų apdorojimo programos yra netinkamos. Didelių duomenų apimtis gali būti bet kokio dydžio – nuo terabaitų iki petabaitų (1 trilijonas baitų) ir daugiau. Apskritai didžiųjų duomenų apimtis apima ir struktūrizuotą, ir nestruktūruotą informaciją.
Didieji duomenys – tai milžiniški informacijos kiekiai, generuojami internete, socialinėje žiniasklaidoje ir kituose šaltiniuose . Didieji duomenys – tai duomenų rinkiniai, kurių dydis viršija tradicinių duomenų bazių valdymo įrankių galimybes efektyviai juos fiksuoti, saugoti, valdyti ir analizuoti naudojant standartines reliacinių duomenų bazių valdymo sistemas (RDBMS).
Skaičiuojama, kad vien per pastaruosius dvejus metus buvo sukurta 98% pasaulio duomenų.
Duomenys auga eksponentiškai. Tiesą sakant, apskaičiuota, kad 98% pasaulio duomenų buvo sukurti vien per pastaruosius dvejus metus. Ir jei jums įdomu, kas atsitiko likusiems 2%, gerai, mes to taip pat nežinome.
Kaip susidoroti su šiuo eksponentiniu augimu? Na, mums reikia naujo duomenų saugojimo modelio , kuris leistų mums saugoti visą informaciją ir vėliau sugalvoti, ką su ja daryti (arba ne).
Štai kodėl dauguma organizacijų naudojasi debesijos saugyklos paslaugomis, tokiomis kaip „Amazon Web Services“ (AWS), „Google Cloud Platform“ (GCP) arba „Microsoft Azure“, užuot kūrusios savo infrastruktūrą nuo nulio arba naudodamos tradicines reliacines duomenų bazes, tokias kaip „Oracle DBMS“ arba „Microsoft SQL Server DBMS“, kurioms reikia mokėti brangias licencijas kiekvienais metais, kad būtų galima saugoti visus tuos gigabaitus ir gigabaitus skaitmeninio turinio.
Keturi didelių duomenų priešai
Keturi didžiųjų duomenų vs yra apimtis, įvairovė, greitis ir tikrumas.
Apimtis reiškia jūsų įmonės apdorojamų duomenų dydį. Įvairovė reiškia visus jų tipus: struktūrizuotus (pvz., skaičiuokles) ir nestruktūrizuotus (pvz., vaizdus). Greitis reiškia, kaip greitai informacija keičiasi laikui bėgant: jei tai, pavyzdžiui, internetinės parduotuvės pardavimų skaičiai , keičiasi maždaug kas valandą, jums reikia sistemos, kuri galėtų pakankamai greitai apdoroti šiuos pokyčius, kad jie neturėtų didelės įtakos verslo sprendimams.
Galiausiai, yra teisingumas, tai yra tikslumas: kiek informacija yra patikima? Jei jis gaunamas iš išorinio šaltinio, pvz., socialinių tinklų, pvz., „Twitter“ ar „Facebook“, kur bet kas gali bet kada paskelbti bet ką be išankstinio patvirtinimo, jis gali būti ne toks patikimas.
Struktūrizuoti ir nestruktūrizuoti duomenys.
Dideli duomenys gali apimti bet kokios rūšies informaciją, tiek struktūrizuotą, tiek nestruktūruotą.
Struktūrinių duomenų pavyzdžiai: socialinio draudimo numeriai, kredito kortelių numeriai ir telefonų numeriai.
Nestruktūrizuotų duomenų pavyzdžiai: tinklalapiai, el. laiškai, tviterio žinutės ir kitas socialinės žiniasklaidos turinys.
Didžiųjų duomenų technologija gali būti naudojama analizuojant žmogaus genomą ir surasti genetinius ligų žymenis.
Didelės apimties duomenų technologijos gali būti naudojamos žmogaus genomui analizuoti ir genetiniams ligų žymenims rasti. DNR sekoskaita yra didelės apimties duomenų technologijos, naudojamos medicininiuose tyrimuose nuo pat jos atsiradimo 2000-ųjų pradžioje, pavyzdys . Nustatydami atskirus genus ir jų variantus, tyrėjai gali tiksliai nustatyti genetinius veiksnius, kurie prisideda prie tokių ligų kaip vėžys ar diabetas.
Genomo masto asociacijos tyrimuose (GWAS) naudojama technika, vadinama mikro matricomis, kuri leidžia mokslininkams vienu metu analizuoti tūkstančius mėginių, ieškant specifinių genų ekspresijos lygių modelių. Šis procesas leidžia jiems nustatyti genetinius variantus, susijusius su tokiomis ligomis kaip Alzheimerio liga ar šizofrenija; Tačiau dauguma GWAS rezultatų lieka neįtikinami daugiausia dėl to, kad jie pagrįsti mažu imties dydžiu (daugeliu atvejų mažiau nei 100 asmenų).
Didėjant šiuose tyrimuose dalyvaujančių žmonių skaičiui, ypač jei tie dalyviai sutinka atlikti papildomus tyrimus, turėtume tikėtis didesnio tikslumo ir geresnio supratimo apie tai, kaip konkretūs aplinkos veiksniai sąveikauja su mūsų genais vėlesniuose vystymosi etapuose.
Didelių duomenų naudojimas
Šiandien yra daugybė didelių duomenų naudojimo būdų, kurie keičia mūsų gyvenimo ir darbo būdą.
Dideli duomenys gali būti naudojami sveikatos priežiūrai, klientų aptarnavimui ir švietimui gerinti . Jie taip pat gali padėti viešojo saugumo agentūroms geriau apsaugoti savo bendruomenes, o įmonėms pasinaudoti naujomis galimybėmis, naudojant didelius duomenis verslo procesams tobulinti.
Sveikatos priežiūra : Gydytojai ir slaugytojai, priimdami sprendimus dėl gydymo, naudoja pacientų įrašus, tačiau turint tiek daug informacijos apie kiekvieną pacientą, sunku rasti tai, ko jiems reikia, kai to reikia. Naudodamiesi didelių duomenų analizės įrankiais, gydytojai turės prieigą prie platesnio spektro informacijos apie savo pacientų ligos istorijas nei bet kada anksčiau, įskaitant informaciją apie tai, ar vaistas sukėlė nepageidaujamą reakciją, ar yra kitų vaistų, kurie gali neigiamai sąveikauti tarpusavyje (pvz., vaistai nuo kraujospūdžio). Tai galėtų išgelbėti gyvybes, nes gydytojai, remdamiesi ankstesne patirtimi, iš karto žinotų, kurie gydymo būdai geriausiai veiktų, o ne gaištų laiką bandydami skirtingus derinius, kol kažkas veiks pakankamai gerai.
„Big Data“ šiandien turi daugybę naudojimo būdų, kurių galbūt net nesuvokiate.
Dideli duomenys naudojami įvairiais būdais analizuojant žmonių elgesį. Jis gali būti naudojamas analizuojant, kaip žmonės naudojasi savo mobiliaisiais įrenginiais, kaip jie bendrauja vieni su kitais ir net kaip išleidžia pinigus.
Štai keli „Big Data“ programų pavyzdžiai:
- Analizuokite socialinę žiniasklaidą, kad sužinotumėte, kas vyksta aplinkiniame pasaulyje, apie ką galbūt nežinote (pavyzdžiui, mados ar technologijų tendencijos).
- Miestuose esančių jutiklių ir kamerų naudojimas eismui stebėti, kad vyriausybės galėtų geriau planuoti viešuosius darbus arba pagerinti viešąjį transportą.
Išvada
Dideli duomenys yra terminas, vartojamas apibūdinti didžiuliam duomenų kiekiui, kurį galime rinkti, analizuoti ir naudoti kasdieniame gyvenime. Ši informacija gali būti naudojama įvairiems tikslams, pavyzdžiui, ieškant genetinių ligų žymenų arba analizuojant žmogaus genomus, siekiant geriau suprasti, kaip jie veikia. Svarbu atsiminti, kad su šia technologija taip pat yra neigiamų pasekmių, pavyzdžiui, susirūpinimas dėl žmonių, turinčių prieigą prie jūsų asmeninės informacijos, privatumo.