- Lielie dati: datu kopas, kas ir tik lielas vai sarežģītas, ka pārsniedz tradicionālo pārvaldības un analīzes rīku iespējas.
- Četri V: apjoms, dažādība, ātrums un patiesums apraksta datu lielumu, veidus, izmaiņu ātrumu un ticamību.
- Tas ietver strukturētus datus (skaitliskās datubāzes) un nestrukturētus datus (tīmeklis, e-pasti, sociālie tīkli), paplašinot avotus un analīzes sarežģītību.
- Lietojumprogrammas: veselība, pakalpojumu uzlabošana, sabiedriskā drošība un uzņēmējdarbības optimizācija; mākonis atvieglo datu glabāšanu un mērogojamību salīdzinājumā ar tradicionālajām RDBS.
Lielie dati ir plašs termins datu kopām, kas ir tik lielas vai sarežģītas, ka tradicionālās datu apstrādes lietojumprogrammas nav piemērotas. Lielie dati var ietvert jebkura veida informāciju, gan strukturētu, gan nestrukturētu.
Lielo datu piemēri un definīcija
Lielas datu kopas
Lielie dati ir plašs termins datu kopām, kas ir tik lielas vai sarežģītas, ka tradicionālās datu apstrādes lietojumprogrammas nav piemērotas. Lielo datu apjoms var būt jebkurš, sākot no terabaitiem līdz petabaitiem (1 triljons baitu) un vairāk. Kopumā lielo datu apjoms ietver gan strukturētus, gan nestrukturētus informācijas veidus.
Lielie dati attiecas uz milzīgo informācijas apjomu, ko ģenerē internets, sociālie mediji un citi avoti . Lielie dati attiecas uz datu kopām, kuru lielums pārsniedz tradicionālo datubāzu pārvaldības rīku jaudu, lai tos efektīvi uztvertu, uzglabātu, pārvaldītu un analizētu, izmantojot standarta relāciju datubāzu pārvaldības sistēmas (RDBMS).
Tiek lēsts, ka 98% pasaules datu ir izveidoti tikai pēdējo divu gadu laikā.
Dati pieaug eksponenciāli. Faktiski tiek lēsts, ka 98% pasaules datu ir izveidoti tikai pēdējo divu gadu laikā. Un, ja jūs domājat, kas notika ar atlikušajiem 2%, tad mēs arī to nezinām.
Kā mēs varam tikt galā ar šo eksponenciālo izaugsmi? Mums ir nepieciešams jauns datu glabāšanas modelis , kas ļauj mums uzglabāt visu mūsu informāciju un pēc tam izdomāt, ko ar to darīt vēlāk (vai nē).
Tāpēc lielākā daļa organizāciju izmanto mākoņkrātuves pakalpojumus, piemēram, Amazon Web Services (AWS), Google Cloud Platform (GCP) vai Microsoft Azure, nevis veido savu infrastruktūru no nulles vai izmanto tradicionālās relāciju datubāzes, piemēram, Oracle DBMS vai Microsoft SQL Server DBMS, kurām katru gadu ir jāmaksā dārgas licences, lai tikai varētu uzglabāt visus šos gigabaitus digitālo aktīvu.
Lielo datu četri Vs
Četri lielo datu Vs ir apjoms, dažādība, ātrums un patiesums.
Apjoms attiecas uz jūsu uzņēmuma apstrādāto datu lielumu. Dažādība attiecas uz visiem to veidiem: strukturētiem (piemēram, izklājlapām) un nestrukturētiem (piemēram, attēliem). Ātrums attiecas uz to, cik ātri informācija mainās laika gaitā: ja tas ir kaut kas līdzīgs tiešsaistes veikala pārdošanas rādītājiem , kas mainās aptuveni reizi stundā, jums ir nepieciešama sistēma, kas spēj pietiekami ātri apstrādāt šīs izmaiņas, lai tās būtiski neietekmētu biznesa lēmumus.
Visbeidzot, ir patiesība, tas ir, precizitāte: cik lielā mērā informācija ir uzticama? Ja tas nāk no ārēja avota, piemēram, sociālajiem tīkliem, piemēram, Twitter vai Facebook, kur ikviens var publicēt jebko jebkurā laikā bez iepriekšējas pārbaudes, tas var nebūt tik uzticams.
Strukturēti un nestrukturēti dati.
Lielie dati var ietvert jebkura veida informāciju, gan strukturētu, gan nestrukturētu.
Strukturētu datu piemēri: sociālās apdrošināšanas numuri, kredītkaršu numuri un tālruņu numuri.
Nestrukturētu datu piemēri: tīmekļa lapas, e-pasta ziņojumi, tvīti un cits sociālo mediju saturs.
Lielo datu tehnoloģiju var izmantot, lai analizētu cilvēka genomu un atrastu slimību ģenētiskos marķierus.
Lielo datu tehnoloģiju var izmantot, lai analizētu cilvēka genomu un atrastu slimību ģenētiskos marķierus. DNS sekvencēšana ir lielo datu tehnoloģijas piemērs , kas medicīnas pētījumos tiek izmantota kopš tās pirmsākumiem 2000. gadu sākumā. Identificējot atsevišķus gēnus un to variācijas, pētnieki var precīzi noteikt ģenētiskos faktorus, kas veicina tādas slimības kā vēzis vai diabēts.
Genoma mēroga asociācijas pētījumos (GWAS) tiek izmantota tehnika, ko sauc par mikromatricām, kas ļauj zinātniekiem vienlaikus analizēt tūkstošiem paraugu, meklējot konkrētus modeļus gēnu ekspresijas līmeņos. Šis process ļauj viņiem identificēt ģenētiskos variantus, kas saistīti ar tādām slimībām kā Alcheimera slimība vai šizofrēnija; Tomēr lielākā daļa GWAS rezultātu joprojām ir nepārliecinoši galvenokārt tāpēc, ka tie ir balstīti uz maziem izlases lielumiem (daudzos gadījumos mazāk nekā 100 indivīdu).
Palielinoties cilvēku skaitam, kas piedalās šajos pētījumos, un jo īpaši, ja šie dalībnieki piekrīt papildu testēšanai, mums vajadzētu sagaidīt pieaugošus precizitātes rādītājus, kā arī labāku izpratni par to, kā konkrēti vides faktori mijiedarbojas ar mūsu gēniem attīstības posmos vēlākā dzīves ceļā.
Lielo datu izmantošana
Mūsdienās lielajiem datiem ir daudz lietojumu, kas maina mūsu dzīves un darba veidu.
Lielos datus var izmantot, lai uzlabotu veselības aprūpi, klientu apkalpošanu un izglītību . Tie var arī palīdzēt sabiedriskās drošības iestādēm labāk aizsargāt savas kopienas un uzņēmumiem piekļūt jaunām iespējām, izmantojot lielos datus biznesa procesu uzlabošanai.
Veselības aprūpe : Ārsti un medmāsas izmanto pacientu ierakstus, lai pieņemtu lēmumus par ārstēšanu, taču, ņemot vērā tik daudz informācijas par katru pacientu, ir grūti atrast nepieciešamo informāciju tieši tad, kad tā ir nepieciešama. Izmantojot lielo datu analīzes rīkus, ārstiem būs pieejama plašāka informācija par pacientu slimības vēsturi nekā jebkad agrāk, tostarp informācija par to, vai zāles ir izraisījušas nevēlamu reakciju vai vai ir citas zāles, kas varētu negatīvi mijiedarboties viena ar otru (piemēram, asinsspiediena zāles). Tas varētu glābt dzīvības, jo ārsti, pamatojoties uz iepriekšējo pieredzi, nekavējoties zinātu, kuras ārstēšanas metodes būtu visefektīvākās, nevis tērētu laiku, izmēģinot dažādas kombinācijas, līdz kaut kas darbojas pietiekami labi.
Lielajiem datiem mūsdienās ir daudz lietojumu, ko jūs, iespējams, neapzināsit.
Lielie dati tiek izmantoti daudzos dažādos veidos, lai analizētu cilvēku uzvedību. To var izmantot, lai analizētu, kā cilvēki izmanto savas mobilās ierīces, kā viņi mijiedarbojas viens ar otru un pat kā viņi tērē naudu.
Šeit ir daži lielo datu lietojumprogrammu piemēri.
- Analizējiet sociālos medijus, lai uzzinātu, kas notiek apkārtējā pasaulē, par ko jūs, iespējams, nezināt (piemēram, modes vai tehnoloģiju tendences).
- Pilsētās izvietoto sensoru un kameru izmantošana satiksmes uzraudzībai, lai valdības varētu labāk plānot sabiedriskos darbus vai uzlabot sabiedrisko transportu.
Secinājums
Lielie dati ir termins, ko lieto, lai aprakstītu milzīgo datu apjomu, ko varam savākt, analizēt un izmantot savā ikdienas dzīvē. Šo informāciju var izmantot daudziem dažādiem mērķiem, piemēram, slimību ģenētisko marķieru atrašanai vai cilvēka genomu analīzei, lai labāk izprastu, kā tie darbojas. Ir svarīgi atcerēties, ka ar šo tehnoloģiju ir saistītas arī negatīvas sekas, piemēram, bažas par to cilvēku privātumu, kuriem ir piekļuve jūsu personiskajai informācijai.