- Veliki podaci: skupovi podataka toliko veliki ili složeni da premašuju mogućnosti tradicionalnih alata za upravljanje i analizu.
- Četiri V-a: volumen, raznolikost, brzina i istinitost opisuju veličinu, vrste, stopu promjene i pouzdanost podataka.
- Uključuje strukturirane podatke (numeričke baze podataka) i nestrukturirane podatke (web, e-mailove, društvene mreže), proširujući izvore i složenost analize.
- Primjene: zdravstvo, poboljšanje usluga, javna sigurnost i optimizacija poslovanja; oblak olakšava pohranu i skalabilnost u usporedbi s tradicionalnim RDBMS-om.
Veliki podaci su širok pojam za skupove podataka koji su toliko veliki ili složeni da su tradicionalne aplikacije za obradu podataka neadekvatne. Veliki podaci mogu uključivati bilo koju vrstu informacija, kako strukturiranih tako i nestrukturiranih.
Primjeri i definicija velikih podataka
Veliki skupovi podataka
Veliki podaci su širok pojam za skupove podataka koji su toliko veliki ili složeni da su tradicionalne aplikacije za obradu podataka neadekvatne. Opseg velikih podataka može biti bilo koje veličine, od terabajta do petabajta (1 trilion bajtova) i više. Općenito, opseg velikih podataka uključuje i strukturirane i nestrukturirane vrste informacija.
Veliki podaci odnose se na ogromne količine informacija generiranih putem interneta, društvenih medija i drugih izvora . Veliki podaci odnose se na skupove podataka čija veličina premašuje kapacitet tradicionalnih alata za upravljanje bazama podataka da ih efikasno prikupe, pohrane, upravljaju i analiziraju korištenjem standardnih sistema za upravljanje relacijskim bazama podataka (RDBMS).
Procjenjuje se da je 98% svjetskih podataka stvoreno samo u posljednje dvije godine.
Podaci rastu eksponencijalno. U stvari, procjenjuje se da je 98% svjetskih podataka stvoreno samo u posljednje dvije godine. A ako se pitate šta je bilo sa preostalih 2%, pa, ni mi to ne znamo.
Kako se možemo nositi s ovim eksponencijalnim rastom? Pa, potreban nam je novi model pohrane podataka koji nam omogućava da pohranimo sve naše informacije, a zatim kasnije odlučimo šta ćemo s njima (ili ne).
Zbog toga većina organizacija koristi usluge pohrane u oblaku poput Amazon Web Services (AWS), Google Cloud Platform (GCP) ili Microsoft Azure, umjesto da grade vlastitu infrastrukturu od nule ili koriste tradicionalne relacijske baze podataka poput Oracle DBMS-a ili Microsoft SQL Server DBMS-a, koje zahtijevaju plaćanje skupih licenci svake godine samo da bi se nastavili pohranjivati svi ti gigabajti i gigabajti digitalne imovine.
Četiri protiv velikih podataka
Četiri vs velikih podataka su obim, raznolikost, brzina i istinitost.
Volumen se odnosi na veličinu podataka koje vaša kompanija obrađuje. Raznolikost se odnosi na sve njihove vrste: strukturirane (poput proračunskih tablica) i nestrukturirane (poput slika). Brzina se odnosi na to koliko se brzo informacije mijenjaju tokom vremena: ako se radi o nečemu poput prodajnih brojki online trgovine koje se mijenjaju otprilike svakog sata, potreban vam je sistem koji može obraditi te promjene dovoljno brzo da ne utiču značajno na poslovne odluke.
Konačno, postoji istinitost, odnosno tačnost: u kojoj mjeri je informacija pouzdana? Ako dolazi iz vanjskog izvora, kao što su društvene mreže poput Twittera ili Facebooka, gdje svako može objaviti bilo šta u bilo koje vrijeme bez prethodne provjere, možda neće biti tako pouzdan.
Strukturirani i nestrukturirani podaci.
Veliki podaci mogu uključivati bilo koju vrstu informacija, kako strukturiranih tako i nestrukturiranih.
Primjeri strukturiranih podataka: brojevi socijalnog osiguranja, brojevi kreditnih kartica i brojevi telefona.
Primjeri nestrukturiranih podataka: web stranice, e-poruke, tweetovi i drugi sadržaji društvenih medija.
Tehnologija velikih podataka može se koristiti za analizu ljudskog genoma i pronalaženje genetskih markera bolesti.
Tehnologija velikih podataka može se koristiti za analizu ljudskog genoma i pronalaženje genetskih markera za bolesti. Sekvenciranje DNK je primjer tehnologije velikih podataka koja se koristi u medicinskim istraživanjima od svog nastanka početkom 2000-ih. Identifikacijom pojedinačnih gena i njihovih varijacija, istraživači mogu odrediti genetske faktore koji doprinose bolestima poput raka ili dijabetesa.
Studije asocijacija na nivou genoma (GWAS) koriste tehniku nazvanu mikronizovi koja omogućava naučnicima da analiziraju hiljade uzoraka odjednom tražeći specifične obrasce u nivoima ekspresije gena. Ovaj proces im omogućava da identifikuju genetske varijante povezane sa bolestima kao što su Alchajmerova bolest ili šizofrenija; Međutim, većina GWAS rezultata ostaje neuvjerljiva uglavnom zato što se zasnivaju na malim veličinama uzorka (u mnogim slučajevima, manje od 100 osoba).
Kako se broj ljudi koji sudjeluju u ovim studijama povećava, a posebno ako ti sudionici pristanu na dodatna testiranja, trebali bismo očekivati povećanje stope tačnosti zajedno sa boljim razumijevanjem načina na koji specifični faktori okoline stupaju u interakciju s našim genima tokom razvojnih faza kasnije na životnom putu.
Koristi se za velike podatke
Danas postoji mnogo upotreba velikih podataka koje mijenjaju način na koji živimo i radimo.
Veliki podaci mogu se koristiti za poboljšanje zdravstvene zaštite, korisničke usluge i obrazovanja . Također mogu pomoći agencijama za javnu sigurnost da bolje zaštite svoje zajednice, a preduzećima da pristupe novim prilikama korištenjem velikih podataka za poboljšanje poslovnih procesa.
Zdravstvo : Doktori i medicinske sestre koriste kartone pacijenata kako bi donosili odluke o liječenju, ali s toliko dostupnih informacija o svakom pacijentu, teško je pronaći ono što im je potrebno kada im je potrebno. Pomoću alata za analizu velikih podataka, doktori će imati pristup širem spektru informacija o medicinskim historijama svojih pacijenata nego ikad prije, uključujući informacije o tome da li je lijek izazvao neželjenu reakciju ili postoje li drugi lijekovi koji mogu negativno međusobno djelovati (kao što su lijekovi za krvni pritisak). Ovo bi moglo spasiti živote jer bi doktori odmah znali koji tretmani najbolje djeluju na osnovu prošlih iskustava, umjesto da gube vrijeme isprobavajući različite kombinacije dok nešto ne bude dovoljno dobro djelovalo.
Veliki podaci danas imaju mnoge namjene koje možda niste ni svjesni.
Veliki podaci se koriste na mnogo različitih načina za analizu ljudskog ponašanja. Može se koristiti za analizu kako ljudi koriste svoje mobilne uređaje, kako međusobno komuniciraju, pa čak i kako troše svoj novac.
Evo nekoliko primjera Big Data aplikacija:
- Analizirajte društvene mreže kako biste saznali što se događa u svijetu oko vas čega možda niste svjesni (na primjer, trendovi u modi ili tehnologiji).
- Korištenje senzora i kamera postavljenih u gradovima za praćenje saobraćaja, kako bi vlade mogle bolje planirati javne radove ili poboljšati javni prijevoz.
zaključak
Veliki podaci su termin koji se koristi za opisivanje ogromnih količina podataka koje možemo prikupiti, analizirati i koristiti u svakodnevnom životu. Ove informacije se mogu koristiti u različite svrhe, kao što je pronalaženje genetskih markera za bolesti ili analiza ljudskih genoma kako bi se bolje razumjelo kako funkcioniraju. Važno je zapamtiti da postoje i negativne posljedice povezane s ovom tehnologijom, kao što je zabrinutost za privatnost ljudi koji imaju pristup vašim ličnim podacima.