- Големи данни: масиви от данни, толкова големи или сложни, че надвишават възможностите на традиционните инструменти за управление и анализ.
- Четирите V-та: обем, разнообразие, скорост и достоверност описват размера, видовете, скоростта на промяна и надеждността на данните.
- Това включва структурирани данни (числови бази данни) и неструктурирани данни (уеб, имейли, социални мрежи), разширяващи се източници и сложност на анализа.
- Приложения: здравеопазване, подобряване на услугите, обществена безопасност и оптимизация на бизнеса; облакът улеснява съхранението и мащабируемостта в сравнение с традиционните RDBMS.
Големи данни е широко понятие за масиви от данни, толкова големи или сложни, че традиционните приложения за обработка на данни са неадекватни. Големите данни могат да включват всякакъв вид информация, както структурирана, така и неструктурирана.
Примери за големи данни и определение
Големи набори от данни
Големи данни е широко понятие за масиви от данни, толкова големи или сложни, че традиционните приложения за обработка на данни са неадекватни. Обхватът на големите данни може да бъде всякакъв размер, от терабайти до петабайти (1 трилион байта) и повече. Като цяло обхватът на големите данни включва както структурирани, така и неструктурирани видове информация.
Големите данни се отнасят до огромните количества информация, генерирани от интернет, социалните медии и други източници . Големите данни се отнасят до набори от данни, чийто размер надвишава капацитета на традиционните инструменти за управление на бази данни за ефективното им събиране, съхраняване, управление и анализ с помощта на стандартни системи за управление на релационни бази данни (RDBMS).
Изчислено е, че 98% от данните в света са създадени само през последните две години.
Данните растат експоненциално. Всъщност се изчислява, че 98% от данните в света са създадени само през последните две години. И ако се чудите какво се е случило с останалите 2%, е, ние също не знаем това.
Как можем да се справим с този експоненциален растеж? Ами, имаме нужда от нов модел за съхранение на данни , който ни позволява да съхраняваме цялата си информация и след това да решим какво да правим с нея по-късно (или не).
Ето защо повечето организации използват услуги за съхранение в облак като Amazon Web Services (AWS), Google Cloud Platform (GCP) или Microsoft Azure, вместо да изграждат собствена инфраструктура от нулата или да използват традиционни релационни бази данни като Oracle DBMS или Microsoft SQL Server DBMS, които изискват плащане на скъпи лицензи всяка година, само за да продължат да съхраняват всички тези гигабайти и гигабайти цифрови активи.
Четирите Vs на големите данни
Четирите Vs на големите данни са обем, разнообразие, скорост и достоверност.
Обемът се отнася до размера на данните, които вашата компания обработва. Разнообразието се отнася до всички техни видове: структурирани (като електронни таблици) и неструктурирани (като изображения). Скоростта се отнася до това колко бързо информацията се променя с течение на времето: ако става въпрос за нещо като данните за продажбите на онлайн магазин, които се променят приблизително всеки час, имате нужда от система, която може да обработва тези промени достатъчно бързо, така че те да не повлияят съществено на бизнес решенията.
И накрая, има достоверност, тоест точност: до каква степен информацията е надеждна? Ако идва от външен източник, като социални мрежи като Twitter или Facebook, където всеки може да публикува всичко по всяко време без предварителна проверка, може да не е толкова надежден.
Структурирани и неструктурирани данни.
Големите данни могат да включват всякакъв вид информация, както структурирана, така и неструктурирана.
Примери за структурирани данни: социалноосигурителни номера, номера на кредитни карти и телефонни номера.
Примери за неструктурирани данни: уеб страници, имейли, туитове и друго съдържание в социалните медии.
Технологията за големи данни може да се използва за анализ на човешкия геном и намиране на генетични маркери на заболявания.
Технологията за големи данни може да се използва за анализ на човешкия геном и намиране на генетични маркери за заболявания. ДНК секвенирането е пример за технология за големи данни, която се използва в медицинските изследвания от самото ѝ създаване в началото на 2000-те години. Чрез идентифициране на отделни гени и техните вариации, изследователите могат да определят точно генетични фактори, които допринасят за заболявания като рак или диабет.
Проучванията за асоцииране в целия геном (GWAS) използват техника, наречена микрочипове, която позволява на учените да анализират хиляди проби наведнъж, търсейки специфични модели в нивата на генна експресия. Този процес им позволява да идентифицират генетични варианти, свързани със заболявания като Алцхаймер или шизофрения; Повечето резултати от GWAS обаче остават неубедителни до голяма степен, защото се основават на малки размери на извадката (в много случаи по-малко от 100 индивида).
Тъй като броят на хората, участващи в тези проучвания, се увеличава и особено ако тези участници се съгласят на допълнителни тестове, трябва да очакваме нарастващи нива на точност заедно с по-добро разбиране за това как специфичните фактори на околната среда взаимодействат с нашите гени по време на етапите на развитие по-късно в жизнения път.
Употреби за големи данни
Днес има много приложения за Big Data, които променят начина, по който живеем и работим.
Големите данни могат да се използват за подобряване на здравеопазването, обслужването на клиентите и образованието . Те могат също така да помогнат на агенциите за обществена безопасност да защитят по-добре своите общности, а на бизнеса да получи достъп до нови възможности, като използва големи данни за подобряване на бизнес процесите.
Здравеопазване : Лекарите и медицинските сестри използват досиетата на пациентите, за да вземат решения за лечение, но с толкова много информация, налична за всеки пациент, е трудно да се намери това, от което се нуждаят, когато имат нужда. С инструментите за анализ на големи данни лекарите ще имат достъп до по-широк набор от информация за медицинските истории на своите пациенти от всякога, включително информация за това дали дадено лекарство е причинило нежелана реакция или дали има други лекарства, които могат да взаимодействат негативно помежду си (като лекарства за кръвно налягане). Това би могло да спаси животи, защото лекарите веднага ще знаят кои лечения биха работили най-добре въз основа на минал опит, вместо да губят време в опити с различни комбинации, докато нещо не проработи достатъчно добре.
Големите данни днес имат много приложения, които може би не осъзнавате.
Големите данни се използват по много различни начини за анализиране на човешкото поведение. Може да се използва за анализиране на това как хората използват своите мобилни устройства, как взаимодействат помежду си и дори как харчат парите си.
Ето някои примери за приложения с големи данни:
- Анализирайте социалните медии, за да разберете какво се случва в света около вас, за което може да не сте наясно (например тенденции в модата или технологиите).
- Използване на сензори и камери, поставени в градовете, за наблюдение на трафика, така че правителствата да могат по-добре да планират обществените работи или да подобрят обществения транспорт.
Заключение
Big data е термин, използван за описание на огромните количества данни, които можем да събираме, анализираме и използваме в ежедневието си. Тази информация може да се използва за много различни цели, като например намиране на генетични маркери за заболявания или анализиране на човешки геноми, за да се разбере по-добре как функционират. Важно е да запомните, че има и отрицателни последици, свързани с тази технология, като опасения относно поверителността на хората, които имат достъп до вашата лична информация.