- 빅 데이터: 기존의 관리 및 분석 도구로는 처리할 수 없을 정도로 규모가 크거나 복잡한 데이터 세트.
- 4V, 즉 볼륨(volume), 다양성(variety), 속도(velocity), 정확성(veracity)은 데이터의 크기, 유형, 변화율 및 신뢰성을 나타냅니다.
- 여기에는 정형 데이터(수치 데이터베이스)와 비정형 데이터(웹, 이메일, 소셜 네트워크)가 모두 포함되어 분석의 출처와 복잡성이 증가합니다.
- 응용 분야: 의료, 서비스 개선, 공공 안전 및 비즈니스 최적화; 클라우드는 기존 관계형 데이터베이스 관리 시스템(RDBMS)에 비해 저장 및 확장성을 용이하게 합니다.
빅데이터는 기존의 데이터 처리 애플리케이션으로는 부적합할 정도로 방대하거나 복잡한 데이터 세트를 지칭하는 광범위한 용어입니다. 빅 데이터에는 구조화된 정보, 구조화되지 않은 정보 등 모든 유형의 정보가 포함될 수 있습니다.
빅데이터 예시 및 정의
빅데이터 세트
빅데이터는 기존의 데이터 처리 애플리케이션으로는 부적합할 정도로 방대하거나 복잡한 데이터 세트를 지칭하는 광범위한 용어입니다. 빅데이터의 범위는 테라바이트부터 페타바이트(1조 바이트) 이상까지 다양합니다. 일반적으로 빅데이터의 범위에는 구조화된 정보와 구조화되지 않은 정보 유형이 모두 포함됩니다.
빅데이터는 인터넷, 소셜 미디어 및 기타 소스 에서 생성되는 엄청난 양의 정보를 의미합니다. 빅데이터는 표준 관계형 데이터베이스 관리 시스템(RDBMS)을 사용하여 효과적으로 수집, 저장, 관리 및 분석할 수 있는 기존 데이터베이스 관리 도구 의 용량을 초과하는 규모의 데이터 세트를 가리킵니다.
전 세계 데이터의 98%가 지난 XNUMX년 동안 생성된 것으로 추정됩니다.
데이터는 기하급수적으로 증가합니다. 실제로 전 세계 데이터의 98%가 지난 2년 동안 생성된 것으로 추정됩니다. 그리고 나머지 XNUMX%는 어떻게 되었는지 궁금하시다면, 글쎄요, 우리도 그에 대해 모릅니다.
이러한 기하급수적인 증가에 어떻게 대처해야 할까요? 모든 정보를 저장해 두고 나중에 어떻게 활용할지 (혹은 활용하지 않을지) 결정할 수 있는 새로운 데이터 저장 모델이 필요합니다.
이러한 이유로 대부분의 조직은 자체 인프라를 처음부터 구축하거나 Oracle DBMS 또는 Microsoft SQL Server DBMS와 같은 기존 관계형 데이터베이스를 사용하는 대신 Amazon Web Services(AWS), Google Cloud Platform(GCP) 또는 Microsoft Azure와 같은 클라우드 스토리지 서비스를 사용하고 있습니다. 기존 관계형 데이터베이스는 수 기가바이트에 달하는 디지털 자산을 저장하기 위해 매년 고가의 라이선스 비용을 지불해야 하기 때문입니다.
빅데이터의 4V
빅데이터의 4V는 양(Volume), 다양성(Variety), 속도(Velocity), 진실성(Veracity)입니다.
볼륨은 회사에서 처리하는 데이터의 크기를 의미합니다. 다양성은 데이터의 모든 유형, 즉 정형 데이터(스프레드시트 등)와 비정형 데이터(이미지 등)를 포함합니다. 속도는 정보가 시간에 따라 얼마나 빨리 변하는지를 나타냅니다. 예를 들어 온라인 쇼핑몰의 매출 수치가 매시간 변하는 경우, 비즈니스 의사 결정에 큰 영향을 미치지 않도록 이러한 변화를 충분히 빠르게 처리할 수 있는 시스템이 필요합니다.
마지막으로 진실성, 즉 정확성이 있습니다. 정보는 얼마나 신뢰할 수 있습니까? Twitter나 Facebook과 같은 소셜 네트워크와 같이 누구나 사전 검증 없이 언제든 무엇이든 게시할 수 있는 외부 소스에서 나온 정보라면 신뢰성이 떨어질 수 있습니다.
구조화된 데이터와 구조화되지 않은 데이터.
빅 데이터에는 구조화된 정보, 구조화되지 않은 정보 등 모든 유형의 정보가 포함될 수 있습니다.
구조화된 데이터의 예: 주민등록번호, 신용카드 번호, 전화번호.
비정형 데이터의 예: 웹 페이지, 이메일, 트윗 및 기타 소셜 미디어 콘텐츠.
빅데이터 기술은 인간 유전체를 분석하고 질병의 유전적 마커를 찾는 데 사용될 수 있습니다.
빅데이터 기술은 인간 유전체를 분석하고 질병의 유전적 표지자를 찾는 데 사용될 수 있습니다. DNA 염기서열 분석은 2000년대 초반부터 의학 연구에 활용되어 온 빅데이터 기술의 한 예 입니다 . 연구자들은 개별 유전자와 그 변이를 식별함으로써 암이나 당뇨병과 같은 질병에 영향을 미치는 유전적 요인을 정확히 찾아낼 수 있습니다.
전장 유전체 연관 연구(GWAS)는 마이크로어레이라는 기술을 채택하는데, 이를 통해 과학자들은 수천 개의 샘플을 한 번에 분석하여 유전자 발현 수준의 특정 패턴을 찾을 수 있습니다. 이 과정을 통해 알츠하이머병이나 정신분열증과 같은 질병과 관련된 유전적 변이를 식별할 수 있습니다. 그러나 대부분의 GWAS 결과는 작은 표본 크기(대부분의 경우 100명 미만)를 기반으로 하기 때문에 결정적인 결과를 내지 못합니다.
이런 연구에 참여하는 사람의 수가 늘어나고, 특히 그 참여자들이 추가 검사에 동의한다면, 나중에 생애 경로의 발달 단계에서 특정 환경 요인이 유전자와 상호 작용하는 방식에 대한 이해도가 높아지고 정확도도 높아질 것으로 예상할 수 있습니다.
빅데이터의 활용
오늘날 빅데이터는 다양한 용도로 활용되어 우리의 생활과 업무 방식을 바꾸고 있습니다.
빅데이터는 의료, 고객 서비스, 교육을 개선하는 데 활용될 수 있습니다 . 또한 공공 안전 기관이 지역 사회를 더 잘 보호하고 기업이 비즈니스 프로세스를 개선하여 새로운 기회를 포착하는 데에도 도움이 될 수 있습니다.
의료 분야 : 의사와 간호사는 환자 기록을 바탕으로 치료 결정을 내리지만, 환자에 대한 정보가 너무 많아 필요한 정보를 제때 찾기가 어렵습니다. 빅데이터 분석 도구를 활용하면 의사는 환자의 병력에 대한 훨씬 더 광범위한 정보에 접근할 수 있게 됩니다. 여기에는 특정 약물이 부작용을 일으켰는지, 또는 혈압약처럼 서로 상호작용하여 부작용을 일으킬 수 있는 다른 약물이 있는지에 대한 정보가 포함됩니다. 이러한 정보는 의사들이 과거 경험을 바탕으로 어떤 치료법이 가장 효과적인지 즉시 파악할 수 있도록 도와주어, 여러 가지 약물 조합을 시도하며 시간을 낭비하는 대신 생명을 구할 수 있게 해줍니다.
빅 데이터는 여러분이 깨닫지 못하는 사이에 오늘날 다양한 용도로 사용되고 있습니다.
빅데이터는 인간의 행동을 분석하는 데 다양한 방법으로 사용됩니다. 이는 사람들이 모바일 기기를 어떻게 사용하는지, 서로 어떻게 상호작용하는지, 심지어 어떻게 돈을 쓰는지 분석하는 데 사용할 수 있습니다.
다음은 빅데이터 응용 프로그램의 몇 가지 예입니다.
- 소셜 미디어를 분석하면 주변 세계에서 자신이 모르는 어떤 일이 일어나고 있는지 파악할 수 있습니다(예: 패션이나 기술 트렌드).
- 도시에 설치된 센서와 카메라를 이용해 교통 상황을 모니터링함으로써, 정부가 공공 사업을 보다 효과적으로 계획하거나 대중교통을 개선할 수 있습니다.
결론
빅데이터는 우리가 일상생활에서 수집, 분석, 활용할 수 있는 엄청난 양의 데이터를 설명하는 데 사용되는 용어입니다. 이러한 정보는 질병에 대한 유전적 마커를 찾거나 인간 유전체를 분석하여 유전체의 기능을 더 잘 이해하는 등 다양한 목적으로 사용될 수 있습니다. 이 기술과 관련하여 개인정보에 접근할 수 있는 사람들의 프라이버시에 대한 우려 등 부정적인 결과도 있을 수 있다는 점을 기억하는 것이 중요합니다.