본문내용
1. 빅데이터 개요
1.1. 빅데이터의 정의
빅데이터(Big Data)는 방대한 양의 데이터를 수집, 저장, 분석, 관리, 공유하는 것과 관련된 기술 및 방법론을 의미한다. 이 데이터는 다양한 소스에서 생성되며, 그 규모와 복잡성으로 인해 전통적인 데이터 처리 소프트웨어로는 다루기 어렵다.
1.2. 빅데이터의 특성
1.2.1. 3V (Volume, Velocity, Variety)
빅데이터의 3V (Volume, Velocity, Variety)는 빅데이터의 주요 특성을 나타낸다.
첫째, Volume(양)은 데이터의 양이 매우 방대하다는 것을 의미한다. 데이터의 크기가 테라바이트에서 페타바이트 이상까지 이르는 경우가 많다. 과거에는 데이터를 서버나 컴퓨터에 저장하는 것이 일반적이었지만, 빅데이터의 경우 그 양이 너무 방대하여 기존의 데이터베이스나 저장장치로는 저장하기 어려운 상황이다.
둘째, Velocity(속도)는 데이터가 생성되고 수집되는 속도가 매우 빠르다는 것을 의미한다. 실시간으로 끊임없이 데이터가 생성되며, 이러한 실시간 데이터 스트리밍을 처리하기 위해서는 고도의 기술이 필요하다.
셋째, Variety(다양성)는 데이터의 형태가 매우 다양하다는 것을 의미한다. 구조화된 데이터뿐만 아니라 비정형화된 텍스트, 이미지, 동영상, 오디오 등 다양한 유형의 데이터가 포함된다. 따라서 이러한 다양한 데이터를 수집, 저장, 분석하기 위해서는 기존의 데이터 처리 방식과는 다른 새로운 기술이 필요하다.
이처럼 빅데이터의 3V 특성은 데이터의 방대한 양, 빠른 생성 속도, 다양한 유형을 지칭하며, 이를 효과적으로 처리하고 활용하기 위해서는 기존의 데이터 관리 및 분석 방식과는 차별화된 새로운 기술이 필요하다.
1.2.2. 5V (Veracity, Value)
Veracity(정확성)와 Value(가치)는 빅데이터의 특성 중 두 가지에 해당한다.
Veracity(정확성)는 데이터의 정확성과 신뢰성을 의미한다. 빅데이터는 방대한 양의 데이터를 다루기 때문에, 데이터의 품질 관리가 중요하다. 데이터에 오류가 있거나 정확성이 떨어질 경우, 분석 결과에 큰 영향을 미칠 수 있다. 따라서 빅데이터를 활용할 때는 데이터의 정확성과 신뢰성을 검증하는 과정이 필수적이다.
Value(가치)는 빅데이터가 창출할 수 있는 가치와 유용성을 의미한다. 빅데이터는 단순한 데이터의 집합이 아니라, 이를 활용하여 새로운 통찰과 가치를 창출할 수 있는 잠재력을 지니고 있다. 기업은 빅데이터를 활용하여 고객 이해도를 높이고, 의사결정을 개선하며, 새로운 사업 기회를 발견할 수 있다. 또한 공공 부문에서도 빅데이터를 활용하여 보다 효과적이고 효율적인 서비스를 제공할 수 있다. 따라서 빅데이터의 활용 가치는 매우 크다고 볼 수 있다.
1.3. 빅데이터의 등장배경
빅데이터의 등장배경은 다음과 같다.
이코노미스트에 따르면 2007년부터 전 세계적으로 생성된 디지털 정보량이 사용가능한 저장공간을 초과하기 시작했다. IDC의 "Digital Universe study"에 따르면 2011년에는 전 세계 데이터에 생성될 디지털 정보량이 1.8ZB에 달하는 제타바이트 시대에 돌입했고 2022년에는 35ZB로 약 19배 이상 증가할 것으로 예상되고 있다. 소셜 미디어의 확산에 따른 비정형 데이터의 폭증, 다양한 플랫폼의 보급, ...
