소개글
"빅데이터의 특징"에 대한 내용입니다.
목차
1. 빅데이터의 개념과 특징
1.1. 빅데이터의 정의
1.2. 빅데이터의 종류
1.2.1. 구조화 데이터
1.2.2. 비구조화 데이터
1.2.3. 반구조화 데이터
1.3. 빅데이터의 특징
1.3.1. 대량성(규모)
1.3.2. 다양성
1.3.3. 속도
1.3.4. 진실성
2. 빅데이터 분석 기술
2.1. 데이터 마이닝
2.1.1. 지도학습
2.1.2. 비지도학습
2.2. 연관규칙분석(장바구니 분석)
2.3. 군집분석
2.4. 분류분석
2.5. 예측분석
3. 빅데이터의 기업 활용 사례
3.1. 운영 효율성 향상: 월마트
3.2. 서비스 개선: 넷플릭스
4. 참고 문헌
본문내용
1. 빅데이터의 개념과 특징
1.1. 빅데이터의 정의
빅데이터(Big Data)는 정보 기술의 발달과 디지털화로 인해 생성되는 방대한 양의 데이터를 말한다. 이 데이터는 규모(Volume), 속도(Velocity), 다양성(Variety) 등에서 기존 데이터와 차별화된다. 빅데이터는 전통적인 데이터베이스 관리 도구와 기법으로는 처리하기 어려운 특성을 가지고 있다.
빅데이터는 크게 세 가지 유형으로 나눌 수 있다. 첫째, 구조화된 데이터는 일정한 형식을 갖춘 데이터로, 관계형 데이터베이스 테이블에 저장되는 데이터가 이에 해당한다. SQL 쿼리 등을 통해 쉽게 접근하고 분석할 수 있다. 둘째, 비구조화된 데이터는 형식이 정해져 있지 않은 데이터로, 텍스트 문서, 이미지, 비디오, 소셜 미디어 게시물 등이 이에 해당한다. 이러한 데이터는 고정된 스키마가 없기 때문에 처리와 분석이 어렵다. 셋째, 반구조화된 데이터는 구조화된 데이터와 비구조화된 데이터의 중간 형태로, XML이나 JSON 같은 형식의 데이터가 이에 해당한다. 이러한 데이터는 일정한 구조를 가지면서도 유연성이 있다.
빅데이터는 대규모의 데이터 집합을 효과적으로 저장하고 처리하기 위해 분산 컴퓨팅 환경과 고급 분석 기법이 필요하다. 빅데이터 기술은 Apache Hadoop, Spark와 같은 분산 컴퓨팅 프레임워크를 통해 실현된다.
1.2. 빅데이터의 종류
1.2.1. 구조화 데이터
구조화 데이터는 정형(structured) 데이터로 불리며, 일정한 형식과 구조를 갖추고 있는 데이터를 말한다. 이는 관계형 데이터베이스에 저장되어 있는 데이터로, SQL 쿼리 등을 통해 쉽게 접근하고 분석할 수 있다. 구조화 데이터의 특징은 다음과 같다.
첫째, 구조화 데이터는 데이터베이스 테이블과 같이 행과 열로 이루어져 있어 데이터의 형식이 일정하게 정의되어 있다. 따라서 데이터 간의 관계를 명확히 파악할 수 있다. 둘째, 구조화 데이터는 고정된 스키마(schema)를 가지고 있어 데이터 처리와 분석이 용이하다. 셋째, 구조화 데이터는 SQL과 같은 쿼리 언어를 통해 손쉽게 데이터를 검색하고 조작할 수 있다. 넷째, 구조화 데이터는 데이터베이스 관리 시스템(DBMS)에서 안정적으로 저장 및 관리될 수 있다.
이처럼 구조화 데이터는 정형화된 형태로 저장되어 있어 전통적인 데이터베이스 시스템에서 활용도가 높다. 기업은 고객 정보, 재무 정보, 거래 내역 등 핵심 운영 데이터를 구조화 데이터로 관리하며, 이를 바탕으로 다양한 분석과 의사결정을 수행할 수 있다.
1.2.2. 비구조화 데이터
비구조화 데이터란 정형화된 데이터베이스 구조를 갖추지 않은 데이터를 의미한다. 즉, 텍스트 문서, 이미지, 동영상, 오디오 파일 등 기존의 관계형 데이터베이스로 처리하기 어려운 형태의 데이터를 말한다.
비구조화 데이터는 고정된 스키마가 없기 때문에 처리와 분석이 어려운 특징이 있다. 그러나 최근 들어 새로운 기술의 발달로 인해 비구조화 데이터에 대한 분석 역량이 강화되고 있다. 예를 들어, 자연어 처리 기술의 발전으로 텍스트 문서 분석이 가능해졌고, 컴퓨터 비전 기술의 발전으로 이미지와 동영상 데이터 분석이 가능해졌다.
특히 소셜미디어의 등장과 확산으로 비정형 데이터의 생성량이 폭발적으로 증가하면서, 이에 대한 활용 가치가 부각되고 있다. 페이스북, 트위터, 인스타그램 등 소셜미디어 플랫폼에서 생성되는 텍스트, 이미지, 동영상 데이터는 기업의 마케팅, 제품 개발, 고객 관리 등 다양한 분야에서 활용되고 있다.
또한 웹 로그 데이터, 센서 데이터 등 실시간으로 생성되는 비구조화 데이터도 주목받고 있다. 이러한 데이터를 분석하면 고객의 행동 패턴을 이해하고, 제품 및 서비스를 개선할 수 있다.
이처럼 비구조화 데이터는 이제 기업의 핵심 자산이자 경쟁력의 원천이 되고 있다. 기업은 비구조화 데이터를 효과적으로 수집, 저장, 분석하는 기술을 확보해야 시장에서의 우위를 점할 수 있게 된다.
1.2.3. 반구조화 데이터
반구조화 데이터란 구조화된 데이터와 비구조화 데이터의 중간 형태로, 일정한 구조를 가지면서도 유연성이 있는 데이터 형태이다. 대표적인 예로 XML, JSON과 같은 데이터 형식을 들 수 있다.
반구조화된 데이터는 구조화된 데이터와 달리 고정된 스키마가 없기 때문에 처리와 분석이 보다 유연하다...
참고 자료
"넷플릭스, 한국 콘텐츠 제작에 빅데이터 활용" (한겨레, 2020)
"빅데이터: 새로운 기회와 도전" (한국정보화진흥원, 2013)
"빅데이터의 이해와 활용" (KDI 경제정보센터, 2018)
최아리, 이화여자대학교 공연예술대학원,[2018] [국내석사]
이이삭,성균관대학교,2015,빅데이터의 지식재산권 문제에 관한 연구
연관성 규칙 기법을 이용한 빅데이터 분석 = Application of Association Rules for Mining Bigdata
강인경, 동국대학교,[2016] [국내석사]
빅 데이터의 군집분석을 위한 군집화 유효성 지수 개발과 응용 = Developing validity indices for clustering analysis of big data and its applications
이수현, 전남대학교,[2015] [국내박사]
이재홍, 『4차 산업혁명 시대 대한민국의 기회』, 메디치미디어, 2017
이지영, 『용어로 보는 IT』, 블로터, 2013
조성준 외, 『빅데이터 커리어 가이드북』, 길벗, 2021
정용찬, 『빅데이터』, 커뮤니케이션북스, 2013
정용찬, 『빅데이터 혁명과 미디어 정책 이슈』(KISDI Premium Report 12-02), 정보통신정책연구원, 2012
정우진, 『빅데이터를 말하다』, 클라우드북스, 2013
최홍규, 『소셜 빅데이터 마이닝을 활용한 미디어 분석 방법』, 클라우드북스, 2017
Chapman, Pete et al.(2000년) CRISP-DM 1.0 Step-by-step data mining guide. SPSS.
1
2
3
4
5
6
7
8
9
10