본문내용
1. 데이터 이해
1.1. 데이터의 유형
데이터의 유형이다. 정성적 데이터는 언어·문자로 표현되는 데이터이고, 정량적 데이터는 수치·도형·기호로 표현되는 데이터이다. 정성적 데이터는 저장·검색·분석에 많은 비용이 소모되지만, 정량적 데이터는 정형화되어 있어 비용소모가 적다. 정형 데이터는 관계형 데이터베이스나 CSV와 같이 형식이 정해져 있는 데이터이고, 반정형 데이터는 눈으로 보았을 때 무슨 정보인지 모르는 데이터(센서데이터처럼)로 한 번의 변환이 필요하며 형태(스키마,메타데이터)가 있다. 비정형 데이터는 소셜데이터, 영상, 이미지와 같이 형태가 정해져 있지 않은 데이터이다. 암묵지는 메뉴얼화 되어있지 않고 개인에게 체화되어 있어 겉으로 드러나지 않은 지식이고, 형식지는 문서나 매뉴얼화된 지식이다. DIKW 모델에서 Data는 가공하기 전의 순수한 수치나 기호이고, Information은 패턴을 인식하고 의미를 부여한 데이터이며, Knowledge는 상호 연결된 정보 패턴을 이해하여 이를 토대로 예측한 결과물이고, Wisdom은 창의적 아이디어이다. 데이터 단위로는 1바이트(byte) = 8비트(bit), 1킬로바이트(KB) = 1024바이트(byte), 1메가바이트(MB) = 1024킬로바이트(KB), 1기가바이트(GB) = 1024메가바이트(MB), 1테라바이트(TB) = 1024기가바이트(GB), 1페타바이트(PB) = 1024테라바이트(TB), 1엑사바이트(EB) = 1024페타바이트(PB), 1제타바이트(ZB) = 1024엑사바이트(EB), 1요타바이트(YB) = 1024제타바이트(ZB)가 있다.
데이터베이스의 특징은 통합된 데이터, 저장된 데이터, 공용 데이터, 변화되는 데이터이며, 데이터베이스 설계 절차는 요구사항 분석 → 개념적 설계 → 논리적 설계 → 물리적 설계이다. 기업 내부 데이터베이스에는 OLTP(온라인 거래 처리)와 OLAP(온라인 분석 처리), CRM(고객 관계 관리), SCM(공급망 관리), ERP(전사적 자원 관리), BI(비즈니스 인텔리전스), BA(비즈니스 애널리틱스)가 있다. DBMS(데이터베이스 관리 시스템)는 데이터베이스를 공유하고 관리할 수 있는 환경을 제공하는 소프트웨어이고, SQL은 데이터베이스에 접근할 수 있는 데이터베이스 하부언어이다.
빅데이터는 4V(Volume, Variety, Velocity, Value)로 특징지어지며, 클라우드 컴퓨팅 기술은 빅데이터 분석에 경제성을 제공하였다. 빅데이터에 대한 비유로는 산업혁명의 석탄·철, 21세기의 원유, 렌즈, 플랫폼 등이 있다. 빅데이터의 가치 선정이 어려운 이유는 데이터의 재사용 및 재조합, 새로운 가치 창출, 미래 가치 예측의 어려움 때문이다. 빅데이터 기본 테크닉으로는 연관규칙학습, 유형분석, 유전자 알고리즘, 회귀분석, 감정분석 등이 있다.
빅데이터 시대의 위기 요인으로는 사생활 침해, 책임 원칙 훼손, 데이터 오용이 있다. 사생활 침해 문제는 익명화 기술 발전과 개인정보 사용에 대한 동의 범위 확대로 해결할 수 있고, 책임 원칙 훼손 문제는 명확히 나타난 결과에 대해서만 책임을 물어야 한다. 데이터 오용 문제는 데이터 분석 결과가 항상 옳지 않으므로 알고리즈미스트가 불이익을 당한 사람들을 대변할 필요가 있다.
데이터 사이언스는 정형·비정형을 막론하고 데이터 분석을 하는 총체적 접근법이며, 데이터 사이언티스트에게는 하드 스킬(이론, 분석 기술) 뿐만 아니라 소프트 스킬(통찰, 스토리텔링, 시각화, 커뮤니케이션)이 요구된다. 데이터 비식별화 기술로는 데이터 마스킹, 가명처리, 총계처리, 범주화 등이 있고, 하둡은 여러 컴퓨터를 하나로 묶어 대용량 데이터를 처리하는 기술이며, 데이터 웨어하우스는 기업의 의사결정을 지원하는 통합적이고 시간성을 가진 비휘발성 데이터의 집합이다.
1.2. 정형 데이터와 비정형 데이터
정형 데이터와 비정형 데이터는 데이터의 유형에 따라 구분된다. 정형 데이터는 관계형 데이터베이스나 CSV와 같이 형식이 정해져 있는 데이터를 말한다. 반면 비정형 데이터는 소셜데이터, 영상, 이미지와 같이 형태가 정해져 있지 않은 데이터를 의미한다. 정형 데이터는 수치나 기호로 표현되어 저장 및 분석이 용이하지만, 정성적인 내용을 포함하기 어려운 한계가 있다. 반면 비정형 데이터는 언어나 문자로 표현되어 정성적 정보를 담을 수 있지만, 저장과 분석에 많은 비용이 소요된다. 이처럼 정형 데이터와 비정형 데이터는 각자의 장단점을 지니고 있어, 기업 및 조직에서는 이 두 유형의 데이터를 적절히 활용하여 통합적인 분석을 수행하고자 한다.
1.3. 암묵지와 형식지
암묵지는 개인에게 내면화되어 있어 겉으로 드러나지 않는 지식이다. 암묵지는 개인의 경험이나 노하우와 같이 잘 정리되어 있지 않은 지식이다. 김치 담그기, 자전거 타기 등이 암묵지의 예라 할 수 있다. 이러한 암묵지는 개인에게 체화되어 있지만 조직 차원에서 공유하고 전달하기 위해서는 언어나 문자로 표현하는 과정이 필요하다.
형식지는 문서나 매뉴얼화된 지식으로, 언어, 숫자, 기호 등으로 표현된 지식이다. 교과서, 동영상 등이 형식지의 예라 할 수 있다. 이렇게 표출된 지식은 개인의 암묵지와 연결되어 활용될 수 있다. 즉, 암묵지를 형식지화하여 공유하고 개인의 지식으로 내재화하는 과정이 필요하다.
따라서 암묵지와 형식지는 서로 보완적인 관계에 있으며, 조직이 보유한 지식을 효과적으로 활용하기 위해서는 암묵지를 형식지화하여 공유하고 내재화하는 것이 중요하다. 이를 통해 개인의 경험과 노하우가 조직의 자산이 될 수 있다.
1.4. 데이터 단위
데이터를 나타내는 최소 단위는 비트(bit)이다. 8비트가 모여 1바이트(byte)를 이루며, 1킬로바이트(KB)는 1024바이트, 1메가바이트(MB)는 1024킬로바이트, 1기가바이트(GB)는 1024메가바이트, 1테라바이트(TB)는 1024기가바이트, 1펩타바이트(PB)는 1024테라바이트, 1엑사바이트(EB)는 1024펩타바이트, 1제타바이트(ZB)는 1024엑사바이트, 1요타바이트(YB)는 1024제타바이트이다. 이와 같이 데이터 단위는 킬로(KB), 메가(MB), 기가(GB), 테라(TB), 펩타(PB), 엑사(EB), 제타(ZB), 요타(YB) 순으로 증가한다.
데이터의 단위가 커짐에 따라 그 크기와 저장 및 처리 능력이 늘어나며, 이는 데이터 양의 증가와 기술 발전을 반영한다. 이러한 데이터 단위 체계를 이해하는 것은 데이터의 특성과 활용 범위를 파악하는 데 도움이 된다.
2. 데이터베이스의 특징
2.1. 통합된 데이터
통합된 데이터는 동일한 내용이 중복되어 있지 않은 데이터이다. 데이터가 통합되어 있어 필요한 정보를 쉽게 찾을 수 있다. 데이터베이스의 특징인 통합된 데이터는 데이터의 중복을 방지하고 체계적인 정보 관리를 가능하게 한다. 데이터베이스에 저장된 데이터는 컴퓨터 시스템에서 접근할 수 있는 저장 매체에 저장되어 있다. 여러 사용자가 데이터를 공동으로 이용할 수 있도록 데이터베이스가 구축되어 있다. 데이터베이스 내의 데이터는 새로운 데이터의 삽입, 기존 데이터의 삭제 및 갱신으로 인해 항상 변화하고 있지만 현재의 정확한 데이터를 유지하고 있다. 데이터베이스 설계 절차는 요구사항 분석, 개념적 설계, 논리적 설계, 물리적 설계 순으로 진행된다. 이처럼 통합된 데이터베이스는 데이터 중복 방지, 공동 데이터 활용, 실시간 데이터 관리 등의 장점이 있다.
2.2. 저장된 데이터
저장된 데이터는 컴퓨터가 접근할 수 있는 저장 매체에 저장되어 있다. 이러한 저장된 데이터는 동일한 내용이 중복되어 있지 않고, 여러 사용자가 공동으로 이용할 수 있다. 또한 새로운 데이터의 삽입, 기존 데이터의 삭제, 갱신 등을 통해 데이터가 끊임없이 변화하지만 현재의 정확한 데이터를 유지하고 있다. 데이터베이스 설계 절차는 요구사항 분석, 개념적 설계, 논리적 설계, 물리적 설계 순으로 진행된다.
2.3. 공용 데이터
공용 데이터는 여러 사용자가 데이터를 공동으로 이용한다. 이러한 데이터는 기업 내에서 일반적인 용도...
