본문내용
1. 데이터 이해
1.1. 데이터의 유형
데이터의 유형은 다음과 같다. 정성적 데이터는 언어·문자로 표현되어 저장·검색·분석에 많은 비용이 소모된다. 반면 정량적 데이터는 수치·도형·기호로 표현되어 비용소모가 적다. 데이터는 정형, 반정형, 비정형으로 구분된다. 정형 데이터는 관계형 데이터베이스, CSV 등 형식이 정해져 있고, 반정형 데이터는 눈으로 봤을 때 무슨 정보인지 모르는 데이터(센서데이터처럼)로 한번 변환이 있어야 하며, 비정형 데이터는 소셜데이터, 영상, 이미지와 같이 형태가 정해져 있지 않다. 또한 데이터에는 암묵지와 형식지가 있는데, 암묵지는 메뉴얼화되어 있지 않고 개인에게 체화되어 있어 겉으로 드러나지 않지만, 형식지는 문서나 매뉴얼화된 지식이다. 데이터는 계층적으로 데이터-정보-지식-지혜의 구조를 가진다. 데이터 단위로는 1바이트(byte) = 8비트(bit), 킬로바이트(KB) = 1024바이트(byte), 메가바이트(MB) = 1024킬로바이트(KB), 기가바이트(GB) = 1024메가바이트(MB), 테라바이트(TB) = 1024킬로바이트(GB), 페타바이트(PB) = 1024킬로바이트(TB), 엑사바이트(EB) = 1024킬로바이트(PB), 제타바이트(ZB) = 1024킬로바이트(EB), 요타바이트(YB) = 1024킬로바이트(ZB)로 구성된다.데이터베이스의 특징은 다음과 같다. 데이터베이스는 동일한 내용이 중복되어 있지 않은 통합된 데이터로 구성되며, 컴퓨터가 접근할 수 있는 저장 매체에 저장된다. 또한 여러 사용자가 데이터를 공동으로 이용할 수 있으며, 새로운 데이터의 삽입, 기존 데이터의 삭제 및 갱신 등 변화되는 데이터를 현재의 정확한 데이터로 유지한다. 데이터베이스 설계 절차는 요구사항 분석, 개념적 설계, 논리적 설계, 물리적 설계 순으로 진행된다.
기업 내부 데이터베이스에는 OLTP(On-Line Transaction Processing), OLAP(On-Line Analytical Processing), CRM(Customer Relationships Management), SCM(Supply Chain Management), ERP(Enterprise Resource Planning), BI(Business Intelligence), BA(Business Analytics)가 있다. OLTP는 데이터베이스의 데이터를 수시로 갱신하는 프로세싱이며, OLAP는 다차원의 데이터를 대화식으로 분석한다. CRM은 고객과 관련된 내·외부 자료를 분석해 고객 중심 자원을 극대화하고 효율적인 마케팅에 활용하며, SCM은 공급망 단계를 최적화해 고객을 만족시킨다. ERP는 기업 전체를 경영자원의 효과적 이용이라는 관점에서 통합적으로 관리하고 경영의 효율화를 기하기 위한 시스템이며, BI는 기업이 보유하고 있는 데이터를 정리하고 분석해 의사결정에 활용하고, BA는 데이터 통계를 기반으로 성과와 비즈니스 통찰력에 초점을 둔다.
1.2. 데이터베이스의 특징
데이터베이스는 통합된 데이터이다. 동일한 내용이 중복되어 있지 않으며, 컴퓨터가 접근할 수 있는 저장 매체에 저장되어 있다. 여러 사용자가 데이터를 공동으로 이용할 수 있으며, 새로운 데이터의 삽입, 기존 데이터의 삭제, 갱신으로 인해 항상 변화하지만 현재의 정확한 데이터를 유지한다. 데이터베이스 설계 절차는 요구사항 분석, 개념적 설계, 논리적 설계, 물리적 설계 순으로 이루어진다. 이와 같은 데이터베이스의 특징으로 인해 데이터의 관리와 활용이 용이하며, 데이터의 무결성과 정확성을 보장할 수 있다. 전사적 데이터 관리와 데이터 기반 의사결정을 가능하게 한다.
1.3. 기업 내부 데이터베이스
기업 내부 데이터베이스는 고객과 관련된 내·외부 자료를 분석하여 고객 중심의 자원을 극대화하고 이를 토대로 효율적인 마케팅에 활용한다. 이를 통해 고객과의 관계를 관리하는 CRM(Customer Relationships Management)이 있다. 또한 공급망 단계를 최적화하여 고객을 만족시키는 SCM(Supply Chain Management)도 있다. 그리고 기업 전체의 경영자원을 효과적으로 이용하고 경영의 효율화를 기하기 위한 ERP(Enterprise Resource Planning) 시스템도 있다. 이 외에도 BI(Business Intelligence)는 기업이 보유한 데이터를 정리하고 분석하여 의사결정에 활용하며, BA(Business Analytics)는 데이터 통계를 기반으로 성과와 비즈니스 통찰력에 초점을 둔다. 이처럼 기업 내부 데이터베이스는 고객관리, 공급망관리, 경영자원관리 등 다양한 분야에서 활용되어 기업의 경쟁력을 제고하는 데 기여한다.
1.4. DBMS(Data Base Management System)
DBMS(Data Base Management System)는 데이터베이스를 공유하고 관리할 수 있는 환경을 제공하는 소프트웨어이다. 관계형 DBMS는 테이블(표)로 데이터를 정리하며, 객체지향 DBMS는 정보를 객체(이미지나 영상)으로 정리한다. SQL은 데이터베이스에 접근할 수 있는 데이터베이스 하부언어로, 집계함수 중 COUNT()만 수치형, 문자형 둘 다 사용 가능하다. 빅데이터를 나타내는 4V는 Volume(양), Variety(다양성), Velocity(속도), Value(가치)이며, 클라우드 컴퓨팅 기술은 빅데이터 분석에 경제성을 제공하였다. 빅데이터는 산업혁명의 원유, 21세기 원유, 렌즈 등으로 비유되며, 기존에 없던 새로운 범주의 산업 형성에 기여하고 있다. 하지만 데이터의 가치 선정이 어려운 이유는 데이터 재사용 및 재조합, 기술 발전으로 인한 새로운 가치 창출, 현재의 가치가 없어도 미래에 가치가 있을 수 있기 때문이다. 빅데이터 활용을 위해서는 데이터, 기술, 인력의 3요소가 필요하며, 데이터 사이언스는 데이터와 관련된 모든 분야의 전문지식을 종합한 학문이다. 데이터 사이언티스트에게는 하드스킬과 소프트스킬이 모두 요구되며, 개인정보 비식별 기술로는 데이터 마스킹, 가명처리, 총계처리, 데이터 값 삭제, 데이터 범주화 등이 있다. 하둡은 여러 대의 컴퓨터를 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술이며, 데이터 웨어하우스는 기업의 의사결정 과정을 지원하기 위한 주제 중심적이고 통합적이며 시간성을 가지는 비휘발성 데이터의 집합이다.
1.5. SQL
SQL은 데이터베이스에 접근할 수 있는 데이터베이스 하부언어이다. SQL에서는 집계함수 중 COUNT()만 수치형, 문자형 데이터 모두에 사용할 수 있다. SQL을 이용하여 데이터베이스의 데이터를 검색, 저장, 수정, 삭제할 수 있으며, 다양한 집계 기능을 사용할 수 있다. 이를 통해 사용자는 데이터베이스에 저장된 데이터를 효과적으로 관리할 수 있다.
1.6. 빅데이터
빅데이터란 기존의 데이터 처리 방식으로는 분석이 어려운 대량의 데이터를 의미한다. 빅데이터를 나타내는 4V는 Volume(양), Variety(다양성), Velocity(속도), Value(가치)이다. 빅데이터는 기존의 소량, 정형화된 데이터와 달리 비정형화되어 있고, 실시간으로 생성되며, 분석에 많은 노력이 필요하지만 그만큼 큰 가치를 지니고 있다.
빅데이터 시대는 산업혁명 시대의 석탄, 철강에 비유할 수 있으며, 21세기의 원유, 렌...
1
2
3
4
5
6
7
8
9
10
11
12
13
14