[리포트] MapReduce 조사

소개

HDFS에 저장된 파일 데이터를 분산된 서버의 CPU와 메모리 자원을 이용해 쉽고 빠르게 분석하는 컴퓨팅 플랫폼인 맵리듀스(MapReduce)에 대해 쉽게 정리한 자료입니다.

목차

1. 빅 데이터 시대의 구세주 "Hadoop"
2. 무거운 작업을 여러 시스템에 분산
3. Hadoop의 구성 - “MapReduce”와 “HDFS”
4. 분산처리용 프로그래밍 모델 “MapReduce”
5. Key, Value 쌍을 만든다 “Map”
6. 같은 Key를 가지는 쌍을 묶는 “Shuffle”
7. Shuffle 결과를 입력으로 처리하는 “Reduce”
8. Recap

본문내용

0. 빅 데이터 시대의 구세주 "Hadoop"

“Apache Hadoop”
지금 가장 주목 받고 있는 기술 중 하나이다. Hadoop은 대량의 데이터를 손쉽게 여러 시스템에 분산하여 처리할 수 있는 오픈 소스 플랫폼이다. Hadoop을 활용하고 있는 기업은 해마다 계속 증가하여, 중요한 기술이 되고 있다고 할 수 있다.

1. 무거운 작업을 여러 시스템에 분산

여러 컴퓨터에 작업을 분배하려면 프로세스 간 통신, 감시, 장애 시의 대응 등을 생각해야하고, 이것은 프로그래머들에게 장벽이 될 수 있다. 그러나 Hadoop은 그런 귀찮은 작업을 혼자서 맡아 주어 프로그래머가 원하는 작업에만 집중할 수 있다.

예를 들어, Hadoop을 사용하면 1대로 며칠 걸리는 무거운 작업을 여러 시스템에 분산시킴으로써 몇 시간 만에 끝내는 것도 가능하다.

2. Hadoop의 구성 - “MapReduce”와 “HDFS”

Hadoop은 크게 MapReduce와 HDFS로 구성되어 있다.

<이하 생략>

참고자료

· 없음