[Hadoop]MapReduce1

🤷‍♀️빅데이터 분석을 위해 `병렬 분산 알고리즘`을 이용하는 이유는?

적은 수의 값 비싼 하이 엔드(high-end) 머신을 이용하는 `스케일-업(Scale-Up)`방식에 비해 비교적 저렴한 **로우 엔드(low-end)머신들을 대량으로 두고 사용하는 `스케일-아웃(Scale-Out)` 방식이 비용적으로 보다 효율적**이기 때문!

 

🤷‍♀️맵리듀스 프레임워크는 왜 쓰는데?

값 싼 여러 대의 컴퓨터들로 이루어진 거대한 클러스터(cluster)에서 빅데이터를 처리하기 위한 스케일러블 병렬 애플리케이션 SW 개발을 쉽게 할 수 있도록 해주는 프로그래밍 모델

 

🤷‍♀️그렇다면 맵리듀스 프레임워크는 어떻게 작동해?

• HDFS(Hadoop DistributedFileSystem)이라 불리는 분산 파일 시스템이 빅데이터를 여러 대의 머신에 분산해 저장 (각 파일을 여러개의 순차적인 블록으로 분할해서 저장)
• 각각의 블록들은 Fault Tolerance를 위해 여러 개로 복사되어 여기저기 저장

  • Fault Toleracne ?
    시스템을 구성하는 부품의 일부에서 결함(Fault) 또는 고장(Failure)이 발생하여도 
    정상적으로 혹은 부분적으로 기능을 수행할 수 있는 것

 

 

 

🤷‍♀️맵리듀스의 단계

각각의 레코드(record) 또는 튜플(tuple)이 (KEY,VALUE)쌍으로 표현

🍕맵리듀스 페이즈(MapReduce Phase)

유저가 정의한 맵(map)과 리듀스(reduce)라는 함수를 이용해

- 맵-페이즈
- 셔플링-페이즈
- 리듀스-페이즈

3개의 phase가 한 번 또는 반 복으로 수행하며,

맵 함수와 리듀스 함수는 한 개의 (KEY,VALUE) 쌍을 입력으로 받고 
출력은 아무것도 안하거나, 한 개의 (KEY,VALUE) 쌍을 출력하거나 여러개의 (KEY,VALUE) 쌍을 출력

---

입력 데이터 => 여러 머신에 나누어 저장

맵-페이즈 유저가 정의한 맵 함수가 데이터의 여러 파티션에 병렬 분산으로 호출되어 수행된 후

맵 함수에서 출력한 결과들이 (KEY, VALUE)쌍으로 표현되어

여러 머신에 key에 따라 랜덤하게 나누어 전달
같은 key를 가진 (KEY,VALUE) 쌍은 같은 머신으로 모임



셔플링-페이즈=> 각 머신에서 수행

각 머신에 모인 (KEY,VALUE) 쌍들을 KEY를 이용해 정렬하고
각각의 KEY마다 그 KEY를 갖는 VALUE들을 병합해 VALUE 리스트를 생성



리듀스-페이즈=> 셔플링-페이즈에서 만든 (KEY,VALUE-LIST)쌍마다 한 개의 리듀스 함스가 호출
출력이 있다면 (KEY,VALUE) 쌍 형태로 출력

🍕 맵 리듀스 함수의 입력과 출력 요약

[X]는 형태가 X인 값들의 리스트 의미

Map:(KEY,VALUE) -> [(KEY,VALUE)]
Reduce: (KEY,[VALUE]) -> [(KEY,VALUE)]

 

🤷‍♀️맵리듀스 프레임워크에서는?

• 메인(main) 함수를 한 개의 마스터 머신(master machine)에서 수행
  • 이 머신은 맵 함수를 수행하기 전에 전처리를 하거나 리듀스 함수의 결과를 후처리 하는데 사용될 수 있음!
• 애플리케이션에 따라 맵 함수와 리듀스 함수 한 쌍으로 이뤄진 `맵-셔플링-리듀스 페이즈`를 한 번 수행하거나 여러 번 반복해서 수행 가능

 

🍕맵리듀스 프레임 워크의 주요 구성 요소

• MapReduce
  • 소프트웨어의 수행을 분산
• HDFS(Hadoop Distributed File System ; Hadoop 분산 파일 시스템)
  • 데이터를 분산

이외의 구성 요소

• Namenode
  • master 역할인 한개의 네임노드
  • 파일 시스템을 관리하고 클라이언트가 파일에 접근할 수 있게 함
• Datanodes
  • slave 역할인 여러개의 데이터 노드
  • 컴퓨터에 들어있는 데이터에 접근할 수 있게 함