본문 바로가기

보물창고/Big Data

Hadoop Streaming 구조

반응형





관련된 다른 글

hadoop streaming 소개

Hadoop Streaming 구조

HDInsight hadoop streaming C# map reduce test







이미지 출처 http://chiangbing.blogspot.kr/





Hadoop Streaming


stdinstdout을 이용해서 map.exereduce.exe에 데이터를 주고 받습니다


map.exe에 데이터를 전달 할 때 <key,value>의 데이터를 key + \t + value형식으로 변환해서 stdin으로 전달합니다


map.exestdout의 데이터 key + \t + value형식의 데이터를 <key,value>형식으로 변환해서 mapper에게 전달합니다


hadoop 프레임 워크에서 정렬과 병합 과정을 거칩니다 <key,[value1,value2,…]>형식의 데이터가 됩니다


hadoop 프레임 워크에서 <key,[value1,value2,…]>형식의 데이터를 <key,value1> <key,value2>형식으로 바꿉니다


reduce.exe에 데이터를 전달 할 때 <key,value>형식의 데이터를 key + \t + value형식으로 변환해서 stdin으로 전달합니다


reduce.exestdout의 데이터 key + \t + value형식의 데이터를 <key,value>형식으로 변환해서 mapper에게 전달합니다

 


반응형