'맵'에 해당되는 글 1건

  1. 2013.03.13 Hadoop Streaming 구조
보물창고/Big Data2013.03.13 22:30









관련된 다른 글

hadoop streaming 소개

Hadoop Streaming 구조

HDInsight hadoop streaming C# map reduce test







이미지 출처 http://chiangbing.blogspot.kr/





Hadoop Streaming


stdinstdout을 이용해서 map.exereduce.exe에 데이터를 주고 받습니다


map.exe에 데이터를 전달 할 때 <key,value>의 데이터를 key + \t + value형식으로 변환해서 stdin으로 전달합니다


map.exestdout의 데이터 key + \t + value형식의 데이터를 <key,value>형식으로 변환해서 mapper에게 전달합니다


hadoop 프레임 워크에서 정렬과 병합 과정을 거칩니다 <key,[value1,value2,…]>형식의 데이터가 됩니다


hadoop 프레임 워크에서 <key,[value1,value2,…]>형식의 데이터를 <key,value1> <key,value2>형식으로 바꿉니다


reduce.exe에 데이터를 전달 할 때 <key,value>형식의 데이터를 key + \t + value형식으로 변환해서 stdin으로 전달합니다


reduce.exestdout의 데이터 key + \t + value형식의 데이터를 <key,value>형식으로 변환해서 mapper에게 전달합니다

 


신고





Posted by 파란물

티스토리 툴바