반응형
관련된 다른 글
HDInsight hadoop streaming C# map reduce test
이미지 출처 http://chiangbing.blogspot.kr/
Hadoop Streaming은 stdin과 stdout을 이용해서 map.exe와 reduce.exe에 데이터를 주고 받습니다 ① map.exe에 데이터를 전달 할 때 <key,value>의 데이터를 key + \t + value형식으로 변환해서 stdin으로 전달합니다 ② map.exe의 stdout의 데이터 key + \t + value형식의 데이터를 <key,value>형식으로 변환해서 mapper에게 전달합니다 ③ hadoop 프레임 워크에서 정렬과 병합 과정을 거칩니다 <key,[value1,value2,…]>형식의 데이터가 됩니다 ④ hadoop 프레임 워크에서 <key,[value1,value2,…]>형식의 데이터를 <key,value1> <key,value2>형식으로 바꿉니다 ⑤ reduce.exe에 데이터를 전달 할 때 <key,value>형식의 데이터를 key + \t + value형식으로 변환해서 stdin으로 전달합니다 ⑥ reduce.exe의 stdout의 데이터 key + \t + value형식의 데이터를 <key,value>형식으로 변환해서 mapper에게 전달합니다 |
반응형
'보물창고 > Big Data' 카테고리의 다른 글
| HDInsight hadoop streaming C# map reduce test (0) | 2013.03.30 |
|---|---|
| hadoop streaming 소개 (0) | 2013.03.29 |
| HDInsight hive ODBC 0.4.0이전 버전과 이후 버전 비교 (0) | 2013.03.29 |
| Pig 동작 과정- 실행 계획 (0) | 2013.03.13 |
| hadoop namenode 포맷 후 datanode 프로세스가 실행 되지 않을때 (2) | 2013.01.21 |
| HDInsight 한글 윈도우 설치 테스트 (윈도우 하둡 window hadoop install) (0) | 2012.12.28 |
| HDInsight jump start guide (윈도우용 하둡 설치 사용 가이드) (0) | 2012.12.26 |
| HDInsight Previews 설치기 (윈도우에 하둡 설치) (2) | 2012.11.25 |
