반응형
C#으로 맵 리듀스 코딩해서 HDInsight hadoop streaming 사용하는 방법 입니다
HDInsight hadoop streaming C# map reduce test
관련된 다른 글
HDInsight hadoop streaming C# map reduce test
HDInsight hadoop-streaming-1.1.0-SNAPSHOT.jar을 이용
hadoop dfs -rmr a/
hadoop dfs -mkdir a/
hadoop dfs -put map.exe a/
hadoop dfs -put reduce.exe a/
hadoop dfs -put pic.txt a/
필요한 파일을 하둡으로 puthadoop jar hadoop-streaming-1.1.0-SNAPSHOT.jar -files "hdfs:///user/Administrator/a/0map.exe,hdfs:///user/Administrator/a/0reduce.exe" -input "/user/Administrator/a/pic.txt" -output "/user/Administrator/a/result" -mapper "0map.exe" -reducer "0reduce.exe"
명령어 실행
result 결과 내용을 get 명령어를 이용해서 hadoop 밖으로 꺼냄
반응형
'보물창고 > Big Data' 카테고리의 다른 글
Hortonworks hadoop oozie 트러블슈팅 (0) | 2013.05.01 |
---|---|
dropdups 인덱스 생성문제 기록 (0) | 2013.04.18 |
hadoop oozie 3.2.0 document 필요한 부분 번역 (Basic Setup, Oozie Quick Start, Oozie Examples 하둡) (0) | 2013.04.11 |
윈도우 하둡 HDInsight 0.4.0 클러스터 구성 - window hadoop HDInsight cluster setting (0) | 2013.04.09 |
hadoop streaming 소개 (0) | 2013.03.29 |
HDInsight hive ODBC 0.4.0이전 버전과 이후 버전 비교 (0) | 2013.03.29 |
Pig 동작 과정- 실행 계획 (0) | 2013.03.13 |
Hadoop Streaming 구조 (0) | 2013.03.13 |