본문 바로가기

보물창고/Big Data

HDInsight hadoop streaming C# map reduce test

반응형






C#으로 맵 리듀스 코딩해서 HDInsight hadoop streaming 사용하는 방법 입니다

HDInsight hadoop streaming C# map reduce test





관련된 다른 글

hadoop streaming 소개

Hadoop Streaming 구조

HDInsight hadoop streaming C# map reduce test








HDInsight hadoop-streaming-1.1.0-SNAPSHOT.jar을 이용










hadoop dfs -rmr a/

hadoop dfs -mkdir a/

hadoop dfs -put map.exe a/

hadoop dfs -put reduce.exe a/

hadoop dfs -put pic.txt a/

필요한 파일을 하둡으로 put











hadoop jar hadoop-streaming-1.1.0-SNAPSHOT.jar -files "hdfs:///user/Administrator/a/0map.exe,hdfs:///user/Administrator/a/0reduce.exe" -input "/user/Administrator/a/pic.txt" -output "/user/Administrator/a/result" -mapper "0map.exe" -reducer "0reduce.exe"

명령어 실행











result 결과 내용을 get 명령어를 이용해서 hadoop 밖으로 꺼냄





반응형