'맵리듀스'에 해당되는 글 1건

  1. 2013.03.30 HDInsight hadoop streaming C# map reduce test
보물창고/Big Data2013.03.30 22:30










C#으로 맵 리듀스 코딩해서 HDInsight hadoop streaming 사용하는 방법 입니다

HDInsight hadoop streaming C# map reduce test





관련된 다른 글

hadoop streaming 소개

Hadoop Streaming 구조

HDInsight hadoop streaming C# map reduce test








HDInsight hadoop-streaming-1.1.0-SNAPSHOT.jar을 이용










hadoop dfs -rmr a/

hadoop dfs -mkdir a/

hadoop dfs -put map.exe a/

hadoop dfs -put reduce.exe a/

hadoop dfs -put pic.txt a/

필요한 파일을 하둡으로 put











hadoop jar hadoop-streaming-1.1.0-SNAPSHOT.jar -files "hdfs:///user/Administrator/a/0map.exe,hdfs:///user/Administrator/a/0reduce.exe" -input "/user/Administrator/a/pic.txt" -output "/user/Administrator/a/result" -mapper "0map.exe" -reducer "0reduce.exe"

명령어 실행











result 결과 내용을 get 명령어를 이용해서 hadoop 밖으로 꺼냄





신고





Posted by 파란물

티스토리 툴바