윈도우 하둡 HDInsight 0.4.0 클러스터 구성 - window hadoop HDInsight cluster setting

윈도우 하둡 HDInsight 0.4.0 클러스터 구성 - window hadoop HDInsight cluster setting

HDInsight 포럼에 있는 글을 참고 하여 클러스터를 구성했습니다

http://social.msdn.microsoft.com/Forums/en-US/hdinsight/thread/885efc22-fb67-4df8-8648-4ff38098dac6

HDInsight Preview server download

http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT-PREVIEW

---

구성 환경
 - VirtualBox, Window Server 2012, 메모리 3G, 호스트 전용 네트워크

 - master 1개, slave 3개

---

HDInsight 0.4.0버전(130315)을 이용하여 cluster을 구성하였습니다

9번에서 0.3.0 버전과는 차이가 있으니 참고하고 봐주세요

리눅스 멀티 노드 구성과 대부분 비슷합니다

---

1. 마스터와 노드가 적절한 IP를 가지고 있는지 확인 하세요

2. 모든 노드에 있는 방화벽과 포트 차단 소프트웨어를 끄세요

- 각 노드끼리 서로 엑세스 권한이 있는지 확인합니다

3. 마스터와 모든 노드에 있는 %WinDir%\system32\drivers\etc\hosts 파일을 편집합니다

다음과 같은 내용을 추가 합니다

<ip-to-master> master <ip-to-node1> node1 ...... <ip-to-nodeN> nodeN

4. 모든 노드의 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\master 파일을 수정합니다

- master 하나만 적혀 있는지 확인하세요

- 호스트 파일에 입력한 내용과 일치해야 합니다

5. 모든 노드의 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\slave파일을 편집:

- 모든 slave 노드 이름을 추가합니다

- 호스트 파일에 입력한 내용과 일치 해야합니다

node1 ... nodeN

6. 마스터와 모든 노드에서 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\core-site.xml을 수정합니다

- fs.default.name의 속성을 찾아 hdfs://master:8020으로 변경합니다

7. 마스터와 모든 노드에서 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\mapred-site.xml파일을 수정합니다

- 로컬 호스트에 대한 모든 참조 값을 master로 수정합니다

8. 마스터와 모든 노드에서 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\hdfs-site.xml파일을 수정합니다

- 로컬호스트 대신 master로 모두 수정합니다

- dfs.replication 설정을 찾아 원하는 복제 개수를 적어줍니다 (일반적으로 3개)

9. 마스터와 슬레이브 노드 에서 command창을 열고 실행 스크립트 start-onebox.cmd를 실행시킵니다

- 파일은 C:\Hadoop에 있습니다

- master와 slave는 원하는 설정에 따라 프로세스를 정지시켜 구성합니다

- 경험상 노드를 먼저 실행 시키고 마스터를 실행시키면 master가 slave를 한번에 인식합니다

10. 위 설정은 사용하던 하둡 시스템에서는 바로 동작하지 않을 수 있습니다

- 사용하던 시스템에서 구성하려면 dn폴더를 찾아 삭제 후 시도해 보세요

- 최초 HDInsight 설치한 시스템에서 테스트를 권장합니다

11. HDInsight 0.4.0 cluster 구성 후 sqoop, pig, hive, streaming을 테스트 확인 했습니다