보물창고/Big Data2013.04.09 23:00









윈도우 하둡 HDInsight 0.4.0 클러스터 구성 - window hadoop HDInsight cluster setting






HDInsight 포럼에 있는 글을 참고 하여 클러스터를 구성했습니다

http://social.msdn.microsoft.com/Forums/en-US/hdinsight/thread/885efc22-fb67-4df8-8648-4ff38098dac6




HDInsight Preview server download

http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT-PREVIEW







구성 환경
 - VirtualBox, Window Server 2012, 메모리 3G, 호스트 전용 네트워크

 - master 1개, slave 3개







HDInsight 0.4.0버전(130315) 이용하여 cluster 구성하였습니다

9번에서 0.3.0 버전과는 차이가 있으니 참고하고 봐주세요

리눅스 멀티 노드 구성과 대부분 비슷합니다








1. 마스터와 노드가 적절한 IP 가지고 있는지 확인 하세요






2. 모든 노드에 있는 방화벽과 포트 차단 소프트웨어를 끄세요

- 노드끼리 서로 엑세스 권한이 있는지 확인합니다






3. 마스터와 모든 노드에 있는 %WinDir%\system32\drivers\etc\hosts 파일을 편집합니다

다음과 같은 내용을 추가 합니다

<ip-to-master> master
<ip-to-node1> node1
......
<ip-to-nodeN> nodeN






4. 모든 노드의 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\master 파일을 수정합니다

- master 하나만 적혀 있는지 확인하세요

- 호스트 파일에 입력한 내용과 일치해야 합니다






5. 모든 노드의 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\slave파일을 편집:

- 모든 slave 노드 이름을 추가합니다

- 호스트 파일에 입력한 내용과 일치 해야합니다

node1
...
nodeN






6. 마스터와 모든 노드에서 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\core-site.xml 수정합니다

- fs.default.name 속성을 찾아 hdfs://master:8020으로 변경합니다






7. 마스터와 모든 노드에서 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\mapred-site.xml파일을 수정합니다

- 로컬 호스트에 대한 모든 참조 값을 master 수정합니다






8. 마스터와 모든 노드에서 C:\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\hdfs-site.xml파일을 수정합니다

- 로컬호스트 대신 master 모두 수정합니다

- dfs.replication 설정을 찾아 원하는 복제 개수를 적어줍니다 (일반적으로 3)






9. 마스터와 슬레이브 노드 에서 command창을 열고 실행 스크립트 start-onebox.cmd 실행시킵니다

- 파일은 C:\Hadoop 있습니다

- master slave 원하는 설정에 따라 프로세스를 정지시켜 구성합니다

- 경험상 노드를 먼저 실행 시키고 마스터를 실행시키면 master slave 한번에 인식합니다







10. 설정은 사용하던 하둡 시스템에서는 바로 동작하지 않을 있습니다

- 사용하던 시스템에서 구성하려면 dn폴더를 찾아 삭제 시도해 보세요

- 최초 HDInsight 설치한 시스템에서 테스트를 권장합니다






11. HDInsight 0.4.0 cluster 구성 sqoop, pig, hive, streaming 테스트 확인 했습니다







신고





Posted by 파란물
보물창고/Big Data2013.03.13 23:00






Pig 동작 과정- 실행 계획




Pig Latin으로 적은 명령은 논리적,물리적 실행 계획으로 변환되고 이것이 다시 Map Reduce 실행 계획으로 변환 후 실행됩니다 





신고





Posted by 파란물