윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop

윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop

• 윈도우 하둡 종류 정리
  http://paranwater.tistory.com/450
  
  
• Blob에대해 잘 설명한 글 - 글 상단에 간단하게 설명 되어있습니다
  http://www.taeyo.net/Columns/View.aspx?SEQ=417&PSEQ=33#3

---

• 아래 번호 순서대로 읽으면서 전체적인 개념을 파악할 수 있었습니다
• 모두 한글 문서 입니다

• HDInsight 전체 자습서 및 가이드 목록
• http://azure.microsoft.com/ko-kr/documentation/services/hdinsight/

---

1. Azure HDInsight를 사용하여 시작
   1. Getting Start의 문서
   2. Azure에서 HDInsight를 만들고 워드 카운트를 하고 엑셀에서 데이터를 읽어와 편집까지 30분 강좌
   3. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-get-started/
      
      
2. HDInsight와 함께 Azure Blob 저장소 사용
   1. HDInsight에서 Blob의 위치와 역할을 파악할 수 있음
   2. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-use-blob-storage/
      
      
      
3. HDInsight에 데이터 업로드
   1. Blob에 데이터를 올리는 방법을 설명 합니다
   2. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-upload-data/
      
      
      
4. HDInsight에서 Sqoop 사용
   1. New-AzureHDInsightSqoopJobDefinition -Command "export --connect $connectionString --table $tableName_log4j --export-dir $exportDir_log4j --input-fields-terminated-by \0x20 -m 1"
   2. 위 문장을 사용해서 sqoop을 실행함
   3. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-use-sqoop/
      
      
      
5. HDInsight 클러스터 프로비전
   1. 최초 생성 방법을 설명
   2. Blob을 사용한다는 내용이 적혀 있음 : 일반적으로 HDInsight 클러스터를 프로비전하고, 해당 작업을 실행한 후에 비용을 줄이기 위해 클러스터를 삭제합니다. (클러스터는 HDInsight 로컬 디스크를 의미하는듯)
   3. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-provision-clusters/
      
      
6. 프로그래밍 방식으로 Hadoop 작업 제출
   1.  powersell을 사용하여 작업 제출
   2. mapreduce, hive, sqoop 등
   3. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/