보물창고/Big Data2014.10.28 23:30





윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop










  • 아래 번호 순서대로 읽으면서 전체적인 개념을 파악할 수 있었습니다
  • 모두 한글 문서 입니다








  1. Azure HDInsight를 사용하여 시작
    1. Getting Start의 문서
    2. Azure에서 HDInsight를 만들고 워드 카운트를 하고 엑셀에서 데이터를 읽어와 편집까지 30분 강좌
    3. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-get-started/

  2. HDInsight와 함께 Azure Blob 저장소 사용
    1. HDInsight에서 Blob의 위치와 역할을 파악할 수 있음
    2. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-use-blob-storage/


  3. HDInsight에 데이터 업로드
    1. Blob에 데이터를 올리는 방법을 설명 합니다
    2. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-upload-data/


  4. HDInsight에서 Sqoop 사용
    1. New-AzureHDInsightSqoopJobDefinition -Command "export --connect $connectionString --table $tableName_log4j --export-dir $exportDir_log4j --input-fields-terminated-by \0x20 -m 1"
    2. 위 문장을 사용해서 sqoop을 실행함
    3. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-use-sqoop/


  5. HDInsight 클러스터 프로비전
    1. 최초 생성 방법을 설명
    2. Blob을 사용한다는 내용이 적혀 있음 : 일반적으로 HDInsight 클러스터를 프로비전하고, 해당 작업을 실행한 후에 비용을 줄이기 위해 클러스터를 삭제합니다. (클러스터는 HDInsight 로컬 디스크를 의미하는듯)
    3. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-provision-clusters/

  6. 프로그래밍 방식으로 Hadoop 작업 제출
    1.  powersell을 사용하여 작업 제출
    2. mapreduce, hive, sqoop 등
    3. http://azure.microsoft.com/ko-kr/documentation/articles/hdinsight-submit-hadoop-jobs-programmatically/


신고





Posted by 파란물
보물창고/Big Data2014.10.23 23:00





윈도우 하둡 종류 정리 [window hadoop]









  • 윈도우용으로 사용할 수 있는 하둡들입니다
    • 윈도우용 하둡은 Hortonworks 제품이 사용되고 있습니다


  • 기타 : hadoop streaming 소개
    http://paranwater.tistory.com/386







  • Hortonworks
  • Window Azure HDinsight
  • HDinsight Emulator






    • Hortonworks HDP와의 관계
      다음 표는 현재 사용 가능한 HDInsight 버전, 버전에서 사용하는 해당 HDP(Hortonworks Data Platform) 버전 및 릴리스 날짜를 나열합니다. 알려진 경우 사용이 중단된 날짜도 나와 있습니다.

      HDINSIGHT 버전HDP 버전릴리스 날짜
      HDI 3.0HDP 2.002/11/2014
      HDI 2.1HDP 1.310/28/2013
      HDI 1.6HDP 1.110/28/2013


    신고





    Posted by 파란물
    보물창고/Big Data2012.12.28 21:30









    되도록 영문 윈도우에 설치하는걸 권장 드립니다

    window hadoop install

    http://paranwater.tistory.com/365

    위 포스팅에서 한글 윈도우에서 HDInsight 설치가 안되는 문제를 적었었는데요

    MS에서 한글 윈도우에서 설치하는 방법을 댓글로 달아주셔서 좀 더 상세한 내용을 이메일로 문의후 설치했습니다


    결론적으로 모두 정상적으로 설치가 잘 되었습니다


    HDInsight 버전은 2012년 12월 14일(13) 0.3.0.0 입니다


    1. 역할 및 기능 추가

    2. 기본언어 설정 변경

    3. 시스템 로컬 변경

    4. 재부팅

    5. HDInsight 설치










    .NET Framework 3.5 추가 / .NET Framework 3.5(.NET 2.0 및 3.0 포함) / HTTP 활성화 체크








    ASP.NET 3.5 / ASP.NET 4.5 (Extensibility) / WebSocket Protocol 체크


    (역할 및 기능추가는 정확하게 뭐가 필요한지 확인을 못한 상태에서 

    http://marktab.net/datamining/ko/2012/10/31/install-microsoft-hdinsight-server-hadoop-windows-8-professional/

    위 사이트를 참고하여 가장 비슷하게 추가하였습니다)






    기본 언어 설정을 영어로 바꿉니다








    시스템 로컬 변경을 영어로 설정 합니다








    HDInsight 설치









    정상적으로 설치 완료된 모습입니다







    하둡 기능들이 모두 설치 완료되고 실핼한 모습입니다




    신고





    Posted by 파란물
    보물창고/Big Data2012.12.26 15:46










    Microsoft HDInsight 설치 후 동작 테스트 가이드 입니다




    아래 링크로 가면 받을 수 있습니다

    http://gettingstarted.hadooponazure.com/gettingStarted.html


    직접 다운로드 링크

    http://gettingstarted.hadooponazure.com/content/Microsoft_HDInsight_Jumpstart_Guide.zip




    샘플소스와 설명 문서 파일이 있습니다

    Microsoft HDInsight Big Data Jump Start Guide.docx

    Retail_Web_Analytics.zip








    시나리오 정보 입니다


    Loading data into a Hadoop cluster from local machine.

    o Scenario 1 - Bulk Import Data into Hadoop

    Running a map-reduce job on Windows Azure HDInsight Service and Microsoft HDInsight Server using either data on the Hadoop cluster or with Windows Azure Storage.

    o Scenario 2 - Run the MapReduce job to load Hadoop with the log data

    o Scenario 3 – Using Windows Azure Storage as a data source

    Creating a Hive table from the map-reduce results. Hive provides a structured schema on top of Hadoop for connecting to structured data sources using ODBC.

    o Scenario 4 - Import the results into Hive Table

    Exporting data to a Windows Azure SQL Database from a Hive table 

    o Scenario 5 - Export Hadoop data to Windows Azure SQL Database using Sqoop 

    Using the Hive table for performing analysis with Microsoft Excel, SQL Server Analysis Services, and PowerPivot and PowerView with Microsoft Excel 2013

    o Scenario 6 - Using Excel with Hive table (loaded with Hadoop Data)

    o Scenario 7 - Create a tabular data model in Analysis Services for reporting using HiveODBC

    o Scenario 8 - Creating a Power Pivot and Power View report using Excel 2013

    Loading data onto a Hadoop cluster from operational data including SQL Server database and from log files using Flume

    o Scenario 9 - Loading operational data into Hadoop using Sqoop

    신고





    Posted by 파란물