본문 바로가기

hdinsight

윈도우 하둡 하이브 외부 테이블 생성 에이브로 스키마 설정, Azure HDInsight Hive Create external table avro file read 윈도우 하둡 하이브 외부 테이블 생성 에이브로 스키마 설정, Azure HDInsight Hive Create external table avro file read HDInsight환경 hive에서 avro파일을 읽을수 있도록하는 create table 쿼리 입니다테스트하는 동안 발생한 에러들도 포함해서 적습니다에러로 찾아오시는 분들에게 도움이 되었으면 합니다 Azure HDInsight를 공부하면서 본 링크들을 정리했습니다http://paranwater.tistory.com/451 참고한 사이트apache hive에서 안내하는 문서 : https://cwiki.apache.org/confluence/display/Hive/AvroSerDeCreate 쿼리가 있는 [사이트 1] : http://www.m.. 더보기
윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop 윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop 윈도우 하둡 종류 정리 http://paranwater.tistory.com/450 Blob에대해 잘 설명한 글 - 글 상단에 간단하게 설명 되어있습니다 http://www.taeyo.net/Columns/View.aspx?SEQ=417&PSEQ=33#3 아래 번호 순서대로 읽으면서 전체적인 개념을 파악할 수 있었습니다모두 한글 문서 입니다 HDInsight 전체 자습서 및 가이드 목록http://azure.microsoft.com/ko-kr/documentation/services/hdinsight/ Azure HDInsight를 사용하여 시작Getting Sta.. 더보기
윈도우 하둡 종류 정리 [window hadoop] 윈도우 하둡 종류 정리 [window hadoop] 윈도우용으로 사용할 수 있는 하둡들입니다윈도우용 하둡은 Hortonworks 제품이 사용되고 있습니다 기타 : hadoop streaming 소개 http://paranwater.tistory.com/386 HortonworksQuick Guide : http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-Win-latest/bk_installing_hdp_for_windows/content/win-chap2-singlenode.html호튼웍스에서 제공하는 하둡입니다원클릭으로 설치가되며 호튼웍스 사이트에가면 해당 주제로 커뮤니티도 구성되어 있어 도움 받을 수도 있습니다윈도우 직접 설치해서 사용합니다 Window .. 더보기
윈도우 하둡 window hadoop HDInsight Azure 압축 호환에 관련된 글 (Gzip, Bzip2, LZO, LZ4, snappy) 윈도우 하둡 window hadoop HDinsight Azure 압축 호환에 관련된 글 (Gzip, Bzip2, LZO, LZ4, snappy) 문서 다운로드 https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CCQQFjAA&url=http%3A%2F%2Fdownload.microsoft.com%2Fdownload%2F1%2FC%2F6%2F1C66D134-1FD5-4493-90BD-98F94A881626%2FCompression%2520in%2520Hadoop%2520(Microsoft%2520IT%2520white%2520paper).docx&ei=efxBVOydHqfMmAWHu4KoCg&usg=AFQjCNEMlCpXoTbqzo.. 더보기
윈도우 하둡 HDInsight 0.4.0 클러스터 구성 - window hadoop HDInsight cluster setting 윈도우 하둡 HDInsight 0.4.0 클러스터 구성 - window hadoop HDInsight cluster setting HDInsight 포럼에 있는 글을 참고 하여 클러스터를 구성했습니다 http://social.msdn.microsoft.com/Forums/en-US/hdinsight/thread/885efc22-fb67-4df8-8648-4ff38098dac6 HDInsight Preview server download http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT-PREVIEW 구성 환경 - VirtualBox, Window Server 2012, 메모리 3G, 호스트 전용 네트워크 - master 1개, slave.. 더보기
HDInsight hadoop streaming C# map reduce test C#으로 맵 리듀스 코딩해서 HDInsight hadoop streaming 사용하는 방법 입니다HDInsight hadoop streaming C# map reduce test 관련된 다른 글hadoop streaming 소개Hadoop Streaming 구조HDInsight hadoop streaming C# map reduce test HDInsight hadoop-streaming-1.1.0-SNAPSHOT.jar을 이용 hadoop dfs -rmr a/hadoop dfs -mkdir a/hadoop dfs -put map.exe a/hadoop dfs -put reduce.exe a/hadoop dfs -put pic.txt a/필요한 파일을 하둡으로 put hadoop jar hadoop-st.. 더보기
HDInsight 한글 윈도우 설치 테스트 (윈도우 하둡 window hadoop install) 되도록 영문 윈도우에 설치하는걸 권장 드립니다window hadoop installhttp://paranwater.tistory.com/365위 포스팅에서 한글 윈도우에서 HDInsight 설치가 안되는 문제를 적었었는데요MS에서 한글 윈도우에서 설치하는 방법을 댓글로 달아주셔서 좀 더 상세한 내용을 이메일로 문의후 설치했습니다 결론적으로 모두 정상적으로 설치가 잘 되었습니다 HDInsight 버전은 2012년 12월 14일(13) 0.3.0.0 입니다 1. 역할 및 기능 추가2. 기본언어 설정 변경3. 시스템 로컬 변경4. 재부팅5. HDInsight 설치 .NET Framework 3.5 추가 / .NET Framework 3.5(.NET 2.0 및 3.0 포함) / HTTP 활성화 체크 ASP.NE.. 더보기
HDInsight jump start guide (윈도우용 하둡 설치 사용 가이드) Microsoft HDInsight 설치 후 동작 테스트 가이드 입니다 아래 링크로 가면 받을 수 있습니다http://gettingstarted.hadooponazure.com/gettingStarted.html 직접 다운로드 링크http://gettingstarted.hadooponazure.com/content/Microsoft_HDInsight_Jumpstart_Guide.zip 샘플소스와 설명 문서 파일이 있습니다Microsoft HDInsight Big Data Jump Start Guide.docxRetail_Web_Analytics.zip 시나리오 정보 입니다 •Loading data into a Hadoop cluster from local machine.oScenario 1 - Bulk .. 더보기