본문 바로가기

보물창고/Big Data

클라우데라 가상머신에서 Hbase 자바 예제 코드 실행 방법 How to run Hbase Java example Code on CDH Virtual Box Image 클라우데라 가상머신에서 Hbase 자바 예제 코드 실행 방법 How to run Hbase Java example Code on CDH Virtual Box Image 아임클라우드는 빅데이터 기반 기술과 인공지능 기술을 개발하는 빅데이터 및 인공지능 전문 기업입니다.아임클라우드의 Hadoop 기반 빅데이터 시스템은 국내 최고의 전문가 그룹으로 구성되며 고객 여러분의 빅데이터 고민을 해결해 드립니다. 인공지능의 영역은 무궁무진합니다. 강력한 DeepLearning 기술을 통해 가장 필요한 일을 함께 하는 파트너가 되어드립니다. Hbase 예제 코드를 모두 돌려 볼수 있는 환경 구성 입니다클라우데라의 CDH 가상머신을 이용하며 오렐리 Hbase 책의 예제 코드를 실행하는 환경 구성입니다 cloudera vm.. 더보기
Imcloud Apache Cloudera CDH kudu 관련 자료 정리 (hadoop echo) 아임클라우드는 빅데이터 기반 기술과 인공지능 기술을 개발하는 빅데이터 및 인공지능 전문 기업입니다.아임클라우드의 Hadoop 기반 빅데이터 시스템은 국내 최고의 전문가 그룹으로 구성되며 고객 여러분의 빅데이터 고민을 해결해 드립니다. 인공지능의 영역은 무궁무진합니다. 강력한 DeepLearning 기술을 통해 가장 필요한 일을 함께 하는 파트너가 되어드립니다. Imcloud Apache Cloudera CDH kudu 관련 자료 정리 (hadoop echo) Kudu는 Hadoop과 Hbase(phoenix)사이의 틈새를 공략한 솔루션 입니다. - 빅데이터의 분산 저장과 처리를 하면서 CRUD를 할 수 있는 환경에 대한 요구가 많았습니다. 기존에는 Hbase(phoenix)와 Impala가 일부 이런 요.. 더보기
context.getConfiguration(); java.lang.NullPointerException 문제 해결 context.getConfiguration(); java.lang.NullPointerException 문제 해결 hadoop MRjob을 작성하는중 나타난 트러블 슈팅 내용입니다환경은 CDH5.X버전이고 ubuntu14.04입니다 15/08/07 10:53:04 INFO input.FileInputFormat: Total input paths to process : 1 15/08/07 10:53:04 INFO mapreduce.JobSubmitter: number of splits:1 15/08/07 10:53:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local1197195623_0001 15/08/07 10:53:04 INFO .. 더보기
flume error 해결 org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable flume error 해결 org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable 해결에 참고한 내용http://mail-archives.apache.org/mod_mbox/flume-user/201301.mbox/%3CDA2B926AB70E406B991A25705557610B@cloudera.com%3E 입력되는 값문자열이 탭으로 구분된 데이터 sfae a;ldfja;sldj alwkejhfalskdhf a;slekjafabcd def de ab d eef ddefsef sfae a;ldfja;sldj alwkejhfalskdhf a;slekjafabcd def de ab d eef ddefsef sfae a;ldfja;sldj alw.. 더보기
윈도우 하둡 하이브 외부 테이블 생성 에이브로 스키마 설정, Azure HDInsight Hive Create external table avro file read 윈도우 하둡 하이브 외부 테이블 생성 에이브로 스키마 설정, Azure HDInsight Hive Create external table avro file read HDInsight환경 hive에서 avro파일을 읽을수 있도록하는 create table 쿼리 입니다테스트하는 동안 발생한 에러들도 포함해서 적습니다에러로 찾아오시는 분들에게 도움이 되었으면 합니다 Azure HDInsight를 공부하면서 본 링크들을 정리했습니다http://paranwater.tistory.com/451 참고한 사이트apache hive에서 안내하는 문서 : https://cwiki.apache.org/confluence/display/Hive/AvroSerDeCreate 쿼리가 있는 [사이트 1] : http://www.m.. 더보기
윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop 윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop 윈도우 하둡 종류 정리 http://paranwater.tistory.com/450 Blob에대해 잘 설명한 글 - 글 상단에 간단하게 설명 되어있습니다 http://www.taeyo.net/Columns/View.aspx?SEQ=417&PSEQ=33#3 아래 번호 순서대로 읽으면서 전체적인 개념을 파악할 수 있었습니다모두 한글 문서 입니다 HDInsight 전체 자습서 및 가이드 목록http://azure.microsoft.com/ko-kr/documentation/services/hdinsight/ Azure HDInsight를 사용하여 시작Getting Sta.. 더보기
윈도우 하둡 종류 정리 [window hadoop] 윈도우 하둡 종류 정리 [window hadoop] 윈도우용으로 사용할 수 있는 하둡들입니다윈도우용 하둡은 Hortonworks 제품이 사용되고 있습니다 기타 : hadoop streaming 소개 http://paranwater.tistory.com/386 HortonworksQuick Guide : http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-Win-latest/bk_installing_hdp_for_windows/content/win-chap2-singlenode.html호튼웍스에서 제공하는 하둡입니다원클릭으로 설치가되며 호튼웍스 사이트에가면 해당 주제로 커뮤니티도 구성되어 있어 도움 받을 수도 있습니다윈도우 직접 설치해서 사용합니다 Window .. 더보기
윈도우 하둡 window hadoop HDInsight Azure 압축 호환에 관련된 글 (Gzip, Bzip2, LZO, LZ4, snappy) 윈도우 하둡 window hadoop HDinsight Azure 압축 호환에 관련된 글 (Gzip, Bzip2, LZO, LZ4, snappy) 문서 다운로드 https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CCQQFjAA&url=http%3A%2F%2Fdownload.microsoft.com%2Fdownload%2F1%2FC%2F6%2F1C66D134-1FD5-4493-90BD-98F94A881626%2FCompression%2520in%2520Hadoop%2520(Microsoft%2520IT%2520white%2520paper).docx&ei=efxBVOydHqfMmAWHu4KoCg&usg=AFQjCNEMlCpXoTbqzo.. 더보기