hadoop 썸네일형 리스트형 Centos sudo 권한 설정 방법 CentOs sudo 권한 설정 방법 CentOS에서 sudo 권한 설정 방법을 캡쳐하여 정리합니다 1. root user에서 /etc/sudoers 파일의 실행 권한을 변경합니다 - chmod u+w /etc/sudoers 2. /etc/sudoers파일을 편집합니다 - vi /etc/sudoers 3. sudo 권한을 적을 위치를 찾습니다 4. sudo 권한을 줄 user를 추가합니다 - hadoop ALL=(ALL) NOPASSWD:ALL 5. vi 텍스트 편집을 저장합니다 6. /etc/sudoers파일의 실행 권한을 변경합니다 - chmod u-w /etc/sudoers 7. sudo 권한을 준 User로 변경 후 sudo 실행이 되는지 확인합니다 더보기 Imcloud Apache Cloudera CDH kudu 관련 자료 정리 (hadoop echo) 아임클라우드는 빅데이터 기반 기술과 인공지능 기술을 개발하는 빅데이터 및 인공지능 전문 기업입니다.아임클라우드의 Hadoop 기반 빅데이터 시스템은 국내 최고의 전문가 그룹으로 구성되며 고객 여러분의 빅데이터 고민을 해결해 드립니다. 인공지능의 영역은 무궁무진합니다. 강력한 DeepLearning 기술을 통해 가장 필요한 일을 함께 하는 파트너가 되어드립니다. Imcloud Apache Cloudera CDH kudu 관련 자료 정리 (hadoop echo) Kudu는 Hadoop과 Hbase(phoenix)사이의 틈새를 공략한 솔루션 입니다. - 빅데이터의 분산 저장과 처리를 하면서 CRUD를 할 수 있는 환경에 대한 요구가 많았습니다. 기존에는 Hbase(phoenix)와 Impala가 일부 이런 요.. 더보기 context.getConfiguration(); java.lang.NullPointerException 문제 해결 context.getConfiguration(); java.lang.NullPointerException 문제 해결 hadoop MRjob을 작성하는중 나타난 트러블 슈팅 내용입니다환경은 CDH5.X버전이고 ubuntu14.04입니다 15/08/07 10:53:04 INFO input.FileInputFormat: Total input paths to process : 1 15/08/07 10:53:04 INFO mapreduce.JobSubmitter: number of splits:1 15/08/07 10:53:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local1197195623_0001 15/08/07 10:53:04 INFO .. 더보기 flume error 해결 org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable flume error 해결 org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable 해결에 참고한 내용http://mail-archives.apache.org/mod_mbox/flume-user/201301.mbox/%3CDA2B926AB70E406B991A25705557610B@cloudera.com%3E 입력되는 값문자열이 탭으로 구분된 데이터 sfae a;ldfja;sldj alwkejhfalskdhf a;slekjafabcd def de ab d eef ddefsef sfae a;ldfja;sldj alwkejhfalskdhf a;slekjafabcd def de ab d eef ddefsef sfae a;ldfja;sldj alw.. 더보기 윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop 윈도우 하둡 스터디 하면서 본 MS 한글 문서 Getting Started Azure HDInsight 한글 문서들 Window hadoop 윈도우 하둡 종류 정리 http://paranwater.tistory.com/450 Blob에대해 잘 설명한 글 - 글 상단에 간단하게 설명 되어있습니다 http://www.taeyo.net/Columns/View.aspx?SEQ=417&PSEQ=33#3 아래 번호 순서대로 읽으면서 전체적인 개념을 파악할 수 있었습니다모두 한글 문서 입니다 HDInsight 전체 자습서 및 가이드 목록http://azure.microsoft.com/ko-kr/documentation/services/hdinsight/ Azure HDInsight를 사용하여 시작Getting Sta.. 더보기 윈도우 하둡 종류 정리 [window hadoop] 윈도우 하둡 종류 정리 [window hadoop] 윈도우용으로 사용할 수 있는 하둡들입니다윈도우용 하둡은 Hortonworks 제품이 사용되고 있습니다 기타 : hadoop streaming 소개 http://paranwater.tistory.com/386 HortonworksQuick Guide : http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-Win-latest/bk_installing_hdp_for_windows/content/win-chap2-singlenode.html호튼웍스에서 제공하는 하둡입니다원클릭으로 설치가되며 호튼웍스 사이트에가면 해당 주제로 커뮤니티도 구성되어 있어 도움 받을 수도 있습니다윈도우 직접 설치해서 사용합니다 Window .. 더보기 [발번역] Apache Spark 리소스 매니지먼트와 YARN App 모델 (Apache Spark Resource Management and YARN App Models) Apache Spark Resource Management and YARN App Modelshttp://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/위 문서 내용을 공부하면서 발번역 하였습니다흐름을 파악하는데 참고해 주세요 Spark를 스터디하면서 Spark on YARN 모드 2종류를 이해하기가 가장 어려웠습니다. 영어가 부족한데다가 글로 설명된 내용을 보니 계속 미궁속으로 빠지고 있었습니다. 번역하면서 본 이 글은 저의 궁금증을 깔끔하게 해소시켜주는 핵심적인 글이고 저외에 다른 누군가도 이 글이 도움이 되었으면 하는 바람에 블로그에 올려 놓습니다 Apache Spark 리소스 매니지먼트와 YAR.. 더보기 Spark WordCount 데이터 마다 주석(파악 중) Spark WordCount MapReduce 샘플 코드 분석 중입니다코드 원본 중간중간에 데이터를 출력해서 확인하고 있습니다 spark 스터디할 수 있는 링크 정리 http://paranwater.tistory.com/413 실행 환경CentOs 6.5, CDH5(hadoop2.3.0 CDH 5.0.3, Spark1.0.0 CDH5.1.0 )Spark on YARN - client mode한대의 노드에서 테스트 실행 스크립트spark-submit --class com.cloudera.sparkwordcount.JavaWordCount --deploy-mode client --master yarn /data01/SparkExample/sparkwordcount-0.0.1-SNAPSHOT.jar Spark.. 더보기 이전 1 2 3 다음
