본문 바로가기

hadoop

CDH 5.1.0 Documentation Running Spark Application을 발번역한 내요입니다 CDH 5.1.0 DocumentationRunning Spark Application을 발번역한 내요입니다 전체적인 흐름을 잡는데 이용해주세요 http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_running_spark_apps.html spark 클러스터 매니저 타입 3가지 정리 http://paranwater.tistory.com/414 *Spark 응용프로그램 실행 (Running Spark Applications)Spark 어플리케이션은 맵리듀스와 job과 유사합니다각 어플리케이션은 사용자가 제공한 코드를 실행해 결과를 연산하는 self-contained(독립.. 더보기
Spark Cluster Manager Types (스파크 클러스터 매니저 타입 3종류 번역) Spark Cluster Manager Types3종류를 발번역 하였습니다 전체적인 흐름을 파악하는데 참고해주세요 스파크 워드 카운트 소스코드 주석달면서 분석중 http://paranwater.tistory.com/416 원문 페이지 주소 : http://spark.apache.org/docs/latest/cluster-overview.html 클러스터 관리자 유형 시스템은 현재 3종류의 클러스터 관리자를 지원합니다. Standalone – a simple cluster manager included with Spark that makes it easy to set up a 독립형 - 간단한 클러스터 매니저가 Spark에 포함되어있어 관리자는 클러스터를 쉽게 구성할 수 있습니다 Apache Mesos –.. 더보기
Spark 스터디 하둡에코 (hadoop) 하둡에코 Spark를 스터디하면서 찾은 내용을 정리하였습니다 SparkSpark 간단 정의하둡에코 중 Spark가 위치하는 곳실시간 데이터를 입력받아 데이터를 연산 하는 위치하둡의 데이터를 메모리에 올려 반복연산이나 MapReduce연산이 필요한 경우Spark가 제공하는 기능MLlib 머신러닝 라이브러리MapReduce실시간 스트리밍 소켓(포트)으로 대기사용 가능한 언어scalajava(8버전이면 스칼라와 비슷한 람다를 이용 함축적으로 구현 가능함)PythonHiveQL(Shakr를 이용)SparkQLgraphX shark 스터디하면서 본 유용한 링크spark shark 에대한 설명한글이며 개괄적으로 파악하는데 도움이 됩니다http://www.slideshare.net/DaegeunKim/spark-an.. 더보기
Hortonworks 샌드박스에 있는 Ambari 관련 내용 번역 입니다 (sandbox) Hortonworks sandbox 가상머신 내 링크http://가상머신 아이피 주소/ambari.html 아파치 링크http://incubator.apache.org/ambari/ Hortonworks 샌드박스에 있는 Ambari 관련 내용 번역 입니다 Apache Ambari - Making Hadoop easier to operate (아파치 Ambari - 하둡을 쉽게 작동 하도록 만들기)아파츠 Ambari는 아파치 하둡 클러스터를 모니터링하고 효율적으로 관리하기 위해 100% 오픈소스 도구로 직관적인 세트를 제공합니다. Ambari가 작어을 단순화 하고 하둡의 복잡성을 숨깁니다. 하둡을 하나로 모은 데이터 플랫폼 같은 화면으로 나타냅니다 참여 노드가 수백 또는 수천인 경우 하둡 클러스터 구축 및.. 더보기
Hortonworks hadoop oozie 트러블슈팅 이번 포스팅은 HortonWorks에서 제공하는 hadoop 튜토리얼중 oozie를 설치하면서 생긴 문제점들을 정리했습니다http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.2.3.1/bk_installing_manually_book/content/rpm-chap1.html CentOS6 VritualBox 4.2.12 http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.2.3.1/bk_installing_manually_book/content/rpm-chap1.html HortonWorks 튜토리얼 앞부분에 있는 환경 설정이 안되어 있다면 아래와 같이 oozie설치 진행이 안될 수 있습니다 oozie 3.2.0 Docum.. 더보기
hadoop oozie 3.2.0 document 필요한 부분 번역 (Basic Setup, Oozie Quick Start, Oozie Examples 하둡) hadoop oozie 3.2.0 document 필요한 부분 번역 (Basic Setup, Oozie Quick Start, Oozie Examples 하둡)Oozie 스터디할때 번역한 내용입니다정확한 번역이 아니니... 원문 참고하면서 보세요 oozie 트러블 슈팅http://paranwater.tistory.com/397 oozie 3,2,0 documenthttp://oozie.apache.org/docs/3.2.0-incubating/index.html Oozie, Yahoo! Workflow Engine for Hadoop oozie v3은 높은 수준의 추상화를 제공하는 서버 기반 묶음 엔진입니다 일괄 코디네이터 응용 프로그램을 설정 합니다 사용자는 시작/중지/일시중지/재개/리턴 을 더 쉽게 .. 더보기
HDInsight hadoop streaming C# map reduce test C#으로 맵 리듀스 코딩해서 HDInsight hadoop streaming 사용하는 방법 입니다HDInsight hadoop streaming C# map reduce test 관련된 다른 글hadoop streaming 소개Hadoop Streaming 구조HDInsight hadoop streaming C# map reduce test HDInsight hadoop-streaming-1.1.0-SNAPSHOT.jar을 이용 hadoop dfs -rmr a/hadoop dfs -mkdir a/hadoop dfs -put map.exe a/hadoop dfs -put reduce.exe a/hadoop dfs -put pic.txt a/필요한 파일을 하둡으로 put hadoop jar hadoop-st.. 더보기
hadoop streaming 소개 hadoop streaming 소개 영문 원문 주소http://hadoop.apache.org/docs/stable/streaming.html 위 영문 문서 위쪽 기본 내용을 번역 했습니다 관련된 다른 글hadoop streaming 소개Hadoop Streaming 구조HDInsight hadoop streaming C# map reduce test Hadoop streaming 하둡 스트리밍은 Hadoop배포와 함께 제공되는 유틸리티입니다이 유틸리티는 당신이 스크립트 또는 실행 파일로 만든 mapper 및 reduce로 Map/Reduce job을 작성하고 실행할 수 있습니다 $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar -input m.. 더보기