본문 바로가기

보물창고

[발번역] Apache Spark 리소스 매니지먼트와 YARN App 모델 (Apache Spark Resource Management and YARN App Models) Apache Spark Resource Management and YARN App Modelshttp://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/위 문서 내용을 공부하면서 발번역 하였습니다흐름을 파악하는데 참고해 주세요 Spark를 스터디하면서 Spark on YARN 모드 2종류를 이해하기가 가장 어려웠습니다. 영어가 부족한데다가 글로 설명된 내용을 보니 계속 미궁속으로 빠지고 있었습니다. 번역하면서 본 이 글은 저의 궁금증을 깔끔하게 해소시켜주는 핵심적인 글이고 저외에 다른 누군가도 이 글이 도움이 되었으면 하는 바람에 블로그에 올려 놓습니다 Apache Spark 리소스 매니지먼트와 YAR.. 더보기
Spark WordCount 데이터 마다 주석(파악 중) Spark WordCount MapReduce 샘플 코드 분석 중입니다코드 원본 중간중간에 데이터를 출력해서 확인하고 있습니다 spark 스터디할 수 있는 링크 정리 http://paranwater.tistory.com/413 실행 환경CentOs 6.5, CDH5(hadoop2.3.0 CDH 5.0.3, Spark1.0.0 CDH5.1.0 )Spark on YARN - client mode한대의 노드에서 테스트 실행 스크립트spark-submit --class com.cloudera.sparkwordcount.JavaWordCount --deploy-mode client --master yarn /data01/SparkExample/sparkwordcount-0.0.1-SNAPSHOT.jar Spark.. 더보기
CDH 5.1.0 Documentation Running Spark Application을 발번역한 내요입니다 CDH 5.1.0 DocumentationRunning Spark Application을 발번역한 내요입니다 전체적인 흐름을 잡는데 이용해주세요 http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_running_spark_apps.html spark 클러스터 매니저 타입 3가지 정리 http://paranwater.tistory.com/414 *Spark 응용프로그램 실행 (Running Spark Applications)Spark 어플리케이션은 맵리듀스와 job과 유사합니다각 어플리케이션은 사용자가 제공한 코드를 실행해 결과를 연산하는 self-contained(독립.. 더보기
Spark Cluster Manager Types (스파크 클러스터 매니저 타입 3종류 번역) Spark Cluster Manager Types3종류를 발번역 하였습니다 전체적인 흐름을 파악하는데 참고해주세요 스파크 워드 카운트 소스코드 주석달면서 분석중 http://paranwater.tistory.com/416 원문 페이지 주소 : http://spark.apache.org/docs/latest/cluster-overview.html 클러스터 관리자 유형 시스템은 현재 3종류의 클러스터 관리자를 지원합니다. Standalone – a simple cluster manager included with Spark that makes it easy to set up a 독립형 - 간단한 클러스터 매니저가 Spark에 포함되어있어 관리자는 클러스터를 쉽게 구성할 수 있습니다 Apache Mesos –.. 더보기
Spark 스터디 하둡에코 (hadoop) 하둡에코 Spark를 스터디하면서 찾은 내용을 정리하였습니다 SparkSpark 간단 정의하둡에코 중 Spark가 위치하는 곳실시간 데이터를 입력받아 데이터를 연산 하는 위치하둡의 데이터를 메모리에 올려 반복연산이나 MapReduce연산이 필요한 경우Spark가 제공하는 기능MLlib 머신러닝 라이브러리MapReduce실시간 스트리밍 소켓(포트)으로 대기사용 가능한 언어scalajava(8버전이면 스칼라와 비슷한 람다를 이용 함축적으로 구현 가능함)PythonHiveQL(Shakr를 이용)SparkQLgraphX shark 스터디하면서 본 유용한 링크spark shark 에대한 설명한글이며 개괄적으로 파악하는데 도움이 됩니다http://www.slideshare.net/DaegeunKim/spark-an.. 더보기
Letter in a bottle(병속에 담긴 편지) 사이트 입니다. 편지 보내기 Letter in a bottle(병속에 담긴 편지) 사이트 입니다. 편지 보내기 URL에 편지를 담아 전달하는 사이트 입니다 http://letterinabottle.co.kr 설명을 보시기전 이 링크를 확인해 보세요 http://goo.gl/FfwV5r 이 URL은 Letter in a bottle 사이트를 사용하는 방법을 담았습니다 아래는 사이트 설명과 스샷 입니다 첫페이지 텍스트 박스에 편지를 담아 "담기"버튼을 누르면 URL이 발행됩니다 글자 내용은 400자로 제한 됩니다 노출 횟수를 "한번"으로 선택하면 편지가 한번 노출된 후 삭제됩니다 (첫번째 노출 후 두번째는 보이지 않습니다) "계속"으로 선택하면 제한 없이 계속 보입니다 두번째 페이지 발행된 주소(URL)에 편지가 담겼습니다 해당 주소를.. 더보기
웹사이트 서버시간 확인하는 프로그램 (아이씨 서버) 웹사이트 서버시간 확인하는 프로그램 입니다 (아이씨 써버) 웹사이트 서버 시간 확인하는 프로그램 입니다 수강신청 할때나 공연예매 오픈등 남들보다 좀더 정확한 서버 시간 확인이 필요할때 사용합니다 다운 받으면 위와 같은 아이콘이 있습니다 더블 클릭해서 실행 하면 됩니다 아래 프로그램을 다운 받으시면 됩니다 확인된 문제 - 특정 회사 인터넷 망에서는 사이트 접근 제한으로 시간 확인이 정확하게 되고 있지 않습니다 (근본적으로 사이트에 접근이 되지 않는 문제여서 해결 방법이 마땅지치 않지만 확인 중에 있습니다) 더보기
아이폰 아이팟 음성녹음 m4a mp3 변환 (Switch Sound File Converter) m4a mp3 변환 Switch Sound File Converter 아이팟, 아이폰에서 녹음한 파일은 m4a(aac) 파일 형식입니다 이 파일을 mp3 형태로 바꾸기위해 컨버터를 사용해야 합니다 아이폰 음성녹음기능을 가끔 사용하는데요 녹음한 파일을 보면 확장자가 m4a다보니 이래저래 불편한 점이 많습니다 음악 파일을 관리하고 다른 기기에서 바로 편하게 듣기엔 m4a보다는 mp3가 훨씬 편한거 같습니다 m4a변환 방법을 찾아서 대부분다 설치해서 사용해 봤는데요 그중에 이 프로그램이 mp3파일 변환하는데에는 가장 편합니다 mp3말고도 다른 포맷으로 변환 가능하니 활용도는 그만큼 높을거고요 게다가 무료입니다 한번 받아 사용해 보세요~ Switch Sound File Converter 는무료 (freeware.. 더보기

티스토리툴바