본문 바로가기

전체 글

인천공항 수화물 찾는곳 "내짐" "내짐" 돌아오는 비행기에서 내려 마지막으로 짐을 찾으면원래 내가 지내던 세상으로 다시 돌아 온것을 느낀다 안도의 편안함과 여행동안 쌓인 피로가 함게 몰려오는 순간 인천공항 수화물 찾는곳 아이폰5 더보기
Pig 동작 과정- 실행 계획 Pig 동작 과정- 실행 계획 Pig Latin으로 적은 명령은 논리적,물리적 실행 계획으로 변환되고 이것이 다시 Map Reduce 실행 계획으로 변환 후 실행됩니다 더보기
Hadoop Streaming 구조 관련된 다른 글hadoop streaming 소개Hadoop Streaming 구조HDInsight hadoop streaming C# map reduce test 이미지 출처 http://chiangbing.blogspot.kr/ Hadoop Streaming은 stdin과 stdout을 이용해서 map.exe와 reduce.exe에 데이터를 주고 받습니다 ① map.exe에 데이터를 전달 할 때 의 데이터를 key + \t + value형식으로 변환해서 stdin으로 전달합니다 ② map.exe의 stdout의 데이터 key + \t + value형식의 데이터를 형식으로 변환해서 mapper에게 전달합니다 ③ hadoop 프레임 워크에서 정렬과 병합 과정을 거칩니다 형식의 데이터가 됩니다 ④ hado.. 더보기
로모 LC-A 아그파 비스타 200 태국 파타야 파타야 이번 여행에 주력으로 사용한 LOMO LC-A나에게 너무나 큰 슬픔을 안겨줬다 ㅡㅜ 모든 사진이 노출이 과다로.. 희끄무리한 사진들 뿐이다작정하고 찍으러 다녔는데!!!! 처음엔 사진들이 모두 엉망이여서 마음이 아펏지만다시 생각해보니 이 역시 필카의 매력. 여행의 추억 뿐만아니라찍고나서 현상 스캔 될 때까지 확인 못하고 기다리는 즐거움 + 간지러움 + 설레임 + 기대감 + 실.망.감을 추가... 이 하얀 사진들과 함께 여행의 기억은 더 짙어져 간다 LOMO -LCA 아그파 비스타 200 노량진 스코피 필름 스캔 무.보.정 더보기
hadoop namenode 포맷 후 datanode 프로세스가 실행 되지 않을때 hadoop namenode 포맷 후 datanode 프로세스가 실행 되지 않을때 Hadoop/conf/hdfs-sige.xml 이 설정파일에서 아래 설정을 추가 했다면 아래 경로로 가서 datanode를 삭제 dfs.data.dir /data/hdfs/datanode 위 성정을 하지 않았다면 디폴트값인 temp에 데이터가 쓰임 /tmp/hadoop-hadoop/dfs/data 를 삭제후 hadoop datanode -format 실행 namenode를 포맷하면 datanode의 실제 경로의 데이터를 삭제 후 사용 저는 구글링을 통해 이런 식으로 해결을 봤습니다만..더 우아한 방법이 있다면 댓글 달아주세요 ㅡㅜ 더보기
Maven에대한 기본개념 다지기 (링크만 있음) Maven에대한 기본개념 다지기 좋은곳!자바지기 - http://www.javajigi.net/display/IDE/Maven 간단 개념 잡기 http://dimdim.tistory.com/entry/Maven-%EC%A0%95%EB%A6%AC 더보기
HDInsight 한글 윈도우 설치 테스트 (윈도우 하둡 window hadoop install) 되도록 영문 윈도우에 설치하는걸 권장 드립니다window hadoop installhttp://paranwater.tistory.com/365위 포스팅에서 한글 윈도우에서 HDInsight 설치가 안되는 문제를 적었었는데요MS에서 한글 윈도우에서 설치하는 방법을 댓글로 달아주셔서 좀 더 상세한 내용을 이메일로 문의후 설치했습니다 결론적으로 모두 정상적으로 설치가 잘 되었습니다 HDInsight 버전은 2012년 12월 14일(13) 0.3.0.0 입니다 1. 역할 및 기능 추가2. 기본언어 설정 변경3. 시스템 로컬 변경4. 재부팅5. HDInsight 설치 .NET Framework 3.5 추가 / .NET Framework 3.5(.NET 2.0 및 3.0 포함) / HTTP 활성화 체크 ASP.NE.. 더보기
HDInsight jump start guide (윈도우용 하둡 설치 사용 가이드) Microsoft HDInsight 설치 후 동작 테스트 가이드 입니다 아래 링크로 가면 받을 수 있습니다http://gettingstarted.hadooponazure.com/gettingStarted.html 직접 다운로드 링크http://gettingstarted.hadooponazure.com/content/Microsoft_HDInsight_Jumpstart_Guide.zip 샘플소스와 설명 문서 파일이 있습니다Microsoft HDInsight Big Data Jump Start Guide.docxRetail_Web_Analytics.zip 시나리오 정보 입니다 •Loading data into a Hadoop cluster from local machine.oScenario 1 - Bulk .. 더보기

티스토리툴바