본문 바로가기

보물창고/Big Data

hadoop namenode 포맷 후 datanode 프로세스가 실행 되지 않을때 hadoop namenode 포맷 후 datanode 프로세스가 실행 되지 않을때 Hadoop/conf/hdfs-sige.xml 이 설정파일에서 아래 설정을 추가 했다면 아래 경로로 가서 datanode를 삭제 dfs.data.dir /data/hdfs/datanode 위 성정을 하지 않았다면 디폴트값인 temp에 데이터가 쓰임 /tmp/hadoop-hadoop/dfs/data 를 삭제후 hadoop datanode -format 실행 namenode를 포맷하면 datanode의 실제 경로의 데이터를 삭제 후 사용 저는 구글링을 통해 이런 식으로 해결을 봤습니다만..더 우아한 방법이 있다면 댓글 달아주세요 ㅡㅜ 더보기
HDInsight 한글 윈도우 설치 테스트 (윈도우 하둡 window hadoop install) 되도록 영문 윈도우에 설치하는걸 권장 드립니다window hadoop installhttp://paranwater.tistory.com/365위 포스팅에서 한글 윈도우에서 HDInsight 설치가 안되는 문제를 적었었는데요MS에서 한글 윈도우에서 설치하는 방법을 댓글로 달아주셔서 좀 더 상세한 내용을 이메일로 문의후 설치했습니다 결론적으로 모두 정상적으로 설치가 잘 되었습니다 HDInsight 버전은 2012년 12월 14일(13) 0.3.0.0 입니다 1. 역할 및 기능 추가2. 기본언어 설정 변경3. 시스템 로컬 변경4. 재부팅5. HDInsight 설치 .NET Framework 3.5 추가 / .NET Framework 3.5(.NET 2.0 및 3.0 포함) / HTTP 활성화 체크 ASP.NE.. 더보기
HDInsight jump start guide (윈도우용 하둡 설치 사용 가이드) Microsoft HDInsight 설치 후 동작 테스트 가이드 입니다 아래 링크로 가면 받을 수 있습니다http://gettingstarted.hadooponazure.com/gettingStarted.html 직접 다운로드 링크http://gettingstarted.hadooponazure.com/content/Microsoft_HDInsight_Jumpstart_Guide.zip 샘플소스와 설명 문서 파일이 있습니다Microsoft HDInsight Big Data Jump Start Guide.docxRetail_Web_Analytics.zip 시나리오 정보 입니다 •Loading data into a Hadoop cluster from local machine.oScenario 1 - Bulk .. 더보기
HDInsight Previews 설치기 (윈도우에 하둡 설치) HDInsight Previews 설치기 (윈도우에 하둡 설치) 첫번째 설치 환경VirtualBox 4.2.4한글 윈도우 서버 2012 64bit HDInsight Previews - 설치 확인중... (hadoop 폴더 안만들어지고.. 등등)실행안되고 설치안되는 여러가지 문제 발생몇가지 문제를 해결했으나 계속 발생되는 문제들을 지식부족과 인터넷에 관련 내용 부족으로 해결하지 못하고 정체중... 두번째 설치 환경VirtualBox 4.2.4한글 윈도우 서버 2008R2 64bitHDinsight Previews - 설치 확인중... (위와 같은 문제) 세번째 설치 환경VirtualBox 4.2.4영문 윈도우 서버 2012 64bit HDInsight Previews - 하둡 설치 성공 121221 추가 .. 더보기
hadoop cluster virtualbox clone (하둡 클러스터 구성) hadoop cluster virtualbox clone (하둡 클러스터 구성) 하둡 클러스터 구성 참고한 링크 http://paranwater.tistory.com/361 - 하둡 설치시 참고 http://tawool.tistory.com/281 - 하둡 클러스터 설치시 참고 http://guldari.tistory.com/entry/%ED%95%98%EB%91%A1-%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0-%EC%84%A4%EC%A0%95 - 하둡 클러스터 설치 참고 우분투 12.04 virtualbox 설정 master, slave1 virtualbox 클론 생성 (두개의 리눅스를 띄움, 메모리 2G) virtualbox 네트워크 설정 : 설정 -> 브릿지 공유로 네트워크 .. 더보기
hadoop troubleshooting & reference 하둡http://hadoop.apache.org/ hadoop 설치 과정 jdk 6.37. 받음 (linux 64 bin)java jdk 설치 설명 있는 블로그http://forum.falinux.com/zbxe/?document_srl=574845우분투 jdk 설치 방법 블로그 http://blog.naver.com/PostView.nhn?blogId=gigar&logNo=60109622945&viewDate=&currentPage=1&listtype=0 하둡 설치에 관련해서 정리 잘된 블로그 - 이 블로그 참조하면서 설치했습니다 그 중 발한생 문제들을 아래 링크들로 해결 했습니다http://blog.acronym.co.kr/329 리눅스 소유자, 권한 변경 설명 있는 블로그http://slog2.eg.. 더보기
하둡, 우분투, 자바, 버추얼박스 테스트 성공한 버전 [Hadoop, Ubuntu, Java, Virtualbox] 하둡 스터디하면서 어느 버전으로해야 될지 찾아해매다 하나둘 찾아보고 설치 테스트해본 목록을 정리했습니다 테스트는 Pseudo-distributed mode hadoop-example-1.0.4.jar 파일 실행하는것으로 확인했습니다다른 더 많은 기능이 정상 작동하는지도 좀더 테스트 해본 후 업데이트 해 보겠습니다 2012년 11월 13일 하둡, 우분투, 자바, 버추얼박스 테스트 성공한 버전hadoop, Ubuntu, Java, Virtualbox 우분투 - 12.04 LTS 64bit desktop 다운로드JavaSE - 6.0.37 Linux 64bit 다운로드Virtualbox - 4.2.4 다운로드하둡 - 1.0.4 다운로드 참고hadoop에서 지원하는 Java버전을 안내하고 있는 페이지 입니다 (.. 더보기

티스토리툴바