hadoop troubleshooting & reference

하둡

http://hadoop.apache.org/

---

hadoop 설치 과정

jdk 6.37. 받음 (linux 64 bin)

java jdk 설치 설명 있는 블로그

http://forum.falinux.com/zbxe/?document_srl=574845

우분투 jdk 설치 방법 블로그
http://blog.naver.com/PostView.nhn?blogId=gigar&logNo=60109622945&viewDate=&currentPage=1&listtype=0

하둡 설치에 관련해서 정리 잘된 블로그

 - 이 블로그 참조하면서 설치했습니다 그 중 발한생 문제들을 아래 링크들로 해결 했습니다

http://blog.acronym.co.kr/329

리눅스 소유자, 권한 변경 설명 있는 블로그

http://slog2.egloos.com/3546476

HADOOP_HOME is deprecated 문제 해결

http://won0817blog.blogspot.kr/2012/10/hadoop-hadoophome-is-deprecated.html

ssh connect refuse 문제 해결 - ssh 다시 설치 - sudo apt-get install ssh

http://www.linuxforums.org/forum/ubuntu-linux/113147-ssh-cant-connect-localhost.html

ssh 공개키관련 파일 설명

http://www.debian.org/devel/passwordlessssh.ko.html

start-all.sh 실행 했을때 떠 있어야할 자바프로세스(jps) 목록이 있는 블로그 

http://gh0stsp1der.tistory.com/archive/20120327

 - 아래쪽에 로그 보라고 추가 설명도 되어 있음

하둡 로그에 

INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz... 

이 이러가 뜬 경우 해결

http://gh0stsp1der.tistory.com/66

에러문제 해결 java.io.IOException: Permission denied 

http://hadoop.6.n7.nabble.com/File-permissions-issue-td4393.html

해당 폴더 퍼미션 수정 (paranmul:paranmul, 771)

하둡 파일 목록 확인하기 아래쪽에 명령어가 쓰였음

http://misoin.wordpress.com/2012/06/03/%ED%95%98%EB%91%A1hadoop-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0-pseudo-distributed/

hadoop fs -ls

# bin/hadoop fs -get output output

output 폴더 삭제 명령어 있는 블로그

http://knight76.tistory.com/entry/30043969475

하둡 명령어 소개

http://hadoop.apache.org/docs/r1.0.3/commands_manual.html

---

하둡 이클립스로 프로젝트 만들어 실행하는 예제

하둡 - 이클립스로 예제 프로젝트 실행 설명된 블로그

http://blog.acronym.co.kr/333

---

리눅스 이클립스 설치

리눅스 - 이클립스 설치

sudo apt-get install eclipse

---

리눅스 현재 메모리 상태

watch -n 1 cat /proc/meminfo

우분투 apt-get 사용법 - 다양한 명령어가 있음

http://cdral.net/778

맵리듀스 튜토리얼 번역

http://pizzastudio.tistory.com/category/%ED%95%98%EB%91%A1%28Hadoop%29%20%EA%B4%80%EB%A0%A8%20%EC%9E%90%EB%A3%8C

우분투 root 계정 설정하고 로그인하기 설명된 블로그

http://deadcat.tistory.com/51