보물창고/Big Data2012.11.25 11:46








HDInsight Previews 설치기 (윈도우에 하둡 설치)








첫번째 설치 환경

VirtualBox 4.2.4

한글 윈도우 서버 2012 64bit 

HDInsight Previews


- 설치 확인중... (hadoop 폴더 안만들어지고.. 등등)

실행안되고 설치안되는 여러가지 문제 발생

몇가지 문제를 해결했으나 계속 발생되는 문제들을 지식부족과 인터넷에 관련 내용 부족으로 해결하지 못하고 정체중...




두번째 설치 환경

VirtualBox 4.2.4

한글 윈도우 서버 2008R2 64bit

HDinsight Previews


설치 확인중... 

(위와 같은 문제)







세번째 설치 환경

VirtualBox 4.2.4

영문 윈도우 서버 2012 64bit 

HDInsight Previews


- 하둡 설치 성공


121221 추가 -

HDInsight 10월 버전 (1.0.0.0)

12월 3일 버전(0.2.0.0)

12월 13일 버전 (0.3.0.0) 모두 한글에서 설치가 되지 않습니다

일본어 중국어권 운영체제에서도 문제가 있는 듯합니다


영어가 아닌 운영체제에서 설치 방법으로

아래 MS에서 댓글 달아주신 방법이 있다고 하니 참고하세요


0.3.0.0 버전을 영문 윈도우 서버 2012에 설치시 Dashboard 까지 설치가 잘 되고 페이지도 잘 열리는 것을 확인 했습니다

그 외에 기본적인 하둡 기능과 sqoop을 테스트 했으며 문제 없이 정상 작동 합니다



12월 12일 30일 추가 -

한글 윈도우에 HDInsight 설치기 입니다 http://paranwater.tistory.com/367












윈도우용 하둡 hdinsight 다운로드 링크

http://www.microsoft.com/en-us/download/details.aspx?id=35397


신고





Posted by 파란물
보물창고/Big Data2012.11.14 21:35











하둡






hadoop 설치 과정



jdk 6.37. 받음 (linux 64 bin)
java jdk 설치 설명 있는 블로그



하둡 설치에 관련해서 정리 잘된 블로그
 - 이 블로그 참조하면서 설치했습니다 그 중 발한생 문제들을 아래 링크들로 해결 했습니다



리눅스 소유자, 권한 변경 설명 있는 블로그



HADOOP_HOME is deprecated 문제 해결


ssh connect refuse 문제 해결 - ssh 다시 설치 - sudo apt-get install ssh




start-all.sh 실행 했을때 떠 있어야할 자바프로세스(jps) 목록이 있는 블로그 
 - 아래쪽에 로그 보라고 추가 설명도 되어 있음


하둡 로그에 
INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz... 
이 이러가 뜬 경우 해결


에러문제 해결 java.io.IOException: Permission denied 
해당 폴더 퍼미션 수정 (paranmul:paranmul, 771)


하둡 파일 목록 확인하기 아래쪽에 명령어가 쓰였음
hadoop fs -ls
# bin/hadoop fs -get output output


output 폴더 삭제 명령어 있는 블로그








하둡 이클립스로 프로젝트 만들어 실행하는 예제


하둡 - 이클립스로 예제 프로젝트 실행 설명된 블로그








리눅스 이클립스 설치


리눅스 - 이클립스 설치
sudo apt-get install eclipse





리눅스 현재 메모리 상태
watch -n 1 cat /proc/meminfo


우분투 apt-get 사용법 - 다양한 명령어가 있음

http://cdral.net/778


맵리듀스 튜토리얼 번역



우분투 root 계정 설정하고 로그인하기 설명된 블로그




신고





Posted by 파란물
보물창고/Programming2011.05.31 01:18







이렇게 설치를 했다면
sudo apt-get install python-wxgtk2.8 pyro mercurial build-essential bison flex mercurial python-numpy





이렇게 지우면 됩니다
sudo apt-get autoremove python-wxgtk2.8 pyro mercurial build-essential bison flex mercurial python-numpy


신고





Posted by 파란물