보물창고/Programming2017.04.05 23:30





CentOs sudo 권한 설정 방법



CentOS에서 sudo 권한 설정 방법을 캡쳐하여 정리합니다




1. root user에서 /etc/sudoers 파일의 실행 권한을 변경합니다

   - chmod u+w /etc/sudoers



2. /etc/sudoers파일을 편집합니다

   - vi /etc/sudoers



3. sudo 권한을 적을 위치를 찾습니다



4. sudo 권한을 줄 user를 추가합니다

   - hadoop ALL=(ALL) NOPASSWD:ALL



5. vi 텍스트 편집을 저장합니다



6. /etc/sudoers파일의 실행 권한을 변경합니다

  - chmod u-w /etc/sudoers



7. sudo 권한을 준 User로 변경 후 sudo 실행이 되는지 확인합니다




신고





Posted by 파란물
보물창고/Big Data2017.03.22 23:00






아임클라우드는 빅데이터 기반 기술과 인공지능 기술을 개발하는 빅데이터 및 인공지능 전문 기업입니다.

아임클라우드의 Hadoop 기반 빅데이터 시스템은 국내 최고의 전문가 그룹으로 구성되며 고객 여러분의 빅데이터 고민을 해결해 드립니다. 인공지능의 영역은 무궁무진합니다. 강력한 DeepLearning 기술을 통해 가장 필요한 일을 함께 하는 파트너가 되어드립니다.





Imcloud Apache Cloudera CDH kudu 

관련 자료 정리 (hadoop echo)




Kudu는 Hadoop과 Hbase(phoenix)사이의 틈새를 공략한 솔루션 입니다.
 - 빅데이터의 분산 저장과 처리를 하면서 CRUD를 할 수 있는 환경에 대한 요구가 많았습니다. 기존에는 Hbase(phoenix)와 Impala가 일부 이런 요구들을 매꿔 왔으나 기능적으로 여전히 부족한 면이 있어 Kudu같은 솔루션이 나오게 되었습니다.
 - Kudu는 한마디로 말하면 Nosql DB의 엔진으로 이야기 할 수 있습니다.

데이터 저장 & 이용
 - Kudu는 Raft라는 기술을 이용하여 디스크에 직접 데이터를 읽고 쓰는 서버를  구동시키며 윗 레이어에  Impala를 얹어 사용하는 방법이 현 시점에서 가장 일반적인 사용방법이 입니다. java와 C++ API를 이용하여 Kudu데이터를 직접 이용할 수 있는 방법도 제공합니다.

성능
 - 아래에 링크된 논문의 내용을 보면 대략 Impala + parquet 의 성능과 비슷합니다. 성능이 비슷하지만 Kudu를 무시하지 못할 이점은 CRUD를 할 수 있다는 것이죠.

key 설정
 - Kudu에 안내되어 있는 내용을 보면 Hbase의 Split 설정과 MongoDB의 Shard 키와 비슷한 Key를 설정하게 되어있습니다
 - 키의 역할은 데이터를 구분하는데 사용되며 이 역시 Hbase와 MongoDB처럼 데이터를 구분하여 저장하는 기준이 되기 때문에 이를 설정하는 것에 따른 튜닝이 필요할 것으로 보입니다


현재 현업에서 사용하고 있고 적용하려고 준비하는 곳들이 있습니다. 성능적인 면은 기대를 하고 있으며 분산처리를 하면서 CRUD를 할 수 있는 Hadoop 에코가 출시한것에 대해 기대가 높은것으로 보입니다.






설치
Cloudera dependency install






Kudu 개념적인 설명


기타 설명


Kudu에대한 자주 묻는 질문(Kudu의 구성과 사용 가능 범위에 대한 내용이 있음)

Frequently Asked Questions

https://kudu.apache.org/faq.html


Kubu 스키마 디자인할대 고려해야할 사항

구글 번역

https://translate.google.co.kr/translate?sl=en&tl=ko&js=y&prev=_t&hl=ko&ie=UTF-8&u=https%3A%2F%2Fkudu.apache.org%2Foverview.html&edit-text=&act=url


논문

Hbase+ Phoenix, Kudu+impala, imapla+Parquet의 성능 비교

Kudu: Storage for Fast Analytics on Fast Data

https://kudu.apache.org/kudu.pdf

구글 번역

https://translate.google.co.kr/translate?sl=en&tl=ko&js=y&prev=_t&hl=ko&ie=UTF-8&u=https%3A%2F%2Fkudu.apache.org%2Foverview.html&edit-text=&act=url


 




데이터 저장 구조


데이터 복제와 안정성을위해 사용된 알고리즘

Raft consensus algorithm

Paxos 의 대안으로 고안된 합의 알고리즘

https://raft.github.io/

위키 Raft  구글 번역

https://translate.google.co.kr/translate?sl=en&tl=ko&js=y&prev=_t&hl=ko&ie=UTF-8&u=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FRaft_%28computer_science%29&edit-text=&act=url



Paxos

합의를 해결하기위한 프로토콜 모음

위키 Paxos 구글 번역

https://translate.google.co.kr/translate?sl=en&tl=ko&js=y&prev=_t&hl=ko&ie=UTF-8&u=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FRaft_%28computer_science%29&edit-text=&act=url






기타


Using Apache Kudu with Apache Impala (incubating)

테이블 생성 관련한 내용이 포함된 링크 입니다

https://kudu.apache.org/docs/kudu_impala_integration.html



2016 02 24에 업데이트됨. 과거 버전

kudu에 대한 전체적인 설명이 있는 슬라이드 쉐어

https://www.slideshare.net/AsimJalis/apache-kudu 




Impala 데이터 타입 기준으로 Kudu 데이터 타입 제약 사항


DECIMAL, TIMESTAMP, CHAR, VARCHAR, ARRAY, MAP 및 STRUCT 데이터 유형은 Kudu 테이블과 함께 사용할 수 없습니다.

https://www.cloudera.com/documentation/enterprise/latest/topics/impala_array.html#array


BOOLEAN, FLOAT 및 DOUBLE 데이터 유형은 Kudu 테이블의 기본 키 열에 사용할 수 없습니다.

https://www.cloudera.com/documentation/enterprise/latest/topics/impala_boolean.html#boolean







신고





Posted by 파란물
보물창고/음식2015.12.30 22:30





4호선 명동역 명동 맛집 장수갈비 장수불고기



위 이미지를 클릭하면 다음 로드뷰로 넘어갑니다



위 지도를 클릭하면 다음 지도로 넘어 갑니다




명동역 가까이에 맛집 갈비집이 있습니다



메뉴는 간단해요~

장수갈비, 장수불고기

국수 국밥이 있습니다





내부는 협소한 편이에요

인원이 많은 단체가 앉을 자리는 안보였어요


1층과 2층에서 먹어봤는데

혹 다른 단체석이 있는지는... 확인해 봐야 합니다




기본 반찬들이 깔끔해요 ㅎ




밥은 따로 시켜야 합니다

된장 국이 같이 나오는데 구수하게 맛있어요 ㅎ




장수 불고기 입니다



군침샷!



장수갈비는 가격에 비해 양이 너무 적더라고요.. 비사서..

여기 들르면 불고기로 먹고 있어요


역시 양이 적은편이여서 2명이서 3인분시켜 먹으면 넉넉히 먹을 수 있습니다



달콤한 불고기! 밥 반찬으로 먹으면 한그릇 뚝딱 해결 할 수 있어요 ㅎ



요리하는 분이세요.. ㅎ

1층 창가에서 계속 굽고 계십니다



신고





Posted by 파란물





gopro 개봉기




 


고심끝에 gopro를 구입했습니다






 


스쿠버 다이빙 라이센스를 땃는데요

카메라가 없으니 눈으로 보는것들을 남길수가 없더라고요




아이폰을 사용하는데 하우징을 구입해서 들어갈까도 고민했는데

하우징 가격 역시 만만치 않아

gopro를 구입하기로 결정했습니다





실제 다이빙에 사용해 봤는데요 ㅎㅎㅎㅎㅎㅎㅎㅎ


사진 찍고 동영상 찍느라

어떻게 다이빙 했는지 기억이 안나요 ㅎㅎ





다이빙 하자 마자 gopro 꺼내 LCD창만 바라보고 나왔더니...

LCD만 본 기억뿐이에요.... ㅠㅠ



물속에서는 시간이 정말 빨리 지나거거든요 ㅎ

두번 다이빙 동안 뭘했는지... 다음부터는 좀더 여유있게 찍어야 겠더라고요 ㅎ



그래도 뭔가 찍고 나온게 있어서

다이빙 다 끝나고 집에와서 바다속 구경을 했습니다 ㅎ




Gopro첫 느낌은 

사용이 불편하다 였어요




작은 본체가 있고 방수 케이스가 있는데요

방수케이스의 버튼은 꾹꾹 힘줘 눌러야하고 잘 눌렸는지는 gopro반응을 보고 눌렸는지 봐야합니다


그렇다보면 빠르게 뭔가 찍기위해 빠른 작업을 하기에 부족한 느낌이 들어요




하지만 gopro의 기능들이 그것들을 완화 시켜 줍니다



설정을 해 놓으면

위에 버튼 한번 누르면 켜지면서 동영상을 바로 찍을수 있고

위에 버튼을 길게 누르면 0,5초 간격으로 계속 사진을 찍을 수 있어요





중요한 순간을 놓치지 않고 바로 찍을 수 있게 기능을 제공하고 있습니다




실제 물속에서 장갑도 끼고 있고 감각도 둔한 상태에서

gorpo의 상세 설정해가며 찍을 수 없어요


그냥 바로 동영상 찍는 모드로 갔다고 끄고




계속 사진 찍는 모드로 갔다 꺼버리는 촬영으로 했습니다


복잡한 기능은 제외하고 단순한 기능만으로도 충분히 사진을 찍을 수 있어요












내부 구성물은 단순합니다


sj4000도 구입했는데

구성물이 정말 많더라고요 물론 가격차이가 주는 품질은 당연히 있었지만 가격만큼의 가치는 있다고 봤습니다





배터리 하나에 본체로 직접 충천해야 하는게 번거로울거 같더라고요

추가 배터리 2개와 충전기는 알리익스프레스에서 구입했습니다(호환제품 점품은 역시 비사더라고요)




포장이 특이하게 되어있어요 ㅎ

저 자체로 고정하는것 하나가 포함되어 있습니다 






하우징 케스스와 뚜껑들이에욯

gopro 실버 모델이여서 액정 터치를 지원하는데

두꺼운 30M 하우징은 터치를 할 수 없고 모든걸 버튼으로 동작 시켜야 합니다


얕은 물에서 사용하는 얇은 뚜껑과

얕은 물용은 터치를 할 수 있어요


그냥 뚤려있는 뚜껑이 추가로 포함되어 있어요



본체에요

정말 작습니다





액정은 터치가 되는데

정말 편리합니다


단지 하우징에 들어가면 터치를 할 수 없으니.. 실제 터치하면서 동작할 일은 그리 많지 않아요 ㅎ




배터리 넣는곳이에요



저렇게 넣어주고 뚜겅을 닫으면 됩니다


배터리를 빼면 시간이 초기화 돼요


설정에 가서 직접 시간을 맞춰 주거나

아이폰앱으로 현재 시간을 동기화 할 수 있어요


시간 맞추는것도 번거롭더라고요 ㅎ


배터리를 빼지 않거나 빼면 아이폰 앱과 동기화 한번 하는게 가장 편리합니다



처음 카메라를 켜봤는데

각이 어마어마 하더라고요! ㅎㅎ


외곡은 있지만 이런 화각은 야외 활동하면서 찍으면 다른 카메라와는 다른 상황을 담을수있는 장점이 있습니다




SD카드는 별매여서... goldflash로 구입했어요

16G를 구입했는데 기본 설정으로 1시간 찍을수 있다고 계산하더라고요


gopor배터리 하나로 약 1시간 안되게 풀로 사용했었는데

이정도면 충분한 메모리라 생각됩니다





신고





Posted by 파란물
보물창고/음식2015.12.18 22:30





서울역 서울스퀘어 라멘 추천 맛집 일본 라면 HAKOYA 일본 생라멘 & 돈부리



정말 맛있는 라면집이에요~

예전에 건대입구에서  일본라면 먹으러 갔었는데요

거기만큼 맛있습니다!




장그래 건물 서울 스퀘어 지하에 있습니다


위 이미지를 클릭하면 다음 지도로 넘어 갑니다








군침샷!



약간 매운맛이었던 돈코츠에요




담백한 돈코츠


이름이 무슨말인지 모르지만

일단 맛있습니다



진한 국물맛에

아삭아삭 씹히는 숙주나물



그리고 되지고기!

달콤하고 진한 고기의 맛과 부드럽게 씹히는 고기가 두세개 뿐이라는데.. 너무 아쉽습니다 



노란 삶은 계란도 입맛 독구는 색이에요




이 가게가 정말 맛있는데요


한가지 단점은 조금 읽찍 닫는다는점.. ㅎ

대략 7,8시쯤? 가면 음식이 다 떨어졌는지 마감했더고 못먹은게 3번쯤 됩니다


그러다 진짜 일찍가면 한번씩 먹을 수 있는 곳이여서.. 항상 아쉬운 곳이에요 ㅎ



일본 라면은 대부분 저 면을 쓰더라고요 ㅎ



옆에 식탁을 찍었어요~

이런 식탁이 6개 정도 있어요











신고





Posted by 파란물

티스토리 툴바