보물창고/Programming2015.04.29 23:30





라즈베리파이 아두이노 무선 통신 rf315/433 사용하기 arduino raspberry pi



  • RF315 모듈을 이용해서 라즈베리파이와 아두이노 무선 통신을 테스트 했습니다
  • 제가 만들고 싶은것은 무선으로 집안 전등을 끄기위해 만들었습니다
    • 누워서 자기전에 아이폰으로 전원을 끄거나 불을 안끄고 잠들었을때 움직임이 없는걸 포착해서 전등을 끄는 구현을 해보려고 합니다
  • 거리 테스트 결과 안테나를 따로 달지 않은상태로 30평 집 끝에서 끝까지 모든 벽을 통과해서 잘 동작하는 것을 확인 했습니다


  • 기능적인 부분은 모두 구현된 상태이나 몇가지를 추가로 테스트 하려합니다
    • 배터리로 수신부를 구성하려 합니다
      • 아두이노에서 최소 전원을 사용하도록 코드 최적화를 구현하려 합니다
      • AA건전지 2개 내지 4개를 이용해 2달이상 사용할수 있도록 최적화를 해보려 합니다
      • 필요없는 LED는 떼어내 버리려고 합니다
    • 라즈베리 파이에 서버를 구동시켜 아이폰으로 접속해 동작하도록 구현 하려 합니다



  • 사용한 부품
    • 릴레이 relay
    • 아두이노 arduino pro mini
    • RF314 (RF433호환)
    • 라즈베리파이 raspberry B+






전체적으로 동작하는 동영상 입니다

컴퓨터는 raspberry에 ssh로 접속해 있는 상태이고 송신 프로그램을 실행시킵니다

그리고 동작하는 모습입니다



아두이노를 이용한 수신부 입니다

RF315를 이용했습니다


릴레이와 연결된 사진 입니다

릴레이 테스트 용으로는 노란색 LED를 사용했습니다

relay에 신호가 가면 LED가 켜집니다


라즈베리파이와 연결된 RF314 송신부 입니다

전원이 들어오고 있는것을 확인하기 위해 녹색 LED를 사용 했습니다


라즈베리 파이와의 연결 구성 입니다




신고





Posted by 파란물
보물창고/Big Data2014.10.21 22:56





윈도우 하둡 window hadoop HDinsight Azure 압축 호환에 관련된 글 (Gzip, Bzip2, LZO, LZ4, snappy)










  • HDInsight에서 LZOP 압축을 사용할 수 있는지에대한 자료를 찾다가 위의 문서를 찾았습니다 해당 자료는 2013년 1월에 만들어진 자료지만 제가 찾은 LZOP에대한 정보는 어느정도 알 수 있는 자료였습니다

  • 하둡 0.20+ 버전부터 GNU라이센스 문제로 하둡배포판에서 LZOP가 빠졌다고합니다 하지만 직접 다운로드해서 추가하면 사용할 수 있도록 포맷을 지원한다고 합니다





아래 글을 보고 사용할 수 있다고 판단되어집니다


LZOP


Note: LZO has been removed from Hadoop in version 0.20+, because the LZO libraries are licensed under the GNU General Public License (GPL). If you need to use LZO, the format is still supported, so you can download the codec separately and enable it manually in your Hadoop cluster.


Depending on your version of Hadoop, you might need to download the LZOP codec should separately and enabled the codec manually in your Hadoop cluster.




https://github.com/twitter/hadoop-lzo

이 링크에 리눅스와 윈도우에 lzo를 설치하는 방법이 안내되고 있습니다





문서에 포함된 사용 가능한 압축 포맷 입니다


Bzip2

Bzip is a popular tool which includes a version for Windows.

 

Download site

http://gnuwin32.sourceforge.net/packages/bzip2.htm

Supported codecs

BZip2

License

This library has been released under the GPL license.

Supported platforms

Apache Hadoop distribution

HDInsight

 


Gzip

The latest version of the suite includes both Bzip2.exe and Gzip.exe.

 

Download site

http://gnuwin32.sourceforge.net/packages/gzip.htm

Supported codecs

GZip

License

This library has been released under the GPL license.

Supported platform

Apache Hadoop distribution

HDInsight

 


LZOP

Lzop is a file compression utility very similar to Bzip2. The LZO algorithm is optimized for speed and does not compress as much. This can be either an advantage or disadvantage, depending on whether you want speed or space.

Download site

http://www.lzop.org/

Supported codes

LZO

License

LZOP is Open Source software but is copyrighted, and is distributed under the terms of GNU General Public License (GPL).

Supported platform

Apache Hadoop distribution only.

Depending on your version of Hadoop, you might need to download the LZOP codec should separately and enabled the codec manually in your Hadoop cluster.

 


LZ4

LZ4 is a very fast and lossless compression algorithm.

If you are using Hadoop on Windows, you can also use the LZ4 compression algorithm through a command-line utility and a small Windows application.  In our tests we used the command line tool and recommend it over the standalone application.

 

Download site

Standalone Windows application

Command Line Utility for Windows

http://www.lzop.org/

http://sd-1.archive-host.com/membres/up/182754578/LZ4_install_v13b.exe

http://sd-1.archive-host.com/membres/up/182754578/LZ4v13b.zip

Supported codecs

LZ4

License

LZ4 is currently included in the Hadoop distribution.

Supported platforms

Apache Hadoop distribution only

 


7Zip

7Zip is a powerful compression tool that we highly recommend for use as a local compression processor. It is capable of maximizing computation resources on the local computer, and the user can configure the number of threads that can be used for file compression.

7zip provides several interfaces for interacting with the compression tools:

·         Command line interface

·         Graphical interface

·         Microsoft windows shell integration

7zip has its own documentation, and it is easy to learn how to use the shell to process files. To view the 7ZIP documentation, open the directory where you installed 7zip, and look for the help documentation (typically provided as standalone document or text file.)

 

Download site

http://www.7-zip.org/download.html

Supported codes

BZip2, Gzip

(7Zip does not provide LZO compression.)

License

7Zip is open source software; most of the source code is under the GNU LGPL license.

Supported platforms

Apache Hadoop distribution

HDInsight


신고





Posted by 파란물
보물창고/Big Data2013.03.29 23:00








HDInsight hive ODBC 0.4.0이전 버전과 이후 버전 비교입니다


정확하게 언제 바뀐 ODBC인지는 모르겠습니다

다만 2013년 3월 25일 HDInsight가 0.4.0.0으로 업데이트 되면서 hiveODBC를 새로 받아 봤는데 변경된 내용들이 있어서 정리합니다


아래 설명은 제가 확인한 3월 25일 기준으로 눴습니다










그림으로 보시면 이렇습니다

예전 Hive ODBC버전에서는 0.4.0.0에 접근이 안됩니다

3월 25일 버전에서 HDInsight 0.3.0버전에도 접근 안될거라는 예상을 해 봅니다







추가로 엑셀 2013에 hive버튼이 보이지 않습니다 

아래는 그와 관련해서 해결해보려고 시도한 내용을 정리 했습니다









ODBC접근 테스트는 엑셀에서 해봤습니다


EXCEL 옵셕 -> 추가기능 -> 관리 -> COM 추가 기능에

 HIVEExcel이 표시되지 않습니다











hiveODBC설치는 3월25일 이후를 설치하고

3월 35일 이전 버전의 addin설치 파일을 보관했다가 임의로 설치 후 시도 했으나 접근이 안됩니다

PowerPivot에서 ODBC로 데이터를 가져오는 과정에서도 접근 안됩니다







---------------------------

Hive Error

---------------------------

Unable to retrieve Hive object list. Details:


ERROR [08001] Unable to establish connection with hive server


ERROR [01004] Out connection string buffer not allocated


ERROR [01000] Batch size not set or is invalid. Defaulting to 65536.

---------------------------

확인   

---------------------------









3월 25일 이후 HiveODBCDriverSetupx64.msi 설치된 파일









3월 25일 이전 HiveODBCDriverSetupx64.msi 설치한 폴더 파일

HiveExcel.vsto

HiveExcel.dll.manifest

HiveExcel.dll

Microsoft.Office.Tools.Common.v4.0.Utilities.dll

이 파일들이 더 있습니다






3월 25일에 확인한 hive는 엑셀에 hive버튼을 추가하진 않지만

PowerPivot에서 사용할 데이를 hive ODBC를 통해 가져올 수는 있었습니다

신고





Posted by 파란물

티스토리 툴바