보물창고/Big Data2013.03.30 22:30










C#으로 맵 리듀스 코딩해서 HDInsight hadoop streaming 사용하는 방법 입니다

HDInsight hadoop streaming C# map reduce test





관련된 다른 글

hadoop streaming 소개

Hadoop Streaming 구조

HDInsight hadoop streaming C# map reduce test








HDInsight hadoop-streaming-1.1.0-SNAPSHOT.jar을 이용










hadoop dfs -rmr a/

hadoop dfs -mkdir a/

hadoop dfs -put map.exe a/

hadoop dfs -put reduce.exe a/

hadoop dfs -put pic.txt a/

필요한 파일을 하둡으로 put











hadoop jar hadoop-streaming-1.1.0-SNAPSHOT.jar -files "hdfs:///user/Administrator/a/0map.exe,hdfs:///user/Administrator/a/0reduce.exe" -input "/user/Administrator/a/pic.txt" -output "/user/Administrator/a/result" -mapper "0map.exe" -reducer "0reduce.exe"

명령어 실행











result 결과 내용을 get 명령어를 이용해서 hadoop 밖으로 꺼냄





신고





Posted by 파란물
보물창고/Programming2012.11.14 22:49






IIS 모듈 스터디 



전체적인 소스 구현 예제




바로 실행 안되서 문제 해결 블로그
iis6관련 모두 설치하고, 마이그레이션 했음




//


%SystemRoot%\system32\inetsrv\appcmd migrate config "test1/Module/"

출력 결과

C:\Users\Administrator>%SystemRoot%\system32\inetsrv\appcmd migrate config "test
1/Module/"
"system.web/httpModules" 섹션을 마이그레이션했습니다.

C:\Users\Administrator>

신고





Posted by 파란물
보물창고/Programming2012.03.05 23:55









C# 프로그램에서 웹 사이트 POST 쿠키 로그인 방법 (콘솔 홈페이지 cookie 포스트 전달 저장)

C#으로 프로그램에서 웹에 POST로 로그인 하면서 쿠키 값을 받아오고
다른 페이지 정보를 읽을 때 받은 쿠키값을 전달하면서 사이트에 로그인한 상태로 접근 하는 방법 입니다


프로그램 구조
로그인하면서 쿠키 얻고 -> 얻은 쿠키로 원하는 페이지 열고 -> 열린 페이지의 html을 C:\Text.txt 파일로 저장 합니다





C#을 공부하는 중 막무가네 코딩을 했습니다
(당장에 필요한 프로그램을 만들어보면서 동기 부여와 성취감을 위해서 입니다)

모든 매서드 들이 static이 붙어 있는데
C# 객체 지향 프로그램을 이해 못한 관계로 어떤 방식으로 알아봐야 겠습니다






using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.Net;

using System.IO;

 

namespace  

{

    class Program

    {

 

        static string bufferint ="";

        static void Main(string[] args)

        {

         //   Console.WriteLine(mainLogin());

 

            saveFile(loginImageURL(mainLogin()));

        }

 

        //페이지 로그인 하면서 쿠키를 받아롬

        static HttpWebResponse mainLogin()

        {

            HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.huyang.go.kr/user/member/User_memberLoginPrc.action");

            req.Method = "Post";

            string s = "userId=여기에 아이디를 적으세요&userPass=여기에 비밀번호를 적으세요"; //input테그 목록을 참조해서 바꿈

            req.CookieContainer = new CookieContainer();

            req.ContentLength = s.Length;

            req.ContentType = "application/x-www-form-urlencoded; charset=utf-8";

            TextWriter w = (TextWriter)new System.IO.StreamWriter(req.GetRequestStream());

            w.Write(s);

            w.Close();

            HttpWebResponse resp = (HttpWebResponse)req.GetResponse();

            TextReader r = (TextReader)new StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("EUC-KR"));

            //      Console.WriteLine(r.ReadToEnd());

            Console.WriteLine("로그인 성공");

 

            return resp;

        }

 

 

        static string loginImageURL(HttpWebResponse resp)

        {

            string htmlBuffer = "";

            HttpWebResponse respBuffer = resp;

            respBuffer = resp;

            Console.WriteLine("페이지 로드중");

            bufferint = "http://www.huyang.go.kr/user/reservation/User_reservationSearch.action";

            //로그인 (사용자 인증 후에 할 일)

            HttpWebRequest req = (HttpWebRequest)WebRequest.Create(bufferint);

            //세션 쿠키 유지

            req.CookieContainer = new CookieContainer();

            req.CookieContainer.Add(respBuffer.Cookies);

            respBuffer = (HttpWebResponse)req.GetResponse();

            TextReader r = (TextReader)new StreamReader(respBuffer.GetResponseStream(), Encoding.GetEncoding("EUC-KR"));

            // Console.WriteLine(r.ReadToEnd());

 

            htmlBuffer = r.ReadToEnd();

            return htmlBuffer;

        }

 

        static private void saveFile(string r)

        {

            //파일 저장 하는 구간

            try

            {

                //Pass the filepath and filename to the StreamWriter Constructor

                StreamWriter sw = new StreamWriter("C:\\Test.txt");

 

                //Write a line of text

                sw.WriteLine(r);

                //Close the file

                sw.Close();

            }

            catch (Exception e)

            {

                Console.WriteLine("Exception: " + e.Message);

            }

            finally

            {

                Console.WriteLine("Executing finally block.");

            }

        }

    }

}

 


 
 

 프로젝트 전체 파일 다운 로드

휴향림 로그인.zip



 

저작자 표시
신고





Posted by 파란물






구글 코드검색 주소
http://www.google.co.kr/codesearch


구글 코드 검색 도움말 
검색 방법이나 검색할수 있는 언어 라이센스등 자세하게 알고 싶으면 위 링크로 ~ ^^


라이센스 관련
Google은 코드 작성자가 표시한 대로 라이센스를 등록하기 위해 노력하고 있지만 때로 실수를 저지르기도 하며 작성자가 잘못된 라이센스를 표시할 수도 있습니다. 또한 코드 검색 결과에서는 소프트웨어에 적용되는 특허에 대해서 표시하지 않습니다. 라이센스 내용에 대해서는 가능한 범위에서 알려 드릴 수 있지만 코드 재사용을 위한 법규를 파악하는 것은 사용자의 몫입니다.



C, C++, Java, C#, ASP, COBOL, PHP,SQL, basic, Fortran, JavaScript 등 내가 한번이라도 들어본 언어말고 처음보는 언어까지 몽땅 검색된다
구글에 이런것까지 있는지 몰랐다 구글 정말 쵴오~ !!
대부분 소스 검색을 한다면 지식인이나 카페같은곳에서 찾아썼는데 구글 코드검색을 이용하면 
좀더 방대한 양을 찾아볼수 있겠지?

저작자 표시 비영리 변경 금지
신고





Posted by 파란물

티스토리 툴바