News / Blog 구독 (RSS)

D3.js Rect를 이용한 Bar graph 그리기

후에 작업할 클러스터링 그래프를 이쁘게 그려볼려고 틈틈히 D3.js를 공부 중입니다. 이 예제는 막대그래프 그리기~! 요런 놈이 나옵니다. data.cvs는 item1,item2,item3 111,222,333 444,555,666 777,888,999 222,333,444 형식으로 저장하시고 연습하면 됩니다. 예제에선 첫번째 컬럼(item1)만 로딩해서 사용했습니다. <HTML> <HEAD> <TITLE>D3 Test</TITLE> <META charset="utf-8" /> <SCRIPT src="http://d3js.org/d3.v3.min.js"></SCRIPT> <STYLE> .axis text { font-family: sans-serif; font-size: 11px; } .axis path, .axis line { fill: none; stroke: black; } </STYLE> </H.......

2015-05-14 19:50:32 | 산소소년

D3.js Rect를 이용한 Bar graph 그리기

2015-05-14 19:50:32 | 산소소년

D3.js Rect를 이용한 Bar graph 그리기

2015-05-14 10:50:32 | 산소소년

D3.js Rect를 이용한 Bar graph 그리기

2015-05-14 10:50:32 | 산소소년

Apache Zeppelin 설치 및 간단사용

Git 설치 후 (mvn 등은 spark 설치 시 준비 했으므로) 우선 다운 받고~! git clone https://github.com/apache/incubator-zeppelin.git zeppelin 빌드~! (spark 설치 시 사용되었던 hadoop, spark 프로파일을 명시한다) mvn clean install -DskipTests -Pspark-1.3 -Dspark.version=1.3.0 -Phadoop-2.4 -Dhadoop.version=2.6.0 -> 프로파일 옵션을 안주면 artifact 어쩌구 하면서 빌드가 안되니 꼭 해주시길~ aws에서 구동하다보니 Maven 버전이 낮아 컴파일 불가 ㅠ.ㅠ Apt-get upgrade Apt-get install maven2 -> 버전이 왜 2.2.1로 변하냐 ㅡㅡ; Apt-get install maven 위의과정 실패~! Maven 최신버전 강제설치 Apt-get remove maven A.......

2015-04-30 17:12:19 | 산소소년

Apache Zeppelin 설치 및 간단사용

2015-04-30 17:12:19 | 산소소년

Apache Zeppelin 설치 및 간단사용

2015-04-30 08:12:19 | 산소소년

Apache Zeppelin 설치 및 간단사용

2015-04-30 08:12:19 | 산소소년

SPARK 설치

이번엔 이전에 새로 설치한 YARN 위에 요즘 핫한 SPARK를 설치해 보겠습니다. 우선 설치 시 필요한 놈들인 maven, git, jdk를 설치합니다. 그 후 git clone git://github.com/apache.spark.git 로 소스를 다운로드 하시고 (요건 master dev branch~ 입니다. 다른 것들도 취향에 맞게 -b 옵션을 추가해서 받을 수 있습니다.) 빌드 환경 변수 설정 및 빌드를 시작해 봅니다. export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.6.0 -DskipTests clean package (아직[2015.4월 현재] 프로파일이 2.4까지만 준비되어 있으므로 2.4버전을 base로 설치 작업을 해야 합니다.).......

2015-04-26 17:04:55 | 산소소년

SPARK 설치

2015-04-26 17:04:55 | 산소소년

SPARK 설치

2015-04-26 08:04:55 | 산소소년

SPARK 설치

2015-04-26 08:04:55 | 산소소년

HADOOP Map/Reduce 범용 런처

평상 시 M/R 작업을 만들 때마다 드라이버?를 만들기 귀찮아서 범용 런처를 만들어서 쓰고 있습니다. 사용방법은 스트리밍과 유사합니다. 사실은 legacy streamming은 mapred코드를 바로 스트리밍작업에 사용할 수 있어서 하이브리드 방식을 주로 사용했습니다. (예] map-파이썬, reduce-자바클래스: 장점은 리듀서에서 키가 변경되는 것을 신경쓰지 않아도 되어서 스트리밍이지만 코드가 간결해 집니다.) 이런 방법을 mapreduce 에서도 사용하기 위해 만든 클래스 입니다. 기본적으로 GenericOptionsParser를 사용하여 hadoop관련 옵션은 하둡으로 넘겨주고 이외의 옵션은 필요에 따라 파싱해서 사용하는 식입니다. -mapper, -reducer, -input, .......

2015-04-08 13:47:01 | 산소소년

HADOOP Map/Reduce 범용 런처

2015-04-08 13:47:01 | 산소소년

HADOOP Map/Reduce 범용 런처

2015-04-08 04:47:01 | 산소소년

HADOOP Map/Reduce 범용 런처

2015-04-08 04:47:01 | 산소소년

mapper에서 현재 읽고 있는 파일명 알아오기

mapred에서 쓰는 방법 public void configure(JobConf job) { String filename = job.get("map.input.file"); } mapreduce에서 쓰는 방법 protected void setup(Context context) throws java.io.IOException, java.lang.InterruptedException { String fileName = ((FileSplit) context.getInputSplit()).getPath().toString(); } mapreduce에서 map.input.file에는 값이 없습니다. ㅠ.ㅠ

2015-04-06 13:58:42 | 산소소년