계정추가, SSH, Java, Rsync 등의 설정/설치는 전과 동일~! 원하는 곳에 다운받은 하둡을 풀어주고, 1. yarn이 추가되어 .bashrc에 환경변수 추가를 해봅니다. HADOOP_HOME은 hadoop을 설치한 곳을 잡아주시면 됩니다. export JAVA_HOME="/usr/lib/jvm/java-default/jre" export HADOOP_HOME="/home/hadoop/hadoop" export HADOOP_MAPRED_HOME="$HADOOP_HOME" export HADOOP_COMMON_HOME="$HADOOP_HOME" export HADOOP_HDFS_HOME="$HADOOP_HOME" export HADOOP_YARN_HOME="$HADOP_HOME" export HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop" export PATH="$PATH:$HADOOP_HOME/bin" export PATH="$PATH:$HADOOP_HOME/sbin" 이 .bashrc를 각 클러스터.......

계정추가, SSH, Java, Rsync 등의 설정/설치는 전과 동일~! 원하는 곳에 다운받은 하둡을 풀어주고, 1. yarn이 추가되어 .bashrc에 환경변수 추가를 해봅니다. HADOOP_HOME은 hadoop을 설치한 곳을 잡아주시면 됩니다. export JAVA_HOME="/usr/lib/jvm/java-default/jre" export HADOOP_HOME="/home/hadoop/hadoop" export HADOOP_MAPRED_HOME="$HADOOP_HOME" export HADOOP_COMMON_HOME="$HADOOP_HOME" export HADOOP_HDFS_HOME="$HADOOP_HOME" export HADOOP_YARN_HOME="$HADOP_HOME" export HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop" export PATH="$PATH:$HADOOP_HOME/bin" export PATH="$PATH:$HADOOP_HOME/sbin" 이 .bashrc를 각 클러스터.......

계정추가, SSH, Java, Rsync 등의 설정/설치는 전과 동일~! 원하는 곳에 다운받은 하둡을 풀어주고, 1. yarn이 추가되어 .bashrc에 환경변수 추가를 해봅니다. HADOOP_HOME은 hadoop을 설치한 곳을 잡아주시면 됩니다. export JAVA_HOME="/usr/lib/jvm/java-default/jre" export HADOOP_HOME="/home/hadoop/hadoop" export HADOOP_MAPRED_HOME="$HADOOP_HOME" export HADOOP_COMMON_HOME="$HADOOP_HOME" export HADOOP_HDFS_HOME="$HADOOP_HOME" export HADOOP_YARN_HOME="$HADOP_HOME" export HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop" export PATH="$PATH:$HADOOP_HOME/bin" export PATH="$PATH:$HADOOP_HOME/sbin" 이 .bashrc를 각 클러스터.......

계정추가, SSH, Java, Rsync 등의 설정/설치는 전과 동일~! 원하는 곳에 다운받은 하둡을 풀어주고, 1. yarn이 추가되어 .bashrc에 환경변수 추가를 해봅니다. HADOOP_HOME은 hadoop을 설치한 곳을 잡아주시면 됩니다. export JAVA_HOME="/usr/lib/jvm/java-default/jre" export HADOOP_HOME="/home/hadoop/hadoop" export HADOOP_MAPRED_HOME="$HADOOP_HOME" export HADOOP_COMMON_HOME="$HADOOP_HOME" export HADOOP_HDFS_HOME="$HADOOP_HOME" export HADOOP_YARN_HOME="$HADOP_HOME" export HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop" export PATH="$PATH:$HADOOP_HOME/bin" export PATH="$PATH:$HADOOP_HOME/sbin" 이 .bashrc를 각 클러스터.......

$ date -d "20150228" +"%s" 1425081600 $ date -d "@1425096000" +"%Y%m%d %H:%M:%S" 20150228 04:00:00 또 웹상에서 시간표현 포멧을 이리저리 변환하면서 확인할 수 있는 사이트가 있습니다. http://www.epochconverter.com/ 하단에는 각 개발언어별 사용방법도 가이드가 되어 있어 편하네요

$ date -d "20150228" +"%s" 1425081600 $ date -d "@1425096000" +"%Y%m%d %H:%M:%S" 20150228 04:00:00 또 웹상에서 시간표현 포멧을 이리저리 변환하면서 확인할 수 있는 사이트가 있습니다. http://www.epochconverter.com/ 하단에는 각 개발언어별 사용방법도 가이드가 되어 있어 편하네요

$ date -d "20150228" +"%s" 1425081600 $ date -d "@1425096000" +"%Y%m%d %H:%M:%S" 20150228 04:00:00 또 웹상에서 시간표현 포멧을 이리저리 변환하면서 확인할 수 있는 사이트가 있습니다. http://www.epochconverter.com/ 하단에는 각 개발언어별 사용방법도 가이드가 되어 있어 편하네요

$ date -d "20150228" +"%s" 1425081600 $ date -d "@1425096000" +"%Y%m%d %H:%M:%S" 20150228 04:00:00 또 웹상에서 시간표현 포멧을 이리저리 변환하면서 확인할 수 있는 사이트가 있습니다. http://www.epochconverter.com/ 하단에는 각 개발언어별 사용방법도 가이드가 되어 있어 편하네요

HDFS 파일 저장 : 데이터 전송큐(저장 대상 데이터 패킷단위 관리), ack 대기큐(저장 상태를 관리)가 있으며 별도의 thread로 관리 1. namenode에 파일 열기 요청 2. namenode가 용량확인, 가용상태인지 확인 후 메타데이터를 파일엔트리에 삽입 3. 클라이언트는 저장용 스트림 획득 및 저장파일 패킷단위 전송큐 삽입 4. 큐삽입 확인 후 namenode에 블럭할당 요구 5. namenode는 패킷 저장대상 datanode 리스트 전달 6. 복제 수와 동일 수의 datanode 파이프라인 형성 7. 선두 datanode에 기록, ack 대기큐에 저장 8. 마지막 까지 데이터 패킷이 전송완료되면 완료 ack전달 9. 최종적으로 클라이언트가 ack를 받으면 ack큐에서 제거 @ 리플레이.......

HDFS 파일 저장 : 데이터 전송큐(저장 대상 데이터 패킷단위 관리), ack 대기큐(저장 상태를 관리)가 있으며 별도의 thread로 관리 1. namenode에 파일 열기 요청 2. namenode가 용량확인, 가용상태인지 확인 후 메타데이터를 파일엔트리에 삽입 3. 클라이언트는 저장용 스트림 획득 및 저장파일 패킷단위 전송큐 삽입 4. 큐삽입 확인 후 namenode에 블럭할당 요구 5. namenode는 패킷 저장대상 datanode 리스트 전달 6. 복제 수와 동일 수의 datanode 파이프라인 형성 7. 선두 datanode에 기록, ack 대기큐에 저장 8. 마지막 까지 데이터 패킷이 전송완료되면 완료 ack전달 9. 최종적으로 클라이언트가 ack를 받으면 ack큐에서 제거 @ 리플레이.......

HDFS 파일 저장 : 데이터 전송큐(저장 대상 데이터 패킷단위 관리), ack 대기큐(저장 상태를 관리)가 있으며 별도의 thread로 관리 1. namenode에 파일 열기 요청 2. namenode가 용량확인, 가용상태인지 확인 후 메타데이터를 파일엔트리에 삽입 3. 클라이언트는 저장용 스트림 획득 및 저장파일 패킷단위 전송큐 삽입 4. 큐삽입 확인 후 namenode에 블럭할당 요구 5. namenode는 패킷 저장대상 datanode 리스트 전달 6. 복제 수와 동일 수의 datanode 파이프라인 형성 7. 선두 datanode에 기록, ack 대기큐에 저장 8. 마지막 까지 데이터 패킷이 전송완료되면 완료 ack전달 9. 최종적으로 클라이언트가 ack를 받으면 ack큐에서 제거 @ 리플레이.......

HDFS 파일 저장 : 데이터 전송큐(저장 대상 데이터 패킷단위 관리), ack 대기큐(저장 상태를 관리)가 있으며 별도의 thread로 관리 1. namenode에 파일 열기 요청 2. namenode가 용량확인, 가용상태인지 확인 후 메타데이터를 파일엔트리에 삽입 3. 클라이언트는 저장용 스트림 획득 및 저장파일 패킷단위 전송큐 삽입 4. 큐삽입 확인 후 namenode에 블럭할당 요구 5. namenode는 패킷 저장대상 datanode 리스트 전달 6. 복제 수와 동일 수의 datanode 파이프라인 형성 7. 선두 datanode에 기록, ack 대기큐에 저장 8. 마지막 까지 데이터 패킷이 전송완료되면 완료 ack전달 9. 최종적으로 클라이언트가 ack를 받으면 ack큐에서 제거 @ 리플레이.......

20151109 추가 single-node에 full-distributed로 hadoop+yarn을 구성했을 때 oozie의 hive-action이 pending되는 경우가 발생되었다. oozie의 작업은 mr기반으로 기본적으로 본 작업이외의 v-core를 1~2개 정도 점유하는데 여기에 hive작업이 또 4~5를 점유하는 상황이 발생된다. yarn의 기본 설정은 vcore 8, scheduler가 application manager에게 할당해주는 자원의 최대값 설정은 10%이다. 그러므로 oozie의 기본 런처 용 mr 실행 및 대기-hive 런칭-hive종료 후 런처 용 mr 종료의 과정을 거치는 hive-action에서 데드락이 발생하게된다. 해당 상황을 HADOOP_CONF의 capacity-scheduler.xml의 yarn.scheduler.capacity.maximum-am-resource-.......

20151109 추가 single-node에 full-distributed로 hadoop+yarn을 구성했을 때 oozie의 hive-action이 pending되는 경우가 발생되었다. oozie의 작업은 mr기반으로 기본적으로 본 작업이외의 v-core를 1~2개 정도 점유하는데 여기에 hive작업이 또 4~5를 점유하는 상황이 발생된다. yarn의 기본 설정은 vcore 8, scheduler가 application manager에게 할당해주는 자원의 최대값 설정은 10%이다. 그러므로 oozie의 기본 런처 용 mr 실행 및 대기-hive 런칭-hive종료 후 런처 용 mr 종료의 과정을 거치는 hive-action에서 데드락이 발생하게된다. 해당 상황을 HADOOP_CONF의 capacity-scheduler.xml의 yarn.scheduler.capacity.maximum-am-resource-.......

20151109 추가 single-node에 full-distributed로 hadoop+yarn을 구성했을 때 oozie의 hive-action이 pending되는 경우가 발생되었다. oozie의 작업은 mr기반으로 기본적으로 본 작업이외의 v-core를 1~2개 정도 점유하는데 여기에 hive작업이 또 4~5를 점유하는 상황이 발생된다. yarn의 기본 설정은 vcore 8, scheduler가 application manager에게 할당해주는 자원의 최대값 설정은 10%이다. 그러므로 oozie의 기본 런처 용 mr 실행 및 대기-hive 런칭-hive종료 후 런처 용 mr 종료의 과정을 거치는 hive-action에서 데드락이 발생하게된다. 해당 상황을 HADOOP_CONF의 capacity-scheduler.xml의 yarn.scheduler.capacity.maximum-am-resource-.......

20151109 추가 single-node에 full-distributed로 hadoop+yarn을 구성했을 때 oozie의 hive-action이 pending되는 경우가 발생되었다. oozie의 작업은 mr기반으로 기본적으로 본 작업이외의 v-core를 1~2개 정도 점유하는데 여기에 hive작업이 또 4~5를 점유하는 상황이 발생된다. yarn의 기본 설정은 vcore 8, scheduler가 application manager에게 할당해주는 자원의 최대값 설정은 10%이다. 그러므로 oozie의 기본 런처 용 mr 실행 및 대기-hive 런칭-hive종료 후 런처 용 mr 종료의 과정을 거치는 hive-action에서 데드락이 발생하게된다. 해당 상황을 HADOOP_CONF의 capacity-scheduler.xml의 yarn.scheduler.capacity.maximum-am-resource-.......

15-02-02 01:11:34,745 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 2015-02-02 01:11:34,747 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStatusMBean 2015-02-02 01:11:34,827 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files = 253385 2015-02-02 01:11:37,526 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 1 2015-02-02 01:11:37,528 INFO org.apache.hadoop.hdfs.server.common.Storage: Ima.......

15-02-02 01:11:34,745 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 2015-02-02 01:11:34,747 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStatusMBean 2015-02-02 01:11:34,827 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files = 253385 2015-02-02 01:11:37,526 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 1 2015-02-02 01:11:37,528 INFO org.apache.hadoop.hdfs.server.common.Storage: Ima.......

15-02-02 01:11:34,745 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 2015-02-02 01:11:34,747 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStatusMBean 2015-02-02 01:11:34,827 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files = 253385 2015-02-02 01:11:37,526 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 1 2015-02-02 01:11:37,528 INFO org.apache.hadoop.hdfs.server.common.Storage: Ima.......

15-02-02 01:11:34,745 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 2015-02-02 01:11:34,747 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStatusMBean 2015-02-02 01:11:34,827 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files = 253385 2015-02-02 01:11:37,526 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 1 2015-02-02 01:11:37,528 INFO org.apache.hadoop.hdfs.server.common.Storage: Ima.......