HADOOP 2.6.0 ์ค์น
๊ณ์ ์ถ๊ฐ, SSH, Java, Rsync ๋ฑ์ ์ค์ /์ค์น๋ ์ ๊ณผ ๋์ผ~! ์ํ๋ ๊ณณ์ ๋ค์ด๋ฐ์ ํ๋ก์ ํ์ด์ฃผ๊ณ , 1. yarn์ด ์ถ๊ฐ๋์ด .bashrc์ ํ๊ฒฝ๋ณ์ ์ถ๊ฐ๋ฅผ ํด๋ด ๋๋ค. HADOOP_HOME์ hadoop์ ์ค์นํ ๊ณณ์ ์ก์์ฃผ 2015-04-02 13:15:40 | ์ฐ์์๋ |
HADOOP 2.6.0 ์ค์น
๊ณ์ ์ถ๊ฐ, SSH, Java, Rsync ๋ฑ์ ์ค์ /์ค์น๋ ์ ๊ณผ ๋์ผ~! ์ํ๋ ๊ณณ์ ๋ค์ด๋ฐ์ ํ๋ก์ ํ์ด์ฃผ๊ณ , 1. yarn์ด ์ถ๊ฐ๋์ด .bashrc์ ํ๊ฒฝ๋ณ์ ์ถ๊ฐ๋ฅผ ํด๋ด ๋๋ค. HADOOP_HOME์ hadoop์ ์ค์นํ ๊ณณ์ ์ก์์ฃผ 2015-04-02 13:15:40 | ์ฐ์์๋ |
HADOOP 2.6.0 ์ค์น
๊ณ์ ์ถ๊ฐ, SSH, Java, Rsync ๋ฑ์ ์ค์ /์ค์น๋ ์ ๊ณผ ๋์ผ~! ์ํ๋ ๊ณณ์ ๋ค์ด๋ฐ์ ํ๋ก์ ํ์ด์ฃผ๊ณ , 1. yarn์ด ์ถ๊ฐ๋์ด .bashrc์ ํ๊ฒฝ๋ณ์ ์ถ๊ฐ๋ฅผ ํด๋ด ๋๋ค. HADOOP_HOME์ hadoop์ ์ค์นํ ๊ณณ์ ์ก์์ฃผ 2015-04-02 04:15:40 | ์ฐ์์๋ |
HADOOP 2.6.0 ์ค์น
๊ณ์ ์ถ๊ฐ, SSH, Java, Rsync ๋ฑ์ ์ค์ /์ค์น๋ ์ ๊ณผ ๋์ผ~! ์ํ๋ ๊ณณ์ ๋ค์ด๋ฐ์ ํ๋ก์ ํ์ด์ฃผ๊ณ , 1. yarn์ด ์ถ๊ฐ๋์ด .bashrc์ ํ๊ฒฝ๋ณ์ ์ถ๊ฐ๋ฅผ ํด๋ด ๋๋ค. HADOOP_HOME์ hadoop์ ์ค์นํ ๊ณณ์ ์ก์์ฃผ 2015-04-02 04:15:40 | ์ฐ์์๋ |
๋ ์งํ์ ์ซ์๋ณํ (timestamp, epoch)
$ date -d "20150228" +"%s" 1425081600 $ date -d "@1425096000" +"%Y%m%d %H:%M:%S" 20150228 04:00:00 ๋ ์น์์์ ์๊ฐํํ ํฌ๋ฉง์ ์ด๋ฆฌ์ ๋ฆฌ ๋ณํํ๋ฉด์ ํ์ธํ ์ ์๋ ์ฌ์ดํธ๊ฐ ์์ต๋๋ค. http://www.epochconverter.com/ ํ 2015-03-12 10:04:16 | ์ฐ์์๋ |
๋ ์งํ์ ์ซ์๋ณํ (timestamp, epoch)
$ date -d "20150228" +"%s" 1425081600 $ date -d "@1425096000" +"%Y%m%d %H:%M:%S" 20150228 04:00:00 ๋ ์น์์์ ์๊ฐํํ ํฌ๋ฉง์ ์ด๋ฆฌ์ ๋ฆฌ ๋ณํํ๋ฉด์ ํ์ธํ ์ ์๋ ์ฌ์ดํธ๊ฐ ์์ต๋๋ค. http://www.epochconverter.com/ ํ 2015-03-12 10:04:16 | ์ฐ์์๋ |
๋ ์งํ์ ์ซ์๋ณํ (timestamp, epoch)
$ date -d "20150228" +"%s" 1425081600 $ date -d "@1425096000" +"%Y%m%d %H:%M:%S" 20150228 04:00:00 ๋ ์น์์์ ์๊ฐํํ ํฌ๋ฉง์ ์ด๋ฆฌ์ ๋ฆฌ ๋ณํํ๋ฉด์ ํ์ธํ ์ ์๋ ์ฌ์ดํธ๊ฐ ์์ต๋๋ค. http://www.epochconverter.com/ ํ 2015-03-12 01:04:16 | ์ฐ์์๋ |
๋ ์งํ์ ์ซ์๋ณํ (timestamp, epoch)
$ date -d "20150228" +"%s" 1425081600 $ date -d "@1425096000" +"%Y%m%d %H:%M:%S" 20150228 04:00:00 ๋ ์น์์์ ์๊ฐํํ ํฌ๋ฉง์ ์ด๋ฆฌ์ ๋ฆฌ ๋ณํํ๋ฉด์ ํ์ธํ ์ ์๋ ์ฌ์ดํธ๊ฐ ์์ต๋๋ค. http://www.epochconverter.com/ ํ 2015-03-12 01:04:16 | ์ฐ์์๋ |
HADOOP์ ํ์ผ ์
๋ก๋, ์ฝ๊ธฐ ์ ์ผ์ด๋๋ ๊ณผ์ ๋ฐ ์ ๋ฐ์ง์ ์ ๋ฆฌ
HDFS ํ์ผ ์ ์ฅ : ๋ฐ์ดํฐ ์ ์กํ(์ ์ฅ ๋์ ๋ฐ์ดํฐ ํจํท๋จ์ ๊ด๋ฆฌ), ack ๋๊ธฐํ(์ ์ฅ ์ํ๋ฅผ ๊ด๋ฆฌ)๊ฐ ์์ผ๋ฉฐ ๋ณ๋์ thread๋ก ๊ด๋ฆฌ 1. namenode์ ํ์ผ ์ด๊ธฐ ์์ฒญ 2. namenode๊ฐ ์ฉ๋ํ์ธ, ๊ฐ์ฉ์ํ์ธ์ง 2015-02-06 11:05:12 | ์ฐ์์๋ |
HADOOP์ ํ์ผ ์
๋ก๋, ์ฝ๊ธฐ ์ ์ผ์ด๋๋ ๊ณผ์ ๋ฐ ์ ๋ฐ์ง์ ์ ๋ฆฌ
HDFS ํ์ผ ์ ์ฅ : ๋ฐ์ดํฐ ์ ์กํ(์ ์ฅ ๋์ ๋ฐ์ดํฐ ํจํท๋จ์ ๊ด๋ฆฌ), ack ๋๊ธฐํ(์ ์ฅ ์ํ๋ฅผ ๊ด๋ฆฌ)๊ฐ ์์ผ๋ฉฐ ๋ณ๋์ thread๋ก ๊ด๋ฆฌ 1. namenode์ ํ์ผ ์ด๊ธฐ ์์ฒญ 2. namenode๊ฐ ์ฉ๋ํ์ธ, ๊ฐ์ฉ์ํ์ธ์ง 2015-02-06 11:05:12 | ์ฐ์์๋ |
HADOOP์ ํ์ผ ์
๋ก๋, ์ฝ๊ธฐ ์ ์ผ์ด๋๋ ๊ณผ์ ๋ฐ ์ ๋ฐ์ง์ ์ ๋ฆฌ
HDFS ํ์ผ ์ ์ฅ : ๋ฐ์ดํฐ ์ ์กํ(์ ์ฅ ๋์ ๋ฐ์ดํฐ ํจํท๋จ์ ๊ด๋ฆฌ), ack ๋๊ธฐํ(์ ์ฅ ์ํ๋ฅผ ๊ด๋ฆฌ)๊ฐ ์์ผ๋ฉฐ ๋ณ๋์ thread๋ก ๊ด๋ฆฌ 1. namenode์ ํ์ผ ์ด๊ธฐ ์์ฒญ 2. namenode๊ฐ ์ฉ๋ํ์ธ, ๊ฐ์ฉ์ํ์ธ์ง 2015-02-06 02:05:12 | ์ฐ์์๋ |
HADOOP์ ํ์ผ ์
๋ก๋, ์ฝ๊ธฐ ์ ์ผ์ด๋๋ ๊ณผ์ ๋ฐ ์ ๋ฐ์ง์ ์ ๋ฆฌ
HDFS ํ์ผ ์ ์ฅ : ๋ฐ์ดํฐ ์ ์กํ(์ ์ฅ ๋์ ๋ฐ์ดํฐ ํจํท๋จ์ ๊ด๋ฆฌ), ack ๋๊ธฐํ(์ ์ฅ ์ํ๋ฅผ ๊ด๋ฆฌ)๊ฐ ์์ผ๋ฉฐ ๋ณ๋์ thread๋ก ๊ด๋ฆฌ 1. namenode์ ํ์ผ ์ด๊ธฐ ์์ฒญ 2. namenode๊ฐ ์ฉ๋ํ์ธ, ๊ฐ์ฉ์ํ์ธ์ง 2015-02-06 02:05:12 | ์ฐ์์๋ |
oozie ์ค์น ์คํจ๊ธฐ [@hadoop 0.20.2]
20151109 ์ถ๊ฐ single-node์ full-distributed๋ก hadoop+yarn์ ๊ตฌ์ฑํ์ ๋ oozie์ hive-action์ด pending๋๋ ๊ฒฝ์ฐ๊ฐ ๋ฐ์๋์๋ค. oozie์ ์์ ์ mr๊ธฐ๋ฐ์ผ๋ก ๊ธฐ๋ณธ์ ์ผ๋ก ๋ณธ ์์ ์ด์ธ์ v-core๋ฅผ 1~2๊ฐ ์ ๋ ์ ์ 2015-02-05 09:33:56 | ์ฐ์์๋ |
oozie ์ค์น ์คํจ๊ธฐ [@hadoop 0.20.2]
20151109 ์ถ๊ฐ single-node์ full-distributed๋ก hadoop+yarn์ ๊ตฌ์ฑํ์ ๋ oozie์ hive-action์ด pending๋๋ ๊ฒฝ์ฐ๊ฐ ๋ฐ์๋์๋ค. oozie์ ์์ ์ mr๊ธฐ๋ฐ์ผ๋ก ๊ธฐ๋ณธ์ ์ผ๋ก ๋ณธ ์์ ์ด์ธ์ v-core๋ฅผ 1~2๊ฐ ์ ๋ ์ ์ 2015-02-05 09:33:56 | ์ฐ์์๋ |
oozie ์ค์น ์คํจ๊ธฐ [@hadoop 0.20.2]
20151109 ์ถ๊ฐ single-node์ full-distributed๋ก hadoop+yarn์ ๊ตฌ์ฑํ์ ๋ oozie์ hive-action์ด pending๋๋ ๊ฒฝ์ฐ๊ฐ ๋ฐ์๋์๋ค. oozie์ ์์ ์ mr๊ธฐ๋ฐ์ผ๋ก ๊ธฐ๋ณธ์ ์ผ๋ก ๋ณธ ์์ ์ด์ธ์ v-core๋ฅผ 1~2๊ฐ ์ ๋ ์ ์ 2015-02-05 00:33:56 | ์ฐ์์๋ |
oozie ์ค์น ์คํจ๊ธฐ [@hadoop 0.20.2]
20151109 ์ถ๊ฐ single-node์ full-distributed๋ก hadoop+yarn์ ๊ตฌ์ฑํ์ ๋ oozie์ hive-action์ด pending๋๋ ๊ฒฝ์ฐ๊ฐ ๋ฐ์๋์๋ค. oozie์ ์์ ์ mr๊ธฐ๋ฐ์ผ๋ก ๊ธฐ๋ณธ์ ์ผ๋ก ๋ณธ ์์ ์ด์ธ์ v-core๋ฅผ 1~2๊ฐ ์ ๋ ์ ์ 2015-02-05 00:33:56 | ์ฐ์์๋ |
[HADOOP] disk-full๋ก namenode๊ฐ ์ฃฝ์ ํ ๋ณต๊ตฌ์๋ ๋
15-02-02 01:11:34,745 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 2015-02-02 01:11:34,747 INFO org.apache.hadoop.hdfs.server. 2015-02-02 10:46:55 | ์ฐ์์๋ |
[HADOOP] disk-full๋ก namenode๊ฐ ์ฃฝ์ ํ ๋ณต๊ตฌ์๋ ๋
15-02-02 01:11:34,745 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 2015-02-02 01:11:34,747 INFO org.apache.hadoop.hdfs.server. 2015-02-02 10:46:55 | ์ฐ์์๋ |
[HADOOP] disk-full๋ก namenode๊ฐ ์ฃฝ์ ํ ๋ณต๊ตฌ์๋ ๋
15-02-02 01:11:34,745 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 2015-02-02 01:11:34,747 INFO org.apache.hadoop.hdfs.server. 2015-02-02 01:46:55 | ์ฐ์์๋ |
[HADOOP] disk-full๋ก namenode๊ฐ ์ฃฝ์ ํ ๋ณต๊ตฌ์๋ ๋
15-02-02 01:11:34,745 INFO org.apache.hadoop.hdfs.server.namenode.metrics.FSNamesystemMetrics: Initializing FSNamesystemMetrics using context object:org.apache.hadoop.metrics.spi.NullContext 2015-02-02 01:11:34,747 INFO org.apache.hadoop.hdfs.server. 2015-02-02 01:46:55 | ์ฐ์์๋ |