์๊ฒฉ๋ฆฌ๋
์ค์ฅ๋น[EC2]์์ visual tool ํ์ฉ
putty๋ puttygen ๋ฑ์ ์ด์ฉํ์ฌ ์๊ฒฉ์ฅ๋น์ ์ ์์ด ๊ฐ๋ฅํ๋ค๋ ์ ์ฌ ํ์ ์ค๋ช ํฉ๋๋ค. putty์ X11ํญ๋ชฉ ์ค์ ์๋์ฐ์ฆ ์ฅ๋น์ Xming ์ค์น http://sourceforge.net/projects/xming/ ๋ฆฌ๋ ์ค์ฅ๋น์ ํ์์์ ์ค์น 2014-10-02 10:49:26 | ์ฐ์์๋ |
Standard Input์ Excelํ์ผ๋ก ๋ง๋ค๊ธฐ
JXL์ ์ด์ฉํด์ ๋ง๋ค์์ต๋๋ค. option.separator์ ํตํ์ฌ ํ๋๊ตฌ๋ถ์๋ฅผ ์ค์ ์ option.sheetlinelimit์ ํตํ์ฌ ๋ผ์ธ์ ์ด๊ณผํ๋ ๋ผ์ธ์ ๋ค์์ํธ๋ก ๋๊ธฐ๋๋ก ์ค์ ํ์์ต๋๋ค. #!/bin/sh PWD="/home/hadoop/wor 2014-09-30 15:54:19 | ์ฐ์์๋ |
S3 distcp
๋ฐฉ๋ฒ1 hadoop distcp hdfs:HDFS๊ฒฝ๋ก s3n://accessํค:secretํค@๋ฒํท๊ฒฝ๋ก secretํค์ + / ๋ฑ์ด ๋ค์ด๊ฐ๋ฉด ์๋๋ถ๊ฐ๋ฅํ ๋จ์ ์ด ์๋ค. ๋ฐฉ๋ฒ2 time hadoop distcp -Dfs.s3n.awsAccessKeyId="accessํค" -Dfs.s3n.awsSecretAccessKey="secret 2014-09-30 11:24:10 | ์ฐ์์๋ |
Task ์ ๋ณด ์์ฑ
mapred.job.id : String : jobid๋ฅผ ์ป์ด์ด mapred.jar : String : job ๋๋ ํ ๋ฆฌ์์ jar ํ์ผ์ ์์น job.local.dir : String : job์ ๋ก์ปฌ scratch ๊ฒฝ๋ก mapred.tip.id : String : task id mapred.task.id : String : task tasking id mapred.task 2014-06-19 11:04:07 | ์ฐ์์๋ |
S3 -> HDFS
0 bytes๋ฅผ ์์๋ด๊ณ hadoop์๋ค ๋ฃ๋ ์คํฌ๋ฆฝํธ ๋ค์ด๋ฐ์ ๋ชฉ๋ก์ ๋ง๋ ํ ํด๋ฌ์คํฐ ๊ฐฏ์๋งํผ N๋นต ํ ๋๋ ์ง ๋ชฉ๋ก์ ๋ ธ๋๋ค์๊ฒ ๋ฐฐํฌํ์ฌ ๊ฐ๊ฐ์ ๋ ธ๋๊ฐ S3CMD๋ฅผ ์ด์ฉํ์ฌ ๋ค์ด๋ก๋ ํ๊ณ HDFS์ put 2014-06-17 11:26:14 | ์ฐ์์๋ |