Data & Execution Lineage in HADOOP/HIVE
๋ง์ ๊ตฌ์ฑ์๋ค์ด ์ฌ์ฉํ๋ ๋๊ท๋ชจ ํ๋ก ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ ๊ด์ฅํ๊ณ ๋ ์ด๊ณณ์์ ๊ตฌ๋๋๋ ์๋ง์ ์์ ๋ค์ ๊ฐ๋ฐ/๊ด๋ฆฌํ๋ ์ ๋ฌด๋ฅผ ์ํํ๋ค ๋ณด๋ ๋ฐ์ดํฐ์ ํ๋ฆ๊ณผ ์ฌ์ฉํจํด ๋ฑ์ ํ์ธ๊ฐ 2016-04-27 13:22:48 | ์ฐ์์๋ |
Data & Execution Lineage in HADOOP/HIVE
๋ง์ ๊ตฌ์ฑ์๋ค์ด ์ฌ์ฉํ๋ ๋๊ท๋ชจ ํ๋ก ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ ๊ด์ฅํ๊ณ ๋ ์ด๊ณณ์์ ๊ตฌ๋๋๋ ์๋ง์ ์์ ๋ค์ ๊ฐ๋ฐ/๊ด๋ฆฌํ๋ ์ ๋ฌด๋ฅผ ์ํํ๋ค ๋ณด๋ ๋ฐ์ดํฐ์ ํ๋ฆ๊ณผ ์ฌ์ฉํจํด ๋ฑ์ ํ์ธ๊ฐ 2016-04-27 13:22:48 | ์ฐ์์๋ |
Data & Execution Lineage in HADOOP/HIVE
๋ง์ ๊ตฌ์ฑ์๋ค์ด ์ฌ์ฉํ๋ ๋๊ท๋ชจ ํ๋ก ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ ๊ด์ฅํ๊ณ ๋ ์ด๊ณณ์์ ๊ตฌ๋๋๋ ์๋ง์ ์์ ๋ค์ ๊ฐ๋ฐ/๊ด๋ฆฌํ๋ ์ ๋ฌด๋ฅผ ์ํํ๋ค ๋ณด๋ ๋ฐ์ดํฐ์ ํ๋ฆ๊ณผ ์ฌ์ฉํจํด ๋ฑ์ ํ์ธ๊ฐ 2016-04-27 04:22:48 | ์ฐ์์๋ |
Data & Execution Lineage in HADOOP/HIVE
๋ง์ ๊ตฌ์ฑ์๋ค์ด ์ฌ์ฉํ๋ ๋๊ท๋ชจ ํ๋ก ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ ๊ด์ฅํ๊ณ ๋ ์ด๊ณณ์์ ๊ตฌ๋๋๋ ์๋ง์ ์์ ๋ค์ ๊ฐ๋ฐ/๊ด๋ฆฌํ๋ ์ ๋ฌด๋ฅผ ์ํํ๋ค ๋ณด๋ ๋ฐ์ดํฐ์ ํ๋ฆ๊ณผ ์ฌ์ฉํจํด ๋ฑ์ ํ์ธ๊ฐ 2016-04-27 04:22:48 | ์ฐ์์๋ |
OOZIE ๋ณ๋ ฌ์์
(fork) ๋ฐ ๋๊ธฐ(join) ๊ทธ๋ฆฌ๊ณ ๊ฒฐ๊ณผ๋ถ๊ธฐ ํ๊ธฐ
MR์ ์ต๋ ๋จ์ ์ด ์๋ต์ฑ์ด๋ผ๊ณ ์๊ฐํ๋๋ฐ oozie๋ MR์ ์ด์ฉํ์ฌ ์์ ์ ํธ์ถํ๊ธฐ ๋๋ฌธ์ ์์ ์ ์์ฐจ์ ์ผ๋ก ๋ฐฐ์ดํ๋ค๋ฉด ๊ฐ๋จํ ์์ ๋ ๊ต์ฅํ ์ํ์๊ฐ์ ์์ํ๊ฒ ๋ฉ๋๋ค. ์ด๋ด๊ฒฝ์ฐ fork 2015-12-24 17:08:41 | ์ฐ์์๋ |
OOZIE ๋ณ๋ ฌ์์
(fork) ๋ฐ ๋๊ธฐ(join) ๊ทธ๋ฆฌ๊ณ ๊ฒฐ๊ณผ๋ถ๊ธฐ ํ๊ธฐ
MR์ ์ต๋ ๋จ์ ์ด ์๋ต์ฑ์ด๋ผ๊ณ ์๊ฐํ๋๋ฐ oozie๋ MR์ ์ด์ฉํ์ฌ ์์ ์ ํธ์ถํ๊ธฐ ๋๋ฌธ์ ์์ ์ ์์ฐจ์ ์ผ๋ก ๋ฐฐ์ดํ๋ค๋ฉด ๊ฐ๋จํ ์์ ๋ ๊ต์ฅํ ์ํ์๊ฐ์ ์์ํ๊ฒ ๋ฉ๋๋ค. ์ด๋ด๊ฒฝ์ฐ fork 2015-12-24 17:08:41 | ์ฐ์์๋ |
OOZIE ๋ณ๋ ฌ์์
(fork) ๋ฐ ๋๊ธฐ(join) ๊ทธ๋ฆฌ๊ณ ๊ฒฐ๊ณผ๋ถ๊ธฐ ํ๊ธฐ
MR์ ์ต๋ ๋จ์ ์ด ์๋ต์ฑ์ด๋ผ๊ณ ์๊ฐํ๋๋ฐ oozie๋ MR์ ์ด์ฉํ์ฌ ์์ ์ ํธ์ถํ๊ธฐ ๋๋ฌธ์ ์์ ์ ์์ฐจ์ ์ผ๋ก ๋ฐฐ์ดํ๋ค๋ฉด ๊ฐ๋จํ ์์ ๋ ๊ต์ฅํ ์ํ์๊ฐ์ ์์ํ๊ฒ ๋ฉ๋๋ค. ์ด๋ด๊ฒฝ์ฐ fork 2015-12-24 08:08:41 | ์ฐ์์๋ |
OOZIE ๋ณ๋ ฌ์์
(fork) ๋ฐ ๋๊ธฐ(join) ๊ทธ๋ฆฌ๊ณ ๊ฒฐ๊ณผ๋ถ๊ธฐ ํ๊ธฐ
MR์ ์ต๋ ๋จ์ ์ด ์๋ต์ฑ์ด๋ผ๊ณ ์๊ฐํ๋๋ฐ oozie๋ MR์ ์ด์ฉํ์ฌ ์์ ์ ํธ์ถํ๊ธฐ ๋๋ฌธ์ ์์ ์ ์์ฐจ์ ์ผ๋ก ๋ฐฐ์ดํ๋ค๋ฉด ๊ฐ๋จํ ์์ ๋ ๊ต์ฅํ ์ํ์๊ฐ์ ์์ํ๊ฒ ๋ฉ๋๋ค. ์ด๋ด๊ฒฝ์ฐ fork 2015-12-24 08:08:41 | ์ฐ์์๋ |
OOZIE shell action์์ streaming or hadoop mr ๋๋ฆฌ๊ธฐ
์ค์ ๋ฐ์ดํฐ๋ฅผ ํธ๋ค๋ง ํ๋ ์์ ์ ๋ณด๋ฉด ์์คํฌ๋ฆฝํธ action, MR action, Hive action ๋ฑ์ผ๋ก ํ์ฐํ๊ฒ ๊ตฌ๋ถ ์ง์ ์ ์๋ ์ ๋งคํ ๊ณผ์ ๋ค์ด ์์ต๋๋ค. ์๋ฅผ๋ค์ด "๋ค๋ฅธ ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ distcpํด์ 2015-11-25 14:27:40 | ์ฐ์์๋ |
OOZIE shell action์์ streaming or hadoop mr ๋๋ฆฌ๊ธฐ
์ค์ ๋ฐ์ดํฐ๋ฅผ ํธ๋ค๋ง ํ๋ ์์ ์ ๋ณด๋ฉด ์์คํฌ๋ฆฝํธ action, MR action, Hive action ๋ฑ์ผ๋ก ํ์ฐํ๊ฒ ๊ตฌ๋ถ ์ง์ ์ ์๋ ์ ๋งคํ ๊ณผ์ ๋ค์ด ์์ต๋๋ค. ์๋ฅผ๋ค์ด "๋ค๋ฅธ ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ distcpํด์ 2015-11-25 14:27:40 | ์ฐ์์๋ |
OOZIE shell action์์ streaming or hadoop mr ๋๋ฆฌ๊ธฐ
์ค์ ๋ฐ์ดํฐ๋ฅผ ํธ๋ค๋ง ํ๋ ์์ ์ ๋ณด๋ฉด ์์คํฌ๋ฆฝํธ action, MR action, Hive action ๋ฑ์ผ๋ก ํ์ฐํ๊ฒ ๊ตฌ๋ถ ์ง์ ์ ์๋ ์ ๋งคํ ๊ณผ์ ๋ค์ด ์์ต๋๋ค. ์๋ฅผ๋ค์ด "๋ค๋ฅธ ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ distcpํด์ 2015-11-25 05:27:40 | ์ฐ์์๋ |
OOZIE shell action์์ streaming or hadoop mr ๋๋ฆฌ๊ธฐ
์ค์ ๋ฐ์ดํฐ๋ฅผ ํธ๋ค๋ง ํ๋ ์์ ์ ๋ณด๋ฉด ์์คํฌ๋ฆฝํธ action, MR action, Hive action ๋ฑ์ผ๋ก ํ์ฐํ๊ฒ ๊ตฌ๋ถ ์ง์ ์ ์๋ ์ ๋งคํ ๊ณผ์ ๋ค์ด ์์ต๋๋ค. ์๋ฅผ๋ค์ด "๋ค๋ฅธ ํด๋ฌ์คํฐ์ ๋ฐ์ดํฐ๋ฅผ distcpํด์ 2015-11-25 05:27:40 | ์ฐ์์๋ |
Z file์ hadoop์์ ์ฝ์ด๋ณด์
์ ๋์ค ์์ ์ ํ ์ ๋ฐฑ์ ์ฉ์ผ๋ก ์ฌ์ฉ๋๋ค๋ Z์์ถ ํ์ผ์ ์ต๊ทผ ์ด์งํ ํ์ฌ์์ ์ฒ์ ์ ํด๋ดค์ต๋๋ค. ๋ญ zcat์ผ๋ก ๋ณด์ฌ์ง๊ธธ๋ TextInputFormat์ด ์์์ ์ฝ์ด์ฃผ๊ฒ ์ง ํ๋ฉฐ ๋๋ ค๋ฐ๊ณ ์์ ์ ๊ตฌ๋ํ 2015-11-24 10:16:27 | ์ฐ์์๋ |
Z file์ hadoop์์ ์ฝ์ด๋ณด์
์ ๋์ค ์์ ์ ํ ์ ๋ฐฑ์ ์ฉ์ผ๋ก ์ฌ์ฉ๋๋ค๋ Z์์ถ ํ์ผ์ ์ต๊ทผ ์ด์งํ ํ์ฌ์์ ์ฒ์ ์ ํด๋ดค์ต๋๋ค. ๋ญ zcat์ผ๋ก ๋ณด์ฌ์ง๊ธธ๋ TextInputFormat์ด ์์์ ์ฝ์ด์ฃผ๊ฒ ์ง ํ๋ฉฐ ๋๋ ค๋ฐ๊ณ ์์ ์ ๊ตฌ๋ํ 2015-11-24 10:16:27 | ์ฐ์์๋ |
Z file์ hadoop์์ ์ฝ์ด๋ณด์
์ ๋์ค ์์ ์ ํ ์ ๋ฐฑ์ ์ฉ์ผ๋ก ์ฌ์ฉ๋๋ค๋ Z์์ถ ํ์ผ์ ์ต๊ทผ ์ด์งํ ํ์ฌ์์ ์ฒ์ ์ ํด๋ดค์ต๋๋ค. ๋ญ zcat์ผ๋ก ๋ณด์ฌ์ง๊ธธ๋ TextInputFormat์ด ์์์ ์ฝ์ด์ฃผ๊ฒ ์ง ํ๋ฉฐ ๋๋ ค๋ฐ๊ณ ์์ ์ ๊ตฌ๋ํ 2015-11-24 01:16:27 | ์ฐ์์๋ |
Z file์ hadoop์์ ์ฝ์ด๋ณด์
์ ๋์ค ์์ ์ ํ ์ ๋ฐฑ์ ์ฉ์ผ๋ก ์ฌ์ฉ๋๋ค๋ Z์์ถ ํ์ผ์ ์ต๊ทผ ์ด์งํ ํ์ฌ์์ ์ฒ์ ์ ํด๋ดค์ต๋๋ค. ๋ญ zcat์ผ๋ก ๋ณด์ฌ์ง๊ธธ๋ TextInputFormat์ด ์์์ ์ฝ์ด์ฃผ๊ฒ ์ง ํ๋ฉฐ ๋๋ ค๋ฐ๊ณ ์์ ์ ๊ตฌ๋ํ 2015-11-24 01:16:27 | ์ฐ์์๋ |
FTP ์คํฌ๋ฆฝํธ
FTP์ ๋ง์ ํ์ผ์ ์ฌ๋ ค์ผ ํ๋ ์ํฉ์ด ์๊ฒจ ๊ธํ๊ฒ ๋ง๋ค์ด ๋ดค์ต๋๋ค. ์ต์ ์ค i๋ prompt๋ฅผ ๋ฌด์ํด๋ผ n์ auto-login, v๋ verbose ์ ๋๋ค. #!/bin/sh PWD=$(cd `dirname $0` ; pwd) WORK_DATE=$1 if [ -z "$WORK_DATE" ] ; t 2015-10-29 16:21:54 | ์ฐ์์๋ |
FTP ์คํฌ๋ฆฝํธ
FTP์ ๋ง์ ํ์ผ์ ์ฌ๋ ค์ผ ํ๋ ์ํฉ์ด ์๊ฒจ ๊ธํ๊ฒ ๋ง๋ค์ด ๋ดค์ต๋๋ค. ์ต์ ์ค i๋ prompt๋ฅผ ๋ฌด์ํด๋ผ n์ auto-login, v๋ verbose ์ ๋๋ค. #!/bin/sh PWD=$(cd `dirname $0` ; pwd) WORK_DATE=$1 if [ -z "$WORK_DATE" ] ; t 2015-10-29 16:21:54 | ์ฐ์์๋ |
FTP ์คํฌ๋ฆฝํธ
FTP์ ๋ง์ ํ์ผ์ ์ฌ๋ ค์ผ ํ๋ ์ํฉ์ด ์๊ฒจ ๊ธํ๊ฒ ๋ง๋ค์ด ๋ดค์ต๋๋ค. ์ต์ ์ค i๋ prompt๋ฅผ ๋ฌด์ํด๋ผ n์ auto-login, v๋ verbose ์ ๋๋ค. #!/bin/sh PWD=$(cd `dirname $0` ; pwd) WORK_DATE=$1 if [ -z "$WORK_DATE" ] ; t 2015-10-29 07:21:54 | ์ฐ์์๋ |
FTP ์คํฌ๋ฆฝํธ
FTP์ ๋ง์ ํ์ผ์ ์ฌ๋ ค์ผ ํ๋ ์ํฉ์ด ์๊ฒจ ๊ธํ๊ฒ ๋ง๋ค์ด ๋ดค์ต๋๋ค. ์ต์ ์ค i๋ prompt๋ฅผ ๋ฌด์ํด๋ผ n์ auto-login, v๋ verbose ์ ๋๋ค. #!/bin/sh PWD=$(cd `dirname $0` ; pwd) WORK_DATE=$1 if [ -z "$WORK_DATE" ] ; t 2015-10-29 07:21:54 | ์ฐ์์๋ |