crontab μν
μμ£Ό μ¬μ©νμ§ μμμμΈμ§ μ¬μ©ν λλ§λ€ κ²μμ γ .γ νλ μνμ λ€μκ³Ό κ°μ΅λλ€. 0 4 * * * /home/airguy/cron_process/00.run.sh > /home/airguy/cron_process/logs/run_`date +\%Y\%m\%d_\%H\%M\%S`.log 2>&1 ν 2015-10-27 10:51:59 | μ°μμλ |
crontab μν
μμ£Ό μ¬μ©νμ§ μμμμΈμ§ μ¬μ©ν λλ§λ€ κ²μμ γ .γ νλ μνμ λ€μκ³Ό κ°μ΅λλ€. 0 4 * * * /home/airguy/cron_process/00.run.sh > /home/airguy/cron_process/logs/run_`date +\%Y\%m\%d_\%H\%M\%S`.log 2>&1 ν 2015-10-27 10:51:59 | μ°μμλ |
crontab μν
μμ£Ό μ¬μ©νμ§ μμμμΈμ§ μ¬μ©ν λλ§λ€ κ²μμ γ .γ νλ μνμ λ€μκ³Ό κ°μ΅λλ€. 0 4 * * * /home/airguy/cron_process/00.run.sh > /home/airguy/cron_process/logs/run_`date +\%Y\%m\%d_\%H\%M\%S`.log 2>&1 ν 2015-10-27 01:51:59 | μ°μμλ |
crontab μν
μμ£Ό μ¬μ©νμ§ μμμμΈμ§ μ¬μ©ν λλ§λ€ κ²μμ γ .γ νλ μνμ λ€μκ³Ό κ°μ΅λλ€. 0 4 * * * /home/airguy/cron_process/00.run.sh > /home/airguy/cron_process/logs/run_`date +\%Y\%m\%d_\%H\%M\%S`.log 2>&1 ν 2015-10-27 01:51:59 | μ°μμλ |
HIVE external ν
μ΄λΈ μμ±λ°©λ²
1. ꡬλΆμ λ° μ€λ°κΏμ λͺ μν μΈλΆ ν μ΄λΈμ μμ± CREATE EXTERNAL TABLE IF NOT EXISTS $TABLE ( f1 char(10), f2 char(8), f3 char(7) ) PARTITIONED BY (dt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 2 2015-08-18 11:03:15 | μ°μμλ |
HIVE external ν
μ΄λΈ μμ±λ°©λ²
1. ꡬλΆμ λ° μ€λ°κΏμ λͺ μν μΈλΆ ν μ΄λΈμ μμ± CREATE EXTERNAL TABLE IF NOT EXISTS $TABLE ( f1 char(10), f2 char(8), f3 char(7) ) PARTITIONED BY (dt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 2 2015-08-18 11:03:15 | μ°μμλ |
HIVE external ν
μ΄λΈ μμ±λ°©λ²
1. ꡬλΆμ λ° μ€λ°κΏμ λͺ μν μΈλΆ ν μ΄λΈμ μμ± CREATE EXTERNAL TABLE IF NOT EXISTS $TABLE ( f1 char(10), f2 char(8), f3 char(7) ) PARTITIONED BY (dt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 2 2015-08-18 02:03:15 | μ°μμλ |
HIVE external ν
μ΄λΈ μμ±λ°©λ²
1. ꡬλΆμ λ° μ€λ°κΏμ λͺ μν μΈλΆ ν μ΄λΈμ μμ± CREATE EXTERNAL TABLE IF NOT EXISTS $TABLE ( f1 char(10), f2 char(8), f3 char(7) ) PARTITIONED BY (dt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 2 2015-08-18 02:03:15 | μ°μμλ |
[HADOOP] HDFS μμ νμΌ μ½κΈ°
μ€λμ κ°λ¨νκ² HDFS μμ νμΌμ μ½μ΄μ€λ λ°©λ²μ ν¬μ€ν νκ² μ΅λλ€. ν°μ¬μ΄μ¦μ μ μμ¬μ΄μ¦λ₯Ό outer joinν κ²½μ° μ μμ¬μ΄μ¦μ λ°μ΄ν°λ₯Ό μ½μ΄λ€μ¬ λ©λͺ¨λ¦¬μ μ μ₯ν ν(HashMap λ±) μ΄κ²μ μ΄ 2015-06-10 10:46:15 | μ°μμλ |
[HADOOP] HDFS μμ νμΌ μ½κΈ°
μ€λμ κ°λ¨νκ² HDFS μμ νμΌμ μ½μ΄μ€λ λ°©λ²μ ν¬μ€ν νκ² μ΅λλ€. ν°μ¬μ΄μ¦μ μ μμ¬μ΄μ¦λ₯Ό outer joinν κ²½μ° μ μμ¬μ΄μ¦μ λ°μ΄ν°λ₯Ό μ½μ΄λ€μ¬ λ©λͺ¨λ¦¬μ μ μ₯ν ν(HashMap λ±) μ΄κ²μ μ΄ 2015-06-10 10:46:15 | μ°μμλ |
[HADOOP] HDFS μμ νμΌ μ½κΈ°
μ€λμ κ°λ¨νκ² HDFS μμ νμΌμ μ½μ΄μ€λ λ°©λ²μ ν¬μ€ν νκ² μ΅λλ€. ν°μ¬μ΄μ¦μ μ μμ¬μ΄μ¦λ₯Ό outer joinν κ²½μ° μ μμ¬μ΄μ¦μ λ°μ΄ν°λ₯Ό μ½μ΄λ€μ¬ λ©λͺ¨λ¦¬μ μ μ₯ν ν(HashMap λ±) μ΄κ²μ μ΄ 2015-06-10 01:46:15 | μ°μμλ |
[HADOOP] HDFS μμ νμΌ μ½κΈ°
μ€λμ κ°λ¨νκ² HDFS μμ νμΌμ μ½μ΄μ€λ λ°©λ²μ ν¬μ€ν νκ² μ΅λλ€. ν°μ¬μ΄μ¦μ μ μμ¬μ΄μ¦λ₯Ό outer joinν κ²½μ° μ μμ¬μ΄μ¦μ λ°μ΄ν°λ₯Ό μ½μ΄λ€μ¬ λ©λͺ¨λ¦¬μ μ μ₯ν ν(HashMap λ±) μ΄κ²μ μ΄ 2015-06-10 01:46:15 | μ°μμλ |
SPARK, ZEPPELINμ μ΄μ©ν λ¨Έμ λ¬λ (Decision Tree)
SPARKμ μ€μΉνμΌλ μ΄μ Mllibμ μ΄μ©ν κΈ°κ³νμ΅μ μλν΄ λ³΄κ² μ΅λλ€. μ¬μ©ν λ°μ΄ν°λ https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.zip λ‘, μ€νΈ/μ μ맀μΌμ ꡬλΆνκ³ κ° λ¨μ΄ 2015-05-20 13:17:40 | μ°μμλ |
SPARK, ZEPPELINμ μ΄μ©ν λ¨Έμ λ¬λ (Decision Tree)
SPARKμ μ€μΉνμΌλ μ΄μ Mllibμ μ΄μ©ν κΈ°κ³νμ΅μ μλν΄ λ³΄κ² μ΅λλ€. μ¬μ©ν λ°μ΄ν°λ https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.zip λ‘, μ€νΈ/μ μ맀μΌμ ꡬλΆνκ³ κ° λ¨μ΄ 2015-05-20 13:17:40 | μ°μμλ |
SPARK, ZEPPELINμ μ΄μ©ν λ¨Έμ λ¬λ (Decision Tree)
SPARKμ μ€μΉνμΌλ μ΄μ Mllibμ μ΄μ©ν κΈ°κ³νμ΅μ μλν΄ λ³΄κ² μ΅λλ€. μ¬μ©ν λ°μ΄ν°λ https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.zip λ‘, μ€νΈ/μ μ맀μΌμ ꡬλΆνκ³ κ° λ¨μ΄ 2015-05-20 04:17:40 | μ°μμλ |
SPARK, ZEPPELINμ μ΄μ©ν λ¨Έμ λ¬λ (Decision Tree)
SPARKμ μ€μΉνμΌλ μ΄μ Mllibμ μ΄μ©ν κΈ°κ³νμ΅μ μλν΄ λ³΄κ² μ΅λλ€. μ¬μ©ν λ°μ΄ν°λ https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.zip λ‘, μ€νΈ/μ μ맀μΌμ ꡬλΆνκ³ κ° λ¨μ΄ 2015-05-20 04:17:40 | μ°μμλ |
SPARK νλ ν¬μΈνΈ
μ£Όμ 리 μ£Όμ 리 λ©λͺ¨ν΄ λμ κ²μ΄λΌ μ λ¦¬κ° μλμ΄ μμ΅λλ€λ§ νμν κ² κ°μ μ¬λ €λμ΅λλ€. μΆν μ 리 νκ² μ΅λλ€. https://spark.apache.org/docs/latest/tuning.html https://www.safaribooksonline.com/library/view 2015-05-19 10:44:56 | μ°μμλ |
SPARK νλ ν¬μΈνΈ
μ£Όμ 리 μ£Όμ 리 λ©λͺ¨ν΄ λμ κ²μ΄λΌ μ λ¦¬κ° μλμ΄ μμ΅λλ€λ§ νμν κ² κ°μ μ¬λ €λμ΅λλ€. μΆν μ 리 νκ² μ΅λλ€. https://spark.apache.org/docs/latest/tuning.html https://www.safaribooksonline.com/library/view 2015-05-19 10:44:56 | μ°μμλ |
SPARK νλ ν¬μΈνΈ
μ£Όμ 리 μ£Όμ 리 λ©λͺ¨ν΄ λμ κ²μ΄λΌ μ λ¦¬κ° μλμ΄ μμ΅λλ€λ§ νμν κ² κ°μ μ¬λ €λμ΅λλ€. μΆν μ 리 νκ² μ΅λλ€. https://spark.apache.org/docs/latest/tuning.html https://www.safaribooksonline.com/library/view 2015-05-19 01:44:56 | μ°μμλ |
SPARK νλ ν¬μΈνΈ
μ£Όμ 리 μ£Όμ 리 λ©λͺ¨ν΄ λμ κ²μ΄λΌ μ λ¦¬κ° μλμ΄ μμ΅λλ€λ§ νμν κ² κ°μ μ¬λ €λμ΅λλ€. μΆν μ 리 νκ² μ΅λλ€. https://spark.apache.org/docs/latest/tuning.html https://www.safaribooksonline.com/library/view 2015-05-19 01:44:56 | μ°μμλ |