paulwong

          一個PIG腳本例子分析

          執行腳本:
          PIGGYBANK_PATH=$PIG_HOME/contrib/piggybank/java/piggybank.jar
          INPUT=pig/input/test-pig-full.txt
          OUTPUT=pig/output/test-pig-output-$(date  +%Y%m%d%H%M%S)
          PIGSCRIPT=analyst_status_logs.pig

          #analyst_500_404_month.pig
          #
          analyst_500_404_day.pig
          #
          analyst_404_percentage.pig
          #
          analyst_500_percentage.pig
          #
          analyst_unique_path.pig
          #
          analyst_user_logs.pig
          #
          analyst_status_logs.pig


          pig -p PIGGYBANK_PATH=$PIGGYBANK_PATH -p INPUT=$INPUT -p OUTPUT=$OUTPUT $PIGSCRIPT


          要分析的數據源,LOG 文件
          46.20.45.18 - - [25/Dec/2012:23:00:25 +0100] "GET / HTTP/1.0" 302 - "-" "Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)" "-" "-" 46.20.45.18 "" 11011AEC9542DB0983093A100E8733F8 0
          46.20.45.18 - - [25/Dec/2012:23:00:25 +0100] "GET /sign-in.jspx HTTP/1.0" 200 3926 "-" "Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)" "-" "-" 46.20.45.18 "" 11011AEC9542DB0983093A100E8733F8 0
          69.59.28.19 - - [25/Dec/2012:23:01:25 +0100] "GET / HTTP/1.0" 302 - "-" "Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)" "-" "-" 69.59.28.19 "" 36D80DE7FE52A2D89A8F53A012307B0A 15


          PIG腳本:
          --注冊JAR包,因為要用到DateExtractor
          register '$PIGGYBANK_PATH';

          --聲明一個短函數名
          DEFINE DATE_EXTRACT_MM 
          org.apache.pig.piggybank.evaluation.util.apachelogparser.DateExtractor('yyyy-MM');

          DEFINE DATE_EXTRACT_DD 
          org.apache.pig.piggybank.evaluation.util.apachelogparser.DateExtractor('yyyy-MM-dd');

          -- pig/input/test-pig-full.txt
          --把數據從變量所指的文件加載到PIG中,并定義數據列名,此時的數據集為數組(a,b,c)
          raw_logs = load '$INPUT' USING org.apache.pig.piggybank.storage.MyRegExLoader('^(\\S+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\d{4})\\] "(\\S+) (\\S+) (HTTP[^"]+)" (\\S+) (\\S+) "([^"]*)" "([^"]*)" "(\\S+)" "(\\S+)" (\\S+) "(.*)" (\\S+) (\\S+)')
          as (remoteAddr: chararray, 
          n2: chararray, 
          n3: chararray, 
          time: chararray, 
          method: chararray,
          path:chararray,
          protocol:chararray,
          status: int, 
          bytes_string: chararray, 
          referrer: chararray, 
          browser: chararray, 
          n10:chararray,
          remoteLogname: chararray, 
          remoteAddr12: chararray, 
          path2: chararray, 
          sessionid: chararray, 
          n15: chararray
          );

          --過濾數據
          filter_logs = FILTER raw_logs BY not (browser matches '.*pingdom.*');
          --item_logs = FOREACH raw_logs GENERATE browser;

          --percent 500 logs
          --重定義數據項,數據集只取2項status,month
          reitem_percent_500_logs = FOREACH filter_logs GENERATE status,DATE_EXTRACT_MM(time) as month;
          --分組數據集,此時的數據結構為MAP(a{(aa,bb,cc),(dd,ee,ff)},b{(bb,cc,dd),(ff,gg,hh)})
          group_month_percent_500_logs = GROUP reitem_percent_500_logs BY (month);
          --重定義分組數據集數據項,進行分組統計,此時要聯合分組數據集和原數據集統計
          final_month_500_logs = FOREACH group_month_percent_500_logs 
          {
              --對原數據集做count,因為是在foreachj里做count的,即使是對原數據集,也會自動會加month==group的條件
              --從這里可以看出對于group里的數據集,完全沒用到
              --這時是以每一行為單位的,統計MAP中的KEY-a對應的數組在原數據集中的個數
              total = COUNT(reitem_percent_500_logs);
              --對原數據集做filter,因為是在foreachj里做count的,即使是對原數據集,也會自動會加month==group的條件
              --重新過濾一下原數據集,得到status==500,month==group的數據集
              t = filter reitem_percent_500_logs by status== 500; --create a bag which contains only T values
              --重定義數據項,取group,統計結果
              generate flatten(group) as col1, 100*(double)COUNT(t)/(double)total;
          }
          STORE final_month_500_logs into '$OUTPUT' using PigStorage(',');

          posted on 2013-04-13 15:21 paulwong 閱讀(2307) 評論(0)  編輯  收藏 所屬分類: 分布式HADOOP云計算PIG

          主站蜘蛛池模板: 东莞市| 西宁市| 防城港市| 青岛市| 海林市| 松潘县| 南漳县| 通榆县| 长子县| 广昌县| 尼玛县| 迭部县| 合肥市| 南平市| 洪湖市| 名山县| 苗栗市| 汽车| 肃南| 葵青区| 井陉县| 富川| 四川省| 白水县| 双流县| 金乡县| 辉县市| 宣化县| 民勤县| 绵竹市| 新沂市| 裕民县| 上高县| 北辰区| 平南县| 宜君县| 农安县| 平舆县| 安西县| 塔城市| 蛟河市|