筆記

          way

          Hive2.1源碼分析(一)啟動腳本

          最近在網上看到的相關材料都比較陳舊,也太簡略,參看了一下其他人的內容,針對Hive2.1.1做點分享:
          1)下載apache-hive-2.1.1-bin.tar.gz

          2)解壓縮,下面的命令行如啟動報錯,請自行查略Hive啟動配置

          3)啟動hiveserver2 (非必須,使用jdbc訪問的時候才使用)
          bin目錄下
          hive --service hiveserver2 -p10001來啟動hiveserver2 服務(默認為10000端口)
          nohup hive --service hiverserver2 -p10001可以在后臺跑
          4)hive腳本運行流程
          bin目錄下,使用命令方法為:
          ./hive <parameters> --service serviceName <service parameters>
          舉例:hive --debug :
             查看bin/hive文件
          流程中會判斷$1=‘--debug’則$DEBUG=‘--debug’
           
          if [ "$DEBUG" ]; then
            if [ "$HELP" ]; then //如還有--help,就會執行debug_help方法。
              debug_help
              exit 0
            else
              get_debug_params "$DEBUG"
              export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS $HIVE_MAIN_CLIENT_DEBUG_OPTS"http://設置HIVE_MAIN_CLIENT_DEBUG_OPTS的參數中加入debug相應參數
            fi
          fi
          if [ "$SERVICE" = "" ] ; then
            if [ "$HELP" = "_help" ] ; then
              SERVICE="help"
            else
              SERVICE="cli"     //默認賦值cli
            fi
          fi
          這個shell腳本很多變量應該是在其他sh文件中定義,其中$SERVICE_LIST就是其他很多sh文件的最開始形成的:export SERVICE_LIST="${SERVICE_LIST}${THISSERVICE} "
          hive腳本最后的$TORUN "$@" ,默認情況下TORUN其實就是cli,即執行/ext/cli.sh腳本,該腳本中主要是調用/ext/util/execHiveCmd.sh 來執行最后的CliDriver。
           【shell腳本中的$*,$@和$#
          舉例說:
          腳本名稱叫test.sh 入參三個: 1 2 3
          運行test.sh 1 2 3后
          $*為"1 2 3"(一起被引號包住)
          $@為"1" "2" "3"(分別被包住)
          $#為3(參數數量)
          即exec $HADOOP jar ${HIVE_LIB}/$JAR $CLASS $HIVE_OPTS "$@" //1
          其中:
          $HADOOP=$HADOOP_HOME/bin/hadoop 【hive腳本中定義HADOOP=$HADOOP_HOME/bin/hadoop】
          $CLASS=org.apache.hadoop.hive.cli.CliDriver【傳入的第一個參數,在cli.sh中有定義】
          hadoop腳本(2.7.3為例)中最終會執行:
          # Always respect HADOOP_OPTS and HADOOP_CLIENT_OPTS
              HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
              #make sure security appender is turned off
              HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,NullAppender}"
           
              export CLASSPATH=$CLASSPATH
              exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@" //2
          hive的debug參數就是在啟動hive腳本時放到HADOOP_OPTS中的
          1和2處結合可得到最終的運行命令,查看一下運行結果:ps -ef|grep CliDriver

            /usr/java/jdk1.8.0_101/bin/java -Xmx256m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=.. -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=.. -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,console -Djava.library.path=.. -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx512m -Dproc_hivecli -XX:+UseParallelGC -agentlib:jdwp=transport=dt_socket,server=y,address=8000,suspend=-Dlog4j.configurationFile=hive-log4j2.properties -Djava.util.logging.config.file=..
            
          -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /yuxh/app/apache-hive-2.*/lib/hive-cli-2.*.jar org.apache.hadoop.hive.cli.CliDriver

          posted on 2017-03-29 16:01 yuxh 閱讀(1596) 評論(0)  編輯  收藏 所屬分類: 大數據


          只有注冊用戶登錄后才能發表評論。


          網站導航:
           

          導航

          <2017年3月>
          2627281234
          567891011
          12131415161718
          19202122232425
          2627282930311
          2345678

          統計

          常用鏈接

          留言簿

          隨筆分類

          隨筆檔案

          收藏夾

          博客

          搜索

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 腾冲县| 巧家县| 和田市| 霍邱县| 麻城市| 宜都市| 大冶市| 武宣县| 客服| 嫩江县| 循化| 菏泽市| 新田县| 泰顺县| 上蔡县| 肥城市| 云安县| 石门县| 射阳县| 泰顺县| 连山| 琼结县| 宜阳县| 阜城县| 桃园县| 小金县| 长汀县| 丘北县| 茌平县| 临夏市| 大悟县| 清流县| 图片| 无锡市| 安多县| 虹口区| 日照市| 阳信县| 监利县| 平乐县| 靖西县|