錯誤1：JA009: Unknown rpc kind in rpc headerRPC_WRITABLE
解決：如果采用hadoop2xx，oozie的war包打入了mr1系列的jar，去掉即可（就是拷貝hadoop相關包到libext里面的時候，把mapreduce1里面的jar拷貝進去了，查找帶mr1的jar包去掉即可）
錯誤2：java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.SqoopMain not found
解決：提交oozie任務的時候，未指定到sharelib下面的sqoop目錄下，如下設置即可解決
<property>
<name>oozie.libpath</name>
<value>hdfs://dnsa-201:9000/user/hadoop/share/lib/lib_20161202132230/sqoop</value>
</property>
錯誤3：mysql的問題，需要把$HADOOP_HOME/etc/hadoop/yarn里面的mysql驅動換成最新，即可解決常見的mysql問題
調試利器：
記得提交oozie job的時候，sqoop命令加入一行--verbose，那么所有的log以及錯誤詳細信息都會顯示在$HADOOP_HOME/logs/userlogs目錄下面，查找stdout即可定位到所有問題。
還有一個大坑問題，sqoop命令行里面 每一條命令后面如果跟參數，全部都需要換行，比如 -m 5 不能寫在一行，-m 5分成兩行寫 ，否則就是識別不了的命令，坑了半天~
查找不到hive命令，兩種方法，一種在$SQOOP_HOME/conf/sqoop-env.sh 里面添加hive_home或者指定HIVE_HOME
另一種直接在sqoop命令里面指定--hive-home $HIVE_HOME 即可，記得換行。
指定hive多分區的問題，需要修改sqoop源碼，修改TableDefWriter
posted on 2016-12-06 17:45
朔望魔刃 閱讀(1153)
評論(0) 編輯 收藏 所屬分類:
java