動若狡兔,靜如處子

          by doctor

          統計

          留言簿

          閱讀排行榜

          評論排行榜

          天網、hivesql開發小總結

                天網dataX節點可“靈活配置點”:應用庫《——》hdfs上的時候是可以進行較靈活的配置(字段順序調整、字段數目不一致)即此處是一個非常靈活的連接點,具體使用方式咨詢(數據平臺)或者查看預發節點209050
               天網節點父子依賴關系顯示不全:是由于在子節點上線前父節點不存在造成的,這個可以由數據平臺那邊的童鞋的發布信息截圖中獲得,parentNode為空的話即說明缺少依賴關系,如果已經上線的話就通過重新編輯下子節點,保存然后發布最新的依賴關系即可
               預發運行ok,但是天網始終跑不通且無明確錯誤信息時需要查當前job_id的詳細錯誤即可(這時候比較大的可能是dataX程序的location位置不正確)
               Hivesql問題
               在開發機運行時容易出現error in load data to ‘hdfs地址’,通用的解決辦法是到預發上刪除掉這個表,同時也刪除本機上的表,再重建一下
               剩下的就是hivesql對標準Sql的支持問題了,這個主要是經驗,沒有通用教程;hivesql排序、查詢、插入都和標準sql略有不同的
           

          posted on 2011-11-03 13:52 doctor 閱讀(601) 評論(0)  編輯  收藏 所屬分類: 工作筆記

          主站蜘蛛池模板: 天津市| 佛冈县| 牙克石市| 大英县| 色达县| 晋城| 城步| 丰城市| 通许县| 阿尔山市| 长葛市| 彭山县| 岫岩| 山西省| 民县| 北碚区| 纳雍县| 嵩明县| 通江县| 神农架林区| 和田县| 澄江县| 苏尼特左旗| 长乐市| 平罗县| 长垣县| 双辽市| 青海省| 青神县| 肥乡县| 鄄城县| 巴马| 喀喇沁旗| 宜宾县| 波密县| 准格尔旗| 新干县| 涪陵区| 惠水县| 韩城市| 塔城市|