動若狡兔,靜如處子

          by doctor

          統計

          留言簿

          閱讀排行榜

          評論排行榜

          天網、hivesql開發小總結

                天網dataX節點可“靈活配置點”:應用庫《——》hdfs上的時候是可以進行較靈活的配置(字段順序調整、字段數目不一致)即此處是一個非常靈活的連接點,具體使用方式咨詢(數據平臺)或者查看預發節點209050
               天網節點父子依賴關系顯示不全:是由于在子節點上線前父節點不存在造成的,這個可以由數據平臺那邊的童鞋的發布信息截圖中獲得,parentNode為空的話即說明缺少依賴關系,如果已經上線的話就通過重新編輯下子節點,保存然后發布最新的依賴關系即可
               預發運行ok,但是天網始終跑不通且無明確錯誤信息時需要查當前job_id的詳細錯誤即可(這時候比較大的可能是dataX程序的location位置不正確)
               Hivesql問題
               在開發機運行時容易出現error in load data to ‘hdfs地址’,通用的解決辦法是到預發上刪除掉這個表,同時也刪除本機上的表,再重建一下
               剩下的就是hivesql對標準Sql的支持問題了,這個主要是經驗,沒有通用教程;hivesql排序、查詢、插入都和標準sql略有不同的
           

          posted on 2011-11-03 13:52 doctor 閱讀(600) 評論(0)  編輯  收藏 所屬分類: 工作筆記

          主站蜘蛛池模板: 乌兰浩特市| 嘉定区| 金沙县| 外汇| 琼中| 五指山市| 蚌埠市| 将乐县| 民勤县| 河津市| 平舆县| 鹤山市| 格尔木市| 嫩江县| 石渠县| 化隆| 崇文区| 双鸭山市| 泗洪县| 宁国市| 于都县| 望江县| 怀宁县| 凌海市| 梅河口市| 阜平县| 克东县| 大港区| 罗甸县| 天柱县| 虞城县| 承德县| 遂宁市| 辽宁省| 谢通门县| 山阴县| 博罗县| 娱乐| 苏尼特左旗| 班玛县| 宁德市|