天網、hivesql開發小總結
天網dataX節點可“靈活配置點”:應用庫《——》hdfs上的時候是可以進行較靈活的配置(字段順序調整、字段數目不一致)即此處是一個非常靈活的連接點,具體使用方式咨詢(數據平臺)或者查看預發節點209050天網節點父子依賴關系顯示不全:是由于在子節點上線前父節點不存在造成的,這個可以由數據平臺那邊的童鞋的發布信息截圖中獲得,parentNode為空的話即說明缺少依賴關系,如果已經上線的話就通過重新編輯下子節點,保存然后發布最新的依賴關系即可
預發運行ok,但是天網始終跑不通且無明確錯誤信息時需要查當前job_id的詳細錯誤即可(這時候比較大的可能是dataX程序的location位置不正確)
Hivesql問題
在開發機運行時容易出現error in load data to ‘hdfs地址’,通用的解決辦法是到預發上刪除掉這個表,同時也刪除本機上的表,再重建一下
剩下的就是hivesql對標準Sql的支持問題了,這個主要是經驗,沒有通用教程;hivesql排序、查詢、插入都和標準sql略有不同的
posted on 2011-11-03 13:52 doctor 閱讀(600) 評論(0) 編輯 收藏 所屬分類: 工作筆記