隨筆-75  評論-193  文章-5  trackbacks-0

                  今天早上在網上看到了kettle發布了最新的版本,忽然想起最近其實做了不少工作應該是ETL工具的拿手好戲,趕緊下載下來看看,看是否能夠在實際的工作中應用起來。

                  順便講一下,為啥看到kettle會兩眼發光。

                  最近寫了好幾個小程序,用于從一個ftp去獲取數據,然后轉發至另一個ftp去,或者是從一個數據庫獲取數據然后保存至本地的數據庫中,使用的是jdk中的Timer實現的定時調度,本來也沒什么問題,連續運行幾個月都不會出錯。

                  可是最近網絡不是太好,周期性抽風,ping包時,每5分鐘大概會丟7-8個包,從而導致程序也會假死,過一段時間后就不正常干活了,估計是因為用了數據庫連接池的問題,要是每次發起數據庫連接可能就不會有問題了,偷懶也不想改了,因為網絡最終肯定是會修好的 :-) 但是想試試ETL工具,因為后面還有一些類似的東西要處理,不想寫代碼了,用別人的輪子感覺比較好,呵呵

                  首先下載了kettle的最新版,kettle3.1,解壓后即可運行,一般的開發人員稍微摸索一下,看看例子簡單的轉換還是會做的,今天小試了一把,有幾個注意點記下來。

          1. 使用資源庫(repository)登錄時,默認的用戶名和密碼是admin/admin
          2. 當job是存放在資源庫(一般資源庫都使用數據庫)中時,使用Kitchen.bat執行job時,需使用如下的命令行:
            Kitchen.bat /rep kettle /user admin /pass admin /job job名
          3. 當job沒有存放在資源庫而存放在文件系統時,使用Kitchen.bat執行job時,需使用如下的命令行:
            Kitchen.bat /norep /file user-transfer-job.kjb
          4. 可以使用命令行執行job后,就可以使用windows或linux的任務調度來定時執行任務了

                  在一開始使用命令行方式執行job時,總是報如下的錯誤,琢磨了好長時間總算整明白正確的方式了。

          Unexpected error during transformation metadata load
          No repository defined!

                  下一步準備按照實際情況定制Job,做好了再寫小結。

          posted on 2008-12-04 22:48 The Matrix 閱讀(10378) 評論(13)  編輯  收藏 所屬分類: Kettle

          評論:
          # re: Kettle初探 2008-12-18 17:11 | 吳悔
          不錯,想問一下

          Unexpected error during transformation metadata load
          No repository defined!

          這個問題你最后怎么解決的?  回復  更多評論
            
          # re: Kettle初探 2008-12-19 00:21 | The Matrix
          @吳悔
          一開始我是將Job和Transfomation都是存放在資源庫中的,然后使用Kitchen.bar執行時會報上述錯誤,后來登錄kettle時,選擇“不使用資源庫”,直接將Job和Transfomation保存在本地文件中,再使用Kitchen.bat執行就沒有問題了。  回復  更多評論
            
          # re: Kettle初探 2009-02-03 16:24 | chenzz
          您好:
          我近期要將數據庫由Db2移植到Oracle上。想用Kettle來做。遇到個問題:
          數據庫是的表很多,我怎么將DB2的表結構批量轉化為Oracle類型的。
            回復  更多評論
            
          # re: Kettle初探 2009-02-03 16:28 | The Matrix
          @chenzz
          DB2我沒有弄過,DB2應該可以導出標準的建表語句吧.........如果可以的話,就好辦了  回復  更多評論
            
          # re: Kettle初探 2009-05-13 20:41 | 初學者
          您好,能不能把源碼給我一份,我一直下不下來  回復  更多評論
            
          # re: Kettle初探 2009-05-13 20:41 | 初學者
          我的郵箱是lanseyouyu1998@163.com  回復  更多評論
            
          # re: Kettle初探 2009-08-14 18:42 | hpf1908
          我的job里面設置了最小日志,但是在用命令行調用kettle運行時還是基本日志,kitchen.bat有沒有日志參數,求解?  回復  更多評論
            
          # re: Kettle初探[未登錄] 2011-06-01 22:33 | 初學者
          不錯,非常感謝你的分享,我最近也開始弄這個  回復  更多評論
            
          # re: Kettle初探[未登錄] 2011-08-04 14:22 | lily
          謝謝啦,就是看了你這個blog,在kitchen.bat里面保存了命令,然后再任務調度,就OK啦。比自己摸索省了多少時間啊,再次表示感謝!  回復  更多評論
            
          # re: Kettle初探 2012-11-15 10:53 | jully_ir
          @chenzz
          用PowerDesigner來做很方便,就是數據要重新抽取。不知道我理解的是否對哦~  回復  更多評論
            
          # re: Kettle初探 2013-02-17 15:04 | beginner
          樓主試過用kettle創建和調用存儲過程嗎?我總是出錯,也不知道是什么問題。不確定kettle是否支持。  回復  更多評論
            
          # re: Kettle初探 2013-07-10 09:12 | wings
          @hpf1908
          /level Minimal 即可  回復  更多評論
            
          # re: Kettle初探[未登錄] 2014-01-15 09:04 | kevin
          @The Matrix

          難道用數據庫資源庫就不能解決這個問題嗎?
            回復  更多評論
            
          主站蜘蛛池模板: 区。| 新民市| 利川市| 和硕县| 朔州市| 北碚区| 仪征市| 石渠县| 博湖县| 山阴县| 延边| 中阳县| 达孜县| 南京市| 湖南省| 衡山县| 蓝山县| 思茅市| 郁南县| 石台县| 安阳县| 衢州市| 南投市| 衡水市| 丹棱县| 郧西县| 桐乡市| 永登县| 百色市| 和政县| 海安县| 桂东县| 乐业县| 大姚县| 聂拉木县| 砀山县| 新邵县| 郸城县| 鲜城| 姜堰市| 崇文区|