因?yàn)楣窘谡辛藥讉€實(shí)習(xí)生，需要我來做一個關(guān)于Kettle的培訓(xùn)，準(zhǔn)備了一些培訓(xùn)的資料，一個ppt，用于培訓(xùn)的，一個數(shù)據(jù)庫備份和一個詳細(xì)的操作文檔，是一個小作業(yè)，不敢獨(dú)享，發(fā)出來給大家share，順便作為這個技術(shù)博客的頭彩，希望大家能夠多來關(guān)注。
如果大家不愿意看網(wǎng)頁版，可以下載相關(guān)文檔到本地研究：）
培訓(xùn)ppt在
這里
培訓(xùn)手冊在
這里
練習(xí)數(shù)據(jù)庫備份在
這里
練習(xí)的腳本文件在
這里
Kettle培訓(xùn)手冊
Etl介紹
ETL（Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程），對于金融IT來說，經(jīng)常會遇到大數(shù)據(jù)量的處理，轉(zhuǎn)換，遷移，所以了解并掌握一種etl工具的使用，必不可少。
Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。
kettle部署運(yùn)行
將kettle2.5.1文件夾拷貝到本地路徑，例如D盤根目錄。
雙擊運(yùn)行kettle文件夾下的spoon.bat文件，出現(xiàn)kettle歡迎界面：
稍等幾秒
選擇沒有資源庫，打開kettle主界面
創(chuàng)建transformation，job
點(diǎn)擊頁面左上角的
創(chuàng)建一個新的transformation，點(diǎn)擊
保存到本地路徑，例如保存到D:/etltest下，保存文件名為EtltestTrans，kettle默認(rèn)transformation文件保存后后綴名為ktr
點(diǎn)擊頁面左上角的
創(chuàng)建一個新的job，點(diǎn)擊
保存到本地路徑，例如保存到D:/etltest下，保存文件名為EtltestJob，kettle默認(rèn)job文件保存后后綴名為kjb
創(chuàng)建數(shù)據(jù)庫連接
在transformation頁面下，點(diǎn)擊左邊的【Main Tree】，雙擊【DB連接】，進(jìn)行數(shù)據(jù)庫連接配置。
Connection name自命名連接名稱
Connection type選擇需要連接的數(shù)據(jù)庫
Method of access選擇連接類型
Server host name寫入數(shù)據(jù)庫服務(wù)器的ip地址
Database name寫入數(shù)據(jù)庫名
Port number寫入端口號
Username寫入用戶名
Password寫入密碼
例如如下配置：
點(diǎn)擊【test】，如果出現(xiàn)如下提示則說明配置成功
點(diǎn)擊關(guān)閉，再點(diǎn)擊確定保存數(shù)據(jù)庫連接。
一個簡單的ktr例子
目標(biāo)：
從交易表（trade），帳戶表（account），客戶表（cust）抽數(shù)交易相關(guān)的所有信息，并判斷對公對私分別進(jìn)行處理，輸出到文本文件中。
操作步驟：
在EtltestTrans頁面下，點(diǎn)擊左側(cè)的【Core Objects】，點(diǎn)擊【Input】，選中【表輸入】，拖動到主窗口釋放鼠標(biāo)。
雙擊【表輸入】圖標(biāo)
數(shù)據(jù)庫連接選擇剛剛創(chuàng)建好的etltest數(shù)據(jù)庫連接，在主窗口寫入對應(yīng)的查詢語句
點(diǎn)擊確定完成。
點(diǎn)擊左側(cè)的【Lookup】，選中【數(shù)據(jù)庫查詢】，拖動到主窗口釋放鼠標(biāo)。
按住shift鍵，用鼠標(biāo)點(diǎn)中剛才創(chuàng)建的【表輸入】，拖動到【數(shù)據(jù)庫查詢】上，則建立了兩個環(huán)節(jié)之間的連接。
雙擊【數(shù)據(jù)庫查詢】圖標(biāo)
步驟名稱寫入account表查詢，數(shù)據(jù)庫連接選擇剛剛創(chuàng)建好的etltest數(shù)據(jù)庫連接，查詢的表寫入account，查詢所需的關(guān)鍵字中，表字段寫入acctno，比較操作符寫入”=”，字段1寫入acctno。
在查詢表返回的值里面寫入custno，確定完成。
同上，再創(chuàng)建一個數(shù)據(jù)庫查詢，命名為cust表查詢，查詢的表寫入cust，查詢所需的關(guān)鍵字寫入custno=custno，查詢表返回的值寫入custname，custid，custtype
點(diǎn)擊左側(cè)的【Transform】，選中【過濾記錄】，拖動到主窗口釋放鼠標(biāo)。
點(diǎn)擊左側(cè)的【Scripting】，選中兩個【Modified Java Script Value】，拖動到主窗口釋放鼠標(biāo)。分別雙擊打開，重命名為”對公類型修改”和”對私類型修改”。
同時，分別創(chuàng)建【過濾記錄】和【對公類型修改】，【對私類型修改】的連接。
雙擊【規(guī)律記錄】打開。
第一個<field>里面選擇custtype，點(diǎn)擊<value>，在Enter value里面寫入1，確定
在發(fā)送true數(shù)據(jù)給步驟里，選擇【對私類型修改】，在發(fā)送false數(shù)據(jù)給步驟里，選擇【對公類型修改】，確定保存。
雙擊【對公類型修改】，在里面寫入javascript腳本語句
在字段中寫入custtype_cn，類型選為string。確定。
同理，在【對私類型修改】中，在里面寫入javascript腳本語句
在字段中寫入custtype_cn，類型選為string。確定。
點(diǎn)擊左側(cè)的【Transform】，選中兩個【增加常量】，拖動到主窗口釋放鼠標(biāo)。分別雙擊打開，重命名為”增加對公常量”和”增加對私常量”。
分別建立【對公類型修改】和【對私類型修改】與【增加對公常量】和【增加對私常量】的連接
雙擊【增加對公常量】，名稱寫入value，類型選擇string，值寫入”這是一筆對公客戶發(fā)生的交易”，確定保存。
同理，雙擊【增加對私常量】，名稱寫入value，類型選擇string，值寫入”這是一筆對私客戶發(fā)生的交易”，確定保存。
點(diǎn)擊左側(cè)的【Output】，選中【文本文件輸出】，拖動到主窗口釋放鼠標(biāo)。
建立【增加對公常量】，【增加對私常量】和【文本文件輸出】的連接。
雙擊打開【文本文件輸出】，文件名稱寫入D:\etltest\etltest.txt
點(diǎn)擊內(nèi)容標(biāo)簽，根據(jù)情況進(jìn)行修改，例如
點(diǎn)擊字段標(biāo)簽
名稱依次寫入tradeid，acctno，amt，custno，custname，custid，custtype_cn，value，類型根據(jù)各個字段實(shí)際類型進(jìn)行選擇
確定保存
點(diǎn)擊
保存創(chuàng)建好的transformation。
點(diǎn)擊
運(yùn)行這個轉(zhuǎn)換。
點(diǎn)擊launch，開始運(yùn)行
當(dāng)所有狀態(tài)都變成已完成時，則轉(zhuǎn)換完成。
另一個簡單的ktr例子
目的：
將上一個ktr生成的文本導(dǎo)入到數(shù)據(jù)庫中。
操作步驟：
創(chuàng)建一個transformation，命名為EtltestTransfile2db.ktr，創(chuàng)建數(shù)據(jù)庫連接etltest，點(diǎn)擊【Input】，選中【文本文件輸入】，拖到主窗口，釋放鼠標(biāo)，雙擊打開
文件名稱里面寫入D:\etltest\etltest.txt
點(diǎn)擊內(nèi)容標(biāo)簽，分隔符寫入@@，將頭部的鉤去掉
點(diǎn)擊字段標(biāo)簽，名稱依次寫入tradeid，acctno，amt，custno，custname，custid，custtype_cn，value，類型根據(jù)各個字段實(shí)際類型進(jìn)行選擇
點(diǎn)擊【Transform】，選中【字段選擇】，拖到主窗口，釋放鼠標(biāo)
點(diǎn)擊【Output】，選中【表輸出】，拖到主窗口，釋放鼠標(biāo)
建立【文本文件輸入】和【字段選擇】與【字段選擇】和【表輸出】的連接
雙擊【表輸出】，目標(biāo)表中寫入trade_all，提交記錄數(shù)量寫成1，確定保存。
雙擊【字段選擇】，點(diǎn)擊 獲取選擇的字段，再點(diǎn)擊Edlt Mapping，點(diǎn)擊OK確定，編輯所有字段對應(yīng)關(guān)系，點(diǎn)確定。
點(diǎn)擊
運(yùn)行這個轉(zhuǎn)換。，則將上一個ktr中生成的文本，導(dǎo)入到數(shù)據(jù)庫當(dāng)中。
一個簡單的kjb例子
目的：
將上兩個transformation一起在同一個job里面調(diào)用執(zhí)行。
操作步驟：
在EtlscriptJob頁面，點(diǎn)擊【Core
Objects】，點(diǎn)擊【Job
entries】，選中【START】拖動到主窗口釋放鼠標(biāo)，再選中兩個【Transformation】，拖動到主窗口釋放鼠標(biāo)，建立【START】和
【Transformation】與【Transformation】之間的連接。
雙擊第一個【Transformation】，在Transformation filename中寫入D:\etltest\EtltestTrans.ktr，確定保存。
同時將另外一個【Transformation】，路徑指向D:\etltest\EtltestTransfile2db.ktr，保存。
點(diǎn)擊
保存創(chuàng)建好的job。
點(diǎn)擊
運(yùn)行這個轉(zhuǎn)換。
待所有任務(wù)都顯示成功，則為job調(diào)用transformation運(yùn)行成功。
