商業智能平臺研究 (十) ETL 選型
ETL (Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程)作為BI/DW（Business Intelligence）的核心和靈魂，能夠按照統一的規則集成并提高數據的價值，是負責完成數據從數據源向目標數據倉庫轉化的過程，是實施數據倉庫的重要步驟。如果說數據倉庫的模型設計是一座大廈的設計藍圖，數據是磚瓦的話，那么ETL就是建設大廈的過程。在整個項目中最難部分是用戶需求分析和模型設計，而ETL規則設計和實施則是工作量最大的，約占整個項目的60%～80%，這是國內外從眾多實踐中得到的普遍共識。
ETL工具從廠商來分為兩種,一種是數據庫廠商自帶的ETL工具,Oracle warehouse builder 就是這種,另外一種是第三方工具提供商.開源世界也有一大票的ETL工具,功能各異,強弱不一,你可以從一下地址找到開源ETL工具的列表 http://www.manageability.org/blog/stuff/open-source-etl/view , 提醒一句,選用工具的時候要慎重,真的,千萬要慎重,不管你是選用商業的ETL工具(一般比較貴),還是開源的工具,都要在你充分了解產品的特性才去選擇,千萬不要聽某某人說什么這個工具好,就購買了那個工具,一定要自己了解產品.
開源的ETL工具的列表 (排名是亂排的)
kettle http://kettle.pentaho.org/ ,pentaho官方的ETL工具,是一個metadata-driven 的ETL工具,不需要自己寫code .
talend http://www.talend.com/ talend是talend自己公司的產品,宣傳的是全功能的Data Integration 解決方案,基于eclipse 平臺,包括很多的模塊來實現商業流程建模,數據流程建模,最后輸出的是perl 和 Java code
jasperETL http://www.jaspersoft.com/ JasperETL是基于talend的平臺,不太清楚有什么區別,jaspersoft開發的ETL產品.
Octopus http://www.enhydra.org/tech/octopus/index.html octopuc是enhydra 的一個ETL工具,enhydra是一個產品跨度非常大的開源站點,它有個開源的Workflow ,Shark ,pentaho就是使用的這個Workflow ,這個組織從workflow 到application server , 從ETL工具到application framework ,還有一些其他的中間件,octopus非常的原始,支持任何的JDBC數據源,用XML語言來定義的.也支持JDBC-DOBC ,和excel 和 access ,csv-files, XML files ,用Ant 和 JUnit 來創建表和測試.
CloverETL http://cloveretl.berlios.de/ CloverETL是提供給你一組API,用XML來定義ETL過程,同樣支持JDBC數據源, CloverETL是開源的,但是它是沒有圖形界面的,它提供一個有圖形界面的CloverGUI 來進行ETL的圖形化開發過程,但是不是開源的,需要購買商業許可證.
KETL http://www.ketl.org/ 聽說是幾個前IBM員工做出來的ETL產品,
另外還有很多.不一一寫介紹了,只列個表吧,
Joost http://joost.sourceforge.net/ 最近有個web2.0 網站也叫Joost,名字相同而已.
Xineo http://software.xineo.net/xil.jspx
BabelDoc http://sourceforge.net/projects/babeldoc
CB2XML http://sourceforge.net/projects/cb2xml
mec-eagle http://sourceforge.net/projects/mec-eagle/
Transmorpher http://transmorpher.inrialpes.fr/
XPipe http://xpipe.sourceforge.net/Articles/Miscellaneous/fog0000000018.html
DataSift http://www.datasift.org/
Xephyrus Flume http://www.xephyrus.com/flume/flume-intro.Prlx
Smallx https://smallx.dev.java.net/
Nux http://dsd.lbl.gov/nux/index.html
Netflux http://www.netflux.org/
OpenDigger https://opendigger.dev.java.net/
ServingXML http://servingxml.sourceforge.net/
Scriptella http://scriptella.javaforge.com/
ETL Integrator http://www.glassfishwiki.org/jbiwiki/Wiki.jsp?page=ETLSE
Jitterbit http://www.jitterbit.com/
Apatar http://www.apatar.com/
Spring Batch http://static.springframework.org/spring-batch/
大多數站點都是在sf.net上的.其中最后一個是Spring的,大名鼎鼎的Spring 也往ETL插一腳.實在是..........
根據talend官方介紹的數據,ETL工具的市場份額在2006好像是有160多億美元.由于BI項目的成功,ETL的這一市場份額還會擴大,這也不難理解,為什么這么多的公司都在做ETL工具了.開源世界也免不了想要分一杯羹.再次廢話一句,開源的東西你可以免費得到和使用,但是當你想應用到企業級開發的時候,省錢可不是唯一應該考慮的因素.還是那句話,慎重呀慎重.
下一篇介紹BI的基本概念.