首先看一下下面这个表?q个表样是润乄一个示例表?接着介绍birt 是如何做?/p>
q个表样是报表中最常见的一U需求了Q把不同_度的数据聚合到同一_度?
我们用automobile 表示汽R? 用houseproperty 表示房? 用estate表示土地?用others 表示其他?他们都有customerid 来表C客户名U?customers 表有customerid 和customername
1. 用视图来拼数?/p>
对于 automobile 聚合使用一个autoview , sql 如下
select sum(automobile price* quantity) autototal, customerid from automobile group by customerid
对于 houseproperty 使用如下view
select sum( house price * quantity ) housetotal, customerid from houseproperty group by customerid
对于 土地和其他也是差不多cd的sql
得到了上面这四个视图之后, 把customers 表根据customerid 和其他四个视图join h.
select customername , autototal , housetotal , estatetotal , othertotal
from customers c , automobile a , houseproperty h , estate e , others o
where 四个视图和customers的连接条?/p>
׃q个表样q不涉及C 汽RQ房产，土地Q?其他表中的Q何一个客户ؓ? 所以暂时也不考虑左右q接的问?
2. 使用Birt 的Joined Data Set
Birt 提供的Joined Data Set 跟数据库里面的视图是差不多的概念Q不过一个是在数据库内部join 数据Q一个是使用Java 循环的方式join 数据.
跟上面创图一P创徏四个DataSet , 输出两个字段: customerid ?total.
然后创徏一个Joint Data Set , 把customers 表和 autototal DataSet 按照customerid joinh.q时得到四个字段 customers.customername , customers.customerid , auto DataSet.customerid Qauto DataSet.autotal . 最后我们把q个Joint DataSet 命名为jdataSet1 (代表的是autoDataSet ?customers 产生的Joint DataSet ).
然后l箋创徏另一个Joint Data Set 把customers 的customerid 和前一步创建的jDataSet1 按照customerid join h得到一个第二个Joint DataSet1 ,我们命名为jDataSet2 .
以此cLQ最后我们输?个字D? customers.name , auto.total , house.total , estate.total , others.total , 实际输出可能在customers.customerid 上重复了4?
上面两种方式报表的做法主要有两点差别:
1. 性能
如果本n数据库单独执行一个视囄sql l果比较，而本w的automobile 表数据量比较大（也就是说一个customer寚w常多的automobile 记录) , 那么使用数据库视囑ְ会比较慢. 因ؓ数据库在试得到4个视囄l果q行了一些不必要的按照automobiel表的customerid和customers的customeridq? 行的比较操作( 如果有烦引肯定是对烦引进行了多次不必要的? ,q时候用Java的这U@环方式会比较快一?. 如果本nl构集比较大Q那么还是用数据库本w的排序和join 比较? q个道理比较cM于数据库中如果结构集大于5% ׃要走索引,直接q行全表扫描.只不q这是一个java 版的.
2. 左右q接的问?/p>
如果q个表的数据不是以customers里面的数据ؓ主，而是以四个视囑օ中的一个ؓ?q时候要情况可能会比较复杂一?׃我不太清楚birt 里面joint data set 计算的方式是怎样的，所以也不太好评?不过如果不用joint data set , 是使用一般的~程的方?那么按照下面q个思\会比较好:
a , b , c , d ,e 为customers , automobiles view (后面写avlist 表示q个?, housetotal view , 里面的指? 四个view 都已l排好了?group by 是默认排序的. outlist 表示最后需要的输出 , row表示最后输出的一条数?/p>
for ( 按照L据@? {
row.customerid = customers.customerid;
if( customers.customerid == avlist[b].customerid) {
outlist[x].autotaol = avlist[b].autotal ;
b++
}
四个view 同一个判断方? 但是每个view 的指针指的是不一L.
最? outlistSet . add (outlist[x])
}
如果数据源本w的数据量也很大Q需要输出的数据也很多，则上面两U方式都会有性能问题Q这时可以考虑商业里面的万金a方式: ETL
3. ETL
从上面这个表L来，可能会有两个隐含条g.一个是聚合的数据粒度在旉上是月，另一个在销售地点粒度上是：支行086001-301 , 所以用ETL一开始就聚合数据可能会更好的解决性能问题.另外一个是如果用户惌排序和过滤数据的话用一个单独的ETL聚合表也比拼数据的方式好的多.
q篇文章的目的ƈ不只是想解释一个做表的问题Q而是说明商业的一些问题不光需要站在一个独立的角度思考，有些问题本n可能随着环境的一些变化? 采取对应的措施，比如上面Z解决排序Q过滤，左右q接Q性能问题都需要从不同的角度来考虑问题.有时候可能一个做表的问题不光只是要限定在sql 或某个报表Y件的本nQ有时候某个ETL问题可能不关只是ETLp解决?随着情况的复杂可能需要从整个商业的全局来进行考虑Q商业智能越来越們 与多个解x法的融合.
本文原文?http://www.gemini5201314.net
如果你对ETL中性能优化问题有兴的话，也可以查看另一关于在ETL中性能优化要站在全局的角度，而不是只在数据库角度的文?
]]>
又重新回到birt的学习中Q以前用的时候本w功能也不算太好Q再加上自己是个比较躁的hQ什么都想了解一点，所以学? 也不是很好，最q计划又重新pȝ的学习一下Birt Q网上搜了一下，除了eclipse 官方的资料外Q几乎没有什么有用的资料Q要么就是太旧了Q要么根本就是没有用Q你抄我的，我抄他的Q最后大安抄成了一L了，
了Q还是自己动手，丰衣食吧，军_q是好文章自己写, 先写下自q计划?, 把roadmap 攑և来，也算l自׃U鞭{吧.
W一?: 把birt ?ecilpse 跑出?最单的Java E序. (eclipse 官方的例?
把birt 攑ֈ tomcat 跑v? (eclipse 官方的例?
W二?: 利用eclipse 的可视化报表设计器设计模?主要介绍,参数Qsorting , grouping , mapping , filtering , hightlighting ,
(eclipse 官方flash演示的文字版)
W三?: 利用birt 的desing api ?report api 来做java ~程Q主要还是集成到servlet 环境.
W四?: ?birt 和pentaho 集成h . (其实pentaho 官方有一份这个文?不过我的例子E微会介l的更加实用一?
大约旉是一个月吧，如果期了，我就请大家吃饭，呵呵Q只要你能够扄到我 ,
要真C那个时候， 我只能说:
地球是很危险的，我还是回火星d.
有很多朋友都说birt 让他们很失望Q其实birt 有一Ҏ能问题外，基本q算可以Q如果你非要说有q些Q那些不爽，我只能说一句话:
q记得大话西渔R面，周星驰率领一土匪围ȝ晶晶她们, 她们在周星驰重要部位点了两次火，然后吴孟达说Q都焦了Q割了算了吧.
记得周星驰说什么吗Q?br> 不记得就再去重温一遍经典吧?
]]>
]]>
]]>
]]>
]]>
1 . 首先需要下载pentaho-j2ee-deployment- , pentaho-data- ?pentaho-solution- 三个包，分别解压C个不同的地方
2 . 从命令行q入pentaho-j2ee-deployment 目录Q运行ant -p 会列出所有的ant dQ执行war-pentaho-tomcat-hypersonicd,成功之后会生?个war包，pentaho-portal- layout.war , pentaho-style.war ?sw-style.war Q?sw-style.war 是steel-wheel-style Q是可选项Q可能是pentaho的一个例子或者是pentaho的一Ustyle风格),q有多出一个tomcat目录下的hsqldb目录下有一? pentaho.war Q如果你执行的是war-pentaho-mysql是在tomcat目录下有个mysql5目录Q里面一hpentaho.war.我选用的是 hsqldb .
3 . 在你的tomcat的安装目录下扑ֈconf / server.xml 文gQ在其中的host 元素下加上如下这一D，q一D|从pentaho的文档里面抄来的Qmanual-deployment-pentaho- ,其中它列出来的有些多余，q个文档应该使用confluence 用pdf 方式导出的，抄的时候注意检查一下xml 元素排版上的问题.它列出的resource 元素太多了，你查看pentaho-data- 包里面，应该只有四个数据库hibernate,sampledata,shark,quartz ,把不用的resource元素都删掉，Q应该是最上面的四个）.如果你的tomcat启动不了了，查一下你d的部分是不是有错?br>
1
2 <Context path="/pentaho" docbase="webapps/pentaho/">
3 <Resource name="jdbc/SampleData" auth="Container"
4 type="javax.sql.DataSource" maxActive="20" maxIdle="5" maxWait="10000"
5 username="pentaho_user" password="password"
6 factory="org.apache.commons.dbcp.BasicDataSourceFactory"
7 driverClassName="org.hsqldb.jdbcDriver"
8 url="jdbc:hsqldb:hsql://localhost/sampledata" />
9 <Resource name="jdbc/Hibernate" auth="Container"
10 type="javax.sql.DataSource"
11 factory="org.apache.commons.dbcp.BasicDataSourceFactory"
12 maxActive="20" maxIdle="5" maxWait="10000" username="hibuser"
13 password="password" driverClassName="org.hsqldb.jdbcDriver"
14 url="jdbc:hsqldb:hsql://localhost/hibernate" />
15 <Resource name="jdbc/Quartz" auth="Container"
16 type="javax.sql.DataSource"
17 factory="org.apache.commons.dbcp.BasicDataSourceFactory"
18 maxActive="20" maxIdle="5" maxWait="10000" username="pentaho_user"
19 password="password" driverClassName="org.hsqldb.jdbcDriver"
20 url="jdbc:hsqldb:hsql://localhost/quartz" />
21 <Resource name="jdbc/Shark" auth="Container"
22 type="javax.sql.DataSource"
23 factory="org.apache.commons.dbcp.BasicDataSourceFactory"
24 maxActive="20" maxIdle="5" maxWait="10000" username="sa" password=""
25 driverClassName="org.hsqldb.jdbcDriver"
26 url="jdbc:hsqldb:hsql://localhost/shark" />
27 </Context>
28
2 <Context path="/pentaho" docbase="webapps/pentaho/">
3 <Resource name="jdbc/SampleData" auth="Container"
4 type="javax.sql.DataSource" maxActive="20" maxIdle="5" maxWait="10000"
5 username="pentaho_user" password="password"
6 factory="org.apache.commons.dbcp.BasicDataSourceFactory"
7 driverClassName="org.hsqldb.jdbcDriver"
8 url="jdbc:hsqldb:hsql://localhost/sampledata" />
9 <Resource name="jdbc/Hibernate" auth="Container"
10 type="javax.sql.DataSource"
11 factory="org.apache.commons.dbcp.BasicDataSourceFactory"
12 maxActive="20" maxIdle="5" maxWait="10000" username="hibuser"
13 password="password" driverClassName="org.hsqldb.jdbcDriver"
14 url="jdbc:hsqldb:hsql://localhost/hibernate" />
15 <Resource name="jdbc/Quartz" auth="Container"
16 type="javax.sql.DataSource"
17 factory="org.apache.commons.dbcp.BasicDataSourceFactory"
18 maxActive="20" maxIdle="5" maxWait="10000" username="pentaho_user"
19 password="password" driverClassName="org.hsqldb.jdbcDriver"
20 url="jdbc:hsqldb:hsql://localhost/quartz" />
21 <Resource name="jdbc/Shark" auth="Container"
22 type="javax.sql.DataSource"
23 factory="org.apache.commons.dbcp.BasicDataSourceFactory"
24 maxActive="20" maxIdle="5" maxWait="10000" username="sa" password=""
25 driverClassName="org.hsqldb.jdbcDriver"
26 url="jdbc:hsqldb:hsql://localhost/shark" />
27 </Context>
28
4 . 把pentaho.war copy到tomcat 的webapps目录下，它会自动解压的，然后关闭tomcat , 扑ֈpentaho/WEB-INF/web.xml 文gQ找到solution-path元素Q指向你解压后的pentaho-solution- 目录Q注意java里面是用正斜?/ ,如果你从windows的地址栏copy的话注意把反斜杠改一?
5 . 修改pentaho/WEB-INF/classes 目录下的log4j.xml文gQ把
6 . 启动pentaho-data-
7 . q个时候启动tomcat ,应该是不报Q何错误的.你把览器指向http://localhost:8080/pentaho Q会看到pentaho的界面的Q只不过是没有什么颜色的那种.
8 . 把编译後的三个war文gcopy到tomcat 的webapps目录下，{它们自动解压之后，再进ȝQ发现有了样式了。安装就完成?
贴几张图:
pentaho成功启动后应该有 Pentaho BI q_服务器就l?q句?
安装了style ?portal 包之后的d界面
在pentaho-data-
用户名和密码都在相应目录的数据库文g里面Qhsqldb的数据库文g是可以用
文本~辑器打开的，搜烦password可以找到用户名和密码了
sampledata 里面的数?br>
我在安装的时候也到了诸多的问题Q?br> 1 . 一开始编译的时候用的ant war-pentaho-tomcat dQ它直接报错Q说找不到rdbms目录Q后来猜惌个Q务应该是留给其他数据库编译的时候扩展的.直接换了war-pentaho-tomcat- hypersonic d重新~译了一?br> 2 . 后来从文档里copy出数据源的那句话出错了，Dtomcat启动不了Q因Zpdf文gcopy的那D话排版有问题，后来把它_脓到eclipse (装了WTP插g的）里面Q一格式化就看出来了Qcontext 元素和后面的属性path中间的空格没了，q有多出来了几个resource元素.
3 . 指定solution-path的时候目录高了一U?
4 . 启动tomcat的时候出C很多不必要的debug信息Q修改log4j文g可以了Q它在tomcat/bin 目录下还会生成几个log文gQ像是server.log 和ReportEngine_.log 文g?br>
写这文章的目的更多的是希望喜欢pentaho的朋友在用pentaho做实验的时候能够学会思考，出现了问题先在网上找资料Q而不是无论遇C么问题都求别人来回答你，知识是长期积累的q程Q新技术L不断的出玎ͼ比如最q火的不得了的JavaFX,
也许来pentaho可能会用JavaFX 来做OLAP ?DashBoard 也不一定的 。关键还是要掌握学习的方法，学会思考问?. 我安装的时候也遇到了很多问题，但是只要你细l的分析问题的原因，L可以扑և解决的办法的.
]]>
ETL (Extract-Transform-Load的羃写，x据抽取、{换、装载的q程)作ؓBI/DWQBusiness IntelligenceQ的核心和灵，能够按照l一的规则集成ƈ提高数据的h|是负责完成数据从数据源向目标数据仓库转化的过E，是实施数据仓库的 重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图Q数据是砖瓦的话Q那么ETL是大厦的过E。在整个目中最N分是用户需求分析和模型? 计，而ETL规则设计和实施则是工作量最大的Q约占整个项目的60%?0%Q这是国内外从众多实践中得到的普遍共识?br>
ETL工具从厂商来分ؓ两种,一U是数据库厂商自带的ETL工具,Oracle warehouse builder 是q种,另外一U是W三方工h供商.开源世界也有一大票的ETL工具,功能各异,强弱不一,你可以从一下地址扑ֈ开源ETL工具的列? http://www.manageability.org/blog/stuff/open-source-etl/view , 提醒一?选用工具的时候要慎重,真的,千万要慎?不管你是选用商业的ETL工具(一般比较贵),q是开源的工具,都要在你充分了解产品的特性才去? ?千万不要听某某h说什么这个工具好,pC那个工具,一定要自己了解产品.
开源的ETL工具的列?(排名是ؕ排的)
kettle http://kettle.pentaho.org/ ,pentaho官方的ETL工具,是一个metadata-driven 的ETL工具,不需要自己写code .
talend http://www.talend.com/ talend是talend自己公司的?宣传的是全功能的Data Integration 解决Ҏ,Zeclipse q_,包括很多的模块来实现商业程建模,数据程建模,最后输出的是perl ?Java code
jasperETL http://www.jaspersoft.com/ JasperETL是基于talend的^?不太清楚有什么区?jaspersoft开发的ETL产品.
Octopus http://www.enhydra.org/tech/octopus/index.html octopuc是enhydra 的一个ETL工具,enhydra是一个品跨度非常大的开源站?它有个开源的Workflow ,Shark ,pentaho是使用的这个Workflow ,q个l织从workflow 到application server , 从ETL工具到application framework ,q有一些其他的中间?octopus非常的原?支持M的JDBC数据?用XML语言来定义的.也支持JDBC-DOBC ,和excel ? access ,csv-files, XML files ,用Ant ?JUnit 来创和测?
CloverETL http://cloveretl.berlios.de/ CloverETL是提供给你一lAPI,用XML来定义ETLq程,同样支持JDBC数据? CloverETL是开源的,但是它是没有囑Ş界面?它提供一个有囑Ş界面的CloverGUI 来进行ETL的图形化开发过E?但是不是开源的,需要购买商业许可证.
KETL http://www.ketl.org/ 听说是几个前IBM员工做出来的ETL产品,
另外q有很多.不一一写介l了,只列个表?
Joost http://joost.sourceforge.net/ 最q有个web2.0 |站也叫Joost,名字相同而已.
Xineo http://software.xineo.net/xil.jspx
BabelDoc http://sourceforge.net/projects/babeldoc
CB2XML http://sourceforge.net/projects/cb2xml
mec-eagle http://sourceforge.net/projects/mec-eagle/
Transmorpher http://transmorpher.inrialpes.fr/
XPipe http://xpipe.sourceforge.net/Articles/Miscellaneous/fog0000000018.html
DataSift http://www.datasift.org/
Xephyrus Flume http://www.xephyrus.com/flume/flume-intro.Prlx
Smallx https://smallx.dev.java.net/
Nux http://dsd.lbl.gov/nux/index.html
Netflux http://www.netflux.org/
OpenDigger https://opendigger.dev.java.net/
ServingXML http://servingxml.sourceforge.net/
Scriptella http://scriptella.javaforge.com/
ETL Integrator http://www.glassfishwiki.org/jbiwiki/Wiki.jsp?page=ETLSE
Jitterbit http://www.jitterbit.com/
Apatar http://www.apatar.com/
Spring Batch http://static.springframework.org/spring-batch/
大多数站炚w是在sf.net上的.其中最后一个是Spring?大名鼎鼎的Spring 也往ETL插一?实在?.........
Ҏtalend官方介绍的数?ETL工具的市Z额在2006好像是有160多亿元.׃BI目的成?ETL的这一市场份额q会扩大,q也不难 理解,Z么这么多的公叔R在做ETL工具?开源世界也免不了想要分一杯羹.再次废话一?开源的东西你可以免费得到和使用,但是当你惛_用到企业U开 发的时?省钱可不是唯一应该考虑的因?q是那句?慎重呀慎重.
下一介lBI的基本概?
]]>