java开源的OLAP引擎--mondrian

Thu, 17 Apr 2008 05:29:00 GMT

一、引�a�

Mondrian, 蒙得里安·皮特1872-1944荷兰��d��Q�作品以交错的三原色为基色的垂直�U�条和��^面�ؓ特点�Q�他的著作包�?/span> 新造型��M��(1920�q�_��Q�对抽象艺术的发展曾�l��生很深媄响。——金��p��霸如是说�?/span>

不过,本文所要讨论的可不是这位艺术家。那到底mondrian是什么呢�Q?/span>

Mondrian是一个开源项目。一个用Java写成的OLAP�Q�在�U�分析性处理）引擎。它用MDX语言实现查询�Q�从关系数据�?RDBMS)中读取数据。然后经�q�Java API用多�l�的方式对结果进行展�C��?/span>

我们都知道，在线分析处理(OLAP)要实时地分析大量数据�?#8220;online”�q�个词的含义��是即��相关的数据量是巨大的——可能以GB为单位——系�l�也要��够快的响应以昄��l�果�?/span>

OLAP用了多维分析的技术。尽��关�p�d��数据库所存储的所有数据都是以行和列的形式存在的，但一个多�l�数据集�q�是可以��p�u(axes)和单�?cell)�l�成�?/span>

在上面的例子中，旉��是个�l�度�Q?/span>dimension�Q�，而它下面的层�ơ（Hierarchies�Q�又分�ؓ半年、季度等�U�别(Level)�?/span>

二、感性认识——运行一个小实例

我们暂时先不讨论Mondrian所用到的一些技术。我们可以先从一个小例子开始，不必在意每个�l�节�Q�只是希望大家有个感性认识先。在实施�q�个例子的过�E�中�Q�或许读者就能见些端倪�?/span>

首先应该�?a >http://sourceforge.net/projects/mondrian/下蝲mondrian的最新版本。这是一个zip包，包括我们要用到的lib和一个例子�?/span>

当然�Q�读者完全可以运行mondrian自带的实例，不过�q�个例子有些�U�L��复杂�Q�除了Mondrian本��n�q�有其它技术在里面�Q�不大容易讲清楚�Q�也不太适合初学者学习。所以，�W�者在�q�里设计一个简�z�干净的最��化实例�?/span>

本文所阐述的实例环境是Windows2000+Tomcat+Oracle。�ƈ且认��者已�l�针对jdk和Tomcat做了正确的开发环境的讄��?/span>

2�Q?/span>1准备工作

�?Tomcat%"webapp"依次建立mywebapp�Q�mywebapp"WEB-INF�Q�mywebapp"WEB-INF"lib,�?/font>

mondrian.war"WEB-INF"lib"mondrian.jar,javacup.jar, xalan.jar,junit.jar�{�相关的jar包copy�?/span>%TOMCAT_HOME%"webapps"mywebapp"lib"下�?/span>

2�Q?/span>2数据库结�?/span>

在这个tiny的系�l�中�Q�数据库�?个表tb_employee�Q�职员表�Q?tb_time�Q�时间表�Q?tb_salary�Q�薪酬表�Q�。表�l�构如下�Q?/span>

drop table tb_employee;

create table tb_employee

(

employee_id number, --职员id

employee_name varchar2(10) --职员姓名

);

drop table tb_time;

create table tb_time

(

time_id number, --旉��id

the_year char(4), --�q?/span>

the_month char(2) --�?/span>

);

drop table tb_salary;

create table tb_salary

(

employee_id number, --职员id

time_id number, --旉��id

salary number(19,4) --薪酬

);

当然�Q��ؓ了�ɾpȝ��能够�q�行�Q�还需要读者向数据库表中插入一些数据�?/span>

2�Q?/span>3�Ҏ��数据库表的结构，书写schema文�g

文�g路径为mywebapp"WEB-INF"mondriantest.xml

2�Q?/span>4利用MDX查询

mywebapp"mondriantest.jsp

1 <%@ page import="mondrian.olap.*"%>

2 Connection connection =

DriverManager.getConnection

("Provider=mondrian;

Jdbc=jdbc:oracle:thin:@xxx.xxx.xxx.xxx:1521:dbname;

JdbcUser=dbuser;

JdbcPassword=dbpasswd;

Catalog=file:///c:/Tomcat4.1/webapps/mywebapp/WEB-INF/mondriantest.xml;

JdbcDrivers=oracle.jdbc.driver.OracleDriver;",null,false);

3 String queryStr=

"select {[Measures].[Salary]} ON COLUMNS,

{[Employee].[employeeId].Members} ON ROWS

from CubeTest ";

4 Query query =connection.parseQuery(queryStr);

5 Result result = connection.execute(query);

out.println("get result");

2�Q?/span>5�q�行

�q�时启动tomcat,在浏览器地址栏中输入

http://localhost:8080/mywebapp/ mondriantest.jsp卛_��?/font>

三、深入探�?/strong>

3�Q?/span>1 API

mondrian为客��L��应用�E�序提供了API接口以进行查询�?nbsp;而这些API对于��M��用过JDBC的�h都会觉得似曾相识的。主要的不同�Ҏ��查询语言的不同：Mondrian用的是MDX('Multi-Dimensional eXpressions'),�?/span>JDBC则用的是SQL�?/span>

�?/span>JDBC一��P��也是要经�q�徏立连接，形成查询语句�Q�执行查询得到结果集�{�几个步骤的�?/span>

我们来看�?/span>mondriantest.jsp的代�?/span>

�W?行：import mondrian.olap.*

�q�是引入我们所需的类�Q�下面要用到的DriverManager、Connection、Query、Result都在�q�个package内。这个package一般位于mondrian.jar中�?/span>

�W?行：Connection connection =

DriverManager.getConnection

("Provider=mondrian;

Jdbc=jdbc:oracle:thin:@xxx.xxx.xxx.xxx:1521:dbname;

JdbcUser=dbuser;

JdbcPassword=dbpasswd;

Catalog=file:///c:/Tomcat4.1/webapps/mywebapp/WEB-INF/mondriantest.xml;

JdbcDrivers=oracle.jdbc.driver.OracleDriver;",null,false);

通过DriverManager创徏一个Connection的实例，建立��h��据库�q�接�?/span>

其中Jdbc=jdbc:oracle:thin:@xxx.xxx.xxx.xxx:1521:dbname; 是设�|�数据库的ip和库名。JdbcUser=dbuser; 讄��数据库用戗��JdbcPassword=dbpasswd; 讄��用户密码。�?/span>

Catalog=file:///c:/Tomcat4.1/webapps/mywebapp/WEB-INF/mondriantest.xml; ��是讄��MDX语句查询要对应的schema文�g的�\�?/span>

�W?行：String queryStr=

"select {[Measures].[Salary]} ON COLUMNS,

{[Employee].[employeeId].Members} ON ROWS

from CubeTest ";

形成MDX的查询语句。MDX语句的�Ş式和schema文�g的设定是密切相关的，当然schema文�g的�Ş成也是由数据库结构决定的�?/span>

�W?行：Query query =connection.parseQuery(queryStr);对MDX语句�q�行分析处理�Q�是否符合schema文�g定义、数据库�l�构和数据库数据�?/span>

�W?行：Result result = connection.execute(query);执行查询�Q�得到结果集�?/span>

我们发现Query�c�M��于JDBC的Statement,而Result则酷��g��ResultSet�?/span>

3�Q?/span>2 schema

3�Q?/span>2�Q?/span>1什么是schema

schema定义了一个多�l�数据库。包含了一个逻辑模型�Q�而这个逻辑模型的目的是��Z��书写MDX语言的查询语句。这个逻辑模型实际上提供了�q�几个概念：Cubes,�l�度�Q?/span>Dimensions�Q�，层次�Q?/span>Hierarchies�Q�，�U�别�Q?/span>Levels�Q�，和成员（Members�Q��?/span>

�?/span>schema文�g��是�~�辑�q�个schema的一�?/span>xml文�g。在�q�个文�g中�Ş成逻辑模型和数据库物理模型的对应�?/span>

3�Q?/span>2�Q?/span>2 schema的逻辑�l�构

3�Q?/span>2�Q?/span>2�Q?/span>1 Cube

一�?/span>Cube是一�p�d��l�度(Dimension)和度�?/span>(Measure)的集合区域。在Cube中，Dimension�?/span>Measure的共同地方就是共用一个事实表�?/span>

例：

…….

标签��定了所用的事实表的表名�?/span>

3�Q?/span>2�Q?/span>2�Q?/span>2 Measure

一个度量，��单的��_��是要被计算的倹{�?/span>

例：

标签�?/span>3个必要的属�?/span>name�Q�度量名�Q�，column�Q�在事实表中的字�D�名�Q?/span>, aggregation�Q�聚合所用的�Ҏ��Q��?/span>

3�Q?/span>2�Q?/span>2�Q?/span>3 Dimenesion

而维度一般有其相对应的维度表�?/span>

例：

一般Dimesion包含层次�Q�Hierarchy�Q�，而hierarchy是由�U�别�Q�Level�Q�组成�?/span>

标签的foreignKey是事实表中的字段�Q?lt;Hierarchy>标签的primaryKey是维度表中的字段�Q�通过�q�种方式把事实表和维度表兌��h��?lt;Hierarchy>标签下的

标签��指明了�l�度表名。而若�q�个Level对应着�l�度表的若干字段�?/span>

3�Q?/span>3 MDX语言

MDX是�ؓ了查询多�l�数据的�Q�而SQL是�ؓ了查询关�p�L��据库的。而Mondrian所涉及到的一些MDX概念、MDX语法以及�pȝ��定义的MDX函数和微软的MDX十分接近�Q�差别微��。完全可以参考微软的帮助文档�q�行学习。在此就不在赘述。MDX语言基本上已成�ؓ多维数据库查询语�a�的标准�?/span>

四、结�?/strong>

Mondrian作�ؓ��Z��java的OLAP引擎�Q�而且是开源的��目�Q��ؓ那些��Z��java的项目而要��q��微��Y构架但又不得不对大量数据�q�行分析的项目又提供了一�U�可行的�Ҏ��。希望它也能�?/span>蒙得里安·皮特�Ҏ��象艺术的发展产生影响一栯��v��C��定的作用�?/span>

有猫�怼�的日�?/a> 2008-04-17 13:29 发表评论

Thu, 17 Apr 2008 04:55:00 GMT

        最�q�想学习BI,因�ؓ自己做的一个项目用��C��大量Oracle 分析函数,而烃使用使用OLAP技�?�pȝ��目前数据量少,速度相对来说可以。每天数据量�q�么大，谁能保证�U�篏了两�q�的数据后，�q�算速度�q�有�q�么快呢。这让我不得不思考我在做的项目与BI的差别，BI�q�概念之前只听说�q�没深入了解更没有用�q�相应的工具。一开始自己就惛_��开源的BI工具�Q�就开始下载，扑օ�门文档。两天之后让我发现这行不通，�q�概念都不理解，仅有工具是不行的。我们需要理解它的定义、历双Ӏ�作用，才能开始学习它�Q�才需要用�q�工兗��?br /> 1、BI的定议：
      BI(Business Intelligence) 是一�U�运用了数据仓库、在�U�分析和数据挖掘�{�技术来处理和分析数据的崭新技术，目的是�ؓ企业决策者提�?strong style="color: #ff0000">决策支持�?br />      从定义上我们要明白BI�q�行的基��?nbsp;�Q�数据仓库，和联机分�?�Q�数据挖�?br />      目的�Q�提供决�{�支�?br /> 2、BI分类
     信息�c?BI 应用
        指由原始数据加工而来�?strong>数据查询�?strong>报表图表�?strong>多维分析�?strong>数据可视�?/strong>�{�应用，�q�些
应用的共同特�Ҏ��Q�将数据转换为决�{�者可接受的信息，展现�l�决�{�者。例如将银行交易数据加工为银行胦务报表�?/span>
     知识�c?BI 应用

      指通过数据挖掘技术和工具�Q�将数据中隐含的关系发掘出来�Q�利用计��机直接��数据加工�ؓ知识�Q�展现给决策者�?br /> 3、BI的应用模�?br />      A、初�U�模�?br />            数据查询和生成报表，�q�是BI的初�U�应用模�?br />      B�?br />           1、BI 高��应用模式
           OLAP �Q�即联机分析处理�Q�是 BI 带来的一�U�全新的数据观察方式�Q�是 BI 的核心技�?之一�?br />          2、数据挖�?/span>
             数据挖掘的目的是通过计算机对大量数据�q�行分析�Q�找出数据之间潜藏的规律和知识，�q�以可理解的方式展现�l�用戗��数据挖掘是最高��?BI 应用�Q�因为它能代曉K��分�h脑功能�?nbsp;
         数据挖掘的三大要素是�Q?

         技术和��法�Q?/strong>目前常用的数据挖掘技术包括—�?br />                 自动�c�d��侦测(Auto Cluster Detection)
                决策�?Decision Trees)
                ��经�|�络(Neural Networks)

        数据�Q?/strong>�׃��数据挖掘是一个在已知中挖掘未知的�q�程�Q?br />                 因此需要大量数据的�U�篏作�ؓ数据源，数据�U�篏
                量越大，数据挖掘工具��׃��有更多的参考点�?/p>
        预测模型�Q?/strong>也就是将需要进行数据挖掘的业务逻辑�?br />                 计算机模拟出来，�q�也是数据挖掘的主要��d��?br />

4�?nbsp;底��——数据仓库技�?br />          数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变�?Time Variant)的数据集合，用于支持��理决策。以上是数据仓库的官方定义�?nbsp;

5、�ȝ��Q?br />       要想学好BI�Q�以上知识点是基��。必��L��基础学习才能深切的理解BI�Q�理解客户在�q�主面真正意义上的需求�?br />

有猫�怼�的日�?/a> 2008-04-17 12:55 发表评论

91原创在线视频,亚洲免费视频中文字幕,国产精华一区二区三区

java开源的OLAP引擎--mondrian