blog.Toby

  數(shù)據(jù)倉(cāng)庫(kù)是存儲(chǔ)數(shù)據(jù)的一種組織形式，它從傳統(tǒng)數(shù)據(jù)庫(kù)中獲得原始數(shù)據(jù)，先按輔助決策的主題要求形成當(dāng)前基本數(shù)據(jù)層，再按綜合決策的要求形成綜合數(shù)據(jù)層(又可分為輕度綜合層和高度綜合層)。隨著時(shí)間的推移，由時(shí)間控制機(jī)制將當(dāng)前基本數(shù)據(jù)層轉(zhuǎn)為歷史數(shù)據(jù)層。可見數(shù)據(jù)倉(cāng)庫(kù)中邏輯結(jié)構(gòu)數(shù)據(jù)由3層到4層數(shù)據(jù)組成，它們均由元數(shù)據(jù)(Meta Data) 組織而成。數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的物理存儲(chǔ)形式有多維數(shù)據(jù)庫(kù)組織形式(空間超立方體形式)和基于關(guān)系數(shù)據(jù)庫(kù)組織形式(由關(guān)系型事實(shí)表和維表組成)。
    數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(DWS)由數(shù)據(jù)倉(cāng)庫(kù)、倉(cāng)庫(kù)管理和分析工具三部分組成。
    源數(shù)據(jù)：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)源于多個(gè)數(shù)據(jù)源，包括企業(yè)內(nèi)部數(shù)據(jù)、市場(chǎng)調(diào)查報(bào)告及各種文檔之類的外部數(shù)據(jù)。
    倉(cāng)庫(kù)管理: 在確定數(shù)據(jù)倉(cāng)庫(kù)信息需求后，首先進(jìn)行數(shù)據(jù)建模，然后確定從源數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取、清理和轉(zhuǎn)換過程，最后劃分維數(shù)及確定數(shù)據(jù)倉(cāng)庫(kù)的物理存儲(chǔ)結(jié)構(gòu)。元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的核心，它用于存儲(chǔ)數(shù)據(jù)模型和定義數(shù)據(jù)結(jié)構(gòu)、轉(zhuǎn)換規(guī)劃、倉(cāng)庫(kù)結(jié)構(gòu)、控制信息等。
數(shù)據(jù)倉(cāng)庫(kù): 包括對(duì)數(shù)據(jù)的安全、歸檔、備份、維護(hù)、恢復(fù)等工作，這些工作需要利用數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)的功能。
    分析工具用于完成實(shí)際決策問題所需的各種查詢檢索工具、多維數(shù)據(jù)的OLAP分析工具、數(shù)據(jù)挖掘DM工具等，以實(shí)現(xiàn)決策支持系統(tǒng)的各種要求。
    數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用是一個(gè)典型的C/S結(jié)構(gòu)。其客戶端的工作包括客戶交互、格式化查詢及結(jié)果和報(bào)表生成等。服務(wù)器端完成各種輔助決策的SQL查詢、復(fù)雜的計(jì)算和各類綜合功能等。現(xiàn)在，一種越來(lái)越普遍的形式是三層結(jié)構(gòu)，即在客戶與服務(wù)器之間增加一個(gè)多維數(shù)據(jù)分析服務(wù)器。OLAP服務(wù)器能加強(qiáng)和規(guī)范決策支持的服務(wù)工作，集中和簡(jiǎn)化原客戶端和DW服務(wù)器的部分工作，降低系統(tǒng)數(shù)據(jù)傳輸量，因此工作效率更高。

什么是聯(lián)機(jī)分析處理（OLAP）
    聯(lián)機(jī)分析處理 (OLAP) 的概念最早是由關(guān)系數(shù)據(jù)庫(kù)之父E.F.Codd于1993年提出的，他同時(shí)提出了關(guān)于OLAP的12條準(zhǔn)則。OLAP的提出引起了很大的反響，OLAP作為一類產(chǎn)品同聯(lián)機(jī)事務(wù)處理 (OLTP) 明顯區(qū)分開來(lái)。
    當(dāng)今的數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機(jī)事務(wù)處理OLTP（on-line transaction processing）、聯(lián)機(jī)分析處理OLAP（On-Line Analytical Processing）。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。下表列出了OLTP與OLAP之間的比較。
    OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對(duì)信息進(jìn)行快速、一致、交互地存取,從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報(bào)表需求,它的技術(shù)核心是"維"這個(gè)概念。
“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分。“維”一般包含著層次關(guān)系,這種層次關(guān)系有時(shí)會(huì)相當(dāng)復(fù)雜。通過把一個(gè)實(shí)體的多項(xiàng)重要的屬性定義為多個(gè)維(dimension)，使用戶能對(duì)不同維上的數(shù)據(jù)進(jìn)行比較。因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。
    OLAP的基本多維分析操作有鉆取（roll up和drill down）、切片（slice）和切塊（dice）、以及旋轉(zhuǎn)（pivot）、drill across、drill through等。
? 鉆取是改變維的層次，變換分析的粒度。它包括向上鉆取（roll up）和向下鉆取（drill down）。roll up是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)；而drill down則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。
?切片和切塊是在一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個(gè)，則是切片；如果有三個(gè)，則是切塊。
?旋轉(zhuǎn)是變換維的方向，即在表格中重新安排維的放置（例如行列互換）。
    OLAP有多種實(shí)現(xiàn)方法，根據(jù)存儲(chǔ)數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP。
ROLAP 表示基于關(guān)系數(shù)據(jù)庫(kù)的OLAP實(shí)現(xiàn)（Relational OLAP）。以關(guān)系數(shù)據(jù)庫(kù)為核心,以關(guān)系型結(jié)構(gòu)進(jìn)行多維數(shù)據(jù)的表示和存儲(chǔ)。ROLAP將多維數(shù)據(jù)庫(kù)的多維結(jié)構(gòu)劃分為兩類表:一類是事實(shí)表,用來(lái)存儲(chǔ)數(shù)據(jù)和維關(guān)鍵字;另一類是維表,即對(duì)每個(gè)維至少使用一個(gè)表來(lái)存放維的層次、成員類別等維的描述信息。維表和事實(shí)表通過主關(guān)鍵字和外關(guān)鍵字聯(lián)系在一起,形成了"星型模式"。對(duì)于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過大的存儲(chǔ)空間,可以使用多個(gè)表來(lái)描述,這種星型模式的擴(kuò)展稱為"雪花模式"。
    MOLAP 表示基于多維數(shù)據(jù)組織的OLAP實(shí)現(xiàn)（Multidimensional OLAP）。以多維數(shù)據(jù)組織方式為核心,也就是說,MOLAP使用多維數(shù)組存儲(chǔ)數(shù)據(jù)。多維數(shù)據(jù)在存儲(chǔ)中將形成"立方塊（Cube）"的結(jié)構(gòu),在MOLAP 中對(duì)"立方塊"的"旋轉(zhuǎn)"、"切塊"、"切片"是產(chǎn)生多維數(shù)據(jù)報(bào)表的主要技術(shù)。
    HOLAP表示基于混合數(shù)據(jù)組織的OLAP實(shí)現(xiàn)（Hybrid OLAP）。如低層是關(guān)系型的，高層是多維矩陣型的。這種方式具有更好的靈活性。
還有其他的一些實(shí)現(xiàn)OLAP的方法，如提供一個(gè)專用的SQL Server，對(duì)某些存儲(chǔ)模式（如星型、雪片型）提供對(duì)SQL查詢的特殊支持。
    OLAP 工具是針對(duì)特定問題的聯(lián)機(jī)數(shù)據(jù)訪問與分析。它通過多維的方式對(duì)數(shù)據(jù)進(jìn)行分析、查詢和報(bào)表。維是人們觀察數(shù)據(jù)的特定角度。例如，一個(gè)企業(yè)在考慮產(chǎn)品的銷售情況時(shí)，通常從時(shí)間、地區(qū)和產(chǎn)品的不同角度來(lái)深入觀察產(chǎn)品的銷售情況。這里的時(shí)間、地區(qū)和產(chǎn)品就是維。而這些維的不同組合和所考察的度量指標(biāo)構(gòu)成的多維數(shù)組則是OLAP分析的基礎(chǔ)，可形式化表示為（維1，維2，……，維n，度量指標(biāo)），如（地區(qū)、時(shí)間、產(chǎn)品、銷售額）。多維分析是指對(duì)以多維形式組織起來(lái)的數(shù)據(jù)采取切片（Slice）、切塊（Dice）、鉆取（Drill-down和Roll-up）、旋轉(zhuǎn)（Pivot）等各種分析動(dòng)作，以求剖析數(shù)據(jù)，使用戶能從多個(gè)角度、多側(cè)面地觀察數(shù)據(jù)庫(kù)中的數(shù)據(jù)，從而深入理解包含在數(shù)據(jù)中的信息。
    根據(jù)綜合性數(shù)據(jù)的組織方式的不同，目前常見的OLAP主要有基于多維數(shù)據(jù)庫(kù)的MOLAP及基于關(guān)系數(shù)據(jù)庫(kù)的ROLAP兩種。MOLAP是以多維的方式組織和存儲(chǔ)數(shù)據(jù)，ROLAP則利用現(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)技術(shù)來(lái)模擬多維數(shù)據(jù)。在數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用中，OLAP應(yīng)用一般是數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的前端工具，同時(shí)OLAP工具還可以同數(shù)據(jù)挖掘工具、統(tǒng)計(jì)分析工具配合使用，增強(qiáng)決策分析功能。