?
BI的范圍很廣,在實際商務中我們往往只需運用其中的某個部分就可以暫時滿足企業(yè)的需求,如數(shù)據(jù)倉庫,聯(lián)機事務分析(OLAP),數(shù)據(jù)挖掘,決策支持系統(tǒng)(DDS)等。其實,整個BI的框架結構可以用下面的圖中間的三部分(數(shù)據(jù)預處理、數(shù)據(jù)倉庫、數(shù)據(jù)分析)來表示:
就我理解,商業(yè)智能的最終目的就是提供給決策者一份站在戰(zhàn)略層角度統(tǒng)觀全局,及時的,在短時間內可以讀完,為企業(yè)決策服務的統(tǒng)計報表。BI專家把這個任務分解為三個子任務:
1)
為了整合各種格式的數(shù)據(jù),清除原有數(shù)據(jù)中的錯誤記錄,專家們提出了數(shù)據(jù)預處理的要求
——ETL(
數(shù)據(jù)抽取、轉換、裝載
)
;
很多企業(yè)同時采用了多個在線事務處理系統(tǒng),而這些系統(tǒng)之間的數(shù)據(jù)定義格式不盡相同,我們必須先定義一個統(tǒng)一的數(shù)據(jù)格式,然后把各個來源的數(shù)據(jù)按新的統(tǒng)一的格式進行轉換,然后集中裝載入數(shù)據(jù)倉庫中。但并不是各個來源的不同格式的所有數(shù)據(jù)都能被新的統(tǒng)一格式包容,我們也不應強求非要把所有數(shù)據(jù)源的數(shù)據(jù)全部集中起來。有可能原來錄入的數(shù)據(jù)中,少量的記錄使用了錯誤的數(shù)據(jù),這類數(shù)據(jù)如果無法校正,應該被舍去。某些數(shù)據(jù)記錄是非結構化的,很難將其轉化成新定義的統(tǒng)一格式,而且從中抽取信息必須讀取整個文件,效率極低,如大容量的二進制數(shù)據(jù)文件,多媒體文件等,這類數(shù)據(jù)如果對企業(yè)決策不大,可以舍去
2)
對預處理過數(shù)據(jù),應該統(tǒng)一集中起來,由此產生了元數(shù)據(jù)
(Meta data)
、數(shù)據(jù)倉庫
(Data Warehouse)
;
數(shù)據(jù)倉庫是
BI
的基礎,有如下四個特性:
①面向主題的:不同類型的公司,其主題集合是不相同的。
②集成的:數(shù)據(jù)倉庫的數(shù)據(jù)來源很廣,數(shù)據(jù)倉庫最重要的目的就是為了集成這些不同數(shù)據(jù)源的數(shù)據(jù)。
③非易失的:和傳統(tǒng)的操作型數(shù)據(jù)庫系統(tǒng)相比,數(shù)據(jù)倉庫通常是以批量方式載入和訪問。而且,對于數(shù)據(jù)倉庫中的記錄,并不進行一般意義上的數(shù)據(jù)更新,刪除。所有的歷史數(shù)據(jù)都會被保留,通常我們只是不停的批量導入新的數(shù)據(jù)。
④隨時間變化的:操作型數(shù)據(jù)庫系統(tǒng)出于性能上的考慮,并不保存系統(tǒng)投入運行后所產生的所有數(shù)據(jù),一般只保留最新的
60~90
天內所產生的數(shù)據(jù)記錄。。
?
3)
最后,對于集中起來的龐大的數(shù)據(jù)集,還應進行相應的專業(yè)統(tǒng)計和開發(fā)應用,從中發(fā)掘出對企業(yè)決策有價值的新的機會,這就是
OLAP(
聯(lián)機事務分析
)
和數(shù)據(jù)挖掘
(Data Mining)
。
數(shù)據(jù)挖掘(
Data Mining
,
DM
)是指從大量不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中,提取隱含在其中的、有用的信息和知識的過程。
CRISP-DM
(
Cross-Industry Standard Process for Data Mining
)就是公認的、很有影響的數(shù)據(jù)挖掘方法論之一。
CRISP-DM
強調,
DM
不單是數(shù)據(jù)的組織或者呈現(xiàn),也不僅是數(shù)據(jù)分析和統(tǒng)計建模,而是一個從理解業(yè)務需求、尋求解決方案到接受實踐檢驗的完整過程。
CRISP-DM
將整個挖掘過程分為以下六個階段:商業(yè)理解(
Business Understanding
),數(shù)據(jù)理解
(Data Understanding)
,數(shù)據(jù)準備
(Data Preparation)
,建模
(Modeling)
,評估
(Evaluation)
和發(fā)布
(Deployment)
。其框架圖如下:
?
從技術層來看,數(shù)據(jù)挖掘技術可分為描述型數(shù)據(jù)挖掘和預測型數(shù)據(jù)挖掘兩種。描述型數(shù)據(jù)挖掘包括數(shù)據(jù)總結、聚類及關聯(lián)分析等。預測型數(shù)據(jù)挖掘包括分類、回歸及時間序列分析等。
凡是有該標志的文章,都是該blog博主Caoer(草兒)原創(chuàng),凡是索引、收藏
、轉載請注明來處和原文作者。非常感謝。