我的一畝三分地

            BlogJava :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理 ::
            7 隨筆 :: 0 文章 :: 17 評論 :: 0 Trackbacks
               先來說說ODS和數(shù)據倉庫的定義。ODS(Operate Data Store)是一個面向主題的、近實時的、可變的、當前的細節(jié)數(shù)據集合。數(shù)據倉庫(DW)是面向主題的、集成的、穩(wěn)定的、隨時間變化的。從定義可以看出數(shù)據倉庫和ODS的異同。ODS和DW數(shù)據模型都是面向主題的,或者說兩者的數(shù)據模型是趨于一致,DW有輕度性匯總數(shù)據,當然也有提出DW是不存儲細節(jié)性數(shù)據的,這個不能一概而論,具體情況具體分析,在初期階段傾向于數(shù)據結構的一致。DW的數(shù)據是穩(wěn)定的,歷史的(隨時間變化的),ODS的數(shù)據是近實時的,變化的(肯定的呀,越是實時的數(shù)據變化的可能性越大)。以前ODS陪太子讀書的地位正在發(fā)生變化,越來越傾向于建立ODS,而不是作為數(shù)據倉庫的可選部件。
            從下面可以看出ODS的重要性,由于ODS從功能上提供了數(shù)據緩沖區(qū)和企業(yè)數(shù)據統(tǒng)一視圖。
            1、數(shù)據緩沖區(qū):緩沖區(qū)是為了降低從業(yè)務系統(tǒng)ETL數(shù)據的復雜度,比如當ODS某張表需要從多個業(yè)務系統(tǒng)抽取數(shù)據,可能需要現(xiàn)將數(shù)據抽取出來放在緩沖區(qū)里,在進行清洗、轉換等操作。緩沖區(qū)是個概念區(qū)域,由于ETL過程的復雜性可能一步到位不需要緩沖區(qū)也可能需要多個緩沖區(qū)。所以緩沖區(qū)是必須的。
            2、企業(yè)統(tǒng)一視圖區(qū):在ODS里的數(shù)據除了為數(shù)據中心服務外,也為企業(yè)業(yè)務系統(tǒng)提供了數(shù)據共享接口(或者說為業(yè)務系統(tǒng)提供了共享的數(shù)據交換接口)。沒有數(shù)據中心的情況下如果獲取其他系統(tǒng)數(shù)據,我們需要專門做接口。有了數(shù)據中心就可以從數(shù)據中心的統(tǒng)一視圖區(qū)中獲取數(shù)據,相當對數(shù)據倉庫做了隔離。當然隔離或者緩沖不僅是從業(yè)務系統(tǒng)ETL的過程,還包括多級數(shù)據倉庫交換的視圖和隔離,為BI展現(xiàn)提供的數(shù)據庫的共享和隔離。
            3、其他功能:由于ODS提供的數(shù)據是近實時的,數(shù)據倉庫的數(shù)據是歷史的,ODS為數(shù)據分析提供了近實時的分析接口。數(shù)據倉庫的數(shù)據是相對滯后的可能是一個月以前的或者一年以前的。
            從ODS建設看,主要是兩個部分的建設
            1、統(tǒng)一編碼標準:各業(yè)務系統(tǒng)數(shù)據字典的編碼都各不相同,例如對于電壓等級,A系統(tǒng)是01,02,B系統(tǒng)是220,110,C系統(tǒng)是220kV,110kV等。顯然統(tǒng)一的編碼才是各個業(yè)務系統(tǒng)能夠共享數(shù)據的前提,也是數(shù)據倉庫能夠集成數(shù)據的前提,對于統(tǒng)一編碼的管理,是數(shù)據倉庫的核心,最好能有一個編碼系統(tǒng),將編碼系統(tǒng)作為業(yè)務系統(tǒng)進行抽取是一個可行的方式。
            2、統(tǒng)一企業(yè)模型:這幾乎是數(shù)據倉庫或者ODS最為復雜的一塊,也是評價實施廠商成熟的關鍵指標。只有對行業(yè)業(yè)務有很深的積累才能提供成熟的、穩(wěn)定的模型,ods模型的穩(wěn)定也就是數(shù)據倉庫的穩(wěn)定。顯然數(shù)據模型的建設不是一步到位的,是不斷積累的過程,成熟的數(shù)據模型能夠減少迭代的時間。
           
               
          posted on 2007-07-29 14:01 西北狼 閱讀(2197) 評論(2)  編輯  收藏 所屬分類: 開發(fā)技術

          評論

          # re: 亂彈數(shù)據倉庫(二)-ODS 2007-08-24 23:27 紫貓
          支持,堅持繼續(xù)啊~  回復  更多評論
            

          # re: 亂彈數(shù)據倉庫(二)-ODS 2007-12-24 16:20 xiangeliuATgmail.com
          關于統(tǒng)一企業(yè)模型,樓主有沒有相關的信息可以介紹下啊。  回復  更多評論
            

          主站蜘蛛池模板: 天台县| 岚皋县| 石棉县| 丽水市| 云南省| 广西| 博客| 玉溪市| 广州市| 曲沃县| 伊春市| 和田县| 尉氏县| 嘉义市| 宜君县| 佳木斯市| 灵武市| 项城市| 临高县| 旅游| 资溪县| 县级市| 老河口市| 贡觉县| 陵川县| 灵石县| 正阳县| 潼南县| 巴南区| 镇康县| 江孜县| 安顺市| 宜川县| 阳山县| 老河口市| 连云港市| 泗阳县| 中西区| 元阳县| 凤台县| 曲松县|