隨筆檔案

對于Web應用來說，RDBMS在性能和擴展性上有著天生的缺陷，而key-value存儲系統通過犧牲關系數據庫的事務和范式等要求來換取性能和擴展性，成為了不錯的替代品。key-value存儲系統設計時一般需要關注擴展性，錯誤恢復，可靠性等，大致可以分類如下：
1. “山寨“流派：國產的很多系統屬于這種類型。這種類型的系統一般不容易擴展，錯誤恢復和負載平衡等都需要人工介入。由于國內的人力成本較低，這類系統通過增加運維人員的數量來回避分布式系統設計最為復雜的幾個問題，具有強烈的中國特色。這種系統的好處在于設計簡單，適合幾臺到幾十臺服務器的互聯網應用。比如，現在很多多機mysql應用通過人工分庫來實現系統擴展，即每次系統將要到達服務上限時，增加機器重新分庫。又如，很多系統將更新節點設計成單點，再通過簡單的冗余方式來提高系統可靠性；又如，很多系統規定單個表格最大的數據量，并通過人工指定機器服務每個表格來實現負載平衡。在這樣的設計下，應用規模增加一倍，服務器和運營各項成本增加遠大于一倍，不能用來提供云計算服務。然而由于其簡單可依賴，這類系統非常適合小型互聯網公司或者大型互聯網公司的一些規模較小的產品。
2. "P2P"流派：代表作為Amazon的Dynamo。Amazon作為提供云計算服務最為成功的公司，其商業模式和技術實力都異常強大。Amazon的系統典型特點是采用P2P技術，組合使用了多種流行的技術，如DHT，Vector Clock，Merkle Tree等，并且允許配置W和R值，在可靠性和一致性上求得一個平衡。Dynamo的負載平衡需要通過簡單的人工配置機器來配合，它的很多技術點可以單獨被其它系統借鑒。如，國內的“山寨”系統可以借鑒Dynamo的設計提高擴展性。
3. Google流派：代表作有Google的三駕馬車：GFS+Mapreduce+Bigtable。這種系統屬于貴族流派，模仿者眾多，知名的有以Yahoo為代表的Hadoop, 與Hadoop同源的Hypertable以及國內外眾多互聯網公司。Google的設計從數據中心建設，服務器選購到系統設計，數據存儲方式(數據壓縮)到系統部署都有一套指導原則，自成體系。如Hadoop的HDFS設計時不支持多個客戶端同時并發Append操作，導致后續的HBase及Hypertable實現極其困難。模仿者雖多，成功者少，HBase和Hypertable都在響應的延時及宕機恢復上有一系列的問題，期待后續發布的版本能有較大的突破。小型互聯網公司可以使用Hadoop的HDFS和Mapreduce，至于類似Hbase/Hypertable的表格系統，推薦自己做一個“山寨”版后不斷優化。
4. 學院派：這種類型的系統為研究人員主導，設計一般比較復雜，實現的時候以Demo為主。這類系統代表未來可能的方向，但實現的Demo可能有各種各樣的問題，如有的系統不能長期穩定運行，又如，有的系統不支持異構的機器環境。本人對這類系統知之甚少，著名的類Mapreduce系統Microsoft Dryad看起來有這種味道。

【注："山寨“如山寨手機，山寨開心網主要表示符合中國國情，非貶義】 閱讀全文
類別：默認分類 查看評論
文章來源:http://hi.baidu.com/knuthocean/blog/item/ae38ebf8891acb05d9f9fdb9.html