fun

           

          常見開源key-value分布式存儲系統

          key-value分布式存儲系統查詢速度快、存放數據量大、支持高并發,非常適合通過主鍵進行查詢,但不能進行復雜的條件查詢。如果輔以Real- Time Search Engine(實時搜索引擎)進行復雜條件檢索、全文檢索,就可以替代并發性能較低的MySQL等關系型數據庫,達到高并發、高性能,節省幾十倍服務器數量的目的。以MemcacheDB、Tokyo Tyrant為代表的key-value分布式存儲,在上萬并發連接下,輕松地完成高速查詢。而MySQL,在幾百個并發連接下,就基本上崩潰了。

            雖然key-value分布式存儲具有極高的性能,但是只能做類似于MySQL的SELECT * FROM table WHERE id = 123;簡單主鍵查詢。

            “搜索索引引擎+key-value分布式存儲”能夠實現高并發的復雜條件查詢、全文檢索與數據顯示。但是,由于索引更新需要時間,目前還不能實現完全意義上的Real-Time Search(實時搜索),只能稱之為Near Real-Time Search(準實時搜索)。“搜索索引引擎+key-value分布式存儲”除了做全文檢索外,還可以在允許的索引延遲范圍內,取代MySQL進行復雜條件查詢。

            我的文章《億級數據的高并發通用搜索引擎架構設計》的程序編碼已經完成,第一輪測試昨天已經結束,能夠在高并發情況下實現1分鐘內索引更新,屬于“Near Real-Time Search Engine(準實時搜索引擎)+key-value分布式存儲”應用。其中,索引引擎采用Sphinx,存儲采用key-value分布式數據庫Tokyo Tyrant

            以下是常見的key-value分布式存儲系統:

            

           

            其中,以下幾款值得關注:

            1、Hypertable:它是搜索引擎公司Zvents根據Google的9位研究人員在2006年發表的一篇論文《Bigtable:結構化數據的分布存儲系統》開發的一款開源分布式數據儲存系統。Hypertable是按照1000節點比例設計,以 C++撰寫,可架在 HDFS 和 KFS 上。盡管還在初期階段,但已有不錯的效能:寫入 28M 列的資料,各節點寫入速率可達7MB/s,讀取速率可達 1M cells/s。Hypertable目前一直沒有太多高負載和大存儲的應用實例,但是最近,Hypertable項目得到了百度的贊助支持,相信其會有更好的發展,地址:http://www.bt285.cn  BT下載。

            點擊在新窗口中瀏覽此圖片



            2、Tokyo Tyrant:它是日本最大的SNS社交網站mixi.jp開發的 Tokyo Cabinet key-value數據庫網絡接口。它擁有Memcached兼容協議,也可以通過HTTP協議進行數據交換。對任何原有Memcached客戶端來講,可以將Tokyo Tyrant看成是一個Memcached,但是,它的數據是可以持久存儲的。Tokyo Tyrant 具有故障轉移、日志文件體積小、大數據量下表現出色等優勢,詳見:http://www.bt285.cn/aidesefang/
            Tokyo Cabinet 2009年1月18日發布的新版本(Version 1.4.0)已經實現 Table Database,將key-value數據庫又擴展了一步,有了MySQL等關系型數據庫的表和字段的概念,相信不久的將來,Tokyo Tyrant 也將支持這一功能。值得期待。詳見:http://www.bt285.cn/sejishikong/

            點擊在新窗口中瀏覽此圖片



            3、CouchDB:它是Apache社區基于 Erlang/OTP 構建的高性能、分布式容錯非關系型數據庫系統(NRDBMS)。它充分利用 Erlang 本身所提供的高并發、分布式容錯基礎平臺,并且參考 Lotus Notes 數據庫實現,采用簡單的文檔數據類型(document-oriented)。在其內部,文檔數據均以 JSON 格式存儲。對外,則通過基于 HTTP 的 REST 協議實現接口,可以用十幾種語言進行自由操作。

            點擊在新窗口中瀏覽此圖片



            4、MemcacheDB:它是新浪互動社區事業部為在Memcached基礎上,增加Berkeley DB存儲層而開發一款支持高并發的分布式持久存儲系統,對任何原有Memcached客戶端來講,它仍舊是個Memcached,但是,它的數據是可以持久存儲的。

            點擊在新窗口中瀏覽此圖片

          • C47026e2-c744-3526-bcbd-bd4f8829bcb4-thumb
          • 大小: 76.4 KB

          posted on 2009-05-02 10:16 fun 閱讀(6720) 評論(1)  編輯  收藏

          評論

          # re: 常見開源key-value分布式存儲系統 2009-09-20 15:06 happy_fish100

          還有一款高性能分布式Hash系統FastDHT,大家可以了解一下。  回復  更多評論   


          只有注冊用戶登錄后才能發表評論。


          網站導航:
           

          導航

          統計

          常用鏈接

          留言簿(11)

          隨筆檔案

          友情鏈接

          搜索

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 馆陶县| 陈巴尔虎旗| 雷州市| 阳信县| 昌江| 大理市| 南阳市| 包头市| 财经| 靖宇县| 全南县| 纳雍县| 若羌县| 伊宁县| 两当县| 子洲县| 泸定县| 黎川县| 娄烦县| 延津县| 仙居县| 陇南市| 吉水县| 昌都县| 溧水县| 芦山县| 南通市| 揭西县| 河曲县| 盐亭县| 唐山市| 沈丘县| 荔波县| 彝良县| 秦皇岛市| 青州市| 惠州市| 遂宁市| 自贡市| 西林县| 南部县|