ivaneeo's blog

          自由的力量,自由的生活。

            BlogJava :: 首頁 :: 聯(lián)系 :: 聚合  :: 管理
            669 Posts :: 0 Stories :: 64 Comments :: 0 Trackbacks

          HBase的寫效率還是很高的,但其隨機讀取效率并不高

          可以采取一些優(yōu)化措施來提高其性能,如:

          1. 啟用lzo壓縮,見這里

          2. 增大hbase.regionserver.handler.count數(shù)為100

          3. 增大hfile.block.cache.size為0.4,提高cache大小

          4. 增大hbase.hstore.blockingStoreFiles為15

          5. 啟用BloomFilter,在HBase0,89中可以設(shè)置

          6.Put時可以設(shè)置setAutoFlush為false,到一定數(shù)目后再flushCommits

           

          在14個Region Server的集群上,新建立一個lzo壓縮表

          測試的Put和Get的性能如下:

          1. Put數(shù)據(jù):

          單線程灌入1.4億數(shù)據(jù),共花費50分鐘,每秒能達到4萬個,這個性能確實很好了,不過插入的value比較小,只有不到幾十個字節(jié)

          多線程put,沒有測試,因為單線程的效率已經(jīng)相當(dāng)高了

          2. Get數(shù)據(jù):

          在沒有任何Block Cache,而且是Random Read的情況:

          單線程平均每秒只能到250個左右

          6個線程平均每秒能達到1100個左右

          16個線程平均每秒能達到2500個左右

          有BlockCache(曾經(jīng)get過對應(yīng)的row,而且還在cache中)的情況:

          單線程平均每秒能到3600個左右

          6個線程平均每秒能達到1.2萬個左右

          16個線程平均每秒能達到2.5萬個左右

          posted on 2011-06-10 23:14 ivaneeo 閱讀(1202) 評論(0)  編輯  收藏 所屬分類:
          主站蜘蛛池模板: 石渠县| 隆昌县| 石首市| 西畴县| 枣庄市| 当涂县| 广丰县| 精河县| 攀枝花市| 阜平县| 建始县| 岳普湖县| 榆社县| 建瓯市| 永康市| 林口县| 新晃| 特克斯县| 沙湾县| 西宁市| 蚌埠市| 德令哈市| 祁连县| 冕宁县| 吴江市| 报价| 沾化县| 平山县| 明溪县| 南木林县| 平湖市| 灌阳县| 额敏县| 嘉定区| 洞口县| 卢氏县| 宜州市| 昭觉县| 武隆县| 那坡县| 阳西县|