wang123

Hibernate Shard簡(jiǎn)介介紹

HibernateShard
    多數(shù)據(jù)庫(kù)水平分區(qū)解決方案。

1. 簡(jiǎn)介
     Hibernate 的一個(gè)擴(kuò)展，用于處理多數(shù)據(jù)庫(kù)水平分區(qū)架構(gòu)。
     由google工程師 2007年 捐獻(xiàn)給 Hibernate社區(qū)。 
     http://www.hibernate.org/414.html
     目前版本：   3.0.0 beta2， 未發(fā)GA版。
     條件：Hibernate Core 3.2, JDK 5.0

2. 水平分區(qū)原理
     一個(gè)庫(kù)表如 Order 存在于多個(gè)數(shù)據(jù)庫(kù)實(shí)例上。按特定的分區(qū)邏輯，將該庫(kù)表的數(shù)據(jù)存儲(chǔ)在這些實(shí)例中，一條記錄的主鍵 PK，在所有實(shí)例中不得重復(fù)。
   
    水平分區(qū)在大型網(wǎng)站，大型企業(yè)應(yīng)用中經(jīng)常采用。 像www.sina.com.cn ,www.163.com  www.bt285.cn www.guihua.org
    目的出于海量數(shù)據(jù)分散存儲(chǔ)，分散操作，分散查詢以便提高數(shù)據(jù)處理量和整體數(shù)據(jù)處理性能。
  
    使用：
      google工程師的設(shè)計(jì)還是非常好的，完全兼容 Hibernate本身的主要接口。

      org.hibernate.Session
org.hibernate.SessionFactory
org.hibernate.Criteria
org.hibernate.Query 

     因此程序員開發(fā)變化不大，甚至不需要關(guān)心后臺(tái)使用了分區(qū)數(shù)據(jù)庫(kù)。程序遷移問(wèn)題不大。而且配置上比較簡(jiǎn)明。

3. 三種策略：
   1) ShardAccessStrategy, 查詢操作時(shí)，到那個(gè)分區(qū)執(zhí)行。
      默認(rèn)提供兩個(gè)實(shí)現(xiàn)：
      順序策略：SequentialShardAccessStrategy， 每個(gè)query按順序在所有分區(qū)上執(zhí)行。
      平行策略：ParallelShardAccessStrategy， 每個(gè)query以多線程方式并發(fā)平行的在所有分區(qū)上執(zhí)行。 此策略下，需要使用線程池機(jī)制滿足特定的性能需要，java.util.concurrent.ThreadPoolExecutor。

   2) ShardSelectionStrategy, 新增對(duì)象時(shí)，存儲(chǔ)到哪個(gè)分區(qū)。
         框架默認(rèn)提供了一個(gè)輪詢選擇策略 RoundRobinShardSelectionStrategy, 但一般不這樣使用。
        通常采用“attribute-based sharding”機(jī)制，基于屬性分區(qū)。一般是用戶根據(jù)表自己實(shí)現(xiàn)一個(gè)基于屬性分區(qū)的策略類ShardSelectionStrategy ，例如，以下WeatherReport基于continent屬性選擇分區(qū)：

      public class WeatherReportShardSelectionStrategy implements ShardSelectionStrategy {
public ShardId selectShardIdForNewObject(Object obj) {
if(obj instanceof WeatherReport) {
return ((WeatherReport)obj).getContinent().getShardId();
}
throw new IllegalArgumentException();
}
}

 

   3) ShardResolutionStrategy, 該策略用于查找單個(gè)對(duì)象時(shí)，判斷它在哪個(gè)或哪幾個(gè)分區(qū)上。
      默認(rèn)使用 AllShardsShardResolutionStrategy ，可以自定義例如：

public class WeatherReportShardResolutionStrategy extends AllShardsShardResolutionStrategy {
public WeatherReportShardResolutionStrategy(List<ShardId> shardIds) {
super(shardIds);
}
public List<ShardId> selectShardIdsFromShardResolutionStrategyData(
ShardResolutionStrategyData srsd) {
if(srsd.getEntityName().equals(WeatherReport.class.getName())) {
return Continent.getContinentByReportId(srsd.getId()).getShardId();
}
return super.selectShardIdsFromShardResolutionStrategyData(srsd);
}
}

4. 水平分區(qū)下的查詢

   對(duì)于簡(jiǎn)單查詢 HibernateShard 可以滿足。

   水平分區(qū)下多庫(kù)查詢是一個(gè)挑戰(zhàn)。主要存在于以下三種操作：
   1) distinct
         因?yàn)樾枰闅v所有shard分區(qū)，并進(jìn)行合并判斷重復(fù)記錄。
   2) order by
         類似 1)
   3) aggregation
         count，sim，avg等聚合操作先分散到分區(qū)執(zhí)行，再進(jìn)行匯總。
         是不是有點(diǎn)類似于 MapReduce ？ 呵呵。
  
   目前 HibernateShard 不支持 1), 2), 對(duì) 3) 部分支持

    HibernateShard 目前通過(guò) Criteria 接口的實(shí)現(xiàn)對(duì) 聚合提供了較好的支持， 因?yàn)?Criteria 以API接口指定了 Projection 操作，邏輯相對(duì)簡(jiǎn)單。

    而HQL，原生 SQL 還不支持此類操作。

    
5. 再分區(qū)和虛擬分區(qū)
      當(dāng)數(shù)據(jù)庫(kù)規(guī)模增大，需要調(diào)整分區(qū)邏輯和數(shù)據(jù)存儲(chǔ)時(shí)， 需要再分區(qū)。
      兩種方式： 1）數(shù)據(jù)庫(kù)數(shù)據(jù)遷移其他分區(qū)； 2） 改變記錄和分區(qū)映射關(guān)系。這兩種方式都比較麻煩。尤其“改變記錄和分區(qū)映射關(guān)系”，需要調(diào)整 ShardResolutionStrategy。

     HibernateShard 提供了一種虛擬分區(qū)層。當(dāng)需要調(diào)整分區(qū)策略時(shí)，只需要調(diào)整虛擬分區(qū)和物理分區(qū)映射關(guān)系即可。以下是使用虛擬分區(qū)時(shí)的配置創(chuàng)建過(guò)程：

Map<Integer, Integer> virtualShardMap = new HashMap<Integer, Integer>();
virtualShardMap.put(0, 0);
virtualShardMap.put(1, 0);
virtualShardMap.put(2, 1);
virtualShardMap.put(3, 1);
ShardedConfiguration shardedConfig =
new ShardedConfiguration(
prototypeConfiguration,
configurations,
strategyFactory,
virtualShardMap);
return shardedConfig.buildShardedSessionFactory();

6.  局限：
    1）HibernateShard 不支持垂直分區(qū)， 垂直+水平混合分區(qū)。

    2） 水平分區(qū)下 查詢功能受到一定限制，有些功能不支持。實(shí)踐中，需要在應(yīng)用層面對(duì)水平分區(qū)算法進(jìn)行更多的考慮。
    3） 不支持跨分區(qū)的 關(guān)系 操作。例如：刪除A分區(qū)上的 s 表，B分區(qū)上的關(guān)聯(lián)子表 t的記錄無(wú)法進(jìn)行參照完整性約束檢查。 （其實(shí)這個(gè)相對(duì) 跨分區(qū)查詢的挑戰(zhàn)應(yīng)該說(shuō)小的多，也許google工程師下個(gè)版本會(huì)支持，呵呵）

    4) 解析策略接口似乎和對(duì)象ID全局唯一性有些自相矛盾，
AllShardsShardResolutionStrategy 的接口返回的是給定對(duì)象ID所在的 shard ID集合，按理應(yīng)該是明確的一個(gè) shard ID.

參考資料：HibernateShard 參考指南。

posted on 2009-04-01 18:49 王 閱讀(2465) 評(píng)論(0)  編輯  收藏