在我們的項目中遇到這樣一個問題:我們的項目需要連接多個數據庫,而且不同的客戶在每次訪問中根據需要會去訪問不同的數據庫。我們以往在spring和hibernate框架中總是配置一個數據源,因而sessionFactory的dataSource屬性總是指向這個數據源并且恒定不變,所有DAO在使用sessionFactory的時候都是通過這個數據源訪問數據庫。但是現在,由于項目的需要,我們的DAO在訪問sessionFactory的時候都不得不在多個數據源中不斷切換,問題就出現了:如何讓sessionFactory在執行數據持久化的時候,根據客戶的需求能夠動態切換不同的數據源?我們能不能在spring的框架下通過少量修改得到解決?是否有什么設計模式可以利用呢?
問題的分析
我首先想到在spring的applicationContext中配置所有的dataSource。這些dataSource可能是各種不同類型的,比如不同的數據庫:Oracle、SQL Server、MySQL等,也可能是不同的數據源:比如apache 提供的org.apache.commons.dbcp.BasicDataSource、spring提供的org.springframework.jndi.JndiObjectFactoryBean等。然后sessionFactory根據客戶的每次請求,將dataSource屬性設置成不同的數據源,以到達切換數據源的目的。
但是,我很快發現一個問題:當多用戶同時并發訪問數據庫的時候會出現資源爭用的問題。這都是“單例模式”惹的禍。眾所周知,我們在使用spring框架的時候,在beanFactory中注冊的bean基本上都是采用單例模式,即spring在啟動的時候,這些bean就裝載到內存中,并且每個bean在整個項目中只存在一個對象。正因為只存在一個對象,對象的所有屬性,更準確說是實例變量,表現得就如同是個靜態變量(實際上“靜態”與“單例”往往是非常相似的兩個東西,我們常常用“靜態”來實現“單例”)。拿我們的問題來說,sessionFactory在整個項目中只有一個對象,它的實例變量dataSource也就只有一個,就如同一個靜態變量一般。如果不同的用戶都不斷地去修改dataSource的值,必然會出現多用戶爭用一個變量的問題,對系統產生隱患。
通過以上的分析,解決多數據源訪問問題的關鍵,就集中在sessionFactory在執行數據持久化的時候,能夠通過某段代碼去根據客戶的需要動態切換數據源,并解決資源爭用的問題。
問題的解決
(一) 采用Decorator設計模式
要解決這個問題,我的思路鎖定在了這個dataSource上了。如果sessionFactory指向的dataSource可以根據客戶的需求去連接客戶所需要的真正的數據源,即提供動態切換數據源的功能,那么問題就解決了。那么我們怎么做呢?去修改那些我們要使用的dataSource源碼嗎?這顯然不是一個好的方案,我們希望我們的修改與原dataSource代碼是分離的。根據以上的分析,使用GoF設計模式中的Decorator模式(裝飾者模式)應當是我們可以選擇的最佳方案。
什么是“Decorator模式”?簡單點兒說就是當我們需要修改原有的功能,但我們又不愿直接去修改原有的代碼時,設計一個Decorator套在原有代碼外面。當我們使用Decorator的時候與原類完全一樣,當Decorator的某些功能卻已經修改為了我們需要修改的功能。Decorator模式的結構如圖。
我們本來需要修改圖中所有具體的Component類的一些功能,但卻并不是去直接修改它們的代碼,而是在它們的外面增加一個Decorator。Decorator與具體的Component類都是繼承的AbstractComponent,因此它長得和具體的Component類一樣,也就是說我們在使用Decorator的時候就如同在使用ConcreteComponentA或者ConcreteComponentB一樣,甚至那些使用ConcreteComponentA或者ConcreteComponentB的客戶程序都不知道它們用的類已經改為了Decorator,但是Decorator已經對具體的Component類的部分方法進行了修改,執行這些方法的結果已經不同了。
(二) 設計MultiDataSource類
現在回到我們的問題,我們需要對dataSource的功能進行變更,但又不希望修改dataSource中的任何代碼。我這里指的dataSource是所有實現javax.sql.DataSource接口的類,我們常用的包括apache 提供的org.apache.commons.dbcp.BasicDataSource、spring提供的org.springframework.jndi.JndiObjectFactoryBean等,這些類我們不可能修改它們本身,更不可能對它們一個個地修改以實現動態分配數據源的功能,同時,我們又希望使用dataSource的sessionFactory根本就感覺不到這樣的變化。Decorator模式就正是解決這個問題的設計模式。
首先寫一個Decorator類,我取名叫MultiDataSource,通過它來動態切換數據源。同時在配置文件中將sessionFactory的dataSource屬性由原來的某個具體的dataSource改為MultiDataSource。如圖:
對比原Decorator模式,AbstractComponent是一個抽象類,但在這里我們可以將這個抽象類用接口來代替,即DataSource接口,而ConcreteComponent就是那些DataSource的實現類,如BasicDataSource、JndiObjectFactoryBean等。MultiDataSource封裝了具體的dataSource,并實現了數據源動態切換:
客戶在發出請求的時候,將dataSourceName放到request中,然后把request中的數據源名通過調用new MultiDataSource(dataSource)時可以告訴MultiDataSource客戶需要的數據源,就可以實現動態切換數據源了。但細心的朋友會發現這在單例的情況下就是問題的,因為MultiDataSource在系統中只有一個對象,它的實例變量dataSource也只有一個,就如同一個靜態變量一般。正因為如此,單例模式讓許多設計模式都不得不需要更改,這將在我的《“單例”更改了我們的設計模式》中詳細討論。那么,我們在單例模式下如何設計呢? 在單例模式下,由于我們在每次調用MultiDataSource的方法的時候,dataSource都可能是不同的,所以我們不能將dataSource放在實例變量dataSource中,最簡單的方式就是在方法getDataSource()中增加參數,告訴MultiDataSource我到底調用的是哪個dataSource: 值得一提的是,我需要的數據源已經都在spring的配置文件中注冊,dataSourceName就是其對應的id。 為了得到spring的ApplicationContext,MultiDataSource類必須實現接口org.springframework.context.ApplicationContextAware,并且實現方法: 如此這樣,我就可以通過this.applicationContext.getBean(dataSourceName)得到dataSource了。 查看以上設計,MultiDataSource依然無法運行,因為用戶在發出請求時,他需要連接什么數據庫,其數據源名是放在request中的,要將request中的數據源名傳給MultiDataSource,需要經過BUS和DAO,也就是說為了把數據源名傳給MultiDataSource,BUS和DAO的所有方法都要增加dataSourceName的參數,這是我們不愿看到的。寫一個類,通過線程的方式跳過BUS和DAO直接傳遞給MultiDataSource是一個不錯的設計: 做一個filter,每次客戶發出請求的時候就調用SpObserver.petSp(dataSourceName),將request中的dataSourceName傳遞給SpObserver對象。最后修改MultiDataSource的方法getDataSource(): 完整的MultiDataSource代碼在附件中。 通過以上方案,我們解決了動態分配數據源的問題,但你可能提出疑問:方案中的數據源都是配置在spring的ApplicationContext中,如果我在程序運行過程中動態添加數據源怎么辦?這確實是一個問題,而且在我們的項目中也確實遇到。spring的ApplicationContext是在項目啟動的時候加載的。加載以后,我們如何動態地加載新的bean到ApplicationContext中呢?我想到如果用spring自己的方法解決這個問題就好了。所幸的是,在查看spring的源代碼后,我找到了這樣的代碼,編寫了DynamicLoadBean類,只要調用loadBean()方法,就可以將某個或某幾個配置文件中的bean加載到ApplicationContext中(見附件)。不通過配置文件直接加載對象,在spring的源碼中也有,感興趣的朋友可以自己研究。 在完成了所有這些設計以后,我最后再嘮叨一句。我們應當在spring中做如下配置: 其中dataSource屬性實際上更準確地說應當是defaultDataSource,即spring啟動時以及在客戶沒有指定數據源時應當指定的默認數據源。 以上方案與其它方案相比,它有哪些優勢呢? 首先,這個方案完全是在spring的框架下解決的,數據源依然配置在spring的配置文件中,sessionFactory依然去配置它的dataSource屬性,它甚至都不知道dataSource的改變。唯一不同的是在真正的dataSource與sessionFactory之間增加了一個MultiDataSource。 其次,實現簡單,易于維護。這個方案雖然我說了這么多東西,其實都是分析,真正需要我們寫的代碼就只有MultiDataSource、SpObserver兩個類。MultiDataSource類真正要寫的只有getDataSource()和getDataSource(sp)兩個方法,而SpObserver類更簡單了。實現越簡單,出錯的可能就越小,維護性就越高。 最后,這個方案可以使單數據源與多數據源兼容。這個方案完全不影響BUS和DAO的編寫。如果我們的項目在開始之初是單數據源的情況下開發,隨著項目的進行,需要變更為多數據源,則只需要修改spring配置,并少量修改MVC層以便在請求中寫入需要的數據源名,變更就完成了。如果我們的項目希望改回單數據源,則只需要簡單修改配置文件。這樣,為我們的項目將增加更多的彈性。 特別說明:實例中的DynamicLoadBean在web環境下運行會出錯,需要將類中AbstractApplicationContext改為org.springframework.context.ConfigurableApplicationContext。
(三) 單例模式下的MultiDataSource
(四) 通過線程傳遞dataSourceName
(五) 動態添加數據源
(六) 在spring中配置
該方案的優勢
- example.rar (32.1 KB)
- 描述: 源碼及示例
- 下載次數: 1214
再析在spring框架中解決多數據源的問題
關鍵字: hibernate decorator 設計模式總結多數據源的問題,其實它需要分為以下三種情況:各個數據源的數據結構不同、各個數據源的數據結構相同、各個數據源的數據結構部分相同又有部分不同。對于第二種情況,各個數據源的數據結構相同,我們使用一個sessionFactory,而在sessionFactory中通過MultiDataSource來動態切換數據源,應當是一個不錯的方案,既解決了多個sessionFactory對相同的值對象重復裝載對內存的浪費,又使數據源的切換對客戶程序透明,簡化了代碼的實現和對客戶程序的影響。但是,對于第一種情況,各個數據源的數據結構不同,運用這樣的方案存在潛在風險。
對于各個數據源的數據結構不同的情況,使用一個sessionFactory而在這個sessionFactory中動態切換數據源,可能造成數據訪問的張冠李戴。譬如,數據源A有表T而數據源B沒有,可能造成客戶程序在訪問表T的時候卻嘗試去連接數據源B,因為客戶程序訪問哪個數據源是在程序運行期間由客戶程序決定的,因此這樣的錯誤是很難發現的。也許客戶程序的一個不經意的錯誤就可能造成錯誤。解決這個問題的方法有兩個:一是嚴格要求客戶程序不要寫錯,這當然是可以做到的,但作為框架設計者,另一個解決方法是在框架中就避免出現這樣的情況。因此我祭出了MultiSessionFactory的方案來解決各個數據源的數據結構不同的多數據源問題。
問題的分析
與MultiDataSource的方案一樣,MultiSessionFactory同樣是在spring框架下調用ApplicationContext的getBean()方法而不會另外創建beanFacoty,也同樣使用Decorator模式來處理切換的問題。MultiSessionFactory的對象關系如圖:
方案的實現
在整個這個方案中,我們需要實現的只有MultiSessionFactory類和我們可愛的Spserver,總共就兩個類,然后呢就是一些spring的配置,就完成了。
MultiSessionFactory實現了SessionFactory,同時為了得到AplicationContext而實現了ApplicationContextAware。MultiSessionFactory的代碼如下:
- public class MultiSessionFactory implements SessionFactory, ApplicationContextAware {
- private static final long serialVersionUID = 2064557324203496378L;
- private static final Log log = LogFactory.getLog(MultiSessionFactory.class);
- private ApplicationContext applicationContext = null;
- private SessionFactory sessionFactory = null;
- public ApplicationContext getApplicationContext() {
- return applicationContext;
- }
- public void setApplicationContext(ApplicationContext applicationContext) {
- this.applicationContext = applicationContext;
- }
- public SessionFactory getSessionFactory(String sessionFactoryName) {
- log.debug("sessionFactoryName:"+sessionFactoryName);
- try{
- if(sessionFactoryName==null||sessionFactoryName.equals("")){
- return sessionFactory;
- }
- return (SessionFactory)this.getApplicationContext().getBean(sessionFactoryName);
- }catch(NoSuchBeanDefinitionException ex){
- throw new DaoException("There is not the sessionFactory
- }
- }
- public SessionFactory getSessionFactory() {
- String sessionFactoryName = SpObserver.getSp();
- return getSessionFactory(sessionFactoryName);
- }
- public void setSessionFactory(SessionFactory sessionFactory) {
- this.sessionFactory = sessionFactory;
- }
- // SessionFactory接口需要實現的方法
- ......
- }
MultiSessionFactory的完整代碼見我提供的附件。setSessionFactory()實際上是設定的默認sessionFactory,它在spring裝載的時候調用,其對應的數據源應當是主數據源,即項目初始化中需要讀取初始化數據的數據源。在任何多數據源項目中,都應當有一個存放初始化數據、系統維護數據、用戶權限數據的數據源,這就是主數據源。因此MultiSessionFactory的配置應當這樣寫:
- <bean id="sessionFactory" class="com.htxx.service.dao.MultiSessionFactory">
- <property name="sessionFactory"><ref bean="hostSessionFactory"/>property>
- >
SpServer的寫法與《如何在spring框架中解決多數據源的問題》中的一樣,我就不再累贅了。
另外,在spring配置中配置多個數據源,每個數據源對應一個sessionFactory,這個對應的sessionFactory中的值對象應當是該數據源的值對象。客戶程序在執行數據訪問前,通過調用SpServer的putSp()方法,告訴MultiSessionFactory需要切換到哪個sessionFactory,然后執行數據訪問。這樣,不同數據源的值對象通過放在不同的sessionFactory中,避免了張冠李戴的情況。具體的示例見附件的MultiSessionFactoryTest。
另外的方案
也許有些朋友對以上方案還不滿意,因為在執行數據訪問前畢竟還要多做一步指定sessionFactory的工作。實際上,對于各個數據源的數據結構不同的項目,一個值對象應當使用哪個數據源有一個非常確定的對應關系。如果通過配置文件將值對象與它的sessionFactory對應起來,那么我們在執行數據訪問的時候傳遞的是哪個值對象,MultiSessionFactory馬上就可以去找到對應的sessionFactory。這個方案你可以通過AOP來制作一個攔截器攔截所有諸如save()、delete()、get()、load()等方法來實現,也可以擴展HibernateDaoSupport來實現。這樣的方案使客戶程序甚至都不用知道他是在操作的一個多數據源系統。當然,這個方案感興趣的朋友可以自己去實現。
另外,在這個方案中的核心是運用Decorator設計模式來解決切換sessionFactory的目的,即MultiSessionFactory的實現。至于通過什么方式來通知MultiSessionFactory應當切換到哪個SessionFactory,可以根據不同項目的情況自由選擇。我在這里給大家提供了通過SpOberver和建立值對象與sessionFactory關系的配置文件這兩個方案,你也可以有自己的方案解決。
第三種情況的解決方案
前面我已經給出了第一種和第二種情況的解決方案:各個數據源的數據結構不同的情況用MultiSessionFactory解決;各個數據源的數據結構相同的情況用MultiDataSource解決。那么第三種情況,各個數據源的數據結構部分相同又有部分不同,又應當如何解決呢?當然是將MultiSessionFactory和MultiDataSource結合起來解決。對于數據結構不同的部分,其分別創建各自的sessionFactory然后通過MultiSessionFactory來切換,而對于數據結構相同的部分,建立共同的sessionFactory和多個不同的dataSource然后通過MultiDataSource來切換就可以了。
還有的朋友問到這樣的方案其事務處理和二級緩存的情況。這個方案是在spring框架下的解決方案,其事務處理的能力也是由spring的能力來決定的。目前spring要處理跨數據庫的事務處理是通過JTA來實現的,這種方式在該方案中同樣可以實現,朋友們可以試一試。另外,本方案能使用二級緩存嗎?當然可以。對于MultiSessionFactory當然沒有任何問題,它通過不同的sessionFactory分離開了不同的數據源和值對象,我們可以毫無顧忌地使用。對于MultiDataSource來說,就有點問題了。MultiDataSource使多個數據源使用共同的sessionFactory,因此它仿佛就是將多個數據源在邏輯上合并為一個數據源。正因為如此,我們需要保證對于同一個表在所有數據源中都要主鍵唯一。什么意思呢?數據源A和數據源B都有表T,如果數據源A中的表T擁有ID為001的一條數據,那么在數據源B的表T中就不能有ID為001的記錄。如果你總是通過MultiDataSource來執行表的插入操作,并且使用uuid.hex生成主鍵,這當然不會有問題。但如果你有通過其它方式插入表的操作,你應當保證這樣的唯一性。另外,對于查詢的操作,緩存中存放的既可能是數據源A的數據,也可能是數據源B的數據,因此你應當對數據有一個規劃。對于表T的數據,哪些應當插入到數據源A中,哪些應當插入到B中,應當有一個定義。假如是通過不同單位來決定插入哪個數據源,那么在查詢數據源A的表T是,應當增加條件只查詢數據源A應當有的單位而排除調其它單位。如此這樣,你只要注意到這兩個問題,你就可以放心大膽地使用二級緩存。- example.rar (16.4 KB)
- 描述: 示例文件
- 下載次數: 773
本人感覺這是不錯的一種多數據源的解決方案,當然還有其他的辦法,原帖的回復也有很有意義,建議查看原帖:
http://fangang.javaeye.com/blog/72486
http://fangang.javaeye.com/blog/91667
http://www.javaeye.com/topic/72486?page=1