我的空間,寫我所寫,禪我所藏

          與我一起遨游吧

           

          Hibernate下數據批量處理解決方案

          很多人都對java在批量數據的處理方面是否是其合適的場所持有懷疑的念頭,由此延伸,那么就會認為orm可能也不是特別適合數據的批量處理。 其實,我想如果我們應用得當的話,完全可以消除orm批量處理性能問題這方面的顧慮。下面以hibernate為例來做為說明,假如我們真的不得不在java中使用hibernate來對數據進行批量處理的話。 向數據庫插入100 000條數據,用hibernate可能像這樣:

          session session = sessionfactory.opensession();
          transaction tx = session.begintransaction();
          for ( int i=0; i<100000; i++ ) {
          customer customer = new customer(.....);
          session.save(customer); }
          tx.commit();
          session.close();

            大概在運行到第50 000條的時候,就會出現內存溢出而失敗。這是hibernate把最近插入的customer都以session-level cache在內存做緩存,我們不要忘記hiberante并沒有限制first-level cache 的緩存大小:

            # 持久對象實例被管理在事務結束時,此時hibernate與數據庫同步任何已經發生變 化的被管理的的對象。

            # session實現了異步write-behind,它允許hibernate顯式地寫操作的批處理。 這里,我給出hibernate如何實現批量插入的方法:
          首先,我們設置一個合理的jdbc批處理大小,hibernate.jdbc.batch_size 20。 然后在一定間隔對session進行flush()和clear()。

          session session = sessionfactory.opensession();
          transaction tx = session.begintransaction();
          for ( int i=0; i<100000; i++ ) {
          customer customer = new customer(.....);
          session.save(customer);
          if ( i % 20 == 0 ) {
          //flush 插入數據和釋放內存:
          session.flush(); session.clear(); }
          }
          tx.commit();
          session.close();

            那么,關于怎樣刪除和更新數據呢?那好,在hibernate2.1.6或者更后版本,scroll() 這個方法將是最好的途徑:

          session session = sessionfactory.opensession();
          transaction tx = session.begintransaction();
          scrollableresults customers = session.getnamedquery("getcustomers")
          .scroll(scrollmode.forward_only);
          int count=0;
          while ( customers.next() ) {
          customer customer = (customer) customers.get(0);
          customer.updatestuff(...);
          if ( ++count % 20 == 0 ) {
          //flush 更新數據和釋放內存:
          session.flush(); session.clear(); } }
          tx.commit(); session.close();

            這種做法并不困難,也不算不優雅。請注意,如果customer啟用了second-level caching ,我們仍然會有一些內存管理的問題。原因就是對于用戶的每一次插入和更新,hibernate在事務處理結束后不得不通告second-level cache 。因此,我們在批處理情況下將要禁用用戶使用緩存。

          posted on 2007-06-27 14:53 imcb 閱讀(285) 評論(0)  編輯  收藏


          只有注冊用戶登錄后才能發表評論。


          網站導航:
           

          導航

          統計

          常用鏈接

          留言簿(2)

          隨筆分類

          隨筆檔案

          文章檔案

          搜索

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 永新县| 平遥县| 衡水市| 沂南县| 资溪县| 赞皇县| 惠水县| 旌德县| 淳化县| 横峰县| 隆林| 灵宝市| 宝清县| 泰顺县| 陆川县| 曲麻莱县| 洛宁县| 秦安县| 大洼县| 安远县| 鄢陵县| 宿迁市| 桂平市| 涪陵区| 申扎县| 保靖县| 镇江市| 岱山县| 额尔古纳市| 和林格尔县| 太保市| 南澳县| 泗洪县| 江油市| 芜湖市| 雅安市| 运城市| 淮阳县| 肃北| 突泉县| 开封市|