隨筆檔案(496)

Hibernate的批量處理

Hibernate完全以面向對象的方式來操作數據庫，當程序里以面向對象的方式操作持久化對象時，將被自動轉換為對數據庫的操作。例如調用Session的delete()方法來刪除持久化對象，Hibernate將負責刪除對應的數據記錄；當執行持久化對象的set方法時，Hibernate將自動轉換為對應的update方法，修改數據庫的對應記錄。

問題是如果需要同時更新100?000條記錄，是不是要逐一加載100?000條記錄，然后依次調用set方法——這樣不僅繁瑣，數據訪問的性能也十分糟糕。對這種批量處理的場景，Hibernate提供了批量處理的解決方案，下面分別從批量插入、批量更新和批量刪除3個方面介紹如何面對這種批量處理的情形。

1） 批量插入

如果需要將100?000條記錄插入數據庫，通常Hibernate可能會采用如下做法：

Session session = sessionFactory.openSession();

Transaction tx = session.beginTransaction();

for ( int i=0; i<100000; i++ ) {

??? User u = new User (.....);

??? session.save(customer);

}

tx.commit();

session.close();

但隨著這個程序的運行，總會在某個時候運行失敗，并且拋出OutOfMemoryException（內存溢出異常）。這是因為Hibernate的Session持有一個必選的一級緩存，所有的User實例都將在Session級別的緩存區進行了緩存的緣故。

為了解決這個問題，有個非常簡單的思路：定時將Session緩存的數據刷新入數據庫，而不是一直在Session級別緩存。可以考慮設計一個累加器，每保存一個User實例，累加器增加1。根據累加器的值決定是否需要將Session緩存中的數據刷入數據庫。

下面是增加100?000個User實例的代碼片段：

private void testUser()throws Exception

{

??? //打開Session

??? Session session = HibernateUtil.currentSession();

??? //開始事務

??? Transaction tx = session.beginTransaction();

??? //循環100 000次，插入100 000條記錄

??? for (int i = 0 ; i < 1000000 ; i++ )

??? {

??????? //創建User實例

??????? User u1 = new User();

??????? u1.setName("xxxxx" + i);

??????? u1.setAge(i);

??????? u1.setNationality("china");

??????? //在Session級別緩存User實例

??????? session.save(u1);

??????? //每當累加器是20的倍數時，將Session中的數據刷入數據庫，并清空Session緩存

??????? if (i % 20 == 0)

??????? {

??????????? session.flush();

??????????? session.clear();

??????????? tx.commit();

??????????? tx = session.beginTransaction();

??????? }

??? }

??? //提交事務

??? tx.commit();

??? //關閉事務

??? HibernateUtil.closeSession();

}

上面代碼中，當i%20 == 0時，手動將Session處的緩存數據寫入數據庫，并手動提交事務。如果不提交事務，數據將依然緩存在事務處——未進入數據庫，也將引起內存溢出的異常。

這是對Session級別緩存的處理，還應該通過如下配置來關閉SessionFactory的二級????? 緩存。

hibernate.cache.use_second_level_cache false

注意：除了要手動清空Session級別的緩存外，最好關閉SessionFactory級別的二級緩存。否則，即使手動清空Session級別的緩存，但因為在SessionFactory級別還有緩存，也可能引發異常。

2） 批量更新

上面介紹的方法同樣適用于批量更新數據，如果需要返回多行數據，可以使用scroll()方法，從而可充分利用服務器端游標所帶來的性能優勢。下面是進行批量更新的代碼片段：

private void testUser()throws Exception

{

??? //打開Session

??? Session session = HibernateUtil.currentSession();

??? //開始事務

??? Transaction tx = session.beginTransaction();

??? //查詢出User表中的所有記錄

??? ScrollableResults users = session.createQuery("from User")

??????? .setCacheMode(CacheMode.IGNORE)

??????? .scroll(ScrollMode.FORWARD_ONLY);

??? int count=0;

??? //遍歷User表中的全部記錄

??? while ( users.next() )

??? {

??????? User u = (User) users.get(0);

??????? u.setName("新用戶名" + count);

??????? //當count為20的倍數時，將更新的結果從Session中flush到數據庫

??????? if ( ++count % 20 == 0 )

??????? {

??????????? session.flush();

??????????? session.clear();

??????? }

??? }

??? tx.commit();

??? HibernateUtil.closeSession();

}

通過這種方式，雖然可以執行批量更新，但效果非常不好。執行效率不高，而且需要先執行數據查詢，然后再執行數據更新，并且這種更新將是逐行更新，即每更新一行記錄，都需要執行一條update語句，性能非常低下。

為了避免這種情況，Hibernate提供了一種類似于SQL的批量更新和批量刪除的HQL語法。

3） SQL風格的批量更新/刪除

Hibernate提供的HQL語句也支持批量的UPDATE和DELETE語法。

批量UPDATE和DELETE語句的語法格式如下：

UPDATE | DELETE FROM? ClassName [WHERE WHERE_CONDITIONS]

關于上面的語法格式有以下四點值得注意：

?? ● 在FROM子句中，FROM關鍵字是可選的。即完全可以不寫FROM關鍵字。

?? ● 在FROM子句中只能有一個類名，該類名不能有別名。

?? ● 不能在批量HQL語句中使用連接，顯式的或隱式的都不行。但可以在WHERE子句中使用子查詢。

?? ● 整個WHERE子句是可選的。

假設，需要批量更改User類實例的name屬性，可以采用如下代碼片段完成：

private void testUser()throws Exception

{

??? //打開Session

??? Session session = HibernateUtil.currentSession();

??? //開始事務

??? Transaction tx = session.beginTransaction();

??? //定義批量更新的HQL語句

??? String hqlUpdate = "update User set name = :newName";

??? //執行更新

??? int updatedEntities = session.createQuery( hqlUpdate )

??????????????????????? ?? .setString( "newName", "新名字" )

??????????????????????? ?? .executeUpdate();

??? //提交事務

??? tx.commit();

??? HibernateUtil.closeSession();

}

從上面代碼中可以看出，這種語法非常類似于PreparedStatement的executeUpdate語法。實際上，HQL的這種批量更新就是直接借鑒了SQL語法的UPDATE語句。

注意：使用這種批量更新語法時，通常只需要執行一次SQL的UPDATE語句，就可以完成所有滿足條件記錄的更新。但也可能需要執行多條UPDATE語句，這是因為有繼承映射等特殊情況，例如有一個Person實例，它有Customer的子類實例。當批量更新Person實例時，也需要更新Customer實例。如果采用joined-subclass或union-subclass映射策略，Person和Customer實例保存在不同的表中，因此可能需要多條UPDATE語句。

執行一個HQL DELETE，同樣使用 Query.executeUpdate() 方法，下面是一次刪除上面全部記錄的代碼片段：

private void testUser()throws Exception

{

??? //打開Session實例

??? Session session = HibernateUtil.currentSession();

??? //開始事務

??? Transaction tx = session.beginTransaction();

??? //定義批量刪除的HQL語句

??? String hqlUpdate = "delete User";

??? //執行批量刪除

??? int updatedEntities = session.createQuery( hqlUpdate )

??????????????????????? ?? .executeUpdate();

??? //提交事務

??? tx.commit();

??? //關閉Session

??? HibernateUtil.closeSession();

}

由Query.executeUpdate()方法返回一個整型值，該值是受此操作影響的記錄數量。實際上，Hibernate的底層操作是通過JDBC完成的。因此，如果有批量的UPDATE或DELETE操作被轉換成多條UPDATE或DELETE語句，該方法返回的是最后一條SQL語句影響的記錄行數。