到一個(gè)這東西都寫到3了,針對(duì)上回說(shuō)到30000條數(shù)據(jù)的批量插入工作。30000條數(shù)據(jù)的批量插入在一個(gè)事務(wù)里處理固然是快,但是這只是測(cè)試環(huán)境,30000條數(shù)據(jù)在數(shù)據(jù)庫(kù)的緩存里必然對(duì)數(shù)數(shù)據(jù)庫(kù)的緩存和鎖數(shù)量都是一個(gè)大的挑戰(zhàn),固在新的程序中我們使用了分批事務(wù)提交的方式,這樣為了保持?jǐn)?shù)據(jù)的正確行就只能人為控制數(shù)據(jù)庫(kù)中已被插入的數(shù)據(jù)是否delete掉。另外,使用Batch塊提交會(huì)引發(fā)一個(gè)問(wèn)題就是,如果batch塊中發(fā)生了異常,我們得不到異常數(shù)據(jù)的行號(hào)即任何信息,所以只能是魚和熊掌不可兼得(我已關(guān)注過(guò)insert方法中返回pk的方法了,但好像在batch中他反回不了出錯(cuò)的行號(hào),也許是我沒(méi)有找到方法,如有人有好方法請(qǐng)共享一下,在這里表示感謝),大家酌情考慮吧,只能到到自己需要的平衡點(diǎn)了。
建議:如果對(duì)數(shù)據(jù)的準(zhǔn)確性毋庸置疑的話就是用batch處理。如果不能確定準(zhǔn)確性的話,如果對(duì)那條數(shù)據(jù)出錯(cuò)無(wú)所謂的話就也可以用batch,但是非要返回出錯(cuò)行號(hào)的話就不要用batch了,直接在外面套用一個(gè)事務(wù),然后try catch一下,處理一下行號(hào)。
FeedBack:
# re: Spring+ibatis批量處理心得3[未登錄](méi)
2007-09-05 13:34 | Jeffrey
hi,你好,我最近也在做數(shù)據(jù)抽取方面的項(xiàng)目,也是用Spring+iBatis,想和你共同學(xué)習(xí)探討一下心得體會(huì),不知道你怎么聯(lián)系?我的mail是:lettoo@163.com 回復(fù) 更多評(píng)論
# re: Spring+ibatis批量處理心得3
2011-12-20 17:02 | 孫繼超
@小平
你好我的郵箱是 sunjichao@jiuqi.com.cn,對(duì)于這個(gè)我遇到一個(gè)問(wèn)題 報(bào)錯(cuò)信息為: SQLCODE=-1476, SQLSTATE=40506, SQLERRMC=-911,但是具體是什么情況沒(méi)法定位,請(qǐng)問(wèn)你是否遇到過(guò),如果方便直接回復(fù)我郵箱吧,萬(wàn)分感謝 回復(fù) 更多評(píng)論
你好我的郵箱是 sunjichao@jiuqi.com.cn,對(duì)于這個(gè)我遇到一個(gè)問(wèn)題 報(bào)錯(cuò)信息為: SQLCODE=-1476, SQLSTATE=40506, SQLERRMC=-911,但是具體是什么情況沒(méi)法定位,請(qǐng)問(wèn)你是否遇到過(guò),如果方便直接回復(fù)我郵箱吧,萬(wàn)分感謝 回復(fù) 更多評(píng)論
只有注冊(cè)用戶登錄后才能發(fā)表評(píng)論。 | ||
![]() |
||
網(wǎng)站導(dǎo)航:
博客園
IT新聞
Chat2DB
C++博客
博問(wèn)
管理
|
||
| |||||||||
日 | 一 | 二 | 三 | 四 | 五 | 六 | |||
---|---|---|---|---|---|---|---|---|---|
27 | 28 | 29 | 30 | 31 | 1 | 2 | |||
3 | 4 | 5 | 6 | 7 | 8 | 9 | |||
10 | 11 | 12 | 13 | 14 | 15 | 16 | |||
17 | 18 | 19 | 20 | 21 | 22 | 23 | |||
24 | 25 | 26 | 27 | 28 | 29 | 30 | |||
1 | 2 | 3 | 4 | 5 | 6 | 7 |
常用鏈接
留言簿(2)
隨筆分類
隨筆檔案
- 2008年6月 (1)
- 2008年4月 (3)
- 2008年2月 (1)
- 2008年1月 (1)
- 2007年12月 (1)
- 2007年10月 (1)
- 2007年7月 (2)
- 2007年6月 (2)
- 2007年5月 (1)
- 2007年4月 (6)
- 2007年2月 (1)
- 2007年1月 (4)
- 2006年11月 (1)
- 2006年10月 (1)
- 2006年9月 (5)
framework
j2me
java
linux
web
其他
友情鏈接
- 我的旅游筆記
- 我的旅游筆記
素材
最新評(píng)論

- 1.?re: 為org.eclipse.jface.text.TextViewer添加undo、redo 并添加Ctrl+z,與Ctrl+y功能
- 找到原因了,必須加textViewer.setDocument(new Document());才好使
- --yumin_999@163.com
- 2.?re: 為org.eclipse.jface.text.TextViewer添加undo、redo 并添加Ctrl+z,與Ctrl+y功能
- 反復(fù)測(cè)試,還是不好使,奇怪。yumin_999@163.com
- --yumin_999@163.com
- 3.?re: ibatis批量代碼
- 這個(gè)能事物回滾嗎?我也是這樣子寫的 但是事物沒(méi)有回滾 不知道什么怎么回事
- --pes
- 4.?re: Spring+ibatis批量處理心得3
- 評(píng)論內(nèi)容較長(zhǎng),點(diǎn)擊標(biāo)題查看
- --孫繼超
- 5.?re: DB2的jdbc type-4驅(qū)動(dòng)
-
您好 ,我也遇到了像您一樣的問(wèn)題,我的qq是178147633,能幫幫我嗎?
我也是用type 4連接的db2,版本是8.2。到現(xiàn)在還沒(méi)連上 - --wk