posts - 31,  comments - 31,  trackbacks - 0
                  到一個(gè)這東西都寫到3了,針對(duì)上回說(shuō)到30000條數(shù)據(jù)的批量插入工作。30000條數(shù)據(jù)的批量插入在一個(gè)事務(wù)里處理固然是快,但是這只是測(cè)試環(huán)境,30000條數(shù)據(jù)在數(shù)據(jù)庫(kù)的緩存里必然對(duì)數(shù)數(shù)據(jù)庫(kù)的緩存和鎖數(shù)量都是一個(gè)大的挑戰(zhàn),固在新的程序中我們使用了分批事務(wù)提交的方式,這樣為了保持?jǐn)?shù)據(jù)的正確行就只能人為控制數(shù)據(jù)庫(kù)中已被插入的數(shù)據(jù)是否delete掉。另外,使用Batch塊提交會(huì)引發(fā)一個(gè)問(wèn)題就是,如果batch塊中發(fā)生了異常,我們得不到異常數(shù)據(jù)的行號(hào)即任何信息,所以只能是魚和熊掌不可兼得(我已關(guān)注過(guò)insert方法中返回pk的方法了,但好像在batch中他反回不了出錯(cuò)的行號(hào),也許是我沒(méi)有找到方法,如有人有好方法請(qǐng)共享一下,在這里表示感謝),大家酌情考慮吧,只能到到自己需要的平衡點(diǎn)了。
                建議:如果對(duì)數(shù)據(jù)的準(zhǔn)確性毋庸置疑的話就是用batch處理。如果不能確定準(zhǔn)確性的話,如果對(duì)那條數(shù)據(jù)出錯(cuò)無(wú)所謂的話就也可以用batch,但是非要返回出錯(cuò)行號(hào)的話就不要用batch了,直接在外面套用一個(gè)事務(wù),然后try catch一下,處理一下行號(hào)。
          posted on 2007-06-28 21:32 小平 閱讀(3292) 評(píng)論(4)  編輯  收藏


          FeedBack:
          # re: Spring+ibatis批量處理心得3[未登錄](méi)
          2007-09-05 13:34 | Jeffrey
          hi,你好,我最近也在做數(shù)據(jù)抽取方面的項(xiàng)目,也是用Spring+iBatis,想和你共同學(xué)習(xí)探討一下心得體會(huì),不知道你怎么聯(lián)系?我的mail是:lettoo@163.com  回復(fù)  更多評(píng)論
            
          # re: Spring+ibatis批量處理心得3
          2007-09-23 19:19 | 小平
          @Jeffrey
          不好意思最近工作比較忙
          一直沒(méi)有時(shí)間維護(hù)blog,沒(méi)有看到你的留言  回復(fù)  更多評(píng)論
            
          # re: Spring+ibatis批量處理心得3
          2009-12-17 21:54 | 團(tuán)派家園
          spring和ibaits 3.0都出來(lái)了。  回復(fù)  更多評(píng)論
            
          # re: Spring+ibatis批量處理心得3
          2011-12-20 17:02 | 孫繼超
          @小平
          你好我的郵箱是 sunjichao@jiuqi.com.cn,對(duì)于這個(gè)我遇到一個(gè)問(wèn)題 報(bào)錯(cuò)信息為: SQLCODE=-1476, SQLSTATE=40506, SQLERRMC=-911,但是具體是什么情況沒(méi)法定位,請(qǐng)問(wèn)你是否遇到過(guò),如果方便直接回復(fù)我郵箱吧,萬(wàn)分感謝  回復(fù)  更多評(píng)論
            

          只有注冊(cè)用戶登錄后才能發(fā)表評(píng)論。


          網(wǎng)站導(dǎo)航:
           
          <2007年6月>
          272829303112
          3456789
          10111213141516
          17181920212223
          24252627282930
          1234567

          常用鏈接

          留言簿(2)

          隨筆分類

          隨筆檔案

          framework

          j2me

          java

          linux

          web

          其他

          友情鏈接

          素材

          最新評(píng)論

          閱讀排行榜

          評(píng)論排行榜

          主站蜘蛛池模板: 松滋市| 武穴市| 正安县| 尚志市| 平利县| 达拉特旗| 石屏县| 扶绥县| 江城| 灵寿县| 图片| 来宾市| 郸城县| 鄄城县| 龙胜| 靖边县| 六枝特区| 红安县| 扶余县| 平罗县| 宾阳县| 徐州市| 福泉市| 遵化市| 钟祥市| 师宗县| 大名县| 额济纳旗| 阿勒泰市| 闵行区| 海阳市| 宁明县| 武定县| 台湾省| 渭南市| 红原县| 来凤县| 盖州市| 怀来县| 称多县| 麻江县|