動態(tài)改變SPRING BATCH 的 CHUNKSIZE
在SPRING BATCH REMOTE CHUNKING的模式下:SPRING BATCH 讀文件時,是按一行一行來讀取數(shù)據(jù),再按CHUNKSIZE提交到REMOTE操作,有時要整合當前行和下幾行,再決定CHUNKSIZE,以便相關的數(shù)據(jù)能在遠程同一個PROCESSOR中按順序進行處理,因為相關的數(shù)據(jù)被拆成幾個CHUNK來處理的話,就有可能不按順序來處理。這樣就需要動態(tài)調整CHUNKSIZE。
參照如下:
https://stackoverflow.com/questions/37390602/spring-batch-custom-completion-policy-for-dynamic-chunk-size
并結合SingleItemPeekableItemReader(裝飾者,允許查看下一條數(shù)據(jù),真正的操作委托給代理)。
posted on 2019-07-02 11:13 paulwong 閱讀(1088) 評論(0) 編輯 收藏 所屬分類: SRPING BATCH