動態改變SPRING BATCH 的 CHUNKSIZE
在SPRING BATCH REMOTE CHUNKING的模式下:SPRING BATCH 讀文件時,是按一行一行來讀取數據,再按CHUNKSIZE提交到REMOTE操作,有時要整合當前行和下幾行,再決定CHUNKSIZE,以便相關的數據能在遠程同一個PROCESSOR中按順序進行處理,因為相關的數據被拆成幾個CHUNK來處理的話,就有可能不按順序來處理。這樣就需要動態調整CHUNKSIZE。
參照如下:
https://stackoverflow.com/questions/37390602/spring-batch-custom-completion-policy-for-dynamic-chunk-size
并結合SingleItemPeekableItemReader(裝飾者,允許查看下一條數據,真正的操作委托給代理)。
posted on 2019-07-02 11:13 paulwong 閱讀(1083) 評論(0) 編輯 收藏 所屬分類: SRPING BATCH