隨筆-14  評論-25  文章-1  trackbacks-0
          在一個項目里面有這么一個技術(shù)需求:
          1.集合中元素個數(shù),10M
          2.根據(jù)上限和下限從一個Set中過濾出滿足要求的元素集合.

          實際這個是個很典型的技術(shù)要求, 之前的項目也遇見過,但是因為當(dāng)時的類庫不多, 都是直接手寫實現(xiàn)的. 方式基本等同于第一個方式.

          在這個過程中, 我寫了四個方式, 基本記錄到下面.
          第一個方式:對Set進(jìn)行迭代器遍歷, 判斷每個元素是否都在上限和下限范圍中.如果滿足則添加到結(jié)果集合中, 最后返回結(jié)果集合.
                      測試效果:集合大小100K, 運(yùn)算時間 3000ms+
          過濾部分的邏輯如下:
           1     void filerSet(Set<BigDecimal> targetSet, String lower, String higher) {
           2         BigDecimal bdLower = new BigDecimal(Double.parseDouble(lower));
           3         BigDecimal bdHigher = new BigDecimal(Double.parseDouble(higher));
           4 
           5         Set<BigDecimal> returnSet = new HashSet<BigDecimal>();
           6         for (BigDecimal object : targetSet) {
           7             if (isInRange(object, bdLower, bdHigher)) {
           8                 returnSet.add(object);
           9             }
          10         }
          11     }
          12 
          13     private boolean isInRange(BigDecimal object, BigDecimal bdLower,
          14             BigDecimal bdHigher) {
          15         return object.compareTo(bdLower) >= 0
          16                 && object.compareTo(bdHigher) <= 0;
          17     }
          第二個方式: 借助TreeSet, 原始集合進(jìn)行排序, 然后直接subset.
                      測試效果: 集合大小10M, 運(yùn)算時間: 12000ms+(獲得TreeSet) , 200ms(獲得結(jié)果)
          過濾部分的邏輯如下(非常繁瑣):
            1     Set<BigDecimal> getSubSet(TreeSet<BigDecimal> targetSet, String lower,
            2             String higher) {
            3 
            4         BigDecimal bdLower = new BigDecimal(Double.parseDouble(lower));
            5         BigDecimal bdHigher = new BigDecimal(Double.parseDouble(higher));
            6 
            7         if ((bdHigher.compareTo(targetSet.first()) == -1)
            8                 || (bdLower.compareTo(targetSet.last()) == 1)) {
            9             return null;
           10         }
           11 
           12         boolean hasLower = targetSet.contains(bdLower);
           13         boolean hasHigher = targetSet.contains(bdHigher);
           14         if (hasLower) {
           15             if (hasHigher) {
           16                 System.out.println("get start:" + bdLower);
           17                 System.out.println("get end:" + bdHigher);
           18                 return targetSet.subSet(bdLower, true, bdHigher, true);
           19             } else {
           20                 BigDecimal newEnd = null;
           21                 System.out.println("get start:" + bdLower);
           22                 SortedSet<BigDecimal> returnSet = null;
           23                 if (bdHigher.compareTo(targetSet.last()) != -1) {
           24                     newEnd = targetSet.last();
           25                 } else {
           26                     SortedSet<BigDecimal> newTargetSet = targetSet
           27                             .tailSet(bdLower);
           28                     for (BigDecimal object : newTargetSet) {
           29                         if (object.compareTo(bdHigher) == 1) {
           30                             newEnd = object;
           31                             break;
           32                         } else if (object.compareTo(bdHigher) == 0) {
           33                             newEnd = object;
           34                             break;
           35                         }
           36                     }
           37                 }
           38                 returnSet = targetSet.subSet(bdLower, true, newEnd, true);
           39                 if (newEnd.compareTo(bdHigher) == 1) {
           40                     returnSet.remove(newEnd);
           41                 }
           42                 return returnSet;
           43             }
           44 
           45         } else {
           46             if (hasHigher) {
           47                 System.out.println("get end:" + bdHigher);
           48                 TreeSet<BigDecimal> newTargetSet = (TreeSet<BigDecimal>) targetSet
           49                         .headSet(bdHigher, true);
           50                 BigDecimal newStart = null;
           51                 SortedSet<BigDecimal> returnSet = null;
           52 
           53                 if (bdLower.compareTo(targetSet.first()) == -1) {
           54                     newStart = targetSet.first();
           55                 } else {
           56                     for (BigDecimal object : newTargetSet) {
           57                         if (object.compareTo(bdLower) != -1) {
           58                             newStart = object;
           59                             break;
           60                         }
           61                     }
           62                 }
           63                 returnSet = targetSet.subSet(newStart, true, bdHigher, true);
           64 
           65                 return returnSet;
           66             } else {
           67                 System.out.println("Not get start:" + bdLower);
           68                 System.out.println("Not get end:" + bdHigher);
           69                 BigDecimal newStart = null;
           70                 BigDecimal newEnd = null;
           71                 if (bdHigher.compareTo(targetSet.last()) != -1) {
           72                     newEnd = targetSet.last();
           73                 }
           74                 if (bdLower.compareTo(targetSet.first()) == -1) {
           75                     newStart = targetSet.first();
           76                 }
           77                 for (BigDecimal object : targetSet) {
           78                     if (newStart == null) {
           79                         if (object.compareTo(bdLower) != -1) {
           80                             newStart = object;
           81                             if (newEnd != null) {
           82                                 break;
           83                             }
           84                         }
           85                     }
           86 
           87                     if (newEnd == null) {
           88                         if (object.compareTo(bdHigher) != -1) {
           89                             newEnd = object;
           90                             if (newStart != null) {
           91                                 break;
           92                             }
           93                         }
           94                     }
           95                 }
           96 
           97                 if (newStart == null) {
           98                     if (newEnd == null) {
           99                         if ((bdHigher.compareTo(targetSet.first()) == -1)
          100                                 || (bdLower.compareTo(targetSet.last()) == 1)) {
          101                             return null;
          102                         }
          103                         return targetSet;
          104                     } else {
          105                         SortedSet<BigDecimal> newTargetSet = targetSet.headSet(
          106                                 newEnd, true);
          107                         if (newEnd.compareTo(bdHigher) == 1) {
          108                             newTargetSet.remove(newEnd);
          109                         }
          110                         return newTargetSet;
          111                     }
          112                 } else {
          113                     if (newEnd == null) {
          114                         SortedSet<BigDecimal> newTargetSet = targetSet.tailSet(
          115                                 newStart, true);
          116                         return newTargetSet;
          117                     } else {
          118                         SortedSet<BigDecimal> newTargetSet = targetSet.subSet(
          119                                 newStart, true, newEnd, true);
          120                         if (newEnd.compareTo(bdHigher) == 1) {
          121                             newTargetSet.remove(newEnd);
          122                         }
          123                         return newTargetSet;
          124                     }
          125                 }
          126             }
          127         }
          128     }
          第三種方式: 使用Apache Commons Collections, 直接對于原始Set進(jìn)行filter.
                      測試效果:集合大小10M,過濾結(jié)果1M, 運(yùn)算時間: 1000ms+
          過濾部分的代碼如下:
           1 //過濾的主體邏輯
           2     void filterSet(Set<BigDecimal> targetSet, String lower, String higher) {
           3         final BigDecimal bdLower = new BigDecimal(Double.parseDouble(lower));
           4         final BigDecimal bdHigher = new BigDecimal(Double.parseDouble(higher));
           5 
           6         Predicate predicate = new Predicate() {
           7             public boolean evaluate(Object object) {
           8                 BigDecimal bDObject = (BigDecimal) object;
           9                 return bDObject.compareTo(bdLower) >= 0
          10                         && bDObject.compareTo(bdHigher) <= 0;
          11             }
          12         };
          13 
          14         CollectionUtils.filter(targetSet, predicate);
          15     }

          第四種方式:使用Guava(google Collections), 直接對于原始Set進(jìn)行Filter
                      測試效果:集合大小10M,過濾結(jié)果1M, 運(yùn)算時間: 100ms-
          過濾部分的代碼如下:
           1 //guava filter
           2 
           3     Set<BigDecimal> filterSet(Set<BigDecimal> targetSet, String lower,
           4             String higher) {
           5         final BigDecimal bdLower = new BigDecimal(Double.parseDouble(lower));
           6         final BigDecimal bdHigher = new BigDecimal(Double.parseDouble(higher));
           7 
           8         Set<BigDecimal> filterCollection = Sets.filter(targetSet,
           9                 new Predicate<BigDecimal>() {
          10                     @Override
          11                     public boolean apply(BigDecimal input) {
          12                         BigDecimal bDObject = (BigDecimal) input;
          13                         return bDObject.compareTo(bdLower) >= 0
          14                                 && bDObject.compareTo(bdHigher) <= 0;
          15                     }
          16                 });
          17 
          18         return filterCollection;
          19     }


          四種方式對比如下:
          第一種方式:  僅依賴于JAVA原生類庫 遍歷時間最慢, 代碼量很小
          第二種方式:  僅依賴于JAVA原生類庫 遍歷時間比較慢(主要慢在生成有序Set), 代碼量最多
          第三種方式:  依賴于Apache Commons Collections, 遍歷時間比較快, 代碼量很少
          第四種方式:  依賴于Guava, 遍歷時間最快, 代碼量很少

          基于目前個人的技術(shù)水平和視野, 第四種方式可能是最佳選擇.

          記錄一下, 以后可能還會有更好的方案.




          posted on 2014-06-21 23:33 混沌中立 閱讀(7373) 評論(10)  編輯  收藏 所屬分類: about java & j2ee

          評論:
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-06-22 18:07 | java論壇
          運(yùn)行效率好像沒多大差別哈

          http://www.itqx.net  回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-06-22 18:59 | 混沌中立
          第一個方式是10萬數(shù)據(jù), 3000+ms,
          第二種是1千萬,12000ms
          第三種是1千萬, 3000ms
          第四種是1千萬, 100ms

          第一種和第四種比較的話, 可能有三個量級的區(qū)別, 區(qū)別巨大.

          @java論壇
            回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-06-23 00:07 | 亞歷山大
          guava并沒有立即執(zhí)行,而是緩執(zhí)行,遍歷下就知道了。無序的話,無論如何復(fù)雜度都是N。  回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-06-23 10:43 | 金利鎖業(yè)
          謝謝博主更新  回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-06-23 11:39 | java論壇
          @混沌中立

          謝謝
            回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-06-23 21:55 | 混沌中立
          確實有這種可能,
          但是 四種方式中size()的結(jié)果都是一致的.
          @亞歷山大
            回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-06-24 05:35 | 金利鎖業(yè)
          歡迎回訪啊  回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-07-08 10:03 | 博客寫什么
          高技術(shù)含量博客  回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-07-08 20:27 | 旺達(dá)鎖業(yè)
          謝謝你只關(guān)心  回復(fù)  更多評論
            
          # re: 一個簡單的Java集合范圍過濾的多個方式對比 2014-07-19 14:56 | 個人品牌
          不大理解  回復(fù)  更多評論
            
          主站蜘蛛池模板: 二连浩特市| 南雄市| 小金县| 西乌| 郸城县| 余庆县| 札达县| 左贡县| 卢湾区| 东阳市| 益阳市| 鹰潭市| 泉州市| 电白县| 孝感市| 五大连池市| 穆棱市| 古交市| 礼泉县| 乳山市| 河东区| 萨迦县| 黄山市| 冕宁县| 友谊县| 资中县| 康平县| 定安县| 阜新| 武川县| 大冶市| 共和县| 武清区| 将乐县| 余干县| 建德市| 湛江市| 万安县| 汝州市| 祁门县| 新巴尔虎左旗|