莊周夢蝶

          生活、程序、未來
             :: 首頁 ::  ::  :: 聚合  :: 管理

          Clojure世界:如何做性能測試

          Posted on 2012-03-22 21:14 dennis 閱讀(4158) 評論(0)  編輯  收藏 所屬分類: Clojure

              我們經常需要在程序中測量某段代碼的性能,或者某個函數的性能,在Java中,我們可能簡單地循環調用某個方法多少次,然后利用System.currentTimeMillis()方法測量下時間。在Ruby中,一般都是用Benchmark module做測試,提供了更詳細的報告信息。

              同樣,在Clojure里你可以做這些事情,你仍然可以使用System.currentTimeMillis()來測量運行時間,例如:

          user=> (defn sum1 [& args] (reduce + 0 args))
          #'user/sum1

          user=> (defn sum2 [& args]
                       (loop [rt 0
                              args args]
                           (if args
                             (recur (+ rt (first args)) (next args))
                             rt)))
          #'user/sum2

          user=> (defn bench [sum n]
                   (let [start (System/currentTimeMillis)
                         nums (range 0 (+ n 1))]
                     (dotimes [_ n] (apply sum nums))
                     (println (- (System/currentTimeMillis) start))))

          user=> (bench sum1 10000)
          1818
          nil
          user=> (bench sum2 10000)
          4220
          nil
             
              定義兩個求和函數sum1和sum2,一個是利用reduce,一個是自己寫loop,然后寫了個bench函數循環一定次數執行sum函數并給出執行時間,利用System.currentTimeMillis()方法。顯然sum1比sum2快了一倍多。為什么更快?這不是我們的話題,有興趣可以自己看reduce函數的實現。

              除了用System.currentTimeMillis()這樣的java方式測量運行時間外,clojure還提供了time宏來包裝這一切:
          user=> (doc time)
          -------------------------
          clojure.core/time
          ([expr])
          Macro
            Evaluates expr and prints the time it took.  Returns the value of
           expr.
          nil

              time宏用的不是currentTimeMillis方法,而是JDK5引入的nanoTime方法更精確。重寫bench函數:
          user=> (defn bench [sum n]
                       (time (dotimes [_ n] (apply sum (range 0 (+ n 1))))))
          #'user/bench

          user=> (bench sum1 10000)
          "Elapsed time: 5425.074 msecs"
          nil
          user=> (bench sum2 10000)
          "Elapsed time: 7893.412 msecs"
          nil
               盡管精度不一致,仍然可以看出來sum1比sum2快。
              
               這樣的測試仍然是比較粗糙的,真正的性能測試需要考慮到JVM JIT、warm up以及gc帶來的影響,例如我們可能需要預先執行函數多少次來讓JVM“預熱”這些代碼。慶幸的是clojure世界里有一個開源庫Criterium幫你自動搞定這一切,它的項目主頁也在github上:https://github.com/hugoduncan/criterium

               首先在你的項目里添加criterium依賴:
          :dependencies [[org.clojure/clojure "1.3.0"]
                                  [criterium "0.2.0"]])
             
               接下來引用criterium.core這個ns,因為criterium主要宏也叫bench,因此我們原來的bench函數不能用了,換個名字叫bench-sum:
          user=> (use 'criterium.core)
          nil
          user=> (defn bench-sum [sum n]
                        (with-progress-reporting (bench (apply sum (range 0 (+ 1 n))) :verbose)))
          #'user/bench-sum

               調用criterium的bench宏執行測試,使用with-progress-reporting宏包裝測試代碼并匯報測試進展,測試進展會打印在標準輸出上。請注意,我這里并沒有利用dotimes做循環測試,因為criterium會自己計算應該運行的循環次數,我們并不需要明確指定,測試下結果:
          user=> (bench-sum sum1 10000)
          Cleaning JVM allocations 
          Warming up for JIT optimisations 
          Estimating execution count 
          Running with sample-count 60 exec-count 1417 
          Checking GC
          Cleaning JVM allocations 
          Finding outliers 
          Bootstrapping 
          Checking outlier significance
          x86_64 Mac OS X 10.7.3 4 cpu(s)
          Java HotSpot(TM) 64-Bit Server VM 20.4-b02-402
          Runtime arguments: -Dclojure.compile.path=/Users/apple/programming/avos/logdashboard/test/classes -Dtest.version=1.0.0-SNAPSHOT -Dclojure.debug=false
          Evaluation count             : 85020
                       Execution time mean : 722.730169 us  95.0% CI: (722.552670 us, 722.957586 us)
              Execution time std-deviation : 1.042966 ms  95.0% CI: (1.034972 ms, 1.054015 ms)
                   Execution time lower ci : 692.122089 us  95.0% CI: (692.122089 us, 692.260198 us)
                   Execution time upper ci : 768.239944 us  95.0% CI: (768.239944 us, 768.305222 us)

          Found 2 outliers in 60 samples (3.3333 %)
              low-severe     2 (3.3333 %)
           Variance from outliers : 25.4066 % Variance is moderately inflated by outliers
          nil


          user=> (bench-sum sum2 10000)
          Cleaning JVM allocations 
          Warming up for JIT optimisations 
          Estimating execution count 
          Running with sample-count 60 exec-count 917 
          Checking GC
          Cleaning JVM allocations 
          Finding outliers 
          Bootstrapping 
          Checking outlier significance
          x86_64 Mac OS X 10.7.3 4 cpu(s)
          Java HotSpot(TM) 64-Bit Server VM 20.4-b02-402
          Runtime arguments: -Dclojure.compile.path=/Users/apple/programming/avos/logdashboard/test/classes -Dtest.version=1.0.0-SNAPSHOT -Dclojure.debug=false
          Evaluation count             : 55020
                       Execution time mean : 1.070884 ms  95.0% CI: (1.070587 ms, 1.071136 ms)
              Execution time std-deviation : 1.057659 ms  95.0% CI: (1.050688 ms, 1.062877 ms)
                   Execution time lower ci : 1.024195 ms  95.0% CI: (1.024164 ms, 1.024195 ms)
                   Execution time upper ci : 1.145664 ms  95.0% CI: (1.145664 ms, 1.145741 ms)

          Found 1 outliers in 60 samples (1.6667 %)
              low-severe     1 (1.6667 %)
           Variance from outliers : 19.0208 % Variance is moderately inflated by outliers
          nil


              這個報告是不是相當專業?不是搞統計還不一定讀的懂。大概解讀下,sample-count是取樣次數,默認是60次,exec-count是測試的執行次數(不包括前期warm up和JIT在內),CI是可信區間,這里取95%,Execution time mean是平均執行時間,而lower和upper是測試過程中執行時間的最小和最大值。而outliers是這一組測試中的異常值,比如執行sum1測試發現了2組異常結果。從結果來看,sum1的平均執行時間是722微秒,而sum2的平均執行時間是1.07毫秒,因此還是sum1更快一些。

              總結下,如果只是在開發過程中做一些小塊代碼的簡單測試,可以直接利用內置的time宏,如果你希望做一次比較標準的性能測試,那么就應該利用criterium這個優秀的開源庫。
          主站蜘蛛池模板: 渝中区| 惠水县| 汕头市| 蒙山县| 卢龙县| 大邑县| 沿河| 陆河县| 山丹县| 蒙山县| 彭山县| 潼南县| 佛冈县| 西平县| 万盛区| 秭归县| 沈阳市| 收藏| 江陵县| 衡东县| 安吉县| 堆龙德庆县| 平塘县| 新建县| 治多县| 兴城市| 黄大仙区| 郯城县| 富平县| 建始县| 平安县| 图们市| 福泉市| 泽库县| 鄂托克旗| 余干县| 雅安市| 聂拉木县| 云龙县| 三台县| 江门市|