隨筆-124  評論-194  文章-0  trackbacks-0
          @import url(http://www.aygfsteel.com/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css); @import url(http://www.aygfsteel.com/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);

          iostat 輸出解析


          1. /proc/partitions

          對于kernel 2.4, iostat 的數據的主要來源是 /proc/partitions,而對于kernel 2.6, 數據主要來自/proc/diskstats或者/sys/block/[block-device-name]/stat。

          先看看 /proc/partitions 中有些什么。

          # cat /proc/partitions
          major minor #blocks name rio rmerge rsect ruse wio wmerge wsect wuse running use aveq

          3 0 19535040 hda 12524 31127 344371 344360 12941 25534 308434 1097290 -1 15800720 28214662
          3 1 7172991 hda1 13 71 168 140 0 0 0 0 0 140 140
          3 2 1 hda2 0 0 0 0 0 0 0 0 0 0 0
          3 5 5116671 hda5 100 477 665 620 1 1 2 30 0 610 650
          3 6 265041 hda6 518 92 4616 2770 257 3375 29056 143880 0 46520 146650
          3 7 6980211 hda7 11889 30475 338890 340740 12683 22158 279376 953380 0 509350 1294120

          major: 主設備號。3 代表 hda。
          minor: 次設備號。7 代表 No.7 分區。
          #blocks: 設備總塊數 (1024 bytes/block)。19535040*1024 => 20003880960(bytes) ~2G
          name: 設備名稱。如 hda7。

          rio: 完成的讀 I/O 設備總次數。指真正向 I/O 設備發起并完成的讀操作數目,
          也就是那些放到 I/O 隊列中的讀請求。注意很多進程發起的讀操作
          (read())很可能會和其他的操作進行 merge,不一定每個 read() 調用
          都引起一個 I/O 請求。
          rmerge: 進行了 merge 的讀操作數目。
          rsect: 讀扇區總數 (512 bytes/sector)

          ruse: 從進入讀隊列到讀操作完成的時間累積 (毫秒)。上面的例子顯示從開機
          開始,讀 hda7 操作共用了約340秒。

          wio: 完成的寫 I/O 設備總次數。
          wmerge: 進行了 merge 的寫操作數目。
          wsect: 寫扇區總數
          wuse: 從進入寫隊列到寫操作完成的時間累積 (毫秒)

          running: 已進入 I/O 請求隊列,等待進行設備操作的請求總數。上面的例子顯
          示 hda7 上的請求隊列長度為 0。

          use: 扣除重疊等待時間的凈等待時間 (毫秒)。一般比 (ruse+wuse) 要小。比
          如 5 個讀請求同時等待了 1 毫秒,那么 ruse值為5ms, 而 use值為
          1ms。use 也可以理解為I/O隊列處于不為空狀態的總時間。hda7 的I/O
          隊列非空時間為 509 秒,約合8分半鐘。

          aveq: 在隊列中總的等待時間累積 (毫秒) (約等于ruse+wuse)。為什么是“約等于”而不是等于呢?讓我們看看aveq, ruse, wuse的計算方式,這些量一般是在I/O完成后進行更新的:
            aveq += in-flight * (now - disk->stamp);
            ruse += jiffies - req->start_time; // 如果是讀操作的話
            wuse += jiffies - req->start_time;  // 如果是寫操作的話
          注 意aveq計算中的in-flight,這是當前還在隊列中的I/O請求數目。這些I/O還沒有完成,所以不能計算到ruse或wuse中。理論上,只有 在I/O全部完成后,aveq才會等于ruse+wuse。舉一個例子,假設初始時隊列中有三個讀請求,每個請求需要1秒鐘完成。在1.5秒這一時刻, aveq和ruse各是多少呢?
            ruse = 1 // 因為此時只有一個請求完成
            aveq = 3*1 + 2*0.5 = 4 // 因為第二個請求剛發出0.5秒鐘,另還有一個請求在隊列中呢。
                                             // 這樣第一秒鐘時刻有3個in-flight,而1.5秒時刻有2個in-flight.
          如果三個請求全部完成后,ruse才和aveq相等:
            ruse = 1 + 2 + 3 = 6
            aveq = 1 + 2 + 3 = 6
          詳細說明請參考 linux/drivers/block/ll_rw_blk.c中的end_that_request_last()和disk_round_stats()函數。


          2. iostat 結果解析

          # iostat -x
          Linux 2.4.21-9.30AX (localhost) 2004年07月14日

          avg-cpu: %user %nice %sys %idle
          3.85 0.00 0.95 95.20

          Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
          /dev/hda 1.70 1.70 0.82 0.82 19.88 20.22 9.94 10.11 24.50 11.83 57.81 610.76 99.96
          /dev/hda1 0.00 0.00 0.00 0.00 0.01 0.00 0.00 0.00 12.92 0.00 10.77 10.77 0.00
          /dev/hda5 0.02 0.00 0.00 0.00 0.03 0.00 0.02 0.00 6.60 0.00 6.44 6.04 0.00
          /dev/hda6 0.01 0.38 0.05 0.03 0.43 3.25 0.21 1.62 46.90 0.15 193.96 52.25 0.41
          /dev/hda7 1.66 1.33 0.76 0.79 19.41 16.97 9.70 8.49 23.44 0.79 51.13 19.79 3.07

          rrqm/s: 每秒進行 merge 的讀操作數目。即 delta(rmerge)/s
          wrqm/s: 每秒進行 merge 的寫操作數目。即 delta(wmerge)/s
          r/s: 每秒完成的讀 I/O 設備次數。即 delta(rio)/s
          w/s: 每秒完成的寫 I/O 設備次數。即 delta(wio)/s
          rsec/s: 每秒讀扇區數。即 delta(rsect)/s
          wsec/s: 每秒寫扇區數。即 delta(wsect)/s
          rkB/s: 每秒讀K字節數。是 rsect/s 的一半,因為每扇區大小為512字節。
          wkB/s: 每秒寫K字節數。是 wsect/s 的一半。
          avgrq-sz: 平均每次設備I/O操作的數據大小 (扇區)。即 delta(rsect+wsect)/delta(rio+wio)
          avgqu-sz: 平均I/O隊列長度。即 delta(aveq)/s/1000 (因為aveq的單位為毫秒)。
          await: 平均每次設備I/O操作的等待時間 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
          svctm: 平均每次設備I/O操作的服務時間 (毫秒)。即 delta(use)/delta(rio+wio)
          %util: 一秒中有百分之多少的時間用于 I/O 操作,或者說一秒中有多少時間 I/O 隊列是非空的。
          即 delta(use)/s/1000 (因為use的單位為毫秒)

          如果 %util 接近 100%,說明產生的I/O請求太多,I/O系統已經滿負荷,該磁盤
          可能存在瓶頸。

          svctm 一般要小于 await (因為同時等待的請求的等待時間被重復計算了),
          svctm 的大小一般和磁盤性能有關,CPU/內存的負荷也會對其有影響,請求過多
          也會間接導致 svctm 的增加。await 的大小一般取決于服務時間(svctm) 以及
          I/O 隊列的長度和 I/O 請求的發出模式。如果 svctm 比較接近 await,說明
          I/O 幾乎沒有等待時間;如果 await 遠大于 svctm,說明 I/O 隊列太長,應用
          得到的響應時間變慢,如果響應時間超過了用戶可以容許的范圍,這時可以考慮
          更換更快的磁盤,調整內核 elevator 算法,優化應用,或者升級 CPU。

          隊列長度(avgqu-sz)也可作為衡量系統 I/O 負荷的指標,但由于 avgqu-sz 是
          按照單位時間的平均值,所以不能反映瞬間的 I/O 洪水。


          3. I/O 系統 vs. 超市排隊

          舉一個例子,我們在超市排隊 checkout 時,怎么決定該去哪個交款臺呢? 首當
          是看排的隊人數,5個人總比20人要快吧? 除了數人頭,我們也常??纯辞懊嫒?br style="word-break: break-all; line-height: normal !important; " /> 購買的東西多少,如果前面有個采購了一星期食品的大媽,那么可以考慮換個隊
          排了。還有就是收銀員的速度了,如果碰上了連錢都點不清楚的新手,那就有的
          等了。另外,時機也很重要,可能 5 分鐘前還人滿為患的收款臺,現在已是人
          去樓空,這時候交款可是很爽啊,當然,前提是那過去的 5 分鐘里所做的事情
          比排隊要有意義 (不過我還沒發現什么事情比排隊還無聊的)。

          I/O 系統也和超市排隊有很多類似之處:

          r/s+w/s 類似于交款人的總數
          平均隊列長度(avgqu-sz)類似于單位時間里平均排隊人的個數
          平均服務時間(svctm)類似于收銀員的收款速度
          平均等待時間(await)類似于平均每人的等待時間
          平均I/O數據(avgrq-sz)類似于平均每人所買的東西多少
          I/O 操作率 (%util)類似于收款臺前有人排隊的時間比例。

          我們可以根據這些數據分析出 I/O 請求的模式,以及 I/O 的速度和響應時間。


          4. 一個例子

          # iostat -x 1
          avg-cpu: %user %nice %sys %idle
          16.24 0.00 4.31 79.44
          Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

          /dev/cciss/c0d0
          0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
          /dev/cciss/c0d0p1
          0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29
          /dev/cciss/c0d0p2
          0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

           

          上面的 iostat 輸出表明秒有 28.57 次設備 I/O 操作: delta(io)/s = r/s +
          w/s = 1.02+27.55 = 28.57 (次/秒) 其中寫操作占了主體 (w:r = 27:1)。

          平均每次設備 I/O 操作只需要 5ms 就可以完成,但每個 I/O 請求卻需要等上
          78ms,為什么? 因為發出的 I/O 請求太多 (每秒鐘約 29 個),假設這些請求是
          同時發出的,那么平均等待時間可以這樣計算:

          平均等待時間 = 單個 I/O 服務時間 * ( 1 + 2 + ... + 請求總數-1) / 請求總數

          應用到上面的例子: 平均等待時間 = 5ms * (1+2+...+28)/29 = 70ms,和
          iostat 給出的 78ms 的平均等待時間很接近。這反過來表明 I/O 是同時發起的。

          每秒發出的 I/O 請求很多 (約 29 個),平均隊列卻不長 (只有 2 個 左右),
          這表明這 29 個請求的到來并不均勻,大部分時間 I/O 是空閑的。

          一秒中有 14.29% 的時間 I/O 隊列中是有請求的,也就是說,85.71% 的時間里
          I/O 系統無事可做,所有 29 個 I/O 請求都在142毫秒之內處理掉了。

          delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s =
          78.21 * delta(io)/s = 78.21*28.57 = 2232.8,表明每秒內的I/O請求總共需
          要等待2232.8ms。所以平均隊列長度應為 2232.8ms/1000ms = 2.23,而 iostat
          給出的平均隊列長度 (avgqu-sz) 卻為 22.35,為什么?! 因為 iostat 中有
          bug,avgqu-sz 值應為 2.23,而不是 22.35。


          5. iostat 的 bug 修正

          iostat.c 中是這樣計算avgqu-sz的:

          ((double) current.aveq) / itv

          aveq 的單位是毫秒,而 itv 是兩次采樣之間的間隔,單位是 jiffies。必須換
          算成同樣單位才能相除,所以正確的算法是:

          ((double) current.aveq) / itv * HZ / 1000

          這樣,上面 iostat 中輸出的 avgqu-sz 值應為 2.23,而不是 22.3。

          另外,util值的計算中做了 HZ 值的假設,不是很好,也需要修改。

          --- sysstat-4.0.7/iostat.c.orig 2004-07-15 13:31:27.000000000 +0800
          +++ sysstat-4.0.7/iostat.c 2004-07-15 13:37:34.000000000 +0800
          @@ -370,7 +370,7 @@

          nr_ios = current.rd_ios + current.wr_ios;
          tput = nr_ios * HZ / itv;
          - util = ((double) current.ticks) / itv;
          + util = ((double) current.ticks) / itv * HZ / 1000;
          /* current.ticks (ms), itv (jiffies) */
          svctm = tput ? util / tput : 0.0;
          /* kernel gives ticks already in milliseconds for all platforms -> no need for further scaling */
          @@ -387,12 +387,12 @@
          ((double) current.rd_sectors) / itv * HZ, ((double) current.wr_sectors) / itv * HZ,
          ((double) current.rd_sectors) / itv * HZ / 2, ((double) current.wr_sectors) / itv * HZ / 2,
          arqsz,
          - ((double) current.aveq) / itv,
          + ((double) current.aveq) / itv * HZ / 1000, /* aveq is in ms */
          await,
          /* again: ticks in milliseconds */
          - svctm * 100.0,
          + svctm,
          /* NB: the ticks output in current sard patches is biased to output 1000 ticks per second */
          - util * 10.0);
          + util * 100.0);
          }
          }
          }

          一會兒 jiffies, 一會兒 ms,看來 iostat 的作者也被搞暈菜了。

          這個問題在 systat 4.1.6 中得到了修正:

          * The average I/O requests queue length as displayed by iostat -x was
          wrongly calculated. This is now fixed.

          但 Redhat 的 sysstat 版本有些太過時了 (4.0.7)。

          @import url(http://www.aygfsteel.com/CuteSoft_Client/CuteEditor/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css);
          posted on 2011-09-17 11:37 我愛佳娃 閱讀(1653) 評論(0)  編輯  收藏 所屬分類: 網管工具使用
          <2011年9月>
          28293031123
          45678910
          11121314151617
          18192021222324
          2526272829301
          2345678

          常用鏈接

          留言簿(19)

          隨筆分類(134)

          隨筆檔案(123)

          我的博客

          最新隨筆

          搜索

          •  

          積分與排名

          • 積分 - 553648
          • 排名 - 89

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 延庆县| 锦州市| 玉山县| 青阳县| 乌审旗| 湛江市| 卓资县| 肇州县| 赤水市| 临夏县| 宁安市| 杭锦后旗| 上饶县| 明光市| 新乡市| 横峰县| 邵阳市| 济南市| 馆陶县| 鄂尔多斯市| 卫辉市| 临漳县| 桂平市| 松原市| 洱源县| 锦州市| 罗田县| 长葛市| 五寨县| 大邑县| 大化| 盘山县| 周口市| 安多县| 五台县| 锡林浩特市| 兴海县| 革吉县| 达州市| 镇远县| 阳江市|