Linux系統(tǒng)出現(xiàn)問題時(shí)，我們不僅需要查看系統(tǒng)日志信息，而且還要使用大量的性能監(jiān)測(cè)工具來判斷究竟是哪一部分（內(nèi)存、CPU、硬盤……）出了問題。在Linux系統(tǒng)中，所有的運(yùn)行參數(shù)保存在虛擬目錄/proc中，換句話說，我們使用的性能監(jiān)控工具取到的數(shù)據(jù)值實(shí)際上就是源自于這個(gè)目錄，當(dāng)涉及到系統(tǒng)高估時(shí)，我們就可以修改/proc目錄中的相關(guān)參數(shù)了，當(dāng)然有些是不能亂改的。下面就讓我們了解一下這些常用的性能監(jiān)控工具。
工具
功能描述
uptime ---- 系統(tǒng)平均負(fù)載率 dmesg ---- 硬件/系統(tǒng)信息 top ----- 進(jìn)程進(jìn)行狀態(tài)
iostat -------- CPU和磁盤平均使用率 vmstat --------- 系統(tǒng)運(yùn)行狀態(tài) sar --------- 實(shí)時(shí)收集系統(tǒng)使用狀態(tài) KDE System Guard --- 圖形監(jiān)控工具 free ---------------內(nèi)存使用率
traffic-vis ------------網(wǎng)絡(luò)監(jiān)控（只有SUSE有） pmap ------------- 進(jìn)程內(nèi)存占用率 strace --------- 追蹤程序運(yùn)行狀態(tài) ulimit ---------系統(tǒng)資源使用限制 mpstat -------------多處理器使用率
1、uptime
uptime命令用于查看服務(wù)器運(yùn)行了多長(zhǎng)時(shí)間以及有多少個(gè)用戶登錄，快速獲知服務(wù)器的負(fù)荷情況。
uptime的輸出包含一項(xiàng)內(nèi)容是load average，顯示了最近1，5，15分鐘的負(fù)荷情況。它的值代表等待CPU處理的進(jìn)程數(shù)，如果CPU沒有時(shí)間處理這些進(jìn)程，load average值會(huì)升高；反之則會(huì)降低。 load average的最佳值是1，說明每個(gè)進(jìn)程都可以馬上處理并且沒有CPU cycles被丟失。對(duì)于單CPU的機(jī)器，1或者2是可以接受的值；對(duì)于多路CPU的機(jī)器，load average值可能在8到10之間。
也可以使用uptime命令來判斷網(wǎng)絡(luò)性能。例如，某個(gè)網(wǎng)絡(luò)應(yīng)用性能很低，通過運(yùn)行uptime查看服務(wù)器的負(fù)荷是否很高，如果不是，那么問題應(yīng)該是網(wǎng)絡(luò)方面造成的。 以下是uptime的運(yùn)行實(shí)例：
9:24am up 19:06, 1 user, load average: 0.00, 0.00, 0.00
也可以查看/proc/loadavg和/proc/uptime兩個(gè)文件，注意不能編輯/proc中的文件，要用cat等命令來查看，如：
liyawei:~ # cat /proc/loadavg 0.00 0.00 0.00 1/55 5505
2、dmesg
dmesg命令主要用來顯示內(nèi)核信息。使用dmesg可以有效診斷機(jī)器硬件故障或者添加硬件出現(xiàn)的問題。
另外，使用dmesg可以確定您的服務(wù)器安裝了那些硬件。每次系統(tǒng)重啟，系統(tǒng)都會(huì)檢查所有
硬件并將信息記錄下來。執(zhí)行/bin/dmesg命令可以查看該記錄。 dmesg輸入實(shí)例：
ReiserFS: hda6: checking transaction log (hda6) ReiserFS: hda6: Using r5 hash to sort names
Adding 1044184k swap on /dev/hda5. Priority:-1 extents:1 across:1044184k parport_pc: VIA 686A/8231 detected
parport_pc: probing current configuration parport_pc: Current parallel port base: 0x378
parport0: PC-style at 0x378 (0x778), irq 7, using FIFO [PCSPP,TRISTATE,COMPAT,ECP] parport_pc: VIA parallel port: io=0x378, irq=7 lp0: using parport0 (interrupt-driven).
e100: Intel(R) PRO/100 Network Driver, 3.5.10-k2-NAPI e100: Copyright(c) 1999-2005 Intel Corporation
ACPI: PCI Interrupt 0000:00:0d.0[A] -> GSI 17 (level, low) -> IRQ 169
e100: eth0: e100_probe: addr 0xd8042000, irq 169, MAC addr 00:02:55:1E:35:91 usbcore: registered new driver usbfs usbcore: registered new driver hub
hdc: ATAPI 48X CD-ROM drive, 128kB Cache, UDMA(33) Uniform CD-ROM driver Revision: 3.20
USB Universal Host Controller Interface driver v2.3 3、top |
top命令顯示處理器的活動(dòng)狀況。缺省情況下，顯示占用CPU最多的任務(wù)，并且每隔5秒鐘做一次刷新。
Process priority的數(shù)值決定了CPU處理進(jìn)程的順序。LIUNX內(nèi)核會(huì)根據(jù)需要調(diào)整該數(shù)值的大小。nice value局限于priority。priority的值不能低于nice value（nice value值越低，優(yōu)先級(jí)越高）。您不可以直接修改Process priority的值，但是可以通過調(diào)整nice level值來間接地改變Process priority值，然而這一方法并不是所有時(shí)候都可用。如果某個(gè)進(jìn)程運(yùn)行異常的慢，可以通過降低nice level為該進(jìn)程分配更多的CPU。
Linux 支持的 nice levels 由19 (優(yōu)先級(jí)低)到-20 (優(yōu)先級(jí)高)，缺省值為0。 執(zhí)行/bin/ps命令可以查看到當(dāng)前進(jìn)程的情況。
4、iostat
iostat由Red Hat Enterprise Linux AS發(fā)布。同時(shí)iostat也是Sysstat的一部分，可以下載到，網(wǎng)址是http://perso.wanadoo.fr/sebastien.godard/
執(zhí)行iostat命令可以從系統(tǒng)啟動(dòng)之后的CPU平均時(shí)間，類似于uptime。除此之外，iostat還對(duì)創(chuàng)建一個(gè)服務(wù)器磁盤子系統(tǒng)的活動(dòng)報(bào)告。該報(bào)告包含兩部分：CPU使用情況和磁盤使用情況。
iostat顯示實(shí)例：
avg-cpu: %user %nice %system %iowait %steal %idle 0.16 0.01 0.03 0.10 0.00 99.71
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn hda 0.31 4.65 4.12 327796 290832 avg-cpu: %user %nice %system %iowait %steal %idle 1.00 0.00 0.00 0.00 0.00 100.00
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn hda 0.00 0.00 0.00 0 0 avg-cpu: %user %nice %system %iowait %steal %idle 0.00 0.00 0.00 0.00 0.00 99.01
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn hda 0.00 0.00 0.00 0 0 |
CPU占用情況包括四塊內(nèi)容
%user：顯示user level (applications)時(shí)，CPU的占用情況。 %nice：顯示user level在nice priority時(shí)，CPU的占用情況。 %sys:顯示system level (kernel)時(shí)，CPU的占用情況。 %idle: 顯示CPU空閑時(shí)間所占比例。 磁盤使用報(bào)告分成以下幾個(gè)部分： Device: 塊設(shè)備的名字
tps: 該設(shè)備每秒I/O傳輸?shù)拇螖?shù)。多個(gè)I/O請(qǐng)求可以組合為一個(gè)，每個(gè)I/O請(qǐng)求傳輸?shù)淖止?jié)數(shù)不同，因此可以將多個(gè)I/O請(qǐng)求合并為一個(gè)。 Blk_read/s, Blk_wrtn/s: 表示從該設(shè)備每秒讀寫的數(shù)據(jù)塊數(shù)量。塊的大小可以不同，如1024, 2048 或 4048字節(jié)，這取決于partition的大小。
例如，執(zhí)行下列命令獲得設(shè)備/dev/sda1 的數(shù)據(jù)塊大小： dumpe2fs -h /dev/sda1 |grep -F "Block size" 輸出結(jié)果如下
dumpe2fs 1.34 (25-Jul-2003) Block size: 1024
Blk_read, Blk_wrtn: 指示自從系統(tǒng)啟動(dòng)之后數(shù)據(jù)塊讀/寫的合計(jì)數(shù)。
也可以查看這幾個(gè)文件/proc/stat，/proc/partitions，/proc/diskstats的內(nèi)容。
5、vmstat
vmstat提供了processes, memory, paging, block I/O, traps和CPU的活動(dòng)狀況
procs -----------memory---------- ---swap-- -----io---- -system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 0 513072 52324 162404 0 0 2 2 261 32 0 0 100 0 0 0 0 0 513072 52324 162404 0 0 0 0 271 43 0 0 100 0 0 0 0 0 513072 52324 162404 0 0 0 0 255 27 0 0 100 0 0 0 0 0 513072 52324 162404 0 0 0 28 275 51 0 0 97 3 0 0 0 0 513072 52324 162404 0 0 0 0 255 21 0 0 100 0 0 各輸出列的含義： Process
– r: The number of processes waiting for runtime.
– b: The number of processes in uninterruptable sleep. Memory
– swpd: The amount of virtual memory used (KB). – free: The amount of idle memory (KB).
– buff: The amount of memory used as buffers (KB). Swap
– si: Amount of memory swapped from the disk (KBps).
– so: Amount of memory swapped to the disk (KBps). IO
– bi: Blocks sent to a block device (blocks/s).
– bo: Blocks received from a block device (blocks/s). System
– in: The number of interrupts per second, including the clock. – cs: The number of context switches per second. CPU (these are percentages of total CPU time)
- us: Time spent running non-kernel code (user time, including nice time). – sy: Time spent running kernel code (system time).
– id: Time spent idle. Prior to Linux 2.5.41, this included IO-wait time.
– wa: Time spent waiting for IO. Prior to Linux 2.5.41, this appeared as zero. |
6、sar
sar是Red Hat Enterprise Linux AS發(fā)行的一個(gè)工具，同時(shí)也是Sysstat工具集的命令之一，可以從以下網(wǎng)址下載：http://perso.wanadoo.fr/sebastien.godard/
sar用于收集、報(bào)告或者保存系統(tǒng)活動(dòng)信息。sar由三個(gè)應(yīng)用組成：sar顯示數(shù)據(jù)、sar1和sar2用于收集和保存數(shù)據(jù)。
使用sar1和sar2，系統(tǒng)能夠配置成自動(dòng)抓取信息和日志，以備分析使用。配置舉例：在/etc/crontab中添加如下幾行內(nèi)容
同樣的，你也可以在命令行方式下使用sar運(yùn)行實(shí)時(shí)報(bào)告。
從收集的信息中，可以得到詳細(xì)的CPU使用情況(%user, %nice, %system, %idle)、內(nèi)存頁面調(diào)度、網(wǎng)絡(luò)I/O、進(jìn)程活動(dòng)、塊設(shè)備活動(dòng)、以及interrupts/second liyawei:~
# sar -u 3 10
Linux 2.6.16.21-0.8-default (liyawei) 05/31/07
10:17:16 CPU %user %nice %system %iowait %idle 10:17:19 all 0.00 0.00 0.00 0.00 100.00 10:17:22 all 0.00 0.00 0.00 0.33 99.67 10:17:25 all 0.00 0.00 0.00 0.00 100.00 10:17:28 all 0.00 0.00 0.00 0.00 100.00 10:17:31 all 0.00 0.00 0.00 0.00 100.00 10:17:34 all 0.00 0.00 0.00 0.00 100.00 7、KDE System Guard |
KDE System Guard (KSysguard) 是KDE圖形方式的任務(wù)管理和性能監(jiān)視工具。監(jiān)視本地及遠(yuǎn)程客戶端/服務(wù)器架構(gòu)體系的中的主機(jī)。
8、free
/bin/free命令顯示所有空閑的和使用的內(nèi)存數(shù)量，包括swap。同時(shí)也包含內(nèi)核使用的緩存。
total used free shared buffers cached
Mem: 776492 263480 513012 0 52332 162504 -/+ buffers/cache: 48644 727848 Swap: 1044184 0 1044184 |
9、Traffic-vis
Traffic-vis是一套測(cè)定哪些主機(jī)在IP網(wǎng)進(jìn)行通信、通信的目標(biāo)主機(jī)以及傳輸?shù)臄?shù)據(jù)量。并輸出純文本、HTML或者GIF格式的報(bào)告。
注：Traffic-vis僅僅適用于SUSE LINUX ENTERPRISE SERVER。 如下命令用來收集網(wǎng)口eth0的信息：
traffic-collector -i eth0 -s /root/output_traffic-collector
可以使用killall命令來控制該進(jìn)程。如果要將報(bào)告寫入磁盤，可使用如下命令： killall -9 traffic-collector
要停止對(duì)信息的收集，執(zhí)行如下命令：killall -9 traffic-collector 注意，不要忘記執(zhí)行最后一條命令，否則會(huì)因?yàn)閮?nèi)存占用而影響性能。 可以根據(jù)packets, bytes, TCP連接數(shù)對(duì)輸出進(jìn)行排序，根據(jù)每項(xiàng)的總數(shù)或者收/發(fā)的數(shù)量進(jìn)行。
例如根據(jù)主機(jī)上packets的收/發(fā)數(shù)量排序，執(zhí)行命令：
traffic-sort -i output_traffic-collector -o output_traffic-sort -Hp
如要生成HTML格式的報(bào)告，顯示傳輸?shù)淖止?jié)數(shù)，packets的記錄、全部TCP連接請(qǐng)求和網(wǎng)絡(luò)中每臺(tái)服務(wù)器的信息，請(qǐng)運(yùn)行命令：
traffic-tohtml -i output_traffic-sort -o output_traffic-tohtml.html 如要生成GIF格式（600X600）的報(bào)告，請(qǐng)運(yùn)行命令：
traffic-togif -i output_traffic-sort -o output_traffic-togif.gif -x 600 -y 600 GIF格式的報(bào)告可以方便地發(fā)現(xiàn)網(wǎng)絡(luò)廣播，查看哪臺(tái)主機(jī)在TCP網(wǎng)絡(luò)中使用IPX/SPX協(xié)議并隔離網(wǎng)絡(luò)，需要記住的是，IPX是基于廣播包的協(xié)議。如果我們需要查明例如網(wǎng)卡故障或重復(fù)IP的問題，需要使用特殊的工具。例如SUSE LINUX Enterprise Server自帶的Ethereal。 技巧和提示：使用管道，可以只需執(zhí)行一條命令來產(chǎn)生報(bào)告。如生成HTML的報(bào)告，執(zhí)行命令： cat output_traffic-collector | traffic-sort -Hp | traffic-tohtml -o output_traffic-tohtml.html 如要生成GIF文件，執(zhí)行命令：
cat output_traffic-collector | traffic-sort -Hp | traffic-togif -o output_traffic-togif.gif -x 600 -y 600
10、pmap
pmap可以報(bào)告某個(gè)或多個(gè)進(jìn)程的內(nèi)存使用情況。使用pmap判斷主機(jī)中哪個(gè)進(jìn)程因占用過多內(nèi)存導(dǎo)致內(nèi)存瓶頸。 pmap <pid>
liyawei:~ # pmap 1 1: init
START SIZE RSS DIRTY PERM MAPPING 08048000 484K 244K 0K r-xp /sbin/init 080c1000 4K 4K 4K rw-p /sbin/init 080c2000 144K 24K 24K rw-p [heap] bfb5b000 84K 12K 12K rw-p [stack] ffffe000 4K 0K 0K ---p [vdso] Total: 720K 284K 40K
232K writable-private, 488K readonly-private, and 0K shared |
11、strace
strace截取和記錄系統(tǒng)進(jìn)程調(diào)用，以及進(jìn)程收到的信號(hào)。是一個(gè)非常有效的檢測(cè)、指導(dǎo)和調(diào)試工具。系統(tǒng)管理員可以通過該命令容易地解決程序問題。 使用該命令需要指明進(jìn)程的ID(PID)，例如：
strace -p <pid> # strace –p 2582rt_sigprocmask(SIG_SETMASK, [], NULL, 8) = 0
read(7, "\"\\\"\\\\\\\"\\\\\\\\\\\\\\\"\\\\\\\\\\\\\\\\\\\\\\\\"..., 16384) = 321 write(3, "}H\331q\37\275$\271\t\311M\304$\317~)R9\330Oj\304\257\327"..., 360) = 360
select(8, [3 4 7], [3], NULL, NULL) = 2 (in [7], out [3]) rt_sigprocmask(SIG_BLOCK, [CHLD], [], 8) = 0 rt_sigprocmask(SIG_SETMASK, [], NULL, 8) = 0
read(7, "\"\\\"\\\\\\\"\\\\\\\\\\\\\\\"\\\\\\\\\\\\\\\\\\\\\\\\"..., 16384) = 323 write(3, "\204\303\27$\35\206\\\306VL\370\5R\200\226\2\320^\253\253"..., 360) = 360
select(8, [3 4 7], [3], NULL, NULL) = 2 (in [7], out [3]) rt_sigprocmask(SIG_BLOCK, [CHLD], [], 8) = 0 rt_sigprocmask(SIG_SETMASK, [], NULL, 8) = 0
read(7, "\"\\\"\\\\\\\"\\\\\\\\\\\\\\\"\\\\\\\\\\\\\\\\\\\\\\\\"..., 16384) = 323 write(3, "\243\207\204\277Cw\0162\2ju=\205\'L\352?0J\256I\376\32"..., 360) = 360 select(8, [3 4 7], [3], NULL, NULL) = 2 (in [7], out [3]) rt_sigprocmask(SIG_BLOCK, [CHLD], [], 8) = 0 rt_sigprocmask(SIG_SETMASK, [], NULL, 8) = 0
read(7, "\"\\\"\\\\\\\"\\\\\\\\\\\\\\\"\\\\\\\\\\\\\\\\\\\\\\\\"..., 16384) = 320 write(3, "6\270S\3i\310\334\301\253!ys\324\'\234%\356\305\26\233"..., 360) = 360 select(8, [3 4 7], [3], NULL, NULL) = 2 (in [7], out [3]) rt_sigprocmask(SIG_BLOCK, [CHLD], [], 8) = 0 rt_sigprocmask(SIG_SETMASK, [], NULL, 8) = 0 |
12、ulimit
ulimit內(nèi)置在bash shell中，用來提供對(duì)shell和進(jìn)程可用資源的控制
liyawei:~ # ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited file size (blocks, -f) unlimited pending signals (-i) 6143 max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200 stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited max user processes (-u) 6143
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited |
-H和-S選項(xiàng)指明所給資源的軟硬限制。如果超過了軟限制，系統(tǒng)管理員會(huì)收到警告信息。硬限制指在用戶收到超過文件句炳限制的錯(cuò)誤信息之前，可以達(dá)到的最大值。 例如可以設(shè)置對(duì)文件句炳的硬限制：ulimit -Hn 4096 例如可以設(shè)置對(duì)文件句炳的軟限制：ulimit -Sn 1024 查看軟硬值，執(zhí)行如下命令： ulimit -Hn ulimit -Sn
例如限制Oracle用戶. 在/etc/security/limits.conf輸入以下行: soft nofile 4096 hard nofile 10240
對(duì)于Red Hat Enterprise Linux AS，確定文件/etc/pam.d/system-auth包含如下行 session required /lib/security/$ISA/pam_limits.so
對(duì)于SUSE LINUX Enterprise Server，確定文件/etc/pam.d/login 和/etc/pam.d/sshd包含如下行：
session required pam_limits.so 這一行使這些限制生效。
13、mpstat mpstat是Sysstat工具集的一部分，下載地址是http://perso.wanadoo.fr/sebastien.godard/
mpstat用于報(bào)告多路CPU主機(jī)的每顆CPU活動(dòng)情況，以及整個(gè)主機(jī)的CPU情況。 例如，下邊的命令可以隔2秒報(bào)告一次處理器的活動(dòng)情況，執(zhí)行3次 mpstat 2 3
liyawei:~ # mpstat 2 3
Linux 2.6.16.21-0.8-default (liyawei) 05/31/07
10:23:03 CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s
10:23:05 all 0.50 0.00 0.00 1.99 0.00 0.00 0.00 97.51 271.64
10:23:07 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 261.00
10:23:09 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 261.50
Average: all 0.17 0.00 0.00 0.67 0.00 0.00 0.00 99.17 264.73 |
如下命令每隔1秒顯示一次多路CPU主機(jī)的處理器活動(dòng)情況，執(zhí)行3次
mpstat -P ALL 1 3
liyawei:~ # mpstat -P ALL 1 10
Linux 2.6.16.21-0.8-default (liyawei) 05/31/07
10:23:31 CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s
10:23:32 all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 273.00 |