DTrace即動態跟蹤Dynamic Tracing，是Solaris 10的一個新功能，透過此一新功能，用戶能夠動態檢測操作系統內核和用戶進程，以更精確地掌握系統的資源使用狀況，提高系統性能，減少支持成本，并進行有效的調節。1997年，供職于Sun而現已是Solaris內核開發部高級工程師的Bryan Cantrill 與他的工作組在緊張地研究一個性能問題，它出現在剛剛提及的Sun E10000服務器。該服務器在運行基準測試時，速度突然在一段時間內奇怪地降低。工作組經過六天夜以繼日的工作后，終于發現了問題的根本原因。某個“愚蠢之極”的配置錯誤將服務器配置成了路由器。
“我很受震驚，”Cantrill 說到， “這是任何一個客戶都可能遇到的問題，但是他們可不敢奢望讓內核開發人員為之夜以繼日地工作，編寫自定義代碼以弄清楚問題。我們得找出一個更好的方法。”
經過兩年半的緊張開發，Cantrill和他的工作組終于研究出了這個更好的方法： Dtrace
DTrace是過去十年中在操作系統方面最具意義的革新之一:
Probe，Solaris中分散著30,000多的位置指針，也叫探測器probes，DTrace可激活成千上萬的探測器，記錄所關注的位置指定的數據，如命中，即可從該地址顯示用戶進程或系統內核的數據，從而了解系統，包括：
1。任何函數的參數
2。內核的任何全局變量
3。函數調用的時間（NS，十億分之一秒，無任何其它PC/Unix在ns一級精度）
4。跟蹤堆棧，包括指明函數調用的代碼
5。函數調用時運行的進程
6。產生函數調用的線程
Probe于自定義D語言程序相關聯，probe表示的格式為：
provider:module:function:name
1。顯示當前動態系統中的動態Dtrace探針probe:
# dtrace -l |more
ID PROVIDER MODULE FUNCTION NAME
1 dtrace BEGIN
2 dtrace END
3 dtrace ERROR
4 vminfo fasttrap fasttrap_uwrite softlock
5 vminfo fasttrap fasttrap_uread softlock
6 fbt pool pool_open entry
7 fbt pool pool_open return
8 fbt pool pool_close entry
9 fbt pool pool_close return
10 fbt pool pool_ioctl entry
11 fbt pool pool_ioctl return
12 fbt pool pool_info entry
13 fbt pool pool_info return
。。。
43545 fbt zmod z_strerror return
43546 fbt zmod z_uncompress entry
43547 fbt zmod z_uncompress return
即當前本人V210上有43547個probe。
2。體驗 dtrace 與 Unix ps 命令：
如用ps看mozilla進程：
# ps -e |grep mozilla
2386 pts/11 0:00 mozilla
2436 pts/11 10:12 mozilla-
也可使用dtrace 通過probe探針看：
# dtrace -n 'syscall::exece:return { trace(execname);}'
dtrace: description 'syscall::exece:return ' matched 1 probe
CPU ID FUNCTION:NAME
0 11082 exece:return uname
0 11082 exece:return uname
0 11082 exece:return basename
。。。
0 11082 exece:return sed
0 11082 exece:return mozilla-bin
1 11082 exece:return csh
1 11082 exece:return mozilla
。。。
2。實際dtrace看的更細，
如用date顯示系統時間，很快就結束了，無法跟蹤，體驗dtrace跟蹤效果：
% date
2005年05月24日 星期二 20時39分03秒 CST
# dtrace -n 'syscall::exece: {trace(timestamp)}'
ddtrace: description 'syscall::exece: ' matched 2 probes
CPU ID FUNCTION:NAME
0 11081 exece:entry 102890531281542
0 11082 exece:return 102890532181875
即可跟蹤其在第102890531281542納秒開始讀取，第102890532181875返回結果。
3。體驗Dtrace 對系統調用更多的觀察：
如看機器忙閑狀態，常用vmstat:
# vmstat 1
kthr memory page disk faults cpu
r b w swap free re mf pi po fr de sr s0 s3 s1 s1 in sy cs us sy id
0 0 0 5523680 1378352 14 48 84 1 0 0 1 0 1 0 0 341 2058 883 3 1 96
0 0 0 5368296 1218688 0 23 15 0 0 0 0 0 0 0 0 336 2605 722 10 1 89
得知產生2605多系統調用，但無和簡單查找哪個進程的問題呢，試用dtrace看：
# dtrace -n 'syscall::read:entry
{@NUM[execname] = count();}'
ddtrace: description 'syscall::read:entry ' matched 1 probe
^C
dtfile 5
sdtperfmeter 12
soffice.bin 23
dic 23
dtterm 53
mozilla-bin 394
Xsun 545
顯然發現CDE和Mozilla是產生大量系統調用的程序，看I/O分布也可：
如還是Mozilla:
# dtrace -n 'syscall::write:entry
{@NUM[execname] = quantize(arg2);}'
...
mozilla-bin
value ------------- Distribution ------------- count
0 | 0
1 |@@@@@@@@@@@@@@@@@@@@@ 470
2 | 0
4 | 7
8 | 0
16 | 0
32 | 0
64 | 0
128 | 10
256 |@@@@@@@@ 184
512 |@@@@@@ 146
1024 |@@@ 78
2048 | 8
4096 | 1
8192 | 0
...
可觀察到大量Mozilla產生的I/O在256-512字節間。
4。 想再仔細看程序內部情況？
truss不錯：
# truss /usr/sfw/bin/mozilla
execve("/usr/bin/ksh", 0xFFBFF564, 0xFFBFF574) argc = 3
resolvepath("/usr/bin/ksh", "/usr/bin/ksh", 1023) = 12
resolvepath("/usr/lib/ld.so.1", "/lib/ld.so.1", 1023) = 12
stat("/usr/bin/ksh", 0xFFBFF340) = 0
open("/var/ld/ld.config", O_RDONLY) Err#2 ENOENT
stat("/lib/libc.so.1", 0xFFBFEE70) = 0
resolvepath("/lib/libc.so.1", "/lib/libc.so.1", 1023) = 14
open("/lib/libc.so.1", O_RDONLY) = 3
mmap(0x00010000, 8192, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_ALIGN, 3, 。。。
試下dtrace:
# dtrace -n 'syscall::read:return /execname =="mozilla" /{ ustack();}'
dtrace: description 'syscall::read:return ' matched 1 probe
CPU ID FUNCTION:NAME
0 10984 read:return
libc.so.1`_read+0x8
ksh`io_readbuff+0x264
ksh`0x245e4
ksh`io_readc+0x2c
ksh`0x29c54
ksh`main+0xa30
ksh`_start+0x108
0 10984 read:return
libc.so.1`_read+0x8
ksh`io_readbuff+0x264
ksh`0x245e4
ksh`io_readc+0x2c
ksh`0x28938
ksh`0x28654
...
看到n多調用，開始和返回，夠開發人員分析的。
總結，Dtrace功能強大，精度高，輕量，truss有時降低系統30％CPU利用率。但復雜，需對系統內核和應用熟悉，否則看不懂跟蹤到的數據，估計以后CU該開Dtrace編程板塊了。
---------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------------------------------------ ----------------- ---------