Posted on 2010-04-01 22:22
Norvid 閱讀(71729)
評(píng)論(9) 編輯 收藏 所屬分類:
讀書筆記
最近在擺弄數(shù)據(jù)離散度的時(shí)候遇到一種圖形，叫做盒圖(boxplot)。它對(duì)于顯示數(shù)據(jù)的離散的分布情況效果不錯(cuò)。
盒圖是在1977年由美國(guó)的統(tǒng)計(jì)學(xué)家約翰·圖基(John Tukey)發(fā)明的。它由五個(gè)數(shù)值點(diǎn)組成：最小值(min)，下四分位數(shù)(Q1)，中位數(shù)(median)，上四分位數(shù)(Q3)，最大值(max)。也可以往盒圖里面加入平均值(mean)。如上圖。下四分位數(shù)、中位數(shù)、上四分位數(shù)組成一個(gè)“帶有隔間的盒子”。上四分位數(shù)到最大值之間建立一條延伸線，這個(gè)延伸線成為“胡須(whisker)”。
由于現(xiàn)實(shí)數(shù)據(jù)中總是存在各式各樣地“臟數(shù)據(jù)”，也成為“離群點(diǎn)”，于是為了不因這些少數(shù)的離群數(shù)據(jù)導(dǎo)致整體特征的偏移，將這些離群點(diǎn)單獨(dú)匯出，而盒圖中的胡須的兩級(jí)修改成最小觀測(cè)值與最大觀測(cè)值。這里有個(gè)經(jīng)驗(yàn)，就是最大(最小)觀測(cè)值設(shè)置為與四分位數(shù)值間距離為1.5個(gè)IQR(中間四分位數(shù)極差)。即
- IQR = Q3-Q1，即上四分位數(shù)與下四分位數(shù)之間的差，也就是盒子的長(zhǎng)度。
- 最小觀測(cè)值為min = Q1 - 1.5*IQR，如果存在離群點(diǎn)小于最小觀測(cè)值，則胡須下限為最小觀測(cè)值，離群點(diǎn)單獨(dú)以點(diǎn)匯出。如果沒有比最小觀測(cè)值小的數(shù)，則胡須下限為最小值。
- 最大觀測(cè)值為max = Q3 -1.5*IQR，如果存在離群點(diǎn)大于最大觀測(cè)值，則胡須上限為最大觀測(cè)值，離群點(diǎn)單獨(dú)以點(diǎn)匯出。如果沒有比最大觀測(cè)值大的數(shù)，則胡須上限為最大值。
通過盒圖，在分析數(shù)據(jù)的時(shí)候，盒圖能夠有效地幫助我們識(shí)別數(shù)據(jù)的特征：
- 直觀地識(shí)別數(shù)據(jù)集中的異常值(查看離群點(diǎn))。
- 判斷數(shù)據(jù)集的數(shù)據(jù)離散程度和偏向(觀察盒子的長(zhǎng)度，上下隔間的形狀，以及胡須的長(zhǎng)度)。