這回是幫自己家小妞的網(wǎng)店做的店標(biāo),宣傳什么的,所以風(fēng)格相似恰恰是我想要的。

 

網(wǎng)店的Logo。那大腿不是別人的，正是韓國歌星寶兒……

她跟我說上面這張圖最大的問題就在于太有夜店風(fēng)格，與她的店不符。不過用著用著，她自己倒也喜歡上了。

這個是剛出爐的5月新款的預(yù)告，照片里的人可全是她……

在文本分類的過程中，特征（也可以簡單的理解為“詞”）從人類能夠理解的形式轉(zhuǎn)換為計算機能夠理解的形式時，實際上經(jīng)過了兩步驟的量化——特征選擇階段的重要程度量化和將具體文本轉(zhuǎn)化為向量時的特征權(quán)重量化。初次接觸文本分類的人很容易混淆這兩個步驟使用的方法和各自的目的，因而我經(jīng)常聽到讀者有類似“如何使用TFIDF做特征選擇”或者“卡方檢驗量化權(quán)重后每篇文章都一樣”等等困惑。

文本分類本質(zhì)上也是一個模式識別的問題，因此我想借用一個更直觀的例子來說說特征選擇和權(quán)重量化到底各自是什么東西，當(dāng)然，一旦解釋清楚，你馬上就會覺得文本分類這東西實在白癡，實在沒什么技術(shù)含量，你也就不會再繼續(xù)看我的技術(shù)博客，不過我不擔(dān)心，因為你已經(jīng)踏上了更光明的道路（笑），我高興還來不及。

想想通過指紋來識別一個人的身份，只看一個人的指紋，當(dāng)然說不出他姓甚名誰，識別的過程實際上是比對的過程，要與已有的指紋庫比較，找出相同的，或者說相似到一定程度的那一個。

首要的問題是，人的指紋太復(fù)雜，包含太多的位置和幾何形狀，要完全重現(xiàn)一個人的指紋，存儲和計算都是大麻煩。因此第一步總是一個特征選擇的問題，我們把全人類的指紋都統(tǒng)計一下，看看哪幾個位置能夠最好的區(qū)分不同的人。顯然不同的位置效果很不一樣，在有的位置上，我的指紋是是什么形狀，其他人也大都是這個形狀，這個位置就不具有區(qū)分度，或者說不具有表征性，或者說，對分類問題來說，它的重要程度低。這樣的位置我們就傾向于在識別的時候根本不看它，不考慮它。

那怎么看誰重要誰不重要呢？這就依賴于具體的選擇方法如何來量化重要程度，對卡方檢驗和信息增益這類方法來說，量化以后的得分越大的特征就越重要（也就是說，有可能有些方法，是得分越小的越重要）。

比如說你看10個位置，他們的重要程度分別是：

   1 2   3   4   5 6   7 8 9  10

（20，5，10，20，30，15，4，3，7， 3）

顯然第1，第3，4，5，6個位置比其他位置更重要，而相對的，第1個位置又比第3個位置更重要。

識別時，我們只在那些重要的位置上采樣。當(dāng)今的指紋識別系統(tǒng)，大都只用到人指紋的5個位置（驚訝么？只要5個位置的信息就可以區(qū)分60億人），這5個位置就是經(jīng)過特征選擇過程而得以保留的系統(tǒng)特征集合。假設(shè)這個就是剛才的例子，那么該集合應(yīng)該是：

（第1個位置，第3個位置，第4個位置，第5個位置，第6個位置）

當(dāng)然，具體的第3個位置是指紋中的哪個位置你自己總得清楚。

確定了這5個位置之后，就可以把一個人的指紋映射到這個只有5個維度的空間中，我們就把他在5個位置上的幾何形狀分別轉(zhuǎn)換成一個具體的值，這就是特征權(quán)重的計算。依據(jù)什么來轉(zhuǎn)換，就是你選擇的特征權(quán)重量化方法，在文本分類中，最常用的就是TFIDF。

我想一定是“權(quán)重“這個詞誤導(dǎo)了所有人，讓大家以為TFIDF計算出的值代表的是特征的重要程度，其實完全不是。例如我們有一位男同學(xué)，他的指紋向量是：

（10，3，4，20，5）

你注意到他第1個位置的得分（10）比第3個位置的得分（3）高，那么能說第1個位置比第3個位置重要么？如果再有一位女同學(xué)，她的指紋向量是：

（10，20，4，20，5）

看看，第1個位置得分（10）又比第3個位置（20）低了，那這兩個位置到底哪個更重要呢？答案是第1個位置更重要，但這不是在特征權(quán)重計算這一步體現(xiàn)出來的，而是在我們特征選擇的時候就確定了，第1個位置比第3個位置更重要。

因此要記住，通過TFIDF計算一個特征的權(quán)重時，該權(quán)重體現(xiàn)出的根本不是特征的重要程度！

那它代表什么？再看看兩位同學(xué)的指紋，放到一起：

（10， 3，4，20，5）

（10，20，4，20，5）

在第三個位置上女同學(xué)的權(quán)重高于男同學(xué)，這不代表該女同學(xué)在指紋的這個位置上更“優(yōu)秀“（畢竟，指紋還有什么優(yōu)秀不優(yōu)秀的分別么，笑），也不代表她的這個位置比男同學(xué)的這個位置更重要，3和20這兩個得分，僅僅代表他們的”不同“。

在文本分類中也是如此，比如我們的系統(tǒng)特征集合只有兩個詞：

（經(jīng)濟，發(fā)展）

這兩個詞是使用卡方檢驗（特征選擇）選出來的，有一篇文章的向量形式是

（2，5）

另一篇

（3，4）

這兩個向量形式就是用TFIDF算出來的，很容易看出兩篇文章不是同一篇，為什么？因為他們的特征權(quán)重根本不一樣，所以說權(quán)重代表的是差別，而不是優(yōu)劣。想想你說“經(jīng)濟這個詞在第二篇文章中得分高，因此它在第二篇文章中比在第一篇文章中更重要“，這句話代表什么意義呢？你自己都不知道吧（笑）。

所以，當(dāng)再說起使用TFIDF來計算特征權(quán)重時，最好把“權(quán)重“這個字眼忘掉，我們就把它說成計算得分好了（甚至”得分“也不太好，因為人總會不自覺的認(rèn)為，得分高的就更重要），或者就僅僅說成是量化。

如此，你就再也不會拿TFIDF去做特征選擇了。

小Tips：為什么有的論文里確實使用了TFIDF作特征選擇呢？

嚴(yán)格說來并不是不可以，而且嚴(yán)格說來只要有一種方法能夠從一堆特征中挑出少數(shù)的一些，它就可以叫做一種特征選擇方法，就連“隨機選取一部分“都算是一種，而且效果并沒有差到驚人的地步哦！還是可以分對一大半的哦！所以有的人就用TFIDF的得分來把特征排排序，取得分最大的幾個進入系統(tǒng)特征集合，效果也還行（畢竟，連隨機選取效果也都還行），怎么說呢，他們愿意這么干就這么干吧。就像咱國家非得實行戶口制度，這個制度說不出任何道理，也不見他帶來任何好處，但不也沒影響二十一世紀(jì)成為中國的世紀(jì)么，呵呵。

又小忙了幾天。打算寫一篇澄清特征選擇和特征權(quán)重計算中許多容易誤解的問題的文章，不知大家有沒有興趣。

從 SVM的那幾張圖可以看出來，SVM是一種典型的兩類分類器，即它只回答屬于正類還是負(fù)類的問題。而現(xiàn)實中要解決的問題，往往是多類的問題（少部分例外，例如垃圾郵件過濾，就只需要確定“是”還是“不是”垃圾郵件），比如文本分類，比如數(shù)字識別。如何由兩類分類器得到多類分類器，就是一個值得研究的問題。

還以文本分類為例，現(xiàn)成的方法有很多，其中一種一勞永逸的方法，就是真的一次性考慮所有樣本，并求解一個多目標(biāo)函數(shù)的優(yōu)化問題，一次性得到多個分類面，就像下圖這樣：

多個超平面把空間劃分為多個區(qū)域，每個區(qū)域?qū)?yīng)一個類別，給一篇文章，看它落在哪個區(qū)域就知道了它的分類。

看起來很美對不對？只可惜這種算法還基本停留在紙面上，因為一次性求解的方法計算量實在太大，大到無法實用的地步。

稍稍退一步，我們就會想到所謂“一類對其余”的方法，就是每次仍然解一個兩類分類的問題。比如我們有5個類別，第一次就把類別1的樣本定為正樣本，其余2，3，4，5的樣本合起來定為負(fù)樣本，這樣得到一個兩類分類器，它能夠指出一篇文章是還是不是第1類的；第二次我們把類別2 的樣本定為正樣本，把1，3，4，5的樣本合起來定為負(fù)樣本，得到一個分類器，如此下去，我們可以得到5個這樣的兩類分類器（總是和類別的數(shù)目一致）。到了有文章需要分類的時候，我們就拿著這篇文章挨個分類器的問：是屬于你的么？是屬于你的么？哪個分類器點頭說是了，文章的類別就確定了。這種方法的好處是每個優(yōu)化問題的規(guī)模比較小，而且分類的時候速度很快（只需要調(diào)用5個分類器就知道了結(jié)果）。但有時也會出現(xiàn)兩種很尷尬的情況，例如拿一篇文章問了一圈，每一個分類器都說它是屬于它那一類的，或者每一個分類器都說它不是它那一類的，前者叫分類重疊現(xiàn)象，后者叫不可分類現(xiàn)象。分類重疊倒還好辦，隨便選一個結(jié)果都不至于太離譜，或者看看這篇文章到各個超平面的距離，哪個遠(yuǎn)就判給哪個。不可分類現(xiàn)象就著實難辦了，只能把它分給第6個類別了……更要命的是，本來各個類別的樣本數(shù)目是差不多的，但“其余”的那一類樣本數(shù)總是要數(shù)倍于正類（因為它是除正類以外其他類別的樣本之和嘛），這就人為的造成了上一節(jié)所說的“數(shù)據(jù)集偏斜”問題。

因此我們還得再退一步，還是解兩類分類問題，還是每次選一個類的樣本作正類樣本，而負(fù)類樣本則變成只選一個類（稱為“一對一單挑”的方法，哦，不對，沒有單挑，就是“一對一”的方法，呵呵），這就避免了偏斜。因此過程就是算出這樣一些分類器，第一個只回答“是第1類還是第2類”，第二個只回答“是第1類還是第3類”，第三個只回答“是第1類還是第4類”，如此下去，你也可以馬上得出，這樣的分類器應(yīng)該有5 X 4/2=10個（通式是，如果有k個類別，則總的兩類分類器數(shù)目為k(k-1)/2）。雖然分類器的數(shù)目多了，但是在訓(xùn)練階段（也就是算出這些分類器的分類平面時）所用的總時間卻比“一類對其余”方法少很多，在真正用來分類的時候，把一篇文章扔給所有分類器，第一個分類器會投票說它是“1”或者“2”，第二個會說它是“1”或者“3”，讓每一個都投上自己的一票，最后統(tǒng)計票數(shù)，如果類別“1”得票最多，就判這篇文章屬于第1類。這種方法顯然也會有分類重疊的現(xiàn)象，但不會有不可分類現(xiàn)象，因為總不可能所有類別的票數(shù)都是0。看起來夠好么？其實不然，想想分類一篇文章，我們調(diào)用了多少個分類器？10個，這還是類別數(shù)為5的時候，類別數(shù)如果是1000，要調(diào)用的分類器數(shù)目會上升至約500,000個（類別數(shù)的平方量級）。這如何是好？

看來我們必須再退一步，在分類的時候下功夫，我們還是像一對一方法那樣來訓(xùn)練，只是在對一篇文章進行分類之前，我們先按照下面圖的樣子來組織分類器（如你所見，這是一個有向無環(huán)圖，因此這種方法也叫做DAG SVM）

這樣在分類時,我們就可以先問分類器“1對5”（意思是它能夠回答“是第1類還是第5類”），如果它回答5，我們就往左走，再問“2對5”這個分類器，如果它還說是“5”，我們就繼續(xù)往左走，這樣一直問下去，就可以得到分類結(jié)果。好處在哪？我們其實只調(diào)用了4個分類器（如果類別數(shù)是k，則只調(diào)用k-1個），分類速度飛快，且沒有分類重疊和不可分類現(xiàn)象！缺點在哪？假如最一開始的分類器回答錯誤（明明是類別1的文章，它說成了5），那么后面的分類器是無論如何也無法糾正它的錯誤的（因為后面的分類器壓根沒有出現(xiàn)“1”這個類別標(biāo)簽），其實對下面每一層的分類器都存在這種錯誤向下累積的現(xiàn)象。。

不過不要被DAG方法的錯誤累積嚇倒，錯誤累積在一對其余和一對一方法中也都存在，DAG方法好于它們的地方就在于，累積的上限，不管是大是小，總是有定論的，有理論證明。而一對其余和一對一方法中，盡管每一個兩類分類器的泛化誤差限是知道的，但是合起來做多類分類的時候，誤差上界是多少，沒人知道，這意味著準(zhǔn)確率低到0也是有可能的，這多讓人郁悶。

而且現(xiàn)在DAG方法根節(jié)點的選取（也就是如何選第一個參與分類的分類器），也有一些方法可以改善整體效果，我們總希望根節(jié)點少犯錯誤為好，因此參與第一次分類的兩個類別，最好是差別特別特別大，大到以至于不太可能把他們分錯；或者我們就總?cè)≡趦深惙诸愔姓_率最高的那個分類器作根節(jié)點，或者我們讓兩類分類器在分類的時候，不光輸出類別的標(biāo)簽，還輸出一個類似“置信度”的東東，當(dāng)它對自己的結(jié)果不太自信的時候，我們就不光按照它的輸出走，把它旁邊的那條路也走一走，等等。

大Tips：SVM的計算復(fù)雜度

使用SVM進行分類的時候，實際上是訓(xùn)練和分類兩個完全不同的過程，因而討論復(fù)雜度就不能一概而論，我們這里所說的主要是訓(xùn)練階段的復(fù)雜度，即解那個二次規(guī)劃問題的復(fù)雜度。對這個問題的解，基本上要劃分為兩大塊，解析解和數(shù)值解。

解析解就是理論上的解，它的形式是表達式，因此它是精確的，一個問題只要有解（無解的問題還跟著摻和什么呀，哈哈），那它的解析解是一定存在的。當(dāng)然存在是一回事，能夠解出來，或者可以在可以承受的時間范圍內(nèi)解出來，就是另一回事了。對SVM來說，求得解析解的時間復(fù)雜度最壞可以達到O(N_sv³)，其中N_sv是支持向量的個數(shù)，而雖然沒有固定的比例，但支持向量的個數(shù)多少也和訓(xùn)練集的大小有關(guān)。

數(shù)值解就是可以使用的解，是一個一個的數(shù)，往往都是近似解。求數(shù)值解的過程非常像窮舉法，從一個數(shù)開始，試一試它當(dāng)解效果怎樣，不滿足一定條件（叫做停機條件，就是滿足這個以后就認(rèn)為解足夠精確了，不需要繼續(xù)算下去了）就試下一個，當(dāng)然下一個數(shù)不是亂選的，也有一定章法可循。有的算法，每次只嘗試一個數(shù)，有的就嘗試多個，而且找下一個數(shù)字（或下一組數(shù)）的方法也各不相同，停機條件也各不相同，最終得到的解精度也各不相同，可見對求數(shù)值解的復(fù)雜度的討論不能脫開具體的算法。

一個具體的算法，Bunch-Kaufman訓(xùn)練算法，典型的時間復(fù)雜度在O(N_sv³+LN_sv²+dLN_sv)和O(dL²)之間，其中N_sv是支持向量的個數(shù)，L是訓(xùn)練集樣本的個數(shù)，d是每個樣本的維數(shù)（原始的維數(shù)，沒有經(jīng)過向高維空間映射之前的維數(shù)）。復(fù)雜度會有變化，是因為它不光跟輸入問題的規(guī)模有關(guān)（不光和樣本的數(shù)量，維數(shù)有關(guān)），也和問題最終的解有關(guān)（即支持向量有關(guān)），如果支持向量比較少，過程會快很多，如果支持向量很多，接近于樣本的數(shù)量，就會產(chǎn)生O(dL²)這個十分糟糕的結(jié)果（給10，000個樣本，每個樣本1000維，基本就不用算了，算不出來，呵呵，而這種輸入規(guī)模對文本分類來說太正常了）。

這樣再回頭看就會明白為什么一對一方法盡管要訓(xùn)練的兩類分類器數(shù)量多，但總時間實際上比一對其余方法要少了，因為一對其余方法每次訓(xùn)練都考慮了所有樣本（只是每次把不同的部分劃分為正類或者負(fù)類而已），自然慢上很多。

前文提到過，除了開方檢驗（CHI）以外，信息增益（IG，Information Gain）也是很有效的特征選擇方法。但凡是特征選擇，總是在將特征的重要程度量化之后再進行選擇，而如何量化特征的重要性，就成了各種方法間最大的不同。開方檢驗中使用特征與類別間的關(guān)聯(lián)性來進行這個量化，關(guān)聯(lián)性越強，特征得分越高，該特征越應(yīng)該被保留。

在信息增益中，重要性的衡量標(biāo)準(zhǔn)就是看特征能夠為分類系統(tǒng)帶來多少信息，帶來的信息越多，該特征越重要。

因此先回憶一下信息論中有關(guān)信息量（就是“熵”）的定義。說有這么一個變量X，它可能的取值有n多種，分別是x₁，x₂，……，x_n，每一種取到的概率分別是P₁，P₂，……，P_n，那么X的熵就定義為：

意思就是一個變量可能的變化越多（反而跟變量具體的取值沒有任何關(guān)系，只和值的種類多少以及發(fā)生概率有關(guān)），它攜帶的信息量就越大（因此我一直覺得我們的政策法規(guī)信息量非常大，因為它變化很多，基本朝令夕改，笑）。

對分類系統(tǒng)來說，類別C是變量，它可能的取值是C₁，C₂，……，C_n，而每一個類別出現(xiàn)的概率是P(C₁)，P(C₂)，……，P(C_n)，因此n就是類別的總數(shù)。此時分類系統(tǒng)的熵就可以表示為：

有同學(xué)說不好理解呀，這樣想就好了，文本分類系統(tǒng)的作用就是輸出一個表示文本屬于哪個類別的值，而這個值可能是C₁，C₂，……，C_n，因此這個值所攜帶的信息量就是上式中的這么多。

信息增益是針對一個一個的特征而言的，就是看一個特征t，系統(tǒng)有它和沒它的時候信息量各是多少，兩者的差值就是這個特征給系統(tǒng)帶來的信息量，即增益。系統(tǒng)含有特征t的時候信息量很好計算，就是剛才的式子，它表示的是包含所有特征時系統(tǒng)的信息量。

問題是當(dāng)系統(tǒng)不包含t時，信息量如何計算？我們換個角度想問題，把系統(tǒng)要做的事情想象成這樣：說教室里有很多座位，學(xué)生們每次上課進來的時候可以隨便坐，因而變化是很大的（無數(shù)種可能的座次情況）；但是現(xiàn)在有一個座位，看黑板很清楚，聽老師講也很清楚，于是校長的小舅子的姐姐的女兒托關(guān)系（真輾轉(zhuǎn)啊），把這個座位定下來了，每次只能給她坐，別人不行，此時情況怎樣？對于座次的可能情況來說，我們很容易看出以下兩種情況是等價的：（1）教室里沒有這個座位；（2）教室里雖然有這個座位，但其他人不能坐（因為反正它也不能參與到變化中來，它是不變的）。

對應(yīng)到我們的系統(tǒng)中，就是下面的等價：（1）系統(tǒng)不包含特征t；（2）系統(tǒng)雖然包含特征t，但是t已經(jīng)固定了，不能變化。

我們計算分類系統(tǒng)不包含特征t的時候，就使用情況（2）來代替，就是計算當(dāng)一個特征t不能變化時，系統(tǒng)的信息量是多少。這個信息量其實也有專門的名稱，就叫做“條件熵”，條件嘛，自然就是指“t已經(jīng)固定“這個條件。

但是問題接踵而至，例如一個特征X，它可能的取值有n多種（x₁，x₂，……，x_n），當(dāng)計算條件熵而需要把它固定的時候，要把它固定在哪一個值上呢？答案是每一種可能都要固定一下，計算n個值，然后取均值才是條件熵。而取均值也不是簡單的加一加然后除以n，而是要用每個值出現(xiàn)的概率來算平均（簡單理解，就是一個值出現(xiàn)的可能性比較大，固定在它上面時算出來的信息量占的比重就要多一些）。

因此有這樣兩個條件熵的表達式：

這是指特征X被固定為值x_i時的條件熵，

這是指特征X被固定時的條件熵，注意與上式在意義上的區(qū)別。從剛才計算均值的討論可以看出來，第二個式子與第一個式子的關(guān)系就是：

具體到我們文本分類系統(tǒng)中的特征t，t有幾個可能的值呢？注意t是指一個固定的特征，比如他就是指關(guān)鍵詞“經(jīng)濟”或者“體育”，當(dāng)我們說特征“經(jīng)濟”可能的取值時，實際上只有兩個，“經(jīng)濟”要么出現(xiàn)，要么不出現(xiàn)。一般的，t的取值只有t（代表t出現(xiàn)）和（代表t不出現(xiàn)），注意系統(tǒng)包含t但t 不出現(xiàn)與系統(tǒng)根本不包含t可是兩回事。

因此固定t時系統(tǒng)的條件熵就有了，為了區(qū)別t出現(xiàn)時的符號與特征t本身的符號，我們用T代表特征，而用t代表T出現(xiàn)，那么：

與剛才的式子對照一下，含義很清楚對吧，P(t)就是T出現(xiàn)的概率，就是T不出現(xiàn)的概率。這個式子可以進一步展開，其中的

另一半就可以展開為：

因此特征T給系統(tǒng)帶來的信息增益就可以寫成系統(tǒng)原本的熵與固定特征T后的條件熵之差：

公式中的東西看上去很多，其實也都很好計算。比如P(C_i)，表示類別C_i出現(xiàn)的概率，其實只要用1除以類別總數(shù)就得到了（這是說你平等的看待每個類別而忽略它們的大小時這樣算，如果考慮了大小就要把大小的影響加進去）。再比如P(t)，就是特征T出現(xiàn)的概率，只要用出現(xiàn)過T的文檔數(shù)除以總文檔數(shù)就可以了，再比如P(C_i|t)表示出現(xiàn)T的時候，類別C_i出現(xiàn)的概率，只要用出現(xiàn)了T并且屬于類別C_i的文檔數(shù)除以出現(xiàn)了T的文檔數(shù)就可以了。

從以上討論中可以看出，信息增益也是考慮了特征出現(xiàn)和不出現(xiàn)兩種情況，與開方檢驗一樣，是比較全面的，因而效果不錯。但信息增益最大的問題還在于它只能考察特征對整個系統(tǒng)的貢獻，而不能具體到某個類別上，這就使得它只適合用來做所謂“全局”的特征選擇（指所有的類都使用相同的特征集合），而無法做“本地”的特征選擇（每個類別有自己的特征集合，因為有的詞，對這個類別很有區(qū)分度，對另一個類別則無足輕重）。

看看，導(dǎo)出的過程其實很簡單，沒有什么神秘的對不對。可有的學(xué)術(shù)論文里就喜歡把這種本來很直白的東西寫得很晦澀，仿佛只有讀者看不懂才是作者的真正成功。

咱們是新一代的學(xué)者，咱們沒有知識不怕被別人看出來，咱們有知識也不怕教給別人。所以咱都把事情說簡單點，說明白點，大家好，才是真的好。