復(fù)旦大學的中文語料庫分為訓練集和驗證集兩部分,兩部分的文檔數(shù)量基本相等,但現(xiàn)在做測評一般都不采用這種預(yù)先劃分的方法,而多用交叉驗證,因此在將訓練集與驗證集合并之后,得到該語料庫的一些基本信息如下：

類別總數(shù)量:20

文檔總數(shù)量:19637

       類別名稱(類別代碼):文檔數(shù)量

       Agriculture(C32):2043篇

       Art(C3):1482篇

       Communication(C17):52篇

       Computer(C19):2715篇

       Economy(C34):3201篇

       Education(C5):120篇

       Electronics(C16):55篇

       Energy(C15):65篇

       Enviornment(C31):2435篇

       History(C7):934篇

       Law(C35):103篇

       Literature(C4):67篇

       Medical(C36):104篇

       Military(C37):150篇

       Mine(C23):67篇

       Philosophy(C6):89篇

       Politics(C38):2050篇

       Space(C11):1282篇

       Sports(C39):2507篇

Transport(C29):116篇

同時,在使用ictclas4j分詞包對其進行分詞的過程中,發(fā)現(xiàn)復(fù)旦語料庫中存在一些文章會使得ictclas4j報錯,其中因為分詞包本身字庫缺少某些文字,以及一些神秘的字符組合(確實很神秘)會導致分詞過程出錯,因此能夠被成功分詞而供后續(xù)使用的文檔數(shù)并不如上面所列這么多,在分詞之后,情況如下:

類別總數(shù)量:20

文檔總數(shù)量:18185

    類別名稱(類別代碼):文檔數(shù)量

    Agriculture(C32):1949篇

    Art(C3):1237篇

    Communication(C17):52篇

    Computer(C19):2591篇

    Economy(C34):2912篇

    Education(C5):111篇

    Electronics(C16):51篇

    Energy(C15):63篇

    Environment(C31):2347篇

    History(C7):708篇

    Law(C35):103篇

    Literature(C4):65篇

    Medical(C36):98篇

    Military(C37):147篇

    Mine(C23):63篇

    Philosophy(C6):86篇

    Politics(C38):1920篇

    Space(C11):1226篇

Sports(C39):2344篇

Transport(C29):112篇

在已分詞后的語料庫里,可以看出這樣幾個特點,一,文檔總數(shù)比未分詞的版本少了1448篇(可見ictclas4j的錯誤還是滿普遍的)；第二，文檔數(shù)量分布仍不均衡，最多的經(jīng)濟類文章有2912篇，而最少的電子類與通信類文章僅有51篇與52篇，往好的方向說可以考察你所開發(fā)的系統(tǒng)如何應(yīng)對數(shù)據(jù)集偏斜的問題，往壞的方向說給要上線的系統(tǒng)作訓練集恐怕不太合適。

在下一篇文章中,我將進一步總結(jié)詞頻統(tǒng)計的結(jié)果.

假設(shè)我們有以下的類別層次:

Layer1 --> Layer2 --> Layer3 --> Layer4

其中Layer1是位于最高位置的基類,Layer2是Layer1的直接子類,而Layer3又是Layer2的直接子類,等等.

我們在使用數(shù)組時會有這樣的用法:

Layer1[] layerArray=new Layer2[10];

此時盡管運行時可能產(chǎn)生某些錯誤,例如往一個明明是Layer2的數(shù)組中加入一個Layer1的實例,但編譯期并不會有什么問題.這是因為Java的數(shù)組存在稱之為”協(xié)變”的現(xiàn)象,即如果Layer2是Layer1的子類,那么Layer2的數(shù)組也是Layer1的數(shù)組的子類.我們可以這樣來驗證:

Layer2[] layer2Array=new Layer2[10];

System.out.println(layer2Array instanceof Layer1[]);

程序輸出的結(jié)果為true.

像Layer1[] layerArray=new Layer2[10];這樣寫有一個很大的缺點，那就是你可以寫

layerArray[0]=new Layer1();

這樣的代碼，編譯器不會報錯，但實際上我們往一個Layer2的數(shù)組里塞了一個Layer1的實例，這在運行時會扔出一個java.lang.ArrayStoreException。即是說數(shù)組沒有提供編譯期的類型檢查。

而容器(例如List)很容易被我們認為是另一種數(shù)組，只是能夠容納各種類型以及動態(tài)改變大小而已。在JavaSE5之前，即使這樣認為也不會給編程帶來麻煩，因為容器沒有辦法指定所容納的具體類型。但在引入泛型之后，我們可能為了編譯期的類型檢查以及動態(tài)改變大小兩個理由而迫不及待的用容器徹底代替數(shù)組，也就有可能想當然的寫出這樣的代碼：

List<Layer1> list=new ArrayList<Layer2>();

這樣寫的理由很簡單，總是希望用基類型的引用來提供靈活性。然而遺憾的是，上述代碼編譯不能通過（或許編譯期就不能通過這一點，反而是好事），原因就在于容器沒有“協(xié)變”現(xiàn)象，一個Layer2的List并不是Layer1的List的子類，而是完全不同的類。因此上面的代碼同

Integer i=new String("你好");

一樣荒謬，自然逃不過編譯器的法眼。

難道就不能用泛型創(chuàng)建這樣一種List的引用，類型參數(shù)只使用基類型，而在實例化的時候可以使用子類型，但又可以借助泛型的編譯期檢查么？

例如我想要一個List<Layer1>類型的引用，這個引用可以指向ArrayList<Layer2>或ArrayList<Layer4>（因為我不想關(guān)心實例化時的具體類型），但是一旦實例化一個ArrayList<Layer2>以后，又能借助編譯器來檢查向其中添加的確實是Layer2的實例，而非String或Integer。這能不能辦到呢？

答案是不能，雖然初試之下，我們可能會利用泛型通配符想當然的寫出如下代碼：

List<? extends Layer1> layer1List=new ArrayList<Layer2>();

乍看之下，代碼的本意是要建立一個泛型List的引用，而泛型的類別參數(shù)是任何Layer1的子類均可，這不正好合我們剛才所說的意思嗎？而且這回編譯器也沒有報錯，應(yīng)該OK了吧!

接下來的事情卻讓人哭笑不得，這個List竟然不能添加任何元素，無論是寫

layer1List.add(new Layer1());

還是寫

layer1List.add(new Layer2());

均報錯（編譯期即錯，不用待到運行時）。甚至是

layer1List.add(new Object());

也報錯（這證明了無論提供的類型參數(shù)是Layer1的子類還是超類，亦或者Layer1本身，均報錯）。

這是為什么呢？（給讀者３分鐘思考，然后帶著詭異的微笑揭曉答案）

原來extends關(guān)鍵字圈定的是泛型參數(shù)的上界，回頭單看

List<? extends Layer1>

這一句，其實說的是，我有一個泛型的List，它的類別參數(shù)是Layer1的一個子類，因此如果這個子類是Layer3，那么Layer2以上的類別就不能向該List中添加（這個沒什么問題吧，別繞進去了哦），如果這個子類別是Layer4，那么Layer3以上的類別就不能向該List中添加（想象我們的類別體系還存在Layer5,Layer6等等，顯然子類別是哪一個都有可能，那就是說拒絕任何一個類別都是說得通的）。因此編譯器根本無法確定這個List到底可以放什么不可以放什么，所以統(tǒng)統(tǒng)拒絕。

更正式一點說，extends給了一個上界，只有該界以下的類別才能合法的添加到List中，但是這個上界本身都是不確定的（它可以無限往類別體系的下方移動），自然也就說不出哪些類別是合法的了。

結(jié)論：想要容器提供類似于數(shù)組那樣的協(xié)變效果，而又要有類型檢查，至少在我所知范圍，辦不到。

需要首先說明的是，不同于以前的C++版提供的JNI調(diào)用，本次使用的是純Java版本的ICTCLAS，下載地址在http://ictclas.org/Down_OpenSrc.asp。

好，假設(shè)你已經(jīng)下載了我們需要使用的Java版本ictclas4j，現(xiàn)在把它解壓縮，然后把Data文件夾整個拷貝到Eclipse項目的文件夾下,而bin目錄下的org文件夾整個拷貝到你Eclipse項目的bin目錄下，把src目錄下的org文件夾整個拷貝到Eclipse項目的src目錄下（最簡單快捷的使用方式，或者你自己打成jar包，這樣無論放到哪里，都可以在build path里面導入這個jar包啦）。

現(xiàn)在就可以在你的項目里新建一個類來試試。我新建了一個類，代碼如下：

import org.ictclas4j.bean.SegResult;

import org.ictclas4j.segment.SegTag;

public class OneMain {

public static void main(String[] args) {

System.out.println("This is OneMain");

SegTag st = new SegTag(1);

SegResult sr = st

.split("一塊勤奮地漂亮的一塊錢,/打造經(jīng)濟的航空母艦。ABCD.#$% Hello World!\n又一段文本123輛 ！3.0");

System.out.println(sr.getFinalResult());

}

}

很顯然文本“一塊勤奮地漂亮的一塊錢,/打造經(jīng)濟的航空母艦。ABCD.#$% Hello World!"n又一段文本123輛 ！3.0”就是我們用來測試的文本，其中包含了中文，英文，標點符號，亂七八糟符號（笑）及阿拉伯數(shù)字。

我們運行剛才的程序，看下輸出結(jié)果：

This is OneMain

一塊/s 勤奮/a 地/u 漂亮/a 的/u 一/m 塊/q 錢/n ,/w //nx 打造/v 經(jīng)濟/n 的/u 航空母艦/n 。/w ABCD.#$%/nx Hello/nx World/nx !/w 又/d 一/m 段/q 文本/n 123/m 輛/q

看到了么，分詞的結(jié)果是一個長長的String類數(shù)據(jù)，用空格區(qū)分出每個詞，每個詞還用/后面的英文標號標出了詞性。一起來看看幾個有趣的地方。

原文中其實有兩個“一塊”，一處是“一塊勤奮”，這里很正確的識別為了副詞，而后面的“一塊錢”中的“一塊”也正確的識別為數(shù)量詞。

阿拉伯數(shù)字正確識別為數(shù)詞，包括小數(shù)形式的“3.0”。而英文和亂七八糟符號（包括那個不可見的換行符，你找到它在哪了嗎？）則都被劃為一類——/nx?。ㄒ驗槲乙膊恢?/span>ICTCLAS內(nèi)部人員管它叫什么啦，非法字符啊，還是無效字符啊，或者其它字符啊，名字可以自己取嘛）

測試文本中還有兩個嘆號，一個是英文半角的!，一個是中文全角的！，兩者也都被正確識別為標點符號，但英文的句號“.“就被認為是/nx啦。

測試文本中的空格被完全忽略。

好，十分簡單對不對？去玩玩吧。

“之所以如此關(guān)心間隔這個東西，是因為間隔與樣本的誤分次數(shù)間存在關(guān)系：

”

此處更確切的說法應(yīng)該是幾何間隔與樣本的誤分次數(shù)存在上述關(guān)系。

就在剛才這段話的下面，我解釋R代表的含義時說它是“R是空間中一個能完全包含樣本數(shù)據(jù)的球的半徑”，很遺憾這是錯誤的，正確的定義是

R=max ||xi||  i=1,...,n

即R是所有樣本中（xi是以向量表示的第i個樣本）向量長度最長的值。

犯下上述錯誤，委實顯得不專業(yè)，在此道歉。

上回說到對于文本分類這樣的不適定問題（有一個以上解的問題稱為不適定問題），需要有一個指標來衡量解決方案（即我們通過訓練建立的分類模型）的好壞，而分類間隔是一個比較好的指標。

在進行文本分類的時候，我們可以讓計算機這樣來看待我們提供給它的訓練樣本，每一個樣本由一個向量（就是那些文本特征所組成的向量）和一個標記（標示出這個樣本屬于哪個類別）組成。如下：

D_i=(x_i,y_i)

x_i就是文本向量（維數(shù)很高），y_i就是分類標記。

在二元的線性分類中，這個表示分類的標記只有兩個值，1和-1（用來表示屬于還是不屬于這個類）。有了這種表示法，我們就可以定義一個樣本點到某個超平面的間隔：

δ_i=y_i(wx_i+b)

這個公式乍一看沒什么神秘的，也說不出什么道理，只是個定義而已，但我們做做變換，就能看出一些有意思的東西。

首先注意到如果某個樣本屬于該類別的話，那么wx_i+b>0（記得么？這是因為我們所選的g(x)=wx+b就通過大于0還是小于0來判斷分類），而y_i也大于0；若不屬于該類別的話，那么wx_i+b<0，而y_i也小于0，這意味著y_i(wx_i+b)總是大于0的，而且它的值就等于|wx_i+b|?。ㄒ簿褪莬g(x_i)|）

現(xiàn)在把w和b進行一下歸一化，即用w/||w||和b/||w||分別代替原來的w和b，那么間隔就可以寫成

這個公式是不是看上去有點眼熟？沒錯，這不就是解析幾何中點x_i到直線g(x)=0的距離公式嘛！（推廣一下，是到超平面g(x)=0的距離， g(x)=0就是上節(jié)中提到的分類超平面）

小Tips：||w||是什么符號？||w||叫做向量w的范數(shù)，范數(shù)是對向量長度的一種度量。我們常說的向量長度其實指的是它的2-范數(shù)，范數(shù)最一般的表示形式為p-范數(shù)，可以寫成如下表達式

    向量w=(w₁, w₂, w₃,…… w_n)

它的p-范數(shù)為

   

看看把p換成2的時候，不就是傳統(tǒng)的向量長度么？當我們不指明p的時候，就像||w||這樣使用時，就意味著我們不關(guān)心p的值，用幾范數(shù)都可以；或者上文已經(jīng)提到了p的值，為了敘述方便不再重復(fù)指明。

當用歸一化的w和b代替原值之后的間隔有一個專門的名稱，叫做幾何間隔，幾何間隔所表示的正是點到超平面的歐氏距離，我們下面就簡稱幾何間隔為“距離”。以上是單個點到某個超平面的距離（就是間隔，后面不再區(qū)別這兩個詞）定義，同樣可以定義一個點的集合（就是一組樣本）到某個超平面的距離為此集合中離超平面最近的點的距離。下面這張圖更加直觀的展示出了幾何間隔的現(xiàn)實含義：

H是分類面，而H₁和H₂是平行于H，且過離H最近的兩類樣本的直線，H₁與H，H₂與H之間的距離就是幾何間隔。

之所以如此關(guān)心間隔這個東西，是因為間隔與樣本的誤分次數(shù)間存在關(guān)系：

其中的δ是樣本集合到分類面的間隔，R是空間中一個能完全包含樣本數(shù)據(jù)的球的半徑（也就是說代表樣本的分布有多么廣）。先不必追究誤分次數(shù)的具體定義和推導過程，只要記得這個誤分次數(shù)一定程度上代表分類器的誤差。而從上式可以看出，誤分次數(shù)的上界由間隔決定?。ó斎?，是樣本已知的時候）

至此我們就明白為何要選擇間隔來作為評價一個解優(yōu)劣的指標了，原來間隔越大的解，它的誤差上界越小。因此最大化間隔成了我們訓練階段的目標，而且，與二把刀作者所寫的不同，最大化分類間隔并不是SVM的專利，而是早在線性分類時期就已有的思想。

但是看過一些關(guān)于SVM的論文的人一定記得什么優(yōu)化的目標是要最小化||w||這樣的說法，這是怎么回事呢？回頭再看看

這個公式，這里的|g(x)|代表樣本集到超平面g(x)=0距離最近的點的值，因此是一個定值，注意到間隔與||w||是成反比的，因此最大化間隔與最小化||w||完全是一回事。而我們常用的方法并不是固定||w||的大小而尋求最大間隔，而是固定間隔（例如固定為1），尋找最小的||w||。

現(xiàn)在有了一個線性分類函數(shù)，也有了判斷解優(yōu)劣的標準（有了優(yōu)化的目標），接下來自然關(guān)心如何求解，且聽下回分解。

線性分類器(一定意義上,也可以叫做感知機) 是最簡單也很有效的分類器形式.在一個線性分類器中,可以看到SVM形成的思路,并接觸很多SVM的核心概念.

用一個二維空間里僅有兩類樣本的分類問題來舉個小例子。如圖所示

^­C₁和C₂是要區(qū)分的兩個類別，在二維平面中它們的樣本如上圖所示。中間的直線就是一個分類函數(shù)，它可以將兩類樣本完全分開。一般的，如果一個線性函數(shù)能夠?qū)颖就耆_的分開，就稱這些數(shù)據(jù)是線性可分的，否則稱為非線性可分的。

什么叫線性函數(shù)呢？在一維空間里就是一個點，在二維空間里就是一條直線，三維空間里就是一個平面，可以如此想象下去，如果不關(guān)注空間的維數(shù)，這種線性函數(shù)還有一個統(tǒng)一的名稱——超平面（Hyper Plane）！

實際上，一個線性函數(shù)是一個實值函數(shù)（即函數(shù)的值是連續(xù)的實數(shù)），而我們的分類問題（例如這里的二元分類問題——回答一個樣本屬于還是不屬于一個類別的問題）需要離散的輸出值，例如用1表示某個樣本屬于類別C₁，而用0表示不屬于（不屬于C₁也就意味著屬于C₂），這時候只需要簡單的在實值函數(shù)的基礎(chǔ)上附加一個閾值即可，通過分類函數(shù)執(zhí)行時得到的值大于還是小于這個閾值來確定類別歸屬。 例如我們有一個線性函數(shù)

g(x)=wx+b

我們可以取閾值為0，這樣當有一個樣本x_i需要判別的時候，我們就看g(x_i)的值。若g(x_i)>0，就判別為類別C₁，若g(x_i)<0，則判別為類別C₂（等于的時候我們就拒絕判斷，呵呵）。此時也等價于給函數(shù)g(x)附加一個符號函數(shù)sgn()，即f(x)=sgn [g(x)]是我們真正的判別函數(shù)。

關(guān)于g(x)=wx+b這個表達式要注意三點：一，式中的x不是二維坐標系中的橫軸，而是樣本的向量表示，例如一個樣本點的坐標是(3,8)，則x^T=(3,8) ，而不是x=3（一般說向量都是說列向量，因此以行向量形式來表示時，就加上轉(zhuǎn)置）。二，這個形式并不局限于二維的情況，在n維空間中仍然可以使用這個表達式，只是式中的w成為了n維向量（在二維的這個例子中，w是二維向量，注意這里的w嚴格的說也應(yīng)該是轉(zhuǎn)置的形式，為了表示起來方便簡潔，以下均不區(qū)別列向量和它的轉(zhuǎn)置，聰明的讀者一看便知）；三，g(x)不是中間那條直線的表達式，中間那條直線的表達式是g(x)=0，即wx+b=0，我們也把這個函數(shù)叫做分類面。

實際上很容易看出來，中間那條分界線并不是唯一的，我們把它稍微旋轉(zhuǎn)一下，只要不把兩類數(shù)據(jù)分錯，仍然可以達到上面說的效果，稍微平移一下，也可以。此時就牽涉到一個問題，對同一個問題存在多個分類函數(shù)的時候，哪一個函數(shù)更好呢？顯然必須要先找一個指標來量化“好”的程度，通常使用的都是叫做“分類間隔”的指標。下一節(jié)我們就仔細說說分類間隔，也補一補相關(guān)的數(shù)學知識。