學(xué)習(xí)方法：使用樣例（或稱樣本，訓(xùn)練集）來合成計(jì)算機(jī)程序的過程稱為學(xué)習(xí)方法[22]。
監(jiān)督學(xué)習(xí)：學(xué)習(xí)過程中使用的樣例是由輸入/輸出對(duì)給出時(shí)，稱為監(jiān)督學(xué)習(xí)[22]。最典型的監(jiān)督學(xué)習(xí)例子就是文本分類問題，訓(xùn)練集是一些已經(jīng)明確分好了類別文檔組成，文檔就是輸入，對(duì)應(yīng)的類別就是輸出。
非監(jiān)督學(xué)習(xí)：學(xué)習(xí)過程中使用的樣例不包含輸入/輸出對(duì)，學(xué)習(xí)的任務(wù)是理解數(shù)據(jù)產(chǎn)生的過程 [22]。典型的非監(jiān)督學(xué)習(xí)例子是聚類，類別的數(shù)量，名稱，事先全都沒有確定，由計(jì)算機(jī)自己觀察樣例來總結(jié)得出。
TSR（Term Space Reduction）：特征空間的壓縮，即降維，也可以叫做特征提取。包括特征選擇和特征抽取兩大類方法。
分類狀態(tài)得分（CSV，Categorization Status Value)：用于描述將文檔歸于某個(gè)類別下有多大的可信度。
準(zhǔn)確率（Precision）：在所有被判斷為正確的文檔中，有多大比例是確實(shí)正確的。
召回率（Recall）：在所有確實(shí)正確的文檔中，有多大比例被我們判為正確。
假設(shè)：計(jì)算機(jī)對(duì)訓(xùn)練集背后的真實(shí)模型（真實(shí)的分類規(guī)則）的猜測(cè)稱為假設(shè)?？梢园颜鎸?shí)的分類規(guī)則想像為一個(gè)目標(biāo)函數(shù)，我們的假設(shè)則是另一個(gè)函數(shù)，假設(shè)函數(shù)在所有的訓(xùn)練數(shù)據(jù)上都得出與真實(shí)函數(shù)相同（或足夠接近）的結(jié)果。
泛化性：一個(gè)假設(shè)能夠正確分類訓(xùn)練集之外數(shù)據(jù)（即新的，未知的數(shù)據(jù)）的能力稱為該假設(shè)的泛化性[22]。
一致假設(shè)：一個(gè)假設(shè)能夠?qū)λ杏?xùn)練數(shù)據(jù)正確分類，則稱這個(gè)假設(shè)是一致的[22]。
過擬合：為了得到一致假設(shè)而使假設(shè)變得過度復(fù)雜稱為過擬合[22]。想像某種學(xué)習(xí)算法產(chǎn)生了一個(gè)過擬合的分類器，這個(gè)分類器能夠百分之百的正確分類樣本數(shù)據(jù)（即再拿樣本中的文檔來給它，它絕對(duì)不會(huì)分錯(cuò)），但也就為了能夠?qū)颖就耆_的分類，使得它的構(gòu)造如此精細(xì)復(fù)雜，規(guī)則如此嚴(yán)格，以至于任何與樣本數(shù)據(jù)稍有不同的文檔它全都認(rèn)為不屬于這個(gè)類別！
超平面（Hyper Plane）：n維空間中的線性函數(shù)唯一確定了一個(gè)超平面。一些較直觀的例子，在二維空間中，一條直線就是一個(gè)超平面；在三維空間中，一個(gè)平面就是一個(gè)超平面。
線性可分和不可分：如果存在一個(gè)超平面能夠正確分類訓(xùn)練數(shù)據(jù)，并且這個(gè)程序保證收斂，這種情況稱為線形可分。如果這樣的超平面不存在，則稱數(shù)據(jù)是線性不可分的[22]。
正樣本和負(fù)樣本：對(duì)某個(gè)類別來說，屬于這個(gè)類別的樣本文檔稱為正樣本；不屬于這個(gè)類別的文檔稱為負(fù)樣本。
規(guī)劃：對(duì)于目標(biāo)函數(shù)，等式或不等式約束都是線性函數(shù)的問題稱為線性規(guī)劃問題。對(duì)于目標(biāo)函數(shù)是二次的，而約束都是線性函數(shù)的最優(yōu)化問題稱為二次規(guī)劃問題[22]。
對(duì)偶問題：
給定一個(gè)帶約束的優(yōu)化問題
目標(biāo)函數(shù)：min f(x)
約束條件：C(x) ≥0
可以通過拉格朗日乘子構(gòu)造拉格朗日函數(shù)
L(x,λ)=f(x)- λTC(x)
令g(λ)= f(x)- λTC(x)
則原問題可以轉(zhuǎn)化為
目標(biāo)函數(shù)：max g(λ)
約束條件：λ≥0
這個(gè)新的優(yōu)化問題就稱為原問題的對(duì)偶問題（兩個(gè)問題在取得最優(yōu)解時(shí)達(dá)到的條件相同）。