機(jī)器學(xué)習(xí)(Machine Learning, ML)的目的是根據(jù)給定的訓(xùn)練樣本求對某系統(tǒng)輸入輸出之間依賴關(guān)系的估計，使它（這種關(guān)系）能夠?qū)ξ粗敵鲎龀霰M可能準(zhǔn)確地預(yù)測。機(jī)器學(xué)習(xí)至今沒有一個精確的公認(rèn)的定義。作為人工智能(Artificial Intelligence, AI)的一個重要研究領(lǐng)域，ML的研究工作主要圍繞學(xué)習(xí)機(jī)理、學(xué)習(xí)方法和面向任務(wù)這三個基本方面進(jìn)行研究。模式識別、函數(shù)逼近和概率密度估計是三類基本的ML問題。
從數(shù)學(xué)的角度來考慮，機(jī)器學(xué)習(xí)問題就是已知n個獨(dú)立同分布的觀測樣本，在同一組預(yù)測函數(shù)中求一個最優(yōu)的函數(shù)對依賴關(guān)系進(jìn)行估計，使期望風(fēng)險R[f]最小。損失函數(shù)是評價預(yù)測準(zhǔn)確程度的一種度量，它與預(yù)測函數(shù)f(x)密切相關(guān)。而f(x)的期望風(fēng)險依賴于概率分布和損失函數(shù)，前者是客觀存在的，后者是根據(jù)具體問題選定的，帶有（主觀的）人為的或偏好色彩。期望風(fēng)險的大小直觀上可以理解為，當(dāng)我們用f(x)進(jìn)行預(yù)測時，“平均”的損失程度，或“平均”犯錯誤的程度。
但是，只有樣本卻無法計算期望風(fēng)險，因此，傳統(tǒng)的學(xué)習(xí)方法用樣本定義經(jīng)驗(yàn)風(fēng)險Remp[f]作為對期望風(fēng)險的估計，并設(shè)計學(xué)習(xí)算法使之最小化。即所謂的經(jīng)驗(yàn)風(fēng)險最小化(Empirical Risk Minimization, ERM)歸納原則。經(jīng)驗(yàn)風(fēng)險是用損失函數(shù)來計算的。對于模式識別問題的損失函數(shù)來說，經(jīng)驗(yàn)風(fēng)險就是訓(xùn)練樣本錯誤率；對于函數(shù)逼近問題的損失函數(shù)來說，就是平方訓(xùn)練誤差；而對于概率密度估計問題的損失函數(shù)來說，ERM準(zhǔn)則就等價于最大似然法。事實(shí)上，用ERM準(zhǔn)則代替期望風(fēng)險最小化并沒有經(jīng)過充分的理論論證，只是直觀上合理的想當(dāng)然做法。也就是說，經(jīng)驗(yàn)風(fēng)險最小不一定意味著期望風(fēng)險最小。其實(shí)，只有樣本數(shù)目趨近于無窮大時，經(jīng)驗(yàn)風(fēng)險才有可能趨近于期望風(fēng)險。但是很多問題中樣本數(shù)目離無窮大很遠(yuǎn)，那么在有限樣本下ERM準(zhǔn)則就不一定能使真實(shí)風(fēng)險較小啦。ERM準(zhǔn)則不成功的一個例子就是神經(jīng)網(wǎng)絡(luò)的過學(xué)習(xí)問題（某些情況下，訓(xùn)練誤差過小反而導(dǎo)致推廣能力下降，或者說是訓(xùn)練誤差過小導(dǎo)致了預(yù)測錯誤率的增加，即真實(shí)風(fēng)險的增加）。
統(tǒng)計學(xué)習(xí)理論(Statistical Learning Theory, SLT)和支持向量機(jī)(Support Vector Machine, SVM)建立了一套較好的有限訓(xùn)練樣本下機(jī)器學(xué)習(xí)的理論框架和通用方法，既有嚴(yán)格的理論基礎(chǔ)，又能較好地解決小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問題，其核心思想就是學(xué)習(xí)機(jī)器（又叫預(yù)測函數(shù)，或?qū)W習(xí)函數(shù)，或?qū)W習(xí)模型）F要與有限的訓(xùn)練樣本相適應(yīng)。在學(xué)習(xí)算法中需要選擇恰當(dāng)?shù)腇，這里的關(guān)鍵因素是F的大小，或者F的豐富程度，或者說F的“表達(dá)能力”，VC維(Vapnik-Chervonenkis Dimension)就是對這種“表達(dá)能力”的一種描述。
VC維的定義如下：對于一個指示函數(shù)集，如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2的h次冪種形式分開，則稱函數(shù)集能夠把h個樣本都打散，h的最大值就是函數(shù)集的VC維。VC維是SLT中的一個重要概念，它是函數(shù)集學(xué)習(xí)性能的重要指標(biāo)。目前尚沒有通用的關(guān)于任意函數(shù)集VC維計算的理論，只知道一些特殊的函數(shù)集的VC維。比如，在n維空間中線性分類器和線性實(shí)函數(shù)的VC維是 n+1，而 f(x,a) = sin(ax) 的VC維則為無窮大。對于給定的學(xué)習(xí)函數(shù)集，如何（用理論或?qū)嶒?yàn)的方法）計算其VC維是當(dāng)前統(tǒng)計學(xué)習(xí)理論中有待研究的一個問題。
由上文可知，在有限樣本情況下，僅僅用ERM來近似期望風(fēng)險是行不通的。統(tǒng)計學(xué)習(xí)理論給出了期望風(fēng)險 R[f] 與經(jīng)驗(yàn)風(fēng)險 Remp[f] 之間關(guān)系：R[f] <= ( Remp[f] + e )。其中 e = g(h/n) 為置信區(qū)間，e 是VC維 h 的增函數(shù)，也是樣本數(shù)n的減函數(shù)。右端稱為結(jié)構(gòu)風(fēng)險，它是期望風(fēng)險 R[f] 的一個上界。經(jīng)驗(yàn)風(fēng)險的最小依賴較大的 F （樣本數(shù)較多的函數(shù)集）中某個 f 的選擇，但是 F 較大，則VC維較大，就導(dǎo)致置信區(qū)間 e 變大，所以要想使期望風(fēng)險 R[f] 最小，必須選擇合適的 h 和 n 來使不等式右邊的結(jié)構(gòu)風(fēng)險最小，這就是結(jié)構(gòu)風(fēng)險最小化(Structural Risk Minimization, SRM)歸納原則。實(shí)現(xiàn)SRM的思路之一就是設(shè)計函數(shù)集的某種結(jié)構(gòu)使每個子集中都能取得最小的經(jīng)驗(yàn)風(fēng)險（如使訓(xùn)練誤差為0），然后只需選擇適當(dāng)?shù)淖蛹怪眯欧秶钚。瑒t這個子集中使經(jīng)驗(yàn)風(fēng)險最小的函數(shù)就是最優(yōu)函數(shù)。SVM方法實(shí)際上就是這種思想的具體實(shí)現(xiàn)。
SVM是一種基于統(tǒng)計的學(xué)習(xí)方法，它是對SRM的近似。概括地說，SVM就是首先通過用內(nèi)積函數(shù)定義的非線性變換將輸入空間變換到一個高維空間，然后再在這個空間中求（廣義）最優(yōu)分類面的分類方法。