貝葉斯決策論的基本思想非常簡單。為最小化總風(fēng)險，總是選擇那些能夠最小化條件風(fēng)險R(
a|x)的行為。尤其是，為了最小化分類問題中的誤差概率，總是選擇那些使后驗(yàn)概率P(
wj|x)最大的類別。貝葉斯公式允許我們通過先驗(yàn)概率P(
wj)和條件密度p(x|
wj)來計(jì)算后驗(yàn)概率。如果對在模式
wj中所做的誤分的懲罰與模式
wj的不同，那么在做出判決行為之前，必須先根據(jù)該懲罰函數(shù)對后驗(yàn)概率加權(quán)。
如果內(nèi)在分布為多元的高斯分布，判決邊界將是超二次型，其形狀和位置取決于先驗(yàn)概率、該分布的均值和協(xié)方差。實(shí)際的期望誤差率的上界可由Chernoff界和計(jì)算上較簡單的Bhattacharyya界來確定。如果其輸入測試模式具有丟失或遭到破壞的特征量，必須通過在這些特征量上積分來形成邊緣分布，然后將貝葉斯決策過程用于其所得分布上。
而實(shí)際操作中，我們得到的多是包含各種屬性的特征數(shù)據(jù)，從中定義風(fēng)險函數(shù)、先驗(yàn)概率和條件概率往往是重要的前提操作。這樣在給定了有限數(shù)據(jù)的情況下，這些概率的獲取就是統(tǒng)計(jì)的事情了。下一步問題就是獲取這些概率，那么常用的方法就是最大似然估計(jì)和貝葉斯參數(shù)估計(jì)了。