貝葉斯決策論的基本思想非常簡單。為最小化總風險，總是選擇那些能夠最小化條件風險R(
a|x)的行為。尤其是，為了最小化分類問題中的誤差概率，總是選擇那些使后驗概率P(
wj|x)最大的類別。貝葉斯公式允許我們通過先驗概率P(
wj)和條件密度p(x|
wj)來計算后驗概率。如果對在模式
wj中所做的誤分的懲罰與模式
wj的不同，那么在做出判決行為之前，必須先根據該懲罰函數對后驗概率加權。
如果內在分布為多元的高斯分布，判決邊界將是超二次型，其形狀和位置取決于先驗概率、該分布的均值和協(xié)方差。實際的期望誤差率的上界可由Chernoff界和計算上較簡單的Bhattacharyya界來確定。如果其輸入測試模式具有丟失或遭到破壞的特征量，必須通過在這些特征量上積分來形成邊緣分布，然后將貝葉斯決策過程用于其所得分布上。
而實際操作中，我們得到的多是包含各種屬性的特征數據，從中定義風險函數、先驗概率和條件概率往往是重要的前提操作。這樣在給定了有限數據的情況下，這些概率的獲取就是統(tǒng)計的事情了。下一步問題就是獲取這些概率，那么常用的方法就是最大似然估計和貝葉斯參數估計了。