本章是同學自己講述,有些觀點可能有些問題.
1: 沒有免費的午餐: 對特定問題的先驗認識的條件下, 沒有最優的分類器.
2: 丑小鴨定理: 對特定問題的先驗認識的條件下,沒有最優的特征表達.
3: occam' razor: 殺雞焉用牛刀? 小的剃須刀就可以了,干嗎用電鋸??? keep it simple,stupid. 簡單就是美.
愛因斯坦:描述一個問題,解決一個問題,要盡可能的簡單,但不要更簡單.
杜達:長期的進化過程, 使我們自身的"模式識別儀器"面臨強大的自然選擇的壓力---要求執行更簡單的計算,需要更少的神經元,花費更短的時間,等等,導致我們的分類器趨向簡單的方案.
沃倫.巴菲特:蓋茨的成功不在于他做了什么,而在于他沒做什么.
一個人要專注做一件事情,理想太多了, 變得沒有理想了.
總之,我們的分類器要盡可能保持簡單,因為,簡單的通常是最有效的.這是經驗!
4: 回歸中的偏差和方差關系
4.1)
偏差小: 準確度高
方差小: 推廣性好.
4.2)
曲線擬合的均方誤差 = 偏差^2 + 方差. 與兩者都有關系
5: 刀切法 和 自助法
由于現實中,獲取樣本往往是比較困難的,怎么充分的利用好手里的現有的樣本???
刀切法: 降低樣本中噪聲的影響.每次統計模型的參數信息的時候, 去掉一部分樣本.
自助法: 把樣本分為多個獨立的自助集.相當于多次重復里利用手里的樣本.
6: bagging & boosting & 基于查詢的學習
略去.
7:單個分割平面的能力
也就是說 線性分類面的能力???
一般位置: d維空間的點, 沒有d+1個點落在d-1維子空間時,我們稱這些點處于一般位置.
eg: d=1,一維空間的點. 如果沒有2兩個點落在0維子空間(也就是處在同一個點上.)
eg: d=2,2維空間的點. 如果沒有3兩個點落在1維子空間(也就是處在同一個線上.)
正是由于線性分類器的弱點,
---我們引入了非線性分類器 BP --- 改變分類面的線性關系為非線性
---我們引入了SVM --- 改變樣本點的空間位置使之可以使用線性分類器.
一般位置: