posts - 1,  comments - 0,  trackbacks - 0

          數理統計學中,似然函數是一種關于統計模型中的參數函數,表示模型參數中的似然性。似然函數在統計推斷中有重大作用,如在最大似然估計費雪信息之中的應用等等。“似然性”與“或然性”或“概率”意思相近,都是指某種事件發生的可能性,但是在統計學中,“似然性”和“或然性”或“概率”又有明確的區分。概率用于在已知一些參數的情況下,預測接下來的觀測所得到的結果,而似然性則是用于在已知某些觀測所得到的結果時,對有關事物的性質的參數進行估計。

          在這種意義上,似然函數可以理解為條件概率的逆反。在已知某個參數B時,事件A會發生的概率寫作\mathbb{P}(A \mid B)

          P(A \mid B) = \frac{P(A , B)}{P(B)} \!

          利用貝葉斯定理

          P(B \mid A) = \frac{P(A \mid B)\;P(B)}{P(A)} \!


          因此,我們可以反過來構造表示似然性的方法:已知有事件A發生,運用似然函數\mathbb{L}(B \mid A),我們估計參數B的可能性。形式上,似然函數也是一種條件概率函數,但我們關注的變量改變了:

          b\mapsto P(A \mid B=b)  \!

          注意到這里并不要求似然函數滿足歸一性:\sum_{b \in \mathcal{B}}P(A \mid B=b) = 1。一個似然函數乘以一個正的常數之后仍然是似然函數。對所有α > 0,都可以有似然函數:

          L(b \mid A) = \alpha \; P(A \mid B=b) \!
          例子
          兩次投擲都正面朝上時的似然函數

          考慮投擲一枚硬幣的實驗。通常來說,已知投出的硬幣正面朝上和反面朝上的概率各自是pH = 0.5,便可以知道投擲若干次后出現各種結果的可能性。比如說,投兩次都是正面朝上的概率是0.25。用條件概率表示,就是:

          P(\mbox{HH} \mid p_H = 0.5) = 0.5^2 = 0.25

          其中H表示正面朝上。

          在統計學中,我們關心的是在已知一系列投擲的結果時,關于硬幣投擲時正面朝上的可能性的信息。我們可以建立一個統計模型:假設硬幣投出時會有pH 的概率正面朝上,而有1 − pH 的概率反面朝上。這時,條件概率可以改寫成似然函數:

          L(p_H =  0.5 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.5) =0.25

          也就是說,對于取定的似然函數,在觀測到兩次投擲都是正面朝上時,pH = 0.5似然性是0.25(這并不表示當觀測到兩次正面朝上時pH = 0.5概率是0.25)。

          如果考慮pH = 0.6,那么似然函數的值也會改變。

          L(p_H = 0.6 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.6) =0.36
          三次投擲中頭兩次正面朝上,第三次反面朝上時的似然函數

          注意到似然函數的值變大了。這說明,如果參數pH 的取值變成0.6的話,結果觀測到連續兩次正面朝上的概率要比假設pH = 0.5 時更大。也就是說,參數pH 取成0.6 要比取成0.5 更有說服力,更為“合理”。總之,似然函數的重要性不是它的具體取值,而是當參數變化時函數到底變小還是變大。對同一個似然函數,如果存在一個參數值,使得它的函數值達到最大的話,那么這個值就是最為“合理”的參數值。

          在這個例子中,似然函數實際上等于:

          L(p_H = \theta  \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = \theta) =\theta^2 , 其中0 \le p_H  \le 1

          如果取pH = 1,那么似然函數達到最大值1。也就是說,當連續觀測到兩次正面朝上時,假設硬幣投擲時正面朝上的概率為1是最合理的。

          類似地,如果觀測到的是三次投擲硬幣,頭兩次正面朝上,第三次反面朝上,那么似然函數將會是:

          L(p_H = \theta  \mid \mbox{HHT}) = P(\mbox{HHT}\mid p_H = \theta) =\theta^2(1 - \theta) , 其中T表示反面朝上,0 \le p_H  \le 1

          這時候,似然函數的最大值將會在p_H = \frac{2}{3}的時候取到。也就是說,當觀測到三次投擲中前兩次正面朝上而后一次反面朝上時,估計硬幣投擲時正面朝上的概率p_H = \frac{2}{3}是最合理的。

           應用

          最大似然估計

          最大似然估計是似然函數最初也是最自然的應用。上文已經提到,似然函數取得最大值表示相應的參數能夠使得統計模型最為合理。從這樣一個想法出發,最大似然估計的做法是:首先選取似然函數(一般是概率密度函數概率質量函數),整理之后求最大值。實際應用中一般會取似然函數的對數作為求最大值的函數,這樣求出的最大值和直接求最大值得到的結果是相同的。似然函數的最大值不一定唯一,也不一定存在。與矩法估計比較,最大似然估計的精確度較高,信息損失較少,但計算量較大。

          似然比檢驗

          似然比檢驗是利用似然函數來檢測某個假設(或限制)是否有效的一種檢驗。一般情況下,要檢測某個附加的參數限制是否是正確的,可以將加入附加限制條件的較復雜模型的似然函數最大值與之前的較簡單模型的似然函數最大值進行比較。如果參數限制是正確的,那么加入這樣一個參數應當不會造成似然函數最大值的大幅變動。一般使用兩者的比例來進行比較。尼曼-皮爾森引理說明,似然比檢驗是所有具有同等顯著性差異的檢驗中最有統計效力的檢驗。


          posted on 2011-12-19 10:32 憤怒的考拉 閱讀(248) 評論(0)  編輯  收藏

          只有注冊用戶登錄后才能發表評論。


          網站導航:
           
          <2025年6月>
          25262728293031
          1234567
          891011121314
          15161718192021
          22232425262728
          293012345

          常用鏈接

          留言簿

          隨筆檔案

          文章檔案

          搜索

          •  

          最新評論

          主站蜘蛛池模板: 瓦房店市| 同德县| 白山市| 阿图什市| 顺昌县| 故城县| 黑水县| 常熟市| 洪湖市| 涞水县| 晋江市| 封丘县| 凌云县| 库尔勒市| 遂川县| 昔阳县| 海南省| 凤凰县| 鹿泉市| 漳浦县| 三门县| 和平县| 溆浦县| 德清县| 丰原市| 宜川县| 泸西县| 滦平县| 西昌市| 屏南县| 同仁县| 海门市| 正安县| 凉城县| 南溪县| 留坝县| 观塘区| 濉溪县| 仁寿县| 大竹县| 民丰县|