（一）貝葉斯判別簡要原理及其例項

作者：由王振慶發表于攝影時間：2019-11-20

貝葉斯判別規則

貝葉斯判別規則是把某特徵向量

落入某類叢集的條件機率當成分類判別函式（機率判別函式），

落入某叢集的條件機率最大的類為

的類別，這種判決規則就是貝葉斯判別規則。貝葉斯判別規則是以錯分機率或風險最小為準則的判別規則。

貝葉斯最小錯誤率判別

目的

：要確定

是屬於

$\omega_{1}$

類還是

$\omega_{2}$

類，要看X是來自於

$\omega_{1}$

類的機率

$P(\omega_{1}|x)$

大還是來自

$\omega_{2}$

類的機率

$P(\omega_{2}|x)$

大。

公式推導：

根據判別規則，有

若

$P(\omega_{1}|x)$

$P(\omega_{2}|x)$

，則

$x\in\omega_{1}$

；

若

$P(\omega_{1}|x)$

$P(\omega_{2}|x)$

，則

$x\in\omega_{2}$

。

貝葉斯定理：

條件機率

$P(A|B)=\frac{P(A\bigcap B)}{P(B)}$

由貝葉斯定理可得，後驗機率

$P(\omega_{i}|x)$

可由類別

$\omega_{i}$

的先驗機率

$p(\omega_{i})$

和

的條件機率密度

$P(x|\omega_{i})$

來計算，即

所謂先驗機率

$p(\omega_{i})$

就是，其他的條件什麼都不管，統計出來的屬於

$\omega_i$

類的機率。

後驗機率

$P(\omega_{i}|x)$

就是發生了

之後，屬於

$\omega_i$

類的機率。

條件機率密度

$P(x|\omega_{i})$

就是統計在

$\omega_i$

類中發生

的機率。

$P(\omega_{i}|x) = \frac{P(x|\omega_{i}) P(\omega_{i})}{P(x)} = \frac{P(x|\omega_{i}) P(\omega_{i})}{\sum_{i}^{2}{P(x|\omega_{i}) P(\omega_{i})}}$

將上式判別式，有

若

$P(x|\omega_{1}) P(\omega_{1}) > P(x|\omega_{2}) P(\omega_{2})$

，則

$x\in\omega_{1}$

；

若

$P(x|\omega_{1}) P(\omega_{1}) < P(x|\omega_{2}) P(\omega_{2})$

，則

$x\in\omega_{2}$

。

或者

若

$l_{12}(x) = \frac{p(x|\omega_{1})}{p(x|\omega_{2})} > \frac{p(\omega_{2})}{p(\omega_{1})}$

，則

$x\in\omega_{1}$

；

若

$l_{12}(x) = \frac{p(x|\omega_{1})}{p(x|\omega_{2})} < \frac{p(\omega_{2})}{p(\omega_{1})}$

，則

$x\in\omega_{2}$

。

其中，

$l_{12}$

稱為似然比，

$\frac{p(\omega_{2})}{p(\omega_{1})}$

稱為判決閾值，此判別式即稱為貝葉斯判別。

例子1：

對某一地震高發區進行統計，地震以

$\omega_{1}$

類表示，正常以

$\omega_{2}$

類表示。統計的時間區間內，每週發生地震的機率為20%，即

$P(\omega_{1}) = 0.2$

，當然

$P(\omega_{2}) = 1- 0.2 = 0.8$

。通常地震與生物異常反應之間有一定的聯絡。若用生物是否有異常反應這一觀察現象來對地震進行預測，生物是否異常這一結果以模式

代表，這裡

為一維特徵，且只有

=“異常”和

=“正常”兩種結果。假設根據觀測記錄，發現這種方法有以下統計結果：

地震前一週內出現生物異常反應的機率=0。6，即

$P(x=異常|\omega_{1}) = 0.6$

地震前一週內出現生物正常反應的機率=0。4，即

$P(x=正常|\omega_{1}) = 0.4$

一週內沒有發生地震但出現生物異常的機率=0。1，即

$P(x=異常|\omega_{2}) = 0.1$

一週內沒有發生地震時生物正常的機率=0。9，即

$P(x=正常|\omega_{2}) = 0.9$

若某日觀察到明顯的生物異常反應現象，此情況屬於地震還是正常？

$P(\omega_{1}|x = 異常)=\frac{P(x=異常|\omega_{1}) P(\omega_{1})}{P(x =異常)}$

$=\frac{P(x=異常|\omega_{1}) P(\omega_{1})}{P(x=異常|\omega_{1}) P(\omega_{1})+P(x=異常|\omega_{2}) P(\omega_{2})}$

$=\frac{0.6×0.2}{0.6×0.2+0.1×0.8}=0.6$

似然比：

$\frac{p(x=異常|\omega_{1})}{p(x=異常|\omega_{2})} = \frac{0.6}{0.1} = 6$

判決閾值：

$\frac{p(\omega_{2})}{p(\omega_{1})}=\frac{0.8}{0.2}=4$

似然比>判決閾值，則屬於第一類，即為地震。

例子2：

小劉的女神每次看到他的時候都衝他笑，那麼女神到底喜不喜歡小劉呢？

喜歡小劉記為

$\omega_1$

類，不喜歡小劉記為

$\omega_2$

類，女神喜歡一個人的機率我們假定為0。5，即

$P(\omega_{1})=P(\omega_{2})=0.5$

，經過向女神閨蜜詢問調查，有以下結果：

女神喜歡一個人的話，見面衝他笑的機率為

$P(x=沖人笑|\omega_{1})=1$

；

女神喜歡一個人的話，見面不衝他笑的機率為

$P(x=不沖人笑|\omega_{1})=0$

；

女神不喜歡一個人的話，見面衝他笑的機率為

$P(x=沖人笑|\omega_{2})=0.3$

；

女神不喜歡一個人的話，見面不衝他笑的機率為

$P(x=不沖人笑|\omega_{2})=0.7$

。

$P(\omega_{1}|x=沖人笑)=\frac{P(x=沖人笑|\omega_{1} )P(\omega_{1})}{P(x=沖人笑|\omega_{1} )P(\omega_{1})+P(x=沖人笑|\omega_{2} )P(\omega_{2})}$

$=\frac{1×0.5}{1×0.5+0.3×0.5}=0.77$

因此，女神經常衝小劉笑，喜歡上小劉的機率是0。77。這說明，女神經常衝小劉笑這個新資訊的推斷能力很強，將0。5的先驗機率提高到了0。77的後驗機率。

推廣

允許使用多餘一個特徵：標量、向量、多種特徵向量；

允許多於兩種類別狀態的情形；

透過引入一個更一般的損失函式來替代誤差機率：損失函式精確闡述了每種行為所付出的代價的大小，分類錯誤代價相等是最簡單的情況。

貝葉斯最小風險判別

前面我們討論了最小錯誤率的貝葉斯判別，但是，是不是在任何情況下都使用基於最小錯誤率的貝葉斯決策才是最佳的呢？實際情況不是這樣的，比如對於藥品的檢測，對於藥品生產商而言，大部分的藥品都是合格的，只有少數的不合格。如果我們把正常藥品判斷成異常藥品，這樣會增加總的錯誤率，給企業帶來一些損失；但如果把異常藥品判斷成正常藥品，雖然會使錯誤率最小，但病人可能會被使用不合格的藥品，對治療非常不利，甚至會使得病人耽誤治療，乃至於有生命危險。可見這時使用錯誤率最小是不合適的。所以說，單純地考慮後驗機率的最小錯誤率，會帶來更多的損失和風險，為了體現這種風險，我們對貝葉斯公式進行加權修正。

當考慮到對於某一類的錯誤判別要比另一類的判別更為關鍵時，就需要把最小錯誤機率的貝葉斯判別做一些修正，提出條件平均風險

$r_{j}(x)$