下來我們將花兩篇小專欄的時(shí)間對(duì)概率圖模型進(jìn)行簡(jiǎn)單的介紹，主要是一些概率的基礎(chǔ)與證明，比較理論化。但個(gè)人覺得還是很有必要。因?yàn)楹笃诘囊恍┧惴ㄊ且赃@個(gè)為模型基礎(chǔ)的，所以現(xiàn)在首先構(gòu)建一個(gè)理論基礎(chǔ)，后面談到應(yīng)用的時(shí)候可能會(huì)更好的理解。
本篇可能寫的有些抽象，如果有更好的建議，歡迎提出~
------------------------萌萌噠的分割線------------------------
貝葉斯網(wǎng)絡(luò)基礎(chǔ)
為了將事件的關(guān)聯(lián)性用圖的方式，清楚的呈現(xiàn)在我們眼前，Pearl開發(fā)了一種叫 概率圖(PGM) 的模型。這個(gè)模型抽象了一些事件，還有他們的聯(lián)系。簡(jiǎn)而言之，就是把一系列事件畫成圓圈，如果事件相互之間有 聯(lián)系 ，那么就在在兩個(gè)圈上連上一條線。如果是 因果關(guān)系 的話，那么就在這個(gè)線上標(biāo)個(gè)箭頭。
基本的概率圖模型主要是：貝葉斯網(wǎng)絡(luò)，馬爾科夫隨機(jī)場(chǎng)。其中，貝葉斯網(wǎng)絡(luò)通過有向無環(huán)圖(Directed Acyclic Graph)來表現(xiàn)。有向指的是因果關(guān)系(就是圖中的箭頭)，無環(huán)指的是因果關(guān)系不構(gòu)成環(huán)狀，也就是沒有A→ B,B→ C,C→ A的這種情況。整個(gè)貝葉斯網(wǎng)絡(luò)反映的就是： 在一系列隨機(jī)事件中，一些事件的發(fā)生對(duì)另一些事件概率的影響 。(這里也可以理解為 條件概率 ，或者是 因果關(guān)系 ，就像感到餓了的這個(gè)事件會(huì)對(duì)吃東西這個(gè)事件產(chǎn)生影響一樣)。
下面是一個(gè)簡(jiǎn)單的貝葉斯網(wǎng)絡(luò)：
我們用
表示上圖的七個(gè)時(shí)間 全部發(fā)生 ，那么這個(gè) 圖的概率模型 為：
公式推廣可以得到：
其中， 表示 的所有 父節(jié)點(diǎn) (也就是所有對(duì)這個(gè)事件有影響的因) 這個(gè)公式就代表，上面的7個(gè)事件全部都發(fā)生了 。在概率上，如果事件a和b獨(dú)立，也就是說a的發(fā)生對(duì)b沒有影響，就成立：
如果已經(jīng)發(fā)生了c，那么說明a,b獨(dú)立的式子將變?yōu)椋?/p>
我們考察a,b兩個(gè)事件是否有關(guān)系，就是看，是否能證明上面的式子。對(duì)于任意的一個(gè)貝葉斯網(wǎng)絡(luò)，我們?yōu)榱?考察中其中a,b兩個(gè)事件是否在c發(fā)生的情況下獨(dú)立(也可以說a,b是否對(duì)于從獨(dú)立) ，那么首先從這個(gè)圖的 基礎(chǔ)的結(jié)構(gòu) 來分析。
下面有三種基礎(chǔ)結(jié)構(gòu)，證明將從圖概率公式出發(fā)，考察ab是否獨(dú)立：
tail-to-tail
1) c未知：a,b不獨(dú)立。 證明如下：
此式子不能推出：
所以，a,b不獨(dú)立。
2) c已知：a,b獨(dú)立。 證明如下：
也就是說tail-to-tail的情況下，a,b對(duì)于c獨(dú)立?？梢钥闯蒫把a(bǔ)到b的線給砍斷了。
tail-to-head
1) c未知：a,b不獨(dú)立。 這個(gè)和上面的情況一樣。
2) c已知：a,b獨(dú)立。 證明如下：