所以線性回歸的概率密度函數(shù)為：
則似然函數(shù)為：
上面假設(shè)過每條記錄誤差都是獨(dú)立同分布的，所以數(shù)據(jù)集的聯(lián)合密度為：
按照慣例直接求解似然函數(shù)比較麻煩所以求解對(duì)數(shù)似然函數(shù)：
然后求L關(guān)于w的偏導(dǎo)數(shù)，令其等于0求拐點(diǎn)
：
把式子轉(zhuǎn)為向量形式：
所以
到這一步我們已經(jīng)求得到了
，這與前面我們通過最小二乘法求得的矩陣方程一樣，所以w也一定是我們這里求得的w正確解；
使用最大似然法求解問題的步驟為：
一、確定問題的隨機(jī)變量類型是離散隨機(jī)變量還是連續(xù)隨機(jī)變量
二、得出問題的概率分布
三、概率函數(shù)轉(zhuǎn)為似然函數(shù)
四、似然函數(shù)取對(duì)數(shù)
五、求關(guān)于某變量的偏導(dǎo)數(shù)
六、解似然方程
參考資料：
http://zh.wikipedia.org/zh-hans/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0
a first course in machine learning