摘要：2016年機器學(xué)習(xí)領(lǐng)域取得了很多可以銘記在歷史中的進(jìn)展，將其稱為”機器學(xué)習(xí)元年”也并不為過。市場上各大公司都在進(jìn)行機器學(xué)習(xí)的研究，即使沒有，他們也通過收購各類機器學(xué)習(xí)初創(chuàng)公司來快速進(jìn)入這個領(lǐng)域。
2016年機器學(xué)習(xí)領(lǐng)域取得了很多可以銘記在歷史中的進(jìn)展，將其稱為”機器學(xué)習(xí)元年”也并不為過。市場上各大公司都在進(jìn)行機器學(xué)習(xí)的研究，即使沒有，他們也通過收購各類機器學(xué)習(xí)初創(chuàng)公司來快速進(jìn)入這個領(lǐng)域。
造就這一輪機器學(xué)習(xí)的熱潮的原因很多。雖然Google開源Tensorflow框架才過去短短一年，Tensorflow已然成為Github上最為炙手可熱的項目，使用場景橫跨從藥物研發(fā)到自動音樂生成等各個領(lǐng)域。Google并不是唯一開源了機器學(xué)習(xí)基本框架的科技巨頭，微軟的CNTK，百度的PaddlePaddle都是目前被廣泛使用的機器學(xué)習(xí)框架。Amazon雖然沒有自己研發(fā)的機器學(xué)習(xí)框架，但他們已經(jīng)宣布將在未來支持MXNet，以期推廣他們最新的AWS ML平臺。而Facebook目前主要支持兩個深度學(xué)習(xí)平臺：Torch以及Caffe。Google本身也同時在支持在學(xué)術(shù)和工業(yè)界都取得重大成功的機器學(xué)習(xí)框架Keras。在這個意義上來說，在AI的這場技術(shù)”軍備大戰(zhàn)”中，Google與Facebook算是打成了平手。
除了各大技術(shù)公司爭相開源自己的機器學(xué)習(xí)框架，2016年也見證了無數(shù)優(yōu)質(zhì)的機器學(xué)習(xí)的應(yīng)用，這些工作即使放到幾個月前都是不可想象的。
我特別印象深刻的是Wavenet的音頻生成的質(zhì)量。過去我曾經(jīng)處理過類似的問題，對比之下對于那些他們所完成的結(jié)果我很欣賞。我也要強調(diào)一些最近在唇讀方面的成就，一個偉大的視頻識別的應(yīng)用，在不久的將來可能是非常有用的（也許是可怕的）。 我還應(yīng)該提到谷歌在機器翻譯方面取得的令人印象深刻的進(jìn)步?？吹竭@一領(lǐng)域在一年內(nèi)有這么大進(jìn)步真是令人驚訝。
事實上，機器翻譯并不是我們在過去一年中在機器學(xué)習(xí)在自然語言技術(shù)領(lǐng)域看到的唯一有價值的進(jìn)步。 通過結(jié)合深度序列神經(jīng)網(wǎng)絡(luò)以及語言相關(guān)的一些信息，我們可以生成一些更為豐富的語言模型。 例如在“A Neural Knowledge Language Model”這篇論文中，Bengio的團隊將知識圖譜與RNN相結(jié)合，而在“Contextual LSTM models for Large scale NLP Tasks”的論文中，Deepmind團隊將文章的主題提取同時納入到LSTM模型。 此外，我們還看到了許多在建模語言模型的attention和memory(這兩個詞在學(xué)術(shù)方面有專門的含義，解釋成注意力和記憶也沒錯，但是總覺得有點不太對)方面的有趣工作。 作為一個例子，我推薦在今年的ICML(國際機器學(xué)習(xí)大會)中發(fā)表的論文“Ask Me Anything: Dynamic Memory Networks for NLP”。
此外，我還想要提及一些發(fā)表于2016年在巴塞羅那舉行的NIPS上的工作。遺憾的是，我錯過了這次在我的家鄉(xiāng)舉行的會議。從我了解的內(nèi)容來看，兩個最熱門的話題可能是生成式對抗網(wǎng)絡(luò)（包括Ian Goodfellow的非常受歡迎的教程）和結(jié)合概率模型的深度學(xué)習(xí)相關(guān)的課題。
另外我也想談一下機器學(xué)習(xí)在我的主要專業(yè)領(lǐng)域，推薦系統(tǒng)方面的一些進(jìn)步。 毫無疑問，深度學(xué)習(xí)也深刻影響了這一領(lǐng)域。 雖然我個人仍然不建議將DL作為推薦系統(tǒng)的默認(rèn)方法，但看它如何在實際工作中大規(guī)模的使用是很有趣的，例如通過像Youtube這樣的產(chǎn)品我們可以看到DL對比傳統(tǒng)的方法上還是取得了一定進(jìn)展(這里有一篇Google的paper https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/45530.pdf)。 也就是說，在該領(lǐng)域還是有一些有趣的研究與深度學(xué)習(xí)無關(guān)。 例如今年ACM Recsys的最佳論文獎頒給了“Local Item-Item Models For Top-N Recommendation”，這篇工作主要是針對稀疏線性方法（即SLIM）的一個有趣擴展，通過增加一個初始化非監(jiān)督聚類的步驟提升效果。 此外，“Field-aware Factorization Machines for CTR Prediction”主要詳細(xì)解釋了在Kaggle上的Criteo CTR預(yù)測挑戰(zhàn)賽中的獲勝算法，我們不得不正視在推薦領(lǐng)域，F(xiàn)actorization Machine仍然是你的ML工具包中非常實用的一個工具。
我可以繼續(xù)在接下來的段落中列舉出機器學(xué)習(xí)在過去12個月里取得的有影響力的進(jìn)步。例如與圖像識別或者深度強化學(xué)習(xí)相關(guān)的突破，一些重要的可應(yīng)用場景包括自動駕駛汽車，聊天機器人或游戲?qū)?zhàn)，這些領(lǐng)域在2016年都獲得了巨大的進(jìn)步。此外還有各類關(guān)于機器學(xué)習(xí)如何具有或可能對社會有負(fù)面影響的爭論，以及關(guān)于算法偏差和公平性的討論的興起。