該問題目前共有四人作答。
Xavier Amatriain，曾經(jīng)是研究員，現(xiàn)在帶領(lǐng)ML和工程團(tuán)隊(duì)
更新于周一。我曾經(jīng)帶領(lǐng)Quora工程師團(tuán)隊(duì)研究ML / NLP問題，而Nikhil Dandekar曾在微軟、Foursquare和Quora從事機(jī)器學(xué)習(xí)的相關(guān)工作。
2016年可以說是“機(jī)器學(xué)習(xí)炒作”的一年。幾乎每個人都在研究機(jī)器學(xué)習(xí)，要么就正打算收購研究機(jī)器學(xué)習(xí)的創(chuàng)業(yè)公司。
目前來看，“炒作”的原因有很多。你能相信自Google宣布開放采購Tensor Flow才只有一年？TF已經(jīng)成為一個非常成熟的項(xiàng)目，應(yīng)用于多個領(lǐng)域，從藥物發(fā)現(xiàn)到音樂制作都有所涉及。Google并不是唯一一家將自己的ML軟件開源的公司。微軟開源了CNTK，百度推出了PaddlePaddle，亞馬遜剛剛宣布他們將在新的AWS ML平臺上推出MXNet。Facebook同時在維護(hù)兩個深度學(xué)習(xí)的框架：Torch和Caffe。另一方面，Google也支持非常成功的Keras。
除了“炒作”，很多公司也開始支持機(jī)器學(xué)習(xí)開源項(xiàng)目，2016年還出現(xiàn)了機(jī)器學(xué)習(xí)的大量應(yīng)用，這在幾個月前是難以想象的。讓我印象特別深刻的是Wavenet生成的音頻的質(zhì)量。因?yàn)檫^去我也曾經(jīng)研究過類似的問題，所以我對如此高的音頻質(zhì)量會感到驚異。當(dāng)然還有唇語閱讀的最新進(jìn)展，視頻識別的偉大應(yīng)用，這些應(yīng)用在不久的將來可能是非常有用的（但也可能是可怕的）。還有Google在機(jī)器翻譯方面取得的巨大進(jìn)步。
事實(shí)上，在過去一年中，機(jī)器翻譯并不是機(jī)器學(xué)習(xí)語言技術(shù)中唯一有趣的進(jìn)步。最近，一些結(jié)合深層順序網(wǎng)絡(luò)和邊信息以產(chǎn)生更豐富語言模型的方法也很有意思。在“神經(jīng)知識語言模型”中，Bengio的團(tuán)隊(duì)將知識圖與RNN結(jié)合，在《大規(guī)模NLP任務(wù)的上下文LSTM模型》中，DeepMind開始轉(zhuǎn)向研究LSTM模型。在建模語言模型的注意力和記憶方面也有許多有趣的成果，比如說在今年ICML中出現(xiàn)的《向我問任何事：NLP的動態(tài)內(nèi)存網(wǎng)絡(luò)》。
此外，我應(yīng)該提及一下2016年在巴塞羅那的NIPS。但很遺憾，我錯過了在我家鄉(xiāng)舉辦的會議。據(jù)我所知，會議上兩個最熱門的話題可能是生成式對抗網(wǎng)絡(luò)（包括Ian Goodfellow非常受歡迎的教程）和概率模型與深度學(xué)習(xí)的組合。
我還想說一下我的專業(yè)領(lǐng)域的一些進(jìn)步：推薦系統(tǒng)。當(dāng)然，深度學(xué)習(xí)也影響了這一領(lǐng)域。雖然我仍然不建議將DL作為推薦系統(tǒng)的默認(rèn)方法，但研究推薦系統(tǒng)是如何大規(guī)模地在實(shí)際中應(yīng)用，甚至應(yīng)用在Youtube這樣的產(chǎn)品上還是非常有趣的。也就是說，在該領(lǐng)域有一些有趣的研究與深度學(xué)習(xí)無關(guān)。今年，ACM Recsys的最佳論文獎授予《用于Top-N推薦的本地項(xiàng)目模型》，這是使用初始無監(jiān)督聚類步驟對稀疏線性方法（即SLIM）的有趣擴(kuò)展。此外，《用于CTR預(yù)測的現(xiàn)場感知因子分解機(jī)器》描述了Criteo CTR預(yù)測Kaggle挑戰(zhàn)的獲勝方法，在ML工具包中，分解機(jī)器仍然是一個很好的工具。
關(guān)于機(jī)器學(xué)習(xí)在過去12個月里的影響和進(jìn)步的例子，我還能列舉幾個段落。請注意，我甚至還沒有列出任何關(guān)于圖像識別或深加強(qiáng)學(xué)習(xí)領(lǐng)域的相關(guān)突破，或具體的應(yīng)用，如自動駕駛汽車、聊天機(jī)器人或游戲，這些都是在2016年取得的巨大進(jìn)步。更不要說關(guān)于機(jī)器學(xué)習(xí)是否可能對社會有負(fù)面影響的爭論，以及關(guān)于算法偏差和公平性的討論等。
更新：
我還應(yīng)該說明，大多數(shù)這些進(jìn)展可能在幾年前由Schmidhuber出版。但是，至少在今年才刊登在《紐約時報》上！
Tapabrata Ghosh，深度學(xué)習(xí)不是炒作。我知道…
寫于上周六
我能想到的有：AlphaGo、基于RL的神經(jīng)弓搜索、learning to play in a day、wavenet、pixelCNN / RNN、即插即用生成網(wǎng)絡(luò)、StackGAN。我覺得我說得不全，希望其他人能幫我補(bǔ)充一下。
Corrin Lakeland，在Loyalty工作
寫于周一
深度信念網(wǎng)絡(luò)在2016年發(fā)展飛速。之前它很難在實(shí)踐中應(yīng)用，但現(xiàn)在多個免費(fèi)圖書館和教程使得它的應(yīng)用變得非常容易。