單個(gè)的云TPU和完整的TPU艙均支持谷歌開源的TensorFlow機(jī)器學(xué)習(xí)系統(tǒng)。
第一代TPU于兩年前開始在谷歌公司內(nèi)部部署，并被用在谷歌的多款產(chǎn)品，例如谷歌搜索、基于機(jī)器學(xué)習(xí)的谷歌翻譯、谷歌語(yǔ)音識(shí)別，以及谷歌照片之中。
谷歌大腦高級(jí)研究員Jeff Deam本周表示，谷歌仍在使用CPU和GPU去訓(xùn)練機(jī)器學(xué)習(xí)模型。不過他預(yù)計(jì)，未來谷歌將越來越多地使用TPU。
與此同時(shí)，谷歌還發(fā)布了“TensorFlow研究云”。這是由1000顆云TPU組成的簇，在滿足某些條件的情況下谷歌將免費(fèi)提供給研究者使用。如果希望使用，那么研究者必須同意公開發(fā)表研究成果，或許還需要開源研究中的相關(guān)代碼。
谷歌推出TensorFlow研究云的目的是加速機(jī)器學(xué)習(xí)的研究進(jìn)展，并計(jì)劃將其分享給哈佛醫(yī)學(xué)院等學(xué)術(shù)機(jī)構(gòu)。
對(duì)參與非公開研究的人士，谷歌計(jì)劃啟動(dòng)云TPU Alpha項(xiàng)目。
TensorFlow Lite
在I/O上談到Android的未來時(shí)，谷歌工程副總裁宣布，他們將推出一個(gè)專門為移動(dòng)設(shè)備而優(yōu)化的TensorFlow版本，稱為TensorFlow lite。
用這個(gè)新框架，開發(fā)者可以創(chuàng)造更簡(jiǎn)潔的深度學(xué)習(xí)模型，讓它們運(yùn)行在Android智能手機(jī)上。不過，深度學(xué)習(xí)的訓(xùn)練過程還是需要在云端完成。
谷歌打算今年晚些時(shí)候推出TensorFlow lite API并開源。
Facebook今年F8開發(fā)者大會(huì)發(fā)布的Caffe2，和去年推出的Caffe2Go，也是這個(gè)思路。
讓AI設(shè)計(jì)AI
谷歌想讓AI變得更加“平易近人”，簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)模型的建造過程是個(gè)好辦法。
CEO劈柴哥在官方博客上說，現(xiàn)在，設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)非常耗時(shí)，對(duì)專業(yè)能力要求又高，只有一小撮科學(xué)家和工程師能做。為此，谷歌創(chuàng)造了一種新方法：AutoML，讓神經(jīng)網(wǎng)絡(luò)去設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。
谷歌希望能借AutoML來促進(jìn)深度學(xué)習(xí)開發(fā)者規(guī)模的擴(kuò)張，讓設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的人，從供不應(yīng)求的PhD，變成成千上萬(wàn)的普通工程師。
手動(dòng)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的難點(diǎn)在于，所有可能的模型都有著巨大的搜索空間，一個(gè)典型的10層神經(jīng)網(wǎng)絡(luò)，變化形式高達(dá)約1010種。
△ 谷歌耗費(fèi)數(shù)年探索出的GoogleNet網(wǎng)絡(luò)架構(gòu)
在AutoML中，一個(gè)主控的神經(jīng)網(wǎng)絡(luò)可以提出一個(gè)“子”模型架構(gòu)，并用特定的任務(wù)來訓(xùn)練這個(gè)子模型，評(píng)估它的性能，然后，主控收到反饋，并根據(jù)反饋來改進(jìn)下一個(gè)提出的子模型。
這個(gè)過程，簡(jiǎn)單來說就是：生成新架構(gòu)-測(cè)試-提供反饋供主控網(wǎng)絡(luò)學(xué)習(xí)。在重復(fù)上千次后，主控網(wǎng)絡(luò)學(xué)會(huì)了哪些架構(gòu)能夠在已知驗(yàn)證集上得到更高的準(zhǔn)確率。
谷歌用了兩個(gè)經(jīng)常作為基準(zhǔn)的數(shù)據(jù)集來測(cè)試他們的模型，一個(gè)是圖像識(shí)別領(lǐng)域的CIFAR-10，另一個(gè)是語(yǔ)言處理領(lǐng)域的Penn Treebank。在兩個(gè)數(shù)據(jù)集上，自動(dòng)設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率都能與頂尖人類專家設(shè)計(jì)的網(wǎng)絡(luò)媲美。
△ 兩個(gè)用于在Penn Treebank上預(yù)測(cè)下一個(gè)詞的神經(jīng)網(wǎng)絡(luò)：左圖出自人類專家之手，右圖由算法自動(dòng)設(shè)計(jì)
要深入了解自動(dòng)搭建神經(jīng)網(wǎng)絡(luò)的算法，可以看看谷歌今年的兩篇會(huì)議論文：
進(jìn)化算法：
Large-Scale Evolution of Image Classifiers
https://arxiv.org/abs/1703.01041
Esteban
Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu,
Quoc Le, Alex Kurakin. International Conference>2017.
強(qiáng)化算法：
Neural Architecture Search with Reinforcement Learning