上個(gè)月末,Google發(fā)布了alpha版本的TensorFlow(TF)集成云端機(jī)器學(xué)習(xí)服務(wù),為回應(yīng)不斷增長(zhǎng)的大規(guī)模在Google云端平臺(tái)(GCP)運(yùn)行Tensor Flow庫(kù)的需要。
Google描述了一些有關(guān)建立TF使用規(guī)模的新功能,其中集成了一些GCP的模塊,例如Dataproc,是一個(gè)托管的Hadoop和Spark服務(wù)。開源機(jī)器學(xué)習(xí)系統(tǒng)TF和GCP的集成“使用戶能夠在托管的云服務(wù)上運(yùn)行自定義的分布式學(xué)習(xí)算法”,作為發(fā)布的一部分,并與大數(shù)據(jù)和分析平臺(tái)以及機(jī)器學(xué)習(xí)領(lǐng)域緊密地結(jié)合起來(lái)。
PaaS將TF和若干預(yù)先為語(yǔ)言翻譯、圖片與語(yǔ)音辨識(shí)訓(xùn)練的模型連接起來(lái)。TF服務(wù)現(xiàn)在集成了Kubernets以利用它的負(fù)載平衡器和Docker的pod編制語(yǔ)義來(lái)“有規(guī)模地訓(xùn)練成千上萬(wàn)的內(nèi)核”。這個(gè)例子通過(guò)復(fù)制包裝過(guò)的TF資源記下了運(yùn)行一個(gè)訓(xùn)練過(guò)的Inception-v3模型的過(guò)程,包括TF基于服務(wù)的gRPC服務(wù)器和跨pod模型屬性,以及在一個(gè)集群過(guò)程中“超過(guò)2700萬(wàn)的參數(shù)和每次推理進(jìn)行的57億浮點(diǎn)運(yùn)算”。
Docker集成進(jìn)一步支持了新模型作為持續(xù)訓(xùn)練管道的版本打包和部署,這是一個(gè)TF服務(wù)目標(biāo)在今年早些時(shí)候公布的。一個(gè)為展示和學(xué)習(xí)的TF和Kubernetes教程允許用戶再現(xiàn)一個(gè)基于Inception的TF和Kubernetes管道。
這次通告還提及了Apache Beam,這是一個(gè)新的數(shù)據(jù)處理管道項(xiàng)目方案,它可以潛在地滿足一定規(guī)模的TF對(duì)傳遞學(xué)習(xí)數(shù)據(jù)集的管道需要,提供了批處理和流處理選項(xiàng),同時(shí)也兼容Spark、Flink和基于Dataflow的系統(tǒng)。Google提供了與緊密耦合的ML系統(tǒng)相關(guān)的分析,根據(jù)可維護(hù)性和隨著時(shí)間而產(chǎn)生的技術(shù)債而來(lái),其中的技術(shù)債可能會(huì)指向ML更遠(yuǎn)的標(biāo)準(zhǔn)化可能性和通過(guò)觀看TF貫穿于GCP中漸增的普遍性。
查看英文原文:Google Cloud Machine Learning and Tensor Flow Alpha Release