Facebook今天第一次正式介紹了FBLearner Flow，一個可以為全公司員工管理機器學(xué)習(xí)模型的機器學(xué)習(xí)軟件。換句話說，這是一個可以自己制造人工智能的人工智能，你可以理解為傳說中的人工智能母體。

它與其他基于云端的機器學(xué)習(xí)服務(wù)有點相似，例如微軟的Azure機器學(xué)習(xí)或者Airbnb的開源Airflow，不過，F(xiàn)BLearner Flow是根據(jù)Facebook自己的業(yè)務(wù)而進行最優(yōu)化的，裝滿了Facebook工程師開發(fā)的算法，讓公司其他人都可以為自己的模型而使用該平臺。

“公司超過25%的人都在使用，使用情景是我們之前無法預(yù)想的。”Facebook核心機器學(xué)習(xí)小組總監(jiān)Hussein Mehanna在一次訪談中告訴Venture Beat。

Facebook不只可以發(fā)布關(guān)于FBLearner Flow的學(xué)術(shù)論文，還可以最終將其開源。Facebook工程師已經(jīng)與其他公司的人討論了這類技術(shù)，包括Linkedin、Twitter和Uber等公司。Mehanna說，他們都非常感興趣。

當(dāng)然會對開源感興趣啦——這個系統(tǒng)已經(jīng)在Facebook這樣的大公司驗證可行，而且，這！不！花！錢！這一點就與來自Domino Data Lab和Yhat的數(shù)據(jù)科學(xué)合作工具不同。

Facebook經(jīng)常將一些技術(shù)開源，這樣的做法也符合公司自己的需要，因此如果未來FBLearner Flow完全開源了也不奇怪。問題是Facebook是否愿意投入工程資源，將這項技術(shù)與其專利系統(tǒng)的匹配斷開。話雖如此，如果Facebook不愿開源、將FBLearner Flow壓在箱底也不奇怪。因為多虧了這項技術(shù)，員工變得更加高效了。這會是一個競爭優(yōu)勢。人們在新系統(tǒng)中可以看到過往的試驗和結(jié)果，甚至將兩個不同的機器學(xué)習(xí)流水線結(jié)合起來，設(shè)計出某種更加復(fù)雜的東西。此外，圖形交互界面讓非工程師也可以使用這個新平臺，因此才會有Mehanna說高達的25%的人都在使用。

無論未來是否會開源，至少，我們今天獲得了一部分FBLearner Flow的技術(shù)詳解。讓我們來看看Facebook工程師Jeffrey Dunn的博文，詳細解讀FBLearner Flow作為Facebook的人工智能母體到底厲害在哪兒。Jefferey Dunn從卡內(nèi)基梅隆大學(xué)獲得碩士學(xué)位，2011年加入Facebook，參與打造圖片搜索中的網(wǎng)絡(luò)搜索等工作。

1462973352-3105-5731a3885dc9e

如今，F(xiàn)acebook的許多體驗和交互都是依靠AI實現(xiàn)的。當(dāng)你登錄Facebook，我們使用機器學(xué)來給你提供獨特的、個人化的體驗。機器學(xué)習(xí)（ML）模型實現(xiàn)了個人化新聞流（News Feed）、過濾了可能得罪人的內(nèi)容、突顯流行熱點話題并將搜索結(jié)果排名。還有很多其他體驗可以從機器學(xué)習(xí)中獲益。但是以前，工程師必須有很強機器學(xué)習(xí)背景，不然沒法好好利用公司的機器學(xué)習(xí)基礎(chǔ)設(shè)施。在2014年底，我們從零開始，重新定義Facebook的機器學(xué)習(xí)平臺，將最先進的AI和ML算法送到Facebook每一位工程師的手中。

我們希望能有這樣的一個平臺：

1.每個機器學(xué)習(xí)算法應(yīng)該可以一次性設(shè)置好，可以重復(fù)使用；

2. 工程師可以寫一個訓(xùn)練流水線，在許多機器上平行運行，可以被很多工程師所用。

3. 無論工程師在機器學(xué)習(xí)領(lǐng)域的背景深淺，都可以很簡單地訓(xùn)練模型，而且，其中幾乎所有的         步驟都可以完全自動化。

4. 人人都能很方便地搜索過往試驗、查看結(jié)果、與他人分享，并在某一個試驗中開啟新的變量。

我們決定建造一個全新平臺：FBLearner Flow，可以簡單方便地在不同產(chǎn)品中重復(fù)使用算法，可以放大規(guī)模同時運行幾千個定制試驗，并且能夠輕松管理試驗。這個平臺提供了創(chuàng)新性的功能，例如從流水線定義和自動平行Python代碼自動生成UI體驗。平臺從創(chuàng)立起已經(jīng)訓(xùn)練了超過一百萬個模型，我們的預(yù)測服務(wù)發(fā)展到每秒超過600萬次預(yù)測。

減少了手動工作的工程師們可以花更多時間進行特征工程，這反過來又可以進一步提升精度。工程師可以在更大的平臺層面去發(fā)揮影響。FBLearner Flow提供了平臺和工具，讓工程師每天進行幾千個試驗。

核心概念和組成

在深入理解系統(tǒng)之前，我們先來看幾個關(guān)鍵概念。

工作流：一個工作流就是在FBLearner Flow中定義的一個流水線，是所有機器學(xué)習(xí)任務(wù)的入口。每個工作流作為一個具體的任務(wù)，例如訓(xùn)練和評估某個具體的模型。工作流根據(jù)操作員來定義，可以平行運作。

操作員：操作員是工作流的建造模塊。從概念上，你可以將操作員想象為一個程序里的一個功能。在FBLearner Flow中，操作員是執(zhí)行的最小單位，可以在單一機器上運作。

頻道：頻道代表輸入和輸出，在一個工作流的各個操作員直接流轉(zhuǎn)。所有頻道都用一個我們定義的定制類別系統(tǒng)輸入。

平臺包括這三個核心組成部分：一個作者及定制分布工作流的實施環(huán)境，一個發(fā)布試驗和查看結(jié)果的試驗管理UI，以及無數(shù)預(yù)定義的流水線，用來訓(xùn)練Facebook大部分經(jīng)常使用的機器學(xué)習(xí)算法。

作者和實施環(huán)境

平臺上所有的工作流和操作員都定義為Python功能，使用獨特的裝飾器來整合進入平臺。讓我們來看一個具體的情景，我們想用經(jīng)典的Iris數(shù)據(jù)集訓(xùn)練一個決策樹，基于花朵的花瓣和萼片大小來預(yù)測花的品種。假設(shè)數(shù)據(jù)庫是在Hive里面，有五個欄目，分布代表了花瓣寬度、花瓣長度、萼片寬度、萼片長度和花朵樣本的品種。在這個工作流中，我們會用日記損失來評估模型的性能，預(yù)測一個未標(biāo)記的數(shù)據(jù)庫的品種。

要處理這類任務(wù)的工作流樣本大概長這樣：

圖片來源：Facebook Code

讓我們來仔細看看這個工作流，理解FBLearner Flow到底是怎么運作的。

首先，@workflow裝飾器告訴FBLearner Flow，iris功能不是一個普通Python功能，而是一個工作流。input_schema和returns參值說明了工作流的輸入類型及輸出類型。實施框架會自動確認(rèn)這些類型，確保工作流收到的數(shù)據(jù)是符合其預(yù)期的。這個例子中，labeled_data輸入標(biāo)記為有四個欄目的數(shù)據(jù)庫輸入。如果在數(shù)據(jù)庫中有一個欄目缺失，那么就會提出一個TypeError異常，因為數(shù)據(jù)庫與這個工作流不兼容。

工作流的本體看起來相應(yīng)普通的Python功能，連接到幾個操作員來實施機器學(xué)習(xí)工作。雖然看起來普通，F(xiàn)BLearner Flow使用一個future系統(tǒng)來在工作流內(nèi)提供平行化，如果有若干個步驟不共享一個數(shù)據(jù)相關(guān)性，就可以同時運行。

工作流不是線性執(zhí)行，而是分兩個步驟：1）DAG編譯步驟，2）操作員執(zhí)行步驟。在第一部中，操作員并沒有執(zhí)行，而是返回future。future代表了延遲的計算。因此在上述例子中，dt變量實際上是一個future，代表了還沒有發(fā)生的決策樹訓(xùn)練。FBLearner Flow在DAG編譯階段的所有操作員撤銷行為都留有記錄，并且記錄所有必須在操作之前搞定的future。例如，ComputeMetricsOperator和PredictOperator將dt.model作為輸入，因此系統(tǒng)知道nn一定要在操作員運行之前計算，因此必須等到TrainDecisionTreeOperator完成。

DAG編譯階段完成時，F(xiàn)BLearner Flow將打造一個操作員DAG，可以預(yù)定何時進行執(zhí)行，每個操作員只要上一級成功完成就可以開始執(zhí)行。在這個例子中，ComputeMetricsOperator和PredictOperator之間沒有數(shù)據(jù)相關(guān)性，因此這兩個操作員可以同時平行運行。

圖片來源：Facebook Code

在操作員執(zhí)行階段，每個操作員有自己的CPU、GPU和存儲要求。FBLearner Flow會分配一個匹配操作員任務(wù)要求的機器部分。平臺自動將相關(guān)的代碼分配給機器，在操作員之間傳送輸入和輸出。

試驗管理UI

在全公司有幾百個不同的工作流，進行著無數(shù)個機器學(xué)習(xí)任務(wù)。我們面臨的一個挑戰(zhàn)是打造一個通用的UI界面，可以匹配多元的工作流使用。利用定制類別系統(tǒng)，我們打造了一個可以不需要理解每個工作流的實施細節(jié)、就能夠解讀輸入和輸出的UI。為了進一步定制化，平臺UI提供了一個插件系統(tǒng)，可以用來為具體的團隊和整合Facebook系統(tǒng)提供定制化體驗。

FBLearner Flow UI還提供了一些額外體驗：發(fā)布工作流；將輸出視覺化并進行比較；管理試驗。

發(fā)布工作流

我們之前看到，每個工作流規(guī)定了一個輸入綱要。工程師發(fā)布工作流的時候，UI讀取到了輸入綱要，自動生成一個結(jié)構(gòu)化表格，來確認(rèn)具體的工作流輸入。這讓ML工程師可以不用寫一行前端代碼，就可以使用豐富的UI。定制類別系統(tǒng)有豐富的類別用于描述數(shù)據(jù)庫、特征和許多其他共同的機器學(xué)習(xí)數(shù)據(jù)類型。這讓UI可以描繪復(fù)雜的輸入元素，例如功能輸入提示和數(shù)據(jù)庫選擇條。

圖片來源：Facebook Code

視覺化輸出并比較

工程師可以看到每一個工作流的輸出，來修改標(biāo)簽和其他超數(shù)據(jù)，并采取行動，例如將模型導(dǎo)入生產(chǎn)。工程師可以比較工作流的輸入和輸出，來基于基準(zhǔn)評估試驗的性能。我們使用了一項類似的技術(shù)來將輸出視覺化，類似于渲染輸入形式的技術(shù)——系統(tǒng)用此來為每種具體類型的輸出提供渲染。通過一個插件系統(tǒng)可以加入額外的定制視覺化和行動。例如，新聞流（News Feed）團隊可以為他們的模型增加實時系統(tǒng)量度。

圖片來源：Facebook Code

管理試驗

Facebook工程師每天發(fā)布幾千個試驗，平臺UI提供了管理所有實驗的工具。所有的工作流運行都在Elasticsearch記錄索引，因此可以用無數(shù)的維度來進行搜索，系統(tǒng)支持保存搜索，方便尋找試驗。當(dāng)調(diào)試模型時，工程師經(jīng)常運行細分的復(fù)雜參數(shù)掃描分析，很方便就能看到哪一個配置產(chǎn)出的結(jié)果最好。

圖片來源：Facebook Code

機器學(xué)習(xí)程序庫

FBLearner Flow平臺的一個核心原則是，它不與任何具體的算法綁定。因而，平臺可以支持無數(shù)的ML算法以及這些算法的創(chuàng)新組合。平臺也很容易延展——任何工程師都可以寫一個新的工作流，讓他或她最愛的算法可供全公司使用。算法的開源實施很容易在一個工作流中完成，并整合進入Facebook的基礎(chǔ)設(shè)施。

Facebook的應(yīng)用機器學(xué)習(xí)團隊維護的工作流可以為常用算法提供可擴展的實施，包括：

神經(jīng)系統(tǒng)

迭代決策樹（GBDT）

LambdaMART

隨機梯度下降

邏輯回歸

未來計劃

有了FBLearner Flow，AI成為工程師組織中的核心，通過簡單的API為Facebook工程師提供了最先進的人工智能。我們持續(xù)改善FBLearner Flow，來讓工程師變得越來越高效，能夠?qū)C器學(xué)習(xí)應(yīng)用于越來越多的產(chǎn)品中。在未來的幾個月中，我們將更加緊密關(guān)注其中一些系統(tǒng)和應(yīng)用，讓工程師在產(chǎn)品中使用AI和ML更加簡便，并為使用Facebook的人們提供更加個人化的體驗。

Via VentureBeat & Facebook Code