蘑菇街登陸紐交所,每股ADS發(fā)行價為14美元,騰訊為蘑菇街的單一大股東,持股比例達(dá)17.2%。除騰訊外,蘑菇街的主要股東包括高瓴資本、摯信資本、貝塔斯曼、平安創(chuàng)新、啟明創(chuàng)投、紅杉資本及藍(lán)馳創(chuàng)投等,陣容堪稱豪華。蘑菇街作為一家社會化導(dǎo)購電商平臺,其算法架構(gòu)值得學(xué)習(xí),蘑菇街業(yè)務(wù)方使用的計算框架主要是 Tensorflow,因此有必要先介紹一下 Tensorflow 的分布式訓(xùn)練,Tensorflow 支持如下三種分布式策略:
MirroredStrategy:適用于單機(jī)多卡的訓(xùn)練場景,功能有限,不在本文討論范圍內(nèi)。
ParameterServerStrategy:用于多機(jī)多卡場景,主要分為 worker 節(jié)點(diǎn)和 PS 節(jié)點(diǎn),其中模型參數(shù)全部存儲在 PS 節(jié)點(diǎn),worker 在每個 step 計算完梯度后向 PS 更新梯度,蘑菇街當(dāng)前使用這種方案。
CollectiveAllReduceStrategy:用于多機(jī)多卡場景,通過 all-reduce 的方式融合梯度,只需要 worker 節(jié)點(diǎn),不需要 PS 節(jié)點(diǎn),從另外一個角度說,該節(jié)點(diǎn)既充當(dāng) worker 角色,又充當(dāng) PS 角色。該方案是帶寬優(yōu)化的,具有性能好,可擴(kuò)展性強(qiáng)的特點(diǎn),是 Tensorflow 推薦的未來方向。
以 ParameterServerStrategy 為例,一個分布式訓(xùn)練集群至少需要兩種類型的節(jié)點(diǎn):PS 和 worker。由于在訓(xùn)練中需要一個 worker 節(jié)點(diǎn)來評估效果和保存 checkpoint,因此單獨(dú)把該節(jié)點(diǎn)作為 chief(或者叫 master) 節(jié)點(diǎn)。通常情況下,一個集群需要多個 worker 節(jié)點(diǎn),多個 PS 節(jié)點(diǎn),一個 chief 節(jié)點(diǎn)。所有 worker 節(jié)點(diǎn)的 CPU/ 內(nèi)存 /GPU 等資源配置完全相同,所有 PS 節(jié)點(diǎn)的 CPU/ 內(nèi)存等資源配置也相同。從資源拓?fù)浣嵌瘸霭l(fā),如果能夠提供一種 Kubernetes 資源,用戶可以基于該資源定義 PS/worker/chief 的數(shù)量和規(guī)格,用戶就可以一鍵式創(chuàng)建分布式集群,大大簡化了分布式集群的部署和配置。tf-operator 定義了 TFJob 資源,用戶可以借助 tf-operator 在 Kubernetes 上一鍵拉起分布式訓(xùn)練集群。
從 Tensorflow 分布式訓(xùn)練的使用方式出發(fā),用戶在啟動每個節(jié)點(diǎn)的任務(wù)時,需要傳入集群所有節(jié)點(diǎn)的網(wǎng)絡(luò)信息。這意味著分布式訓(xùn)練集群的每個節(jié)點(diǎn)需要預(yù)先知道所有其它節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息,即要求服務(wù)發(fā)現(xiàn)功能。tf-operator 基于 Kubernetes headless service,完美的提供了服務(wù)發(fā)現(xiàn)功能,無需用戶再手工指定 PS/Worker 的 IP 信息,極大的降低了用戶的部署成本。
“直播形式一方面非常好地提升了用戶時尚發(fā)現(xiàn)和時尚消費(fèi)的客戶體驗(yàn),另一方面有效縮短供應(yīng)鏈的鏈條環(huán)節(jié),”陳琪說。“未來的電商一定是需要扎的非常深,在領(lǐng)域里非常深度運(yùn)營、管理,挖據(jù)鏈條價值,平臺模式依然可以有很大發(fā)展,但簡單的IT平臺方式肯定不行,必須轉(zhuǎn)變?yōu)槿轿环?wù)平臺。”
從2017年起,蘑菇街開始大力推動直播形式,陳琪強(qiáng)調(diào),與娛樂性質(zhì)的直播平臺不同,蘑菇街的直播只是一種在平臺上售賣商品的形式,最終仍是依靠商品的成交來獲得交易傭金收入,蘑菇街并不通過贈送虛擬禮物等直播平臺慣用的方式進(jìn)行變現(xiàn),蘑菇街的核心依然是連接人和商品。
我發(fā)現(xiàn)無論什么平臺連接人與數(shù)據(jù)都是企業(yè)經(jīng)營之根本。
企業(yè)網(wǎng)址:https://www.mogujie.com
(本文由中國計算網(wǎng)總編欒玲編輯 轉(zhuǎn)載請注明出處)
微信關(guān)注公眾號“cncompute_com ”,每天為您奉上最新最熱的計算頭條資訊,滿滿干貨~多年軟件設(shè)計師經(jīng)歷,業(yè)內(nèi)資深分析人士,圈中好友眾多,信息豐富,觀點(diǎn)獨(dú)到。發(fā)布各大自媒體平臺,覆蓋百萬讀者?!短O果的品牌設(shè)計之道》、《誰擁有未來:小米互聯(lián)網(wǎng)思維PK傳統(tǒng)行業(yè)思維》二本暢銷書作者欒玲,現(xiàn)為中國計算網(wǎng)設(shè)計總監(jiān)與內(nèi)容總編,欒玲專著與國畫已被國圖、清華北大圖書館等收藏