中云網(wǎng)消息 8月29日-30日，以“數(shù)據(jù)重構(gòu)未來(lái)”為主題的D-Future七牛數(shù)據(jù)時(shí)代峰會(huì)在上海舉行。七牛攜百名創(chuàng)業(yè)明星，技術(shù)大咖匯聚國(guó)際時(shí)尚中心，共話數(shù)據(jù)發(fā)展，探討行業(yè)未來(lái)!
貝貝網(wǎng)大數(shù)據(jù)負(fù)責(zé)人周黃玲以“特賣場(chǎng)景下的大數(shù)據(jù)平臺(tái)和機(jī)器學(xué)習(xí)實(shí)踐”為主題做了演講，以下是演講實(shí)錄：
周黃玲：大家下午好。我是周黃玲，來(lái)自貝貝網(wǎng)，貝貝網(wǎng)是一家專注母嬰特賣的電子網(wǎng)站，很高興和大家一起分享大數(shù)據(jù)平臺(tái)和技術(shù)實(shí)踐。我就讀北京優(yōu)點(diǎn)大學(xué)，2012年加入搜狗，2014年加入天貓，現(xiàn)在是在貝貝網(wǎng)負(fù)責(zé)大數(shù)據(jù)相關(guān)的工作，我們先看一下。母嬰特賣相對(duì)一般的電子商務(wù)網(wǎng)站有一些什么特點(diǎn)，我這里總結(jié)了三個(gè)，第一個(gè)特點(diǎn)是商品周期短，在我們網(wǎng)站上的商品，在線的時(shí)間不會(huì)超過(guò)5-7天，第二個(gè)是用戶需求的變化快，在母嬰行業(yè)，可能是用戶的需求變化最快的領(lǐng)域，比如是用戶處在懷孕當(dāng)中，關(guān)心的是孕媽的一些問(wèn)題，幾個(gè)月以后，隨著寶寶的落地，就會(huì)準(zhǔn)備一些紙尿褲和奶粉，而且隨著寶寶的長(zhǎng)大，紙尿褲和奶粉的類型也會(huì)變化。
第三個(gè)是移動(dòng)化，我們有80%的成交是來(lái)自移動(dòng)端的。手機(jī)端的屏幕非常的小，可以給客戶的信息非常的有限，所以需要我們幫助用戶找他有興趣的東西。我們希望為網(wǎng)站的活動(dòng)提供大數(shù)據(jù)的支撐，第二個(gè)是個(gè)性化的推薦，搜集用戶的行為，全面的了解用戶的購(gòu)物意圖，推薦用戶感興趣的商品。
這是我們的架構(gòu)圖，最下面的是我們的數(shù)據(jù)搜集，這一部分的話，等一下會(huì)有一個(gè)介紹。我們用的是離線結(jié)果，時(shí)時(shí)計(jì)算，以后搜索引擎，在算法層有協(xié)同過(guò)濾，分類產(chǎn)生一些用品的商品特征，以后排序的模型。在業(yè)務(wù)層的話，業(yè)務(wù)的類型是豐富多彩的，我們會(huì)融入一些運(yùn)營(yíng)的規(guī)則進(jìn)行調(diào)整，包括一些個(gè)性化的調(diào)整和推薦，以及營(yíng)銷。
右邊數(shù)據(jù)報(bào)表我們有面向運(yùn)營(yíng)的，面向商家的，我們會(huì)涉及用戶的瀏覽日志，在PC上的一些行為，比如是用戶瀏覽了一些什么商品，電極了一些什么商品，對(duì)消費(fèi)也有二種方式，一種是實(shí)時(shí)消費(fèi)，另外是進(jìn)行數(shù)據(jù)的挖掘。一住是基于全面的拉取，這種方式會(huì)在每天的凌晨進(jìn)行一次統(tǒng)計(jì)，但是這種方式會(huì)有一天的延時(shí)，比如是今天上線的活動(dòng)，可能明天才知道這個(gè)活動(dòng)的效果，因?yàn)槲覀冄邪l(fā)了一套實(shí)時(shí)的數(shù)據(jù)研發(fā)系統(tǒng)，任何需要實(shí)時(shí)消費(fèi)的系統(tǒng)，只要訂閱三個(gè)就可以了。
分布式的調(diào)度是我們的核心，在我們的大數(shù)據(jù)平臺(tái)處于一個(gè)指揮的作用，比如是任務(wù)管理，任務(wù)監(jiān)控和任務(wù)日志，我們研發(fā)了一套分布式的系統(tǒng)，里面有二種角色。Master主要是負(fù)責(zé)任務(wù)的管理，任務(wù)的分配，任務(wù)的執(zhí)行，任何的Master掛掉，都不會(huì)影響我們系統(tǒng)的運(yùn)營(yíng)。
在我們的整個(gè)的平臺(tái)上，很大一部分是推薦的產(chǎn)品，第一類是個(gè)性化的排序，個(gè)性化排序的特點(diǎn)是在侯選級(jí)的情況下，根據(jù)用戶的不同的購(gòu)物的用途，為用戶做個(gè)性化的排序，用戶到達(dá)我們網(wǎng)站的時(shí)候，我們會(huì)推薦所有在線的品牌特賣，比如是一天500個(gè)，根據(jù)用戶的購(gòu)物的意圖，做個(gè)性化的數(shù)據(jù)。
第二個(gè)是關(guān)聯(lián)推薦，比如是推薦和這個(gè)商品相似的商品，購(gòu)買的商品可以推薦搭配的商品。第三個(gè)是個(gè)性化推薦，給指定的用戶推薦他感興趣的商品，比如是在用戶的資料的頁(yè)面，我們會(huì)直接給用戶推薦他感興趣的商品。
除了這三種推薦的形式，包括我們會(huì)通過(guò)個(gè)性化的短信，個(gè)性化的推送，引導(dǎo)用戶到我們的平臺(tái)，我們會(huì)給用戶推薦感興趣品牌，我們會(huì)對(duì)商品進(jìn)行個(gè)性化的排序，還會(huì)有相似商品的推薦，用戶交易的環(huán)節(jié)，還會(huì)推薦和這個(gè)商品搭配的商品，包括周期購(gòu)買預(yù)測(cè)等。
為什么會(huì)有這種推薦，可以從二個(gè)方面來(lái)看，一個(gè)是我們網(wǎng)站本身是一個(gè)輕搜索重推薦的模式，在我們的網(wǎng)站上搜索的功能是非常的弱化的，我們最近的上線的搜索框也很不明顯，這是一個(gè)推薦商品非常重要的渠道，從推薦的本身來(lái)說(shuō)，也可以看到它的三個(gè)方面價(jià)值，提升用戶的購(gòu)物的體驗(yàn)。幫助商家找到感興趣的用戶，也可以提高他的銷售額，對(duì)整個(gè)平臺(tái)來(lái)說(shuō)，只有服務(wù)好用戶和商家，才能得到一個(gè)比較好的持續(xù)的發(fā)展。
推薦這么的重要，最重要的是用戶畫像，這是我們的吉祥物貝貝，我們會(huì)對(duì)它進(jìn)行二個(gè)部分，一個(gè)是靜態(tài)的畫像，比如是性別，年齡，寶寶的年齡性別，以及一些動(dòng)態(tài)的畫像，比如品牌，購(gòu)買時(shí)間，購(gòu)買渠道等等，我們的這個(gè)行業(yè)里面，最重要的一個(gè)特征就是用戶的性別年齡，不同的寶寶的性別年齡會(huì)影響到購(gòu)物的偏好，很大的一部分的媽媽是填寫了一些用戶的信息的，比如說(shuō)寶寶的年齡是0-1歲，可以利用這個(gè)用戶的行為特征，比如是它的瀏覽次數(shù)，收藏次數(shù)，有了這樣子的模型，就可以來(lái)填寫寶寶年齡的預(yù)測(cè)。
第二套很重要的標(biāo)簽是購(gòu)物偏好，主要是提到的一些動(dòng)態(tài)標(biāo)簽，比如是品牌內(nèi)部等等，我們會(huì)統(tǒng)計(jì)用戶在我們的平臺(tái)上的一些行為，根據(jù)這些行為的成本給予不同的選中，包括瀏覽電極，啟發(fā)式的做法非常的簡(jiǎn)單，也是非常的容易理解，這些參數(shù)不好確定，這個(gè)時(shí)間的衰減應(yīng)該做如何的衰減的程度。
我們現(xiàn)在正在用機(jī)器學(xué)習(xí)的方式做用戶的偏好預(yù)測(cè)，把用戶當(dāng)前的購(gòu)物的偏好做特征來(lái)進(jìn)行一些購(gòu)物的偏好。有一個(gè)很重要的推薦的類型是個(gè)性化的排序，當(dāng)用戶到了我們的PC首頁(yè)的時(shí)候，會(huì)展現(xiàn)每天500個(gè)在線的專場(chǎng)，用戶很難通過(guò)翻頁(yè)的方式來(lái)瀏覽所有的品牌，我們有一套規(guī)則的算法，模型有非常多的特征，可以考慮非常多的因子，規(guī)則往往是只有幾個(gè)關(guān)鍵的因子，比如是會(huì)把GMA往前排，規(guī)則是靠經(jīng)驗(yàn)和參數(shù)的。已經(jīng)形成了一個(gè)優(yōu)化的問(wèn)題。還有模型很方便加入用戶的特征做個(gè)性化的特征。
第一檔就提升了6%,至于怎么樣做，這個(gè)就是一個(gè)學(xué)習(xí)的流程，主要是離線和在線二個(gè)部分，在線系統(tǒng)搜集到了排序以后，也會(huì)根據(jù)用戶的ID和品牌的ID,構(gòu)建同樣的特征和模型進(jìn)行組合，就可以得到用戶對(duì)每一個(gè)平臺(tái)的分?jǐn)?shù)。
那特征是這里面最重要的一部分，有屬性特征，主要是各種維度的特性，還有是統(tǒng)計(jì)特征，還有偏好特征，偏好特征是我們做個(gè)性化推薦的最基本的推薦，這個(gè)是和用戶有關(guān)系的，比如是用戶的畫像。在這里面，我們做了很多的嘗試，剛開始的時(shí)候，有點(diǎn)擊率，點(diǎn)擊率很好做，我們發(fā)現(xiàn)點(diǎn)擊率的提升和我們的GMA的提升不是完全一致的。我們用過(guò)分類和排序的算法，排序的算法會(huì)好一點(diǎn)，分線型的模型也會(huì)更有優(yōu)勢(shì)一點(diǎn)。
我們到了電商網(wǎng)站的時(shí)候，肯定遇到過(guò)這樣子的產(chǎn)品，你看過(guò)的商品可能是感興趣的商品，在這個(gè)行業(yè)里面有很規(guī)律的算法，但是在母嬰特賣里面，有它自己的特點(diǎn)，它的商品每一行是代表了一個(gè)用戶，每一列是代表的一個(gè)商品，第一周上線的商品第三周上線的時(shí)候，另外二個(gè)已經(jīng)是下線了，第二個(gè)特點(diǎn)是在線的商品比較少，就會(huì)把舉證壓縮，這樣子的話，對(duì)這個(gè)舉證會(huì)變的不這么的稀疏。第三個(gè)是這個(gè)行業(yè)的特點(diǎn)，比如是寶寶的性別，寶寶的年齡是否是一致的，如果是一致的話，那是否有一個(gè)持續(xù)性。1-3歲的話，還可以，但是如果是對(duì)一個(gè)1-3歲的商品，可能就不大合適的。
我們根據(jù)這些特點(diǎn)做了一些改進(jìn)，比如是我們有做時(shí)間，熱門打壓。相同的協(xié)同過(guò)濾的算法可能會(huì)不在線，一種是機(jī)遇標(biāo)題和描述的相似度，還會(huì)加上運(yùn)營(yíng)的規(guī)則，是否匹配，有一些地方可以推薦同品牌，有一些可能推薦其他的品牌。
雖然我們剛才說(shuō)的對(duì)算法進(jìn)行了改進(jìn)，單一的算法總是有一些局限性，因此我們現(xiàn)在正在做的是把多個(gè)算法結(jié)合在一起，比如是瀏覽的CF,購(gòu)買的CF加上用戶的特征，進(jìn)行一個(gè)個(gè)性化的重新排序，我們正在研究這么一套新的流程。
我們第一檔上線以后，可以看到在各個(gè)資源上都取得了很大的提高了，部分的資源上甚至是提高了500%的提升，我相信我們新的個(gè)性化的排列上線以后，會(huì)有更大的提升。
如果你購(gòu)買了一個(gè)商品，再推薦一個(gè)相似的商品，這是不合理的推薦，用戶購(gòu)買了一個(gè)商品以后，比如是夠末了C1以后，購(gòu)買C2是一個(gè)簡(jiǎn)單的記數(shù)，比如是買奶嘴的用戶里面，39%的用戶會(huì)買奶瓶，買了紋胸的用戶里面，有20%的會(huì)買內(nèi)褲，買了紙尿褲的用戶會(huì)有30%買濕巾。
還有個(gè)性化的推薦的工作，但是還不完全一樣，主要是有一個(gè)很嚴(yán)重的痛點(diǎn)，經(jīng)常會(huì)收到一些短信的推送，可能是一些打擾的工作，但是在我們的平臺(tái)上，我們的運(yùn)營(yíng)也遇到了同樣的痛點(diǎn)，他們想搞活動(dòng)的時(shí)候，他們也很難確定目標(biāo)用戶是什么，所以他們確定了精準(zhǔn)營(yíng)銷的框架，能夠幫助運(yùn)營(yíng)，選出他的目標(biāo)用戶，在適合的時(shí)間發(fā)送感興趣的商品
我們首先是會(huì)對(duì)用戶打上標(biāo)簽，通過(guò)投放的請(qǐng)求，動(dòng)態(tài)生成Hive,我們會(huì)返回目標(biāo)用戶以及時(shí)間。我們?cè)谟脩舻睦路矫嬉沧隽艘徊糠值墓ぷ?，我們平臺(tái)的業(yè)務(wù)的發(fā)展非常的迅速，我們吸引了一部分的用戶以后，我們希望把用戶轉(zhuǎn)化成購(gòu)買用戶，一個(gè)是根據(jù)用戶注冊(cè)時(shí)候的靜態(tài)畫像，對(duì)用戶做個(gè)性化的配置，整體的轉(zhuǎn)化率是10%以上。雖然我們?cè)谶@一方面已經(jīng)做了一些嘗試，但是未來(lái)還有更多的可以探索的地方，一個(gè)是在數(shù)據(jù)的方面，剛才提到的個(gè)性的推薦是，首先是會(huì)更加的全面和精準(zhǔn)的把畫像做的更準(zhǔn)確。第二個(gè)是時(shí)效性的方面，需要快速的捕捉客戶的需求。在模型方面，我們也會(huì)投入更多的精力，通過(guò)在線的方式更新我們的模型，應(yīng)用的話，雙十一也快到了，我們希望我們的個(gè)性化的算法也可以發(fā)揮一些作用，以及在商家端做一些嘗試，幫商家做一些預(yù)測(cè)等等。
說(shuō)了這么多，最后介紹一下我們公司，我們是貝貝網(wǎng)，這是我們的媽媽的特賣會(huì)，我們是一家專注于母嬰特賣的公司，成立于2014的4月，去年4月份上線以來(lái)，今年1月份完成了C輪的融資，我們的工作地點(diǎn)在杭州，謝謝大家。