下圖是整個(gè)實(shí)驗(yàn)的配置文件的示意圖。
整個(gè)引擎的實(shí)驗(yàn)根據(jù)需要分為了PC和無(wú)線兩種場(chǎng)景，分別進(jìn)行策略優(yōu)化和調(diào)整。根據(jù)算法實(shí)驗(yàn)的需要，在兩種場(chǎng)景下均分為了兩層(QR和Rank層，QR是Query Rewrite)。每一層中均包含了三個(gè)實(shí)驗(yàn)。每個(gè)實(shí)驗(yàn)均是一些實(shí)驗(yàn)參數(shù)的集合，例如，exp 100包含的參數(shù)有qr_plan=5，qr_weight=3。Exp 103包含的參數(shù)為rank_level=2，rank_stragety=9。
使用這個(gè)配置文件，一個(gè)用戶請(qǐng)求發(fā)過(guò)來(lái)之后，如果根據(jù)acookie分流計(jì)算得出此請(qǐng)求恰好落入PC場(chǎng)景的exp 100和exp 103這兩個(gè)實(shí)驗(yàn)，則返回的bucketID應(yīng)當(dāng)為100_103，參數(shù)集合為qr_plan=5，qr_weight=3，rank_level=2，rank_stragety=9。BucketID可以記錄在日志中，后續(xù)進(jìn)行日志統(tǒng)計(jì)和分析使用。日志統(tǒng)計(jì)分析時(shí)按下劃線把BucketID切割開(kāi)，然后用Storm進(jìn)行實(shí)時(shí)統(tǒng)計(jì)各個(gè)實(shí)驗(yàn)的情況，也可以用Hadoop進(jìn)行離線的日志分析處理。對(duì)于在線引擎，各個(gè)實(shí)驗(yàn)點(diǎn)根據(jù)實(shí)驗(yàn)參數(shù)的值決定使用哪種策略和模型參數(shù)。
總結(jié)
本文參考現(xiàn)有的關(guān)于在線服務(wù)系統(tǒng)實(shí)驗(yàn)方法論文基礎(chǔ)上，結(jié)合廣告系統(tǒng)的特點(diǎn)，實(shí)踐出了一套有效的可以復(fù)用流量支持并行實(shí)驗(yàn)的方法。該方法也可以解決灰度發(fā)布的問(wèn)題。該套系統(tǒng)極大提高阿里媽媽所有的業(yè)務(wù)線應(yīng)用的實(shí)驗(yàn)效率。
未來(lái)工作
未來(lái)，分層實(shí)驗(yàn)平臺(tái)計(jì)劃將實(shí)驗(yàn)配置系統(tǒng)、實(shí)時(shí)實(shí)驗(yàn)結(jié)果分析和離線日志分析系統(tǒng)進(jìn)行更好地整合，給實(shí)驗(yàn)用戶帶來(lái)一站式服務(wù)的良好體驗(yàn)，使得配置實(shí)驗(yàn)、發(fā)布生效、實(shí)時(shí)觀察實(shí)驗(yàn)結(jié)果在幾分鐘之內(nèi)即可完成。同時(shí)也在探索將這套系統(tǒng)平臺(tái)開(kāi)發(fā)給淘寶商家，商家便可以使用這套系統(tǒng)清楚看到兩種不同文案設(shè)計(jì)帶來(lái)的點(diǎn)擊率以及成交率的差別，從而更好地設(shè)計(jì)自己店面圖片和文字。