商家反刷單系統(tǒng)利用京東自建的大數(shù)據(jù)平臺,從訂單、商品、用戶、物流等多個維度進行分析,分別計算每個維度下面的不同特征值。通過發(fā)現(xiàn)商品的歷史價格和訂單實際價格的差異、商品SKU銷量異常、物流配送異常、評價異常、用戶購買品類異常等上百個特性, 結(jié)合貝葉斯學(xué)習(xí)、數(shù)據(jù)挖掘、神經(jīng)網(wǎng)絡(luò)等多種智能算法進行精準定位。
而被系統(tǒng)識別到的疑似刷單行為,系統(tǒng)會通過后臺離線算法,結(jié)合訂單和用戶的信息調(diào)用存儲在大數(shù)據(jù)集市中的數(shù)據(jù)進行離線的深度挖掘和計算,繼續(xù)進行識別,讓其無所遁形。而對于這些被識別到的刷單行為,商家反刷單系統(tǒng)將直接把關(guān)聯(lián)商家信息告知運營方做出嚴厲懲罰,以保證消費者良好的用戶體驗。
前端業(yè)務(wù)系統(tǒng)發(fā)展到今天,已經(jīng)基本覆蓋了交易環(huán)節(jié)的全流程,從各個維度打擊各種侵害消費者利益的惡意行為。
4.后臺支撐系統(tǒng)
天網(wǎng)作為京東的風(fēng)控系統(tǒng),每天都在應(yīng)對不同特性的風(fēng)險場景。它可能是每分鐘數(shù)千萬的惡意秒殺請求,也可能是遍布全球的黃牛新的刷單手段。天網(wǎng)是如何通過底層系統(tǒng)建設(shè)來解決這一個又一個的難題的呢?讓我們來看一看天網(wǎng)的兩大核心系統(tǒng):風(fēng)險信用服務(wù)(RCS)和風(fēng)控數(shù)據(jù)支撐系統(tǒng)(RDSS)。
1風(fēng)險信用服務(wù)
風(fēng)險信用服務(wù)(RCS)是埋藏在各個業(yè)務(wù)系統(tǒng)下的風(fēng)控核心引擎,它既支持動態(tài)規(guī)則引擎的高效在線識別,又是打通沉淀數(shù)據(jù)和業(yè)務(wù)系統(tǒng)的橋梁。它是風(fēng)控數(shù)據(jù)層對外提供服務(wù)的唯一途徑,重要程度和性能壓力不言而喻。

1.1 RCS的服務(wù)框架
RCS作為天網(wǎng)對外提供風(fēng)控服務(wù)的唯一出口,其調(diào)用方式依賴于京東自主研發(fā)的服務(wù)架構(gòu)框架JSF,它幫助RCS在分布式架構(gòu)下提供了高效RPC調(diào)用、高可用的注冊中心和完備的容災(zāi)特性,同時支持黑白名單、負載均衡、Provider動態(tài)分組、動態(tài)切換調(diào)用分組等服務(wù)治理功能。
面對每分鐘千萬級別的調(diào)用量,RCS結(jié)合JSF的負載均衡、動態(tài)分組等功能,依據(jù)業(yè)務(wù)特性部署多個分布式集群,按分組提供服務(wù)。每個分組都做了跨機房部署,最大程度保障系統(tǒng)的高可用性。
1.2 RCS動態(tài)規(guī)則引擎的識別原理
RCS內(nèi)部實現(xiàn)了一套自主研發(fā)的規(guī)則動態(tài)配置和解析的引擎,用戶可以實時提交或者修改在線識別模型。當(dāng)實時請求過來時,系統(tǒng)會將實時請求的數(shù)據(jù)依據(jù)模型里的核心特性按時間分片在一個高性能中間件中進行高性能統(tǒng)計,一旦模型中特性統(tǒng)計超過閥值時,前端風(fēng)控系統(tǒng)將立刻進行攔截。
而前面我們所說的高性能中間件系統(tǒng)就是JIMDB,它同樣是自主研發(fā)的,主要功能是基于Redis的分布式緩存與高速Key/Value存儲服務(wù),采用“Pre-Sharding”技術(shù),將緩存數(shù)據(jù)分攤到多個分片(每個分片上具有相同的構(gòu)成,比如:都是一主一從兩個節(jié)點)上,從而可以創(chuàng)建出大容量的緩存。支持讀寫分離、雙寫等I/O策略,支持動態(tài)擴容,還支持異步復(fù)制。在RCS的在線識別過程中起到了至關(guān)重要的作用
1.3 RCS的數(shù)據(jù)流轉(zhuǎn)步驟
風(fēng)險庫是RCS的核心組件,其中保存有各種維度的基礎(chǔ)數(shù)據(jù),下圖是整個服務(wù)體系中的基本數(shù)據(jù)流轉(zhuǎn)示意圖:

1) 各個前端業(yè)務(wù)風(fēng)控系統(tǒng)針對各個業(yè)務(wù)場景進行風(fēng)險識別,其結(jié)果數(shù)據(jù)將回流至風(fēng)險庫用戶后續(xù)離線分析及風(fēng)險值判定。
2) 風(fēng)險庫針對業(yè)務(wù)風(fēng)控識別進過數(shù)據(jù)進行清洗,人工驗證,定義并抽取風(fēng)控指標數(shù)據(jù),經(jīng)過此道工序風(fēng)險庫的元數(shù)據(jù)可以做到基本可用。
3) 后臺數(shù)據(jù)挖掘工具對各來源數(shù)據(jù),依據(jù)算法對各類數(shù)據(jù)進行權(quán)重計算,計算結(jié)果將用于后續(xù)的風(fēng)險值計算。
4) 風(fēng)險信用服務(wù)一旦接收到風(fēng)險值查詢調(diào)用,將通過在JIMDB緩存云中實時讀取用戶的風(fēng)控指標數(shù)據(jù),結(jié)合權(quán)重配置,使用歐式距離計算得出風(fēng)險等級值,為各業(yè)務(wù)風(fēng)控系統(tǒng)提供實時服務(wù)。
1.4 RCS的技術(shù)革新與規(guī)劃
進入2015年以后,RCS系統(tǒng)面臨了巨大的挑戰(zhàn)。首先,隨著數(shù)據(jù)量的不斷增大,之前的處理框架已無法繼續(xù)滿足需求,與此同時不斷更新的惡意行為手段對風(fēng)控的要求也越來越高,這也就要求風(fēng)控系統(tǒng)不斷增加針對性規(guī)則,這同樣帶來不不小的業(yè)務(wù)壓力。