中國(guó)IDC圈12月16日?qǐng)?bào)道：近日，由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，CCF大數(shù)據(jù)專家委員會(huì)承辦，中國(guó)科學(xué)院計(jì)算技術(shù)研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦的2015中國(guó)大數(shù)據(jù)技術(shù)大會(huì)在北京盛大開幕。京東受邀參加，多位技術(shù)專家就大規(guī)模內(nèi)存數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)平臺(tái)、大數(shù)據(jù)在廣告中的應(yīng)用、京東大數(shù)據(jù)生態(tài)等話題進(jìn)行了分享，全面展示大數(shù)據(jù)技術(shù)研究和應(yīng)用成果，顯示出京東通過(guò)業(yè)務(wù)和技術(shù)雙驅(qū)動(dòng)的強(qiáng)勁競(jìng)爭(zhēng)力。
劉海鋒：大規(guī)模內(nèi)存數(shù)據(jù)庫(kù)JIMDB在2015中國(guó)大數(shù)據(jù)技術(shù)大會(huì)首日全體會(huì)議中，京東云平臺(tái)總架構(gòu)師、系統(tǒng)技術(shù)部負(fù)責(zé)人劉海鋒帶來(lái)了名為《大規(guī)模內(nèi)存數(shù)據(jù)庫(kù)JIMDB：從2014到2016》的主題演講。他介紹了大規(guī)模的以內(nèi)存為中心的新型數(shù)據(jù)庫(kù)——JIMDB，包括它過(guò)去兩年的發(fā)展歷程、技術(shù)脈絡(luò)以及是怎么支撐起京東的電商業(yè)務(wù)。
電商業(yè)務(wù)需要非常迅捷的數(shù)據(jù)訪問(wèn)，這不僅是用戶體驗(yàn)的需求，也是技術(shù)開發(fā)人員提升效率的需求，因此，京東延續(xù)數(shù)據(jù)庫(kù)領(lǐng)域的泰斗級(jí)人物Jim Gray的“Memory is the new disk（內(nèi)存是新的磁盤）”理念，從2014年開始啟動(dòng)了JIMDB. JIMDB的全稱為Jingdong In-Memory Database，是一種新型的以內(nèi)存為中心的全托管、全管理服務(wù)化的數(shù)據(jù)庫(kù)，主要針對(duì)靈活類型、半結(jié)構(gòu)化數(shù)據(jù)的快速存取訪問(wèn)。
JIMDB最早基于Redis，但京東團(tuán)隊(duì)對(duì)它進(jìn)行了持續(xù)的改進(jìn)與重新實(shí)現(xiàn)。目前，JIMDB已能滿足電商業(yè)務(wù)所需要的自動(dòng)故障切換、在線彈性擴(kuò)展、靈活復(fù)制與全自動(dòng)化運(yùn)維等需求，在生產(chǎn)環(huán)境達(dá)到數(shù)千機(jī)器、數(shù)萬(wàn)容器實(shí)例的大規(guī)模應(yīng)用，支撐了京東海量的在線業(yè)務(wù)。
劉海鋒舉出了JIMDB的實(shí)際成效案例，“內(nèi)存存儲(chǔ)帶來(lái)了極佳的、非常穩(wěn)定的性能。以京東線上某個(gè)比較重要的集群為例，在雙11期間它整體的QPS超過(guò)200多萬(wàn)，而且99%的請(qǐng)求在2毫秒之內(nèi)返回。JIMDB讓用戶體驗(yàn)更好，讓我們的業(yè)務(wù)開發(fā)起來(lái)更加簡(jiǎn)單，讓運(yùn)維工作更加省心、更加輕松。”
劉海鋒透露，京東未來(lái)還將從專署集群過(guò)渡到聚合各個(gè)IDC的RAM資源，聚合整個(gè)RAM資源，讓數(shù)據(jù)動(dòng)態(tài)流動(dòng)、降低整體硬件成本。他認(rèn)為，“內(nèi)存是存儲(chǔ)的未來(lái)”一定是趨勢(shì)所在。
劉彥偉：讓更多人玩轉(zhuǎn)大數(shù)據(jù)京東大數(shù)據(jù)平臺(tái)研發(fā)負(fù)責(zé)人劉彥偉做了題為《京東實(shí)時(shí)數(shù)據(jù)平臺(tái)的實(shí)現(xiàn)和應(yīng)用》的主題演講。他表示，京東希望通過(guò)打造一個(gè)優(yōu)秀的大數(shù)據(jù)基礎(chǔ)平臺(tái)，降低京東大數(shù)據(jù)消費(fèi)的門檻，讓更多的人能夠玩轉(zhuǎn)大數(shù)據(jù)，讓每個(gè)人都成為大數(shù)據(jù)的專家。
京東這兩年發(fā)展非?？?，大數(shù)據(jù)也呈現(xiàn)了同步快速發(fā)展態(tài)勢(shì)。截止2015年Q3京東大數(shù)據(jù)基礎(chǔ)平臺(tái)整體容量突破90PB，每天新增超過(guò)1PB數(shù)據(jù)，每日掃描數(shù)據(jù)量超過(guò)了5PB，每天約有20萬(wàn)個(gè)作業(yè)運(yùn)行。
京東大數(shù)據(jù)平臺(tái)是以平臺(tái)化的思維為整個(gè)京東提供大數(shù)據(jù)基礎(chǔ)服務(wù)，其中包括硬件資源、平臺(tái)工具、數(shù)據(jù)服務(wù)、用戶畫像、技術(shù)輸出等，希望通過(guò)基礎(chǔ)設(shè)施和工具的建設(shè)，讓更多的用戶可以自助地在平臺(tái)上做自己的大數(shù)據(jù)業(yè)務(wù)。
劉彥偉介紹說(shuō)，整個(gè)京東大數(shù)據(jù)平臺(tái)分兩部分，一部分是離線的數(shù)據(jù)平臺(tái)，一部分是實(shí)時(shí)的數(shù)據(jù)平臺(tái)。2014年之前還是離線的數(shù)據(jù)處理為主，2014年之后，不論是業(yè)務(wù)上還是技術(shù)上，對(duì)實(shí)時(shí)的要求越來(lái)越迫切，因此京東打造了實(shí)時(shí)數(shù)據(jù)平臺(tái)。
從京東商城、京東金融、京東智能、京東到家的各個(gè)業(yè)務(wù)條線，每天都在產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)通過(guò)統(tǒng)一的平臺(tái)“數(shù)據(jù)直通車JDBUS”實(shí)時(shí)接入，統(tǒng)一在JDQ實(shí)時(shí)數(shù)據(jù)總線實(shí)時(shí)存儲(chǔ)，再通過(guò)實(shí)時(shí)計(jì)算平臺(tái)JRC完成實(shí)時(shí)計(jì)算，可供精準(zhǔn)化營(yíng)銷、實(shí)時(shí)運(yùn)營(yíng)決策、實(shí)時(shí)監(jiān)控等領(lǐng)域使用。
京東大數(shù)據(jù)平臺(tái)通過(guò)技術(shù)解決了三大難題：第一數(shù)據(jù)接入的問(wèn)題，第二數(shù)據(jù)存儲(chǔ)的問(wèn)題，第三數(shù)據(jù)計(jì)算的問(wèn)題。在京東首頁(yè)“猜你喜歡”的模塊，就是基于離線的用戶畫像、商品畫像并結(jié)合用戶的實(shí)時(shí)瀏覽行為，經(jīng)過(guò)復(fù)雜的實(shí)時(shí)推薦算法提供的。在站外的廣告位，比如新浪，也會(huì)基于實(shí)時(shí)的模式打造個(gè)性化推薦。而在對(duì)商家服務(wù)的京東數(shù)據(jù)羅盤中，為商家提供的數(shù)據(jù)決策支持系統(tǒng)也是一個(gè)典型應(yīng)用。商家可以看到實(shí)時(shí)的訂單、用戶、瀏覽等營(yíng)銷數(shù)據(jù)，幫助商家提升自己的運(yùn)營(yíng)效率、效果。
萬(wàn)昊：大數(shù)據(jù)技術(shù)在京東廣告中的應(yīng)用京東數(shù)字營(yíng)銷大數(shù)據(jù)高級(jí)總監(jiān)萬(wàn)昊發(fā)表了《大數(shù)據(jù)技術(shù)在京東廣告中的應(yīng)用》的主題演講，分享了京東在廣告上大數(shù)據(jù)的實(shí)踐。