我們還為某電力部門部署了一個(gè)試驗(yàn)性的故障處理系統(tǒng),我們和合作伙伴建立了統(tǒng)一的配電網(wǎng)供電拓?fù)淠P停脠D數(shù)據(jù)庫(kù)存儲(chǔ)從用戶到變電站的整個(gè)供電拓?fù)渚W(wǎng)絡(luò)數(shù)據(jù),利用流處理系統(tǒng)進(jìn)行實(shí)時(shí)告警,并實(shí)時(shí)查詢電網(wǎng)拓?fù)鋱D,快速研判停電事故發(fā)生的地點(diǎn)以及影響的范圍。在此基礎(chǔ)上,可以將停電事件通知搶修班組,及時(shí)恢復(fù)供電。同時(shí)可以主動(dòng)告知用戶,加強(qiáng)與用戶互動(dòng),全面且直觀的掌握全網(wǎng)的停電分布情況。
交通
隨著經(jīng)濟(jì)迅猛發(fā)展,機(jī)動(dòng)車輛不斷增加,全國(guó)性的交通擁堵現(xiàn)象也越來(lái)越嚴(yán)重,如何通過(guò)信息化手段提高交通管理水平和保障道路安全已經(jīng)成為一個(gè)重要的課題。
目前常用的方式是在道路卡口部署數(shù)字監(jiān)控設(shè)備,這些設(shè)備7×24小時(shí)不間斷捕獲圖像和視頻數(shù)據(jù),并進(jìn)行識(shí)別,一個(gè)省或直轄市每日產(chǎn)生的過(guò)車數(shù)據(jù)有幾千萬(wàn)條記錄。這些數(shù)據(jù)主要用來(lái)為交通管理部門提供實(shí)時(shí)的路況信息,這些信息未來(lái)可以發(fā)布給公眾作為出行的參考信息。同時(shí)協(xié)助管理部門進(jìn)行交通管理,包括對(duì)重點(diǎn)營(yíng)運(yùn)車輛的監(jiān)控,違法車輛的識(shí)別和布控,區(qū)間測(cè)速、套牌分析等實(shí)時(shí)性的分析應(yīng)用。 我們和合作伙伴為某省公安廳交通管理部門部署了全省范圍的交通監(jiān)控系統(tǒng),采用分布式隊(duì)列實(shí)時(shí)采集全省各個(gè)交通卡口的車輛信息,使用流式計(jì)算集群對(duì)過(guò)車記錄進(jìn)行實(shí)時(shí)統(tǒng)計(jì)和監(jiān)測(cè),并實(shí)現(xiàn)上述多種實(shí)時(shí)分析應(yīng)用,系統(tǒng)處理信息的端到端延時(shí)在2秒以內(nèi),較好地提高了交通管理的效率。
當(dāng)然,交通行業(yè)的大數(shù)據(jù)應(yīng)用還處于起步階段,剛剛開始或者即將完成大數(shù)據(jù)的集中收集。利用大數(shù)據(jù)技術(shù)的強(qiáng)大分析和挖掘能力,未來(lái)可以顯著提高交通信息的實(shí)時(shí)透明度,提升交通和擁堵管理的水平,降低事故的發(fā)生率,并為城市規(guī)劃提供參考。
廣電
在中國(guó),廣電系統(tǒng)正經(jīng)歷著數(shù)字化浪潮的沖擊,基于網(wǎng)絡(luò)化的影視播放給傳統(tǒng)廣電運(yùn)營(yíng)商很大挑戰(zhàn)。在此背景下,華數(shù)傳媒敏銳意識(shí)到,要想獲得未來(lái)網(wǎng)絡(luò)化傳媒的生存與競(jìng)爭(zhēng)優(yōu)勢(shì),現(xiàn)在就必需向用戶傾斜,打造“精準(zhǔn)型”廣電內(nèi)容及傳播運(yùn)營(yíng)商。華數(shù)傳媒需要的數(shù)據(jù)基礎(chǔ)架構(gòu)需要能夠滿足海量、多來(lái)源、多樣性數(shù)據(jù)的存儲(chǔ)、管理要求,支持平臺(tái)硬件的線性擴(kuò)展,并提供快速實(shí)時(shí)的數(shù)據(jù)分析結(jié)果,迅速作用于業(yè)務(wù)。華數(shù)傳媒選擇了我們?yōu)槠洳渴鹆舜髷?shù)據(jù)平臺(tái),在其之上開發(fā)了數(shù)字電視分析系統(tǒng)。該系統(tǒng)可以提供基于全量數(shù)據(jù)的實(shí)時(shí)榜單。以時(shí)間(小時(shí)/天/周)、用戶等維度,對(duì)點(diǎn)播節(jié)目、直播節(jié)目、節(jié)目類別、搜索關(guān)鍵詞等進(jìn)行排名分析、同比環(huán)比分析、趨勢(shì)分析等。系統(tǒng)還可以從時(shí)間、頻道、影片類型、劇集等維度,根據(jù)在看數(shù)量、新增數(shù)量、結(jié)束觀看數(shù)量、完整看完等分析用戶走向。另外,通過(guò)對(duì)用戶行為數(shù)據(jù)的采集分析,華數(shù)傳媒可以對(duì)客戶進(jìn)行精準(zhǔn)畫像,使用智能推薦引擎,系統(tǒng)可以先于觀眾知道他們需求,預(yù)知將受到追捧的電視,為每一個(gè)用戶量身定做推薦節(jié)目,以提高了產(chǎn)品的到達(dá)率,增強(qiáng)用戶忠誠(chéng)度。另外,系統(tǒng)還可通過(guò)觀眾對(duì)演員、情節(jié)、基調(diào)、類型等元數(shù)據(jù)的標(biāo)簽化,來(lái)了解受眾偏好,從而進(jìn)行分析觀測(cè),為后續(xù)的影視制作等內(nèi)容開發(fā)做好準(zhǔn)備。得益于基于大數(shù)據(jù)平臺(tái)的數(shù)字電視分析系統(tǒng),華數(shù)傳媒正在進(jìn)行從內(nèi)容傳輸?shù)絻?nèi)容制造的“華麗轉(zhuǎn)身”。
電子商務(wù)
在電子商務(wù)領(lǐng)域,大數(shù)據(jù)可以說(shuō)已經(jīng)成為業(yè)務(wù)支撐的關(guān)鍵技術(shù),在營(yíng)銷推廣、客戶關(guān)懷等眾多環(huán)節(jié)發(fā)揮重要作用。我們和錦江電商合作,利用大數(shù)據(jù)平臺(tái)為該電商打造了產(chǎn)品推薦系統(tǒng)。我們基于大數(shù)據(jù)平臺(tái)建設(shè)了客戶標(biāo)簽體系。依托該電商大量的會(huì)員和訪客,深度學(xué)習(xí)和挖掘客戶的行為數(shù)據(jù),依據(jù)RFM模型和客戶信息,形成客戶消費(fèi)喜好、客戶年齡、家庭狀況、甚至星座、屬相、消費(fèi)頻次、金額、出行方式等等信息計(jì)入客戶標(biāo)簽。再將客戶標(biāo)簽聚類分析,形成客戶分群。如此,便能精準(zhǔn)獲取客戶群體,實(shí)施精準(zhǔn)營(yíng)銷。同時(shí),我們還協(xié)助客戶建設(shè)了產(chǎn)品標(biāo)簽體系。依據(jù)酒店與旅游等各類型產(chǎn)品特征,建設(shè)和挖掘產(chǎn)品標(biāo)簽,并經(jīng)過(guò)一定的機(jī)器學(xué)習(xí)挖掘過(guò)程,將客戶標(biāo)簽和產(chǎn)品標(biāo)簽對(duì)接,根據(jù)各類標(biāo)簽分析權(quán)重,建設(shè)智能化推薦系統(tǒng)。
該推薦系統(tǒng)可以智能化推薦產(chǎn)品,正逐步成為針對(duì)電商的會(huì)員關(guān)懷體系和精準(zhǔn)服務(wù)體系中重要的基礎(chǔ)環(huán)節(jié)。
總結(jié)和展望
總結(jié)了一下2014年的Hadoop大數(shù)據(jù)行業(yè)應(yīng)用,有些應(yīng)用可能是大家之前沒(méi)有預(yù)想到的簡(jiǎn)單應(yīng)用,有些則是復(fù)雜的數(shù)據(jù)分析和挖掘類應(yīng)用。大數(shù)據(jù)技術(shù)本身是一個(gè)全新的數(shù)據(jù)處理和分析技術(shù),擁有超過(guò)現(xiàn)有技術(shù)的強(qiáng)大處理能力和深度挖掘數(shù)據(jù)的能力,然而技術(shù)本身帶來(lái)的價(jià)值需要通過(guò)上層應(yīng)用來(lái)展現(xiàn),因此如何應(yīng)用這些能力來(lái)解決現(xiàn)實(shí)的問(wèn)題是各個(gè)行業(yè)都在探索的課題。在2015年預(yù)計(jì)會(huì)有大量的基于大數(shù)據(jù)技術(shù)的創(chuàng)新應(yīng)用涌現(xiàn)出來(lái)。