摘 要：通過(guò)分析信息化建設(shè)脈絡(luò)中高速公路數(shù)據(jù)的海量產(chǎn)生，結(jié)構(gòu)復(fù)雜的海量數(shù)據(jù)存儲(chǔ)及處理，闡述大數(shù)據(jù)平臺(tái)在智慧高速建設(shè)中的作用，總結(jié)大數(shù)據(jù)在智慧高速中的客戶(hù)服務(wù)、運(yùn)營(yíng)優(yōu)化、稽查分析、應(yīng)急資源調(diào)度、預(yù)測(cè)預(yù)警等方面的具體應(yīng)用，對(duì)交通指揮中心工作提供支持。
關(guān)鍵詞：智慧高速 分布式數(shù)據(jù)處理 數(shù)據(jù)挖掘 客戶(hù)服務(wù) 優(yōu)化運(yùn)營(yíng) 預(yù)測(cè)預(yù)警
Abstract：This paper analyzes the effect of big data platform in the construction of expressway construction by analyzing the mass production of expressway data and the complicated data storage and processing in the context of information construction, summarizes the customer service and operation optimization of big data in expressway, inspection and analysis, emergency resource scheduling, forecasting and early warning of specific applications, so as to provide support for the traffic command center.
Key words：intelligence expressway; distributed data processing; data mining; customer service; operation optimization; forecasting early warning
引言
隨著經(jīng)濟(jì)社會(huì)的發(fā)展，城市人口持續(xù)增長(zhǎng)，數(shù)量持續(xù)增長(zhǎng)的車(chē)輛給交通基礎(chǔ)設(shè)施通行能力帶來(lái)極大壓力。交通擁堵、交通事故、環(huán)境污染及能源短缺已成為目前面臨的重要問(wèn)題，尤其在高速公路交通管理尤其變得更加明顯。如何有效利用傳統(tǒng)的高速公路數(shù)據(jù)與設(shè)備，提高交通運(yùn)輸效率、安全性、整體效益，提高交通的科學(xué)管理和組織服務(wù)水平是管理者迫切需要解決的問(wèn)題。
車(chē)輛在高速公路上，本身的動(dòng)作及設(shè)備會(huì)產(chǎn)生海量數(shù)據(jù)，在沒(méi)有大數(shù)據(jù)平臺(tái)之前，高速公路上產(chǎn)生的數(shù)據(jù)分門(mén)別類(lèi)的分布在Oracle、MySQL等數(shù)據(jù)庫(kù)中，因?yàn)楦髯蕴幚碚Z(yǔ)言不同，在剛使用時(shí)分析速度尚且可以，但隨著數(shù)據(jù)量越來(lái)越多，查詢(xún)調(diào)用越來(lái)越頻繁，速度變得越來(lái)越慢，無(wú)法滿(mǎn)足高速管理需求。
高速公路數(shù)據(jù)產(chǎn)生
高速公路的信息化建設(shè)包含從基建到信息記錄等多個(gè)層面。所有的環(huán)節(jié)都在不停地產(chǎn)生數(shù)據(jù)，成為智慧高速中的海量數(shù)據(jù)來(lái)源。首先是高速公路的硬件和基礎(chǔ)設(shè)施，當(dāng)一輛車(chē)開(kāi)進(jìn)收費(fèi)站，先經(jīng)過(guò)地下預(yù)埋的地感線圈，經(jīng)過(guò)地板線圈進(jìn)行切割磁力線，產(chǎn)生很弱的電流，車(chē)輛開(kāi)進(jìn)來(lái)會(huì)由定焦在地感線圈的攝像機(jī)拍一張圖片，產(chǎn)生車(chē)輛進(jìn)入收費(fèi)站的第一個(gè)數(shù)據(jù)。繼而遞交收費(fèi)卡、讀卡、寫(xiě)卡，寫(xiě)卡的同時(shí)計(jì)算從A點(diǎn)到B點(diǎn)的費(fèi)用，每一個(gè)動(dòng)作都在產(chǎn)生數(shù)據(jù)。高速公路收費(fèi)還涉及更加復(fù)雜的情況，如起點(diǎn)A到終點(diǎn)B，中間經(jīng)過(guò)三段高速公路，三段的收費(fèi)主體不同，需要在收費(fèi)的金額上進(jìn)行三個(gè)收費(fèi)主體的拆分，這涉及到后臺(tái)的數(shù)據(jù)計(jì)算。所以一輛車(chē)從進(jìn)入收費(fèi)口到駛離收費(fèi)口，至少會(huì)產(chǎn)生兩張圖片，十余條流水?dāng)?shù)據(jù)，同時(shí)還會(huì)產(chǎn)生車(chē)道攝像和停位攝像等大量的視頻信息。
產(chǎn)生大量車(chē)輛數(shù)據(jù)的同時(shí)，收費(fèi)員的動(dòng)作，如按抬桿鍵、放行鍵、軍車(chē)鍵等，也會(huì)產(chǎn)生數(shù)據(jù)記錄，方便后續(xù)稽查時(shí)的圖片分析，避免逃費(fèi)等行為。設(shè)備本身也會(huì)產(chǎn)生大量數(shù)據(jù)，比如抬桿、打票、紅綠燈轉(zhuǎn)換，全部都會(huì)產(chǎn)生日志信息進(jìn)入數(shù)據(jù)庫(kù)，這還只是收費(fèi)相關(guān)的數(shù)據(jù)信息。在看不到的地面上，還會(huì)存在很多信息采集系統(tǒng)，比如地磁式傳感器、攝像頭，檢測(cè)車(chē)輛通過(guò)時(shí)的平均速度、平均車(chē)間距和平均占有率等等信息，大量數(shù)據(jù)都會(huì)進(jìn)入數(shù)據(jù)庫(kù)，進(jìn)行后續(xù)的存儲(chǔ)分析。一輛車(chē)在駛離高速公路時(shí)，已經(jīng)產(chǎn)生了大量的數(shù)據(jù)信息，其中包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)等多種數(shù)據(jù)形式。
大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)及數(shù)據(jù)處理
高速公路上產(chǎn)生的海量數(shù)據(jù)，需要一個(gè)企業(yè)級(jí)的大數(shù)據(jù)平臺(tái)，對(duì)數(shù)據(jù)進(jìn)行分門(mén)別類(lèi)的存儲(chǔ)管理，TDH企業(yè)級(jí)一站式大數(shù)據(jù)平臺(tái)，以分布式架構(gòu)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和計(jì)算，并在此基礎(chǔ)上進(jìn)行數(shù)據(jù)處理和應(yīng)用。
大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)
數(shù)據(jù)進(jìn)入大數(shù)據(jù)平臺(tái)，上游業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)，通過(guò)文件交換或Sqoop方式同步到大數(shù)據(jù)平臺(tái)的貼源層，然后經(jīng)過(guò)批處理加工后，形成明細(xì)層、匯總層和模型層。對(duì)于歷史數(shù)據(jù)，比如收費(fèi)站入口流水表和出口流水表，選擇存儲(chǔ)在Search引擎中，可以進(jìn)行快速的歷史數(shù)據(jù)檢索。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，例如圖片和視頻影像，選擇存儲(chǔ)在Hyperbase引擎中。同時(shí)，為了提高大數(shù)據(jù)平臺(tái)的數(shù)據(jù)質(zhì)量，使用Governor管理元數(shù)據(jù)(包括表和存儲(chǔ)過(guò)程)，監(jiān)控所有數(shù)據(jù)的更改歷史，進(jìn)行數(shù)據(jù)血緣分析和影響分析。對(duì)上層的基于大數(shù)據(jù)平臺(tái)的應(yīng)用，可以使用標(biāo)準(zhǔn)的JDBC或ODBC與大數(shù)據(jù)平臺(tái)進(jìn)行連接，對(duì)數(shù)據(jù)挖掘需求，如節(jié)假日車(chē)流量預(yù)測(cè)、高速路擁堵程度預(yù)測(cè)等，可以圖形化拖拽機(jī)器學(xué)習(xí)平臺(tái)Sophon組件進(jìn)行預(yù)測(cè)，如圖1所示。