現(xiàn)代社會的信息量正以飛快的速度增長，這些信息里又積累著大量的數(shù)據(jù)。預(yù)計到 2025年，每年產(chǎn)生的數(shù)據(jù)信息將會有超過 1/3 的內(nèi)容駐留在云平臺中或借助云平臺處理。我們需要對這些數(shù)據(jù)進(jìn)行分析和處理，以獲取更多有價值的信息。在未來的“智慧城市”中，會有越來越大的結(jié)構(gòu)化以及非結(jié)構(gòu)化的數(shù)據(jù)。那么我們?nèi)绾胃咝У卮鎯凸芾磉@些數(shù)據(jù)，如何分析這些數(shù)據(jù)呢?答案是：我們需要強(qiáng)有力的大數(shù)據(jù)處理系統(tǒng)進(jìn)行支撐。
作為目前最火熱的詞匯之一，大數(shù)據(jù)在各個領(lǐng)域都已有了較為成熟的應(yīng)用。在視頻監(jiān)控領(lǐng)域，大數(shù)據(jù)時代正悄悄來臨。在城市安全、交通管理中將部署大量的視頻監(jiān)控設(shè)備，這些視頻監(jiān)控設(shè)備將產(chǎn)生大量的視頻及其相關(guān)的數(shù)據(jù)，如交通卡口數(shù)據(jù)達(dá)到十億條甚至更大級別，人像庫的數(shù)據(jù)量達(dá)到千萬條甚至更大級別。
針對如此大級別的數(shù)據(jù)量，當(dāng)前系統(tǒng)會逐漸暴露出數(shù)據(jù)檢索速度越來越慢;數(shù)據(jù)統(tǒng)計、分析效率越來越低等問題，這些問題都需要一個成熟的技術(shù)來解決。隨著“智慧城市”中城市安全、智慧交通等的迅速發(fā)展，城市中非結(jié)構(gòu)化的數(shù)據(jù)量越來越大。視頻大數(shù)據(jù)技術(shù)側(cè)重幫助各類客戶從日趨海量的非結(jié)構(gòu)化視頻數(shù)據(jù)中快速發(fā)掘高價值 的信息，協(xié)助客戶提升其決策的效率和精準(zhǔn)度。因此，視頻大數(shù)據(jù)的處理好壞成了客戶關(guān)注 的焦點(diǎn)，視頻大數(shù)據(jù)的處理技術(shù)也成了廠家能力的體現(xiàn)。
針對“智慧城市”建設(shè)中大量視頻 數(shù)據(jù)的快速檢索、統(tǒng)計分析的需求，?？低?，佳都科技等視頻領(lǐng)域的領(lǐng)軍企業(yè)已有了成熟的視頻大數(shù)據(jù)的解決方案，目前已應(yīng)用多個“智慧城市”的建設(shè)中。
一、視頻大數(shù)據(jù)平臺技術(shù)
針對結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量特別大的場景，大數(shù)據(jù)平臺作為應(yīng)用平臺的支撐平 臺，提供海量數(shù)據(jù)的高效處理能力。通過大數(shù)據(jù)平臺，應(yīng)用能夠?qū)@些數(shù)據(jù)進(jìn)行高效地存儲、 檢索(秒級)、分析和統(tǒng)計，切實地提高效率，提升用戶體驗度。
視頻大數(shù)據(jù)平臺一般以分布式集群的方式進(jìn)行建設(shè)，集群能夠?qū)?shù)據(jù)處理進(jìn)行負(fù)載均 衡，同時，集群能夠方便地進(jìn)行擴(kuò)展，能夠通過增加集群節(jié)點(diǎn)來提升平臺整體性能。數(shù)據(jù)存儲需要考慮以下幾個方面：一、哪些數(shù)據(jù)需要保存到視頻大數(shù)據(jù)平臺;二、如果對原有系統(tǒng) 進(jìn)行改造，原有系統(tǒng)中已存在的那些數(shù)據(jù)該如何處理;三、如何保證數(shù)據(jù)的可靠性。視頻大 數(shù)據(jù)平臺采用分布式計算，同時結(jié)合內(nèi)存加速、負(fù)載均衡、本地處理，提供高效的數(shù)據(jù)計算 能力。
視頻大數(shù)據(jù)處理系統(tǒng)，在應(yīng)對視頻大數(shù)據(jù)處理中的存儲問題，采用了分布式存儲方式， 提高了讀寫速度，并擴(kuò)大了存儲容量;在應(yīng)對視頻大數(shù)據(jù)處理中的計算問題，采用分布式計 算系統(tǒng)，提高了數(shù)據(jù)分析和挖掘能力。視頻大數(shù)據(jù)處理系統(tǒng)總體架構(gòu)包括資源層、平臺層、應(yīng)用層三個層次。
資源層：包括 IT 基礎(chǔ)資源、數(shù)據(jù)資源、視頻資源等。能夠產(chǎn)生、存儲、處理海量數(shù)據(jù) 的資源如過車數(shù)據(jù)、人臉數(shù)據(jù)、案事件數(shù)據(jù)等。
平臺層：即視頻大數(shù)據(jù)平臺，包括數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)遷移、集群管理等功能， 同時為上層應(yīng)用提供接口。視頻大數(shù)據(jù)平臺地位類似于數(shù)據(jù)庫，但是它比數(shù)據(jù)庫的處理能力 要強(qiáng)大很多，可以對海量數(shù)據(jù)進(jìn)行處理。
應(yīng)用層：基于視頻大數(shù)據(jù)平臺提供的高效數(shù)據(jù)處理服務(wù)，行業(yè)應(yīng)用平臺(公安、交通、 司法、能源、教育等)能夠為用戶提供海量數(shù)據(jù)的高效存儲、檢索、分析和統(tǒng)計等功能。
二、視頻大數(shù)據(jù)技術(shù)在智慧交通中的應(yīng)用
在智慧交通的道路交通應(yīng)用中，卡口過車數(shù)據(jù)呈爆炸式增長。對于一個城市，每個卡口 每天會經(jīng)過成千上萬輛車，假設(shè)一個城市有 1000 個卡口，每個卡口每天平均過車記錄數(shù)為
10000 次，需要對一年內(nèi)的數(shù)據(jù)進(jìn)行處理，則過車記錄總數(shù)為 36.5 億。當(dāng)卡口過車數(shù)據(jù)規(guī)模 達(dá)到十億級別甚至更大后，當(dāng)前系統(tǒng)的運(yùn)行速度越來越慢，過車信息檢索、研判和分析的耗 時越來越長，用戶體驗越來越差。使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫解決方案會使效率大大降低，或 者在保證效率的情況下，會使軟件、硬件投入成本大大增加，如采用小型機(jī)等。針對此類場 景，可采用大數(shù)據(jù)技術(shù)，數(shù)據(jù)量特別大的過車數(shù)據(jù)由視頻大數(shù)據(jù)平臺來處理，視頻大數(shù)據(jù)平 臺可提供足夠大的內(nèi)存和本地存儲，同時，采用分布式計算，各節(jié)點(diǎn)并行進(jìn)行計算，極大地 提高數(shù)據(jù)處理的能力。視頻大數(shù)據(jù)平臺具有系統(tǒng)可靠、數(shù)據(jù)安全、數(shù)據(jù)處理能力高效、投入 成本低、擴(kuò)展能力強(qiáng)等特點(diǎn)。