2016年1月,政法委書(shū)記孟建柱同志提出大數(shù)據(jù)的八個(gè)推動(dòng),要求:1、推動(dòng)理念創(chuàng)新,順應(yīng)互聯(lián)網(wǎng)時(shí)代的要求,確立合作、互通、共贏理念。2、推動(dòng)風(fēng)險(xiǎn)共擔(dān),運(yùn)用眾創(chuàng)、眾包、眾智理念,讓大眾的問(wèn)題由大眾來(lái)解決。3、推動(dòng)“數(shù)據(jù)文化”,堅(jiān)持用數(shù)據(jù)說(shuō)話,防止拍腦袋隨意決策。4、推動(dòng)創(chuàng)新風(fēng)險(xiǎn)預(yù)警機(jī)制,探索“人力科技”、“傳統(tǒng)現(xiàn)代”的風(fēng)險(xiǎn)預(yù)警模式。5、推動(dòng)科技運(yùn)用創(chuàng)新,大數(shù)據(jù)表示的是過(guò)去,但表達(dá)的是未來(lái),得數(shù)據(jù)者得未來(lái)。6、推動(dòng)運(yùn)用新技術(shù),加強(qiáng)基層基礎(chǔ)建設(shè),把“不起眼”的信息匯集起來(lái)。7、推動(dòng)社會(huì)信用體系建設(shè),堅(jiān)持推行實(shí)名制和保護(hù)公民個(gè)人信息安全并重。8、推動(dòng)國(guó)家信息安全維護(hù),避免被他國(guó)“竊奪”數(shù)據(jù)信息控制權(quán)。
大數(shù)據(jù)通過(guò)對(duì)海量數(shù)據(jù)的整合和挖掘,揭示傳統(tǒng)技術(shù)方式難以展現(xiàn)的關(guān)聯(lián)關(guān)系,還可以預(yù)警風(fēng)險(xiǎn),及時(shí)切斷風(fēng)險(xiǎn)鏈。例如:·針對(duì)堵車(chē)現(xiàn)象,實(shí)時(shí)采集車(chē)流數(shù)據(jù),自動(dòng)控制信號(hào)燈,讓堵車(chē)能有所緩解。1.針對(duì)城鄉(xiāng)結(jié)合部“治安盲區(qū)”,采集人口流動(dòng)信息,分析出潛在風(fēng)險(xiǎn),警力針對(duì)性地科學(xué)調(diào)配;2.針對(duì)保險(xiǎn)理賠,通過(guò)社會(huì)信息搜集分析系統(tǒng),上海等地正積極探索商業(yè)保險(xiǎn)公司參與社會(huì)治理,將保險(xiǎn)事務(wù)由“事后理賠”轉(zhuǎn)為“事先風(fēng)險(xiǎn)防范”;3.針對(duì)聚集疏導(dǎo),通過(guò)關(guān)鍵詞搜索技術(shù)、熱力圖技術(shù)、電子巡邏技術(shù)等,探索預(yù)測(cè)人群聚集苗頭和動(dòng)向,人員過(guò)密時(shí)及時(shí)提示預(yù)警,適時(shí)分流人群;4.針對(duì)犯罪熱點(diǎn),集成公安專業(yè)數(shù)據(jù),實(shí)時(shí)掌握犯罪軌跡、預(yù)判犯罪熱點(diǎn),提高防范打擊犯罪的水平;5.針對(duì)安全生產(chǎn),工程建設(shè)特別容易出事,建立工程建設(shè)監(jiān)管和信用平臺(tái),以大數(shù)據(jù)為依托,“全程留痕”,讓監(jiān)管“無(wú)死角”。
車(chē)輛大數(shù)據(jù)實(shí)際使用中面臨的問(wèn)題
大數(shù)據(jù)的特征是大量性(規(guī)模超大、不斷攀升)、高速性(高速產(chǎn)生、處理高效)、多樣性(種類多樣、來(lái)源多樣)、低密性(有用數(shù)據(jù)提純)。海量數(shù)據(jù)給常規(guī)技術(shù)(獲取存儲(chǔ)管理、處理傳遞共享、關(guān)聯(lián)聚類分析)帶來(lái)了眾多挑戰(zhàn)——雖然數(shù)據(jù)很多,但是有用的數(shù)據(jù)只有34%,好用的數(shù)據(jù)僅有7%,被分析的數(shù)據(jù)更是少到只有1%。如何在海量的數(shù)據(jù)中提取出有價(jià)值的信息需要多學(xué)科多技術(shù)的研究。當(dāng)前的特點(diǎn)是大數(shù)據(jù)、小模型、小定律交叉,即使是同一類問(wèn)題,每個(gè)系統(tǒng)也都不一樣,所以模型和程序要針對(duì)數(shù)據(jù)設(shè)計(jì)。結(jié)構(gòu)化數(shù)據(jù)通過(guò)數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)解決,半結(jié)構(gòu)化數(shù)據(jù)使用網(wǎng)頁(yè)和搜索引擎等技術(shù)解決,非結(jié)構(gòu)化數(shù)據(jù)使用深度學(xué)習(xí)、網(wǎng)絡(luò)交互和群體智能解決。
干警在實(shí)戰(zhàn)使用中,最主要的操作應(yīng)用是查詢車(chē)牌信息和其他過(guò)車(chē)記錄以便掌握線索。面對(duì)動(dòng)輒幾十億、上百億甚至千億級(jí)別的海量過(guò)車(chē)數(shù)據(jù)的存儲(chǔ)和查詢壓力,如何進(jìn)行可靠存儲(chǔ)和高效應(yīng)用?傳統(tǒng)的普通關(guān)系型數(shù)據(jù)庫(kù)解決方案和技術(shù)手段存在檢索難、并發(fā)難、挖掘難、擴(kuò)容難、應(yīng)用難等一系列問(wèn)題,速度慢、準(zhǔn)確性差,需要投入大量的精力和資源進(jìn)行技術(shù)升級(jí)改造。因此,及時(shí)準(zhǔn)確獲取各類相關(guān)數(shù)據(jù)并構(gòu)建大數(shù)據(jù)處理模型是建設(shè)平安城市大數(shù)據(jù)中心的前提,而這一難題目前正逐步通過(guò)先進(jìn)的大數(shù)據(jù)技術(shù)進(jìn)行解決。
車(chē)輛大數(shù)據(jù)的幾項(xiàng)關(guān)鍵技術(shù)
1、海量數(shù)據(jù)檢索
數(shù)據(jù)檢索作為大數(shù)據(jù)最基本的應(yīng)用,分布式內(nèi)存檢索引擎通過(guò)將海量數(shù)據(jù)在集群各個(gè)節(jié)點(diǎn)創(chuàng)建索引,并高速緩存在各節(jié)點(diǎn)內(nèi)存,節(jié)點(diǎn)之間通過(guò)分布式特有的網(wǎng)絡(luò)通信技術(shù),用最小的代價(jià)將計(jì)算和讀取數(shù)據(jù)完成匯總。當(dāng)然,基于智慧城市車(chē)輛大數(shù)據(jù)中數(shù)據(jù)模型的特點(diǎn),還要對(duì)分布式內(nèi)存檢索引擎的機(jī)制做專門(mén)的優(yōu)化,才能實(shí)現(xiàn)千億級(jí)數(shù)據(jù)多條件組合的秒級(jí)查詢。
針對(duì)百億級(jí)以上數(shù)據(jù),大數(shù)據(jù)檢索的硬件服務(wù)器需要考慮SSD固態(tài)硬盤(pán),核心數(shù)據(jù)存儲(chǔ)在固態(tài)硬盤(pán),可以提高磁盤(pán)的讀取速度,在分布式并行計(jì)算的同時(shí),進(jìn)一步提升了數(shù)據(jù)的檢索效率,也為數(shù)據(jù)的穩(wěn)定性提供了重要保障。