NoSQL用于管理從汽車上采集到的數(shù)據(jù),以及后面流程的數(shù)據(jù),但是,不同的部分應(yīng)選用不同的、適應(yīng)各自特性的NoSQL方案:
車輛行駛數(shù)據(jù),更適合以日志文件的方式存儲(chǔ)。車輛上報(bào)的數(shù)據(jù)通常是基于字節(jié)編碼的比如ASN.1,需要計(jì)算時(shí)再解碼。
監(jiān)控管理結(jié)果,更適合采用一種內(nèi)存數(shù)據(jù)庫(kù)方案,可能需要支持快速讀寫歷史數(shù)據(jù)、以及定時(shí)或定量將數(shù)據(jù)寫入(固態(tài))硬盤。
駕駛行為模型,則需要考慮解決變更計(jì)算參數(shù)后重新計(jì)算、增減模型因子后增刪相關(guān)數(shù)據(jù)、因子的值的類型多樣化(甚至是復(fù)合類型)、等問題。
保費(fèi)風(fēng)險(xiǎn)模型,或者采用與目前保險(xiǎn)公司方案兼容的,或者采用適合新型BI的(新型BI在后面會(huì)有介紹)。
流式計(jì)算用于滿足實(shí)時(shí)性要求高的汽車監(jiān)管。不同的流式計(jì)算系統(tǒng)側(cè)重解決不同的問題。比如Storm解決了實(shí)時(shí)的分布式計(jì)算問題,包括計(jì)算流可以分布在一個(gè)或多個(gè)機(jī)器上、動(dòng)態(tài)增減服務(wù)器及Fail over自管理、通信機(jī)制透明化、熱部署計(jì)算流等;Esper解決了事件之間的規(guī)則及關(guān)系問題。如果監(jiān)控需求導(dǎo)致數(shù)據(jù)多且復(fù)雜,那么一個(gè)內(nèi)存數(shù)據(jù)庫(kù)是有必要的。
分布式批量計(jì)算,目前最流行的方案就是Hadoop。當(dāng)前Hadoop的熱點(diǎn)之一就是改造Hadoop以滿足一定的及時(shí)性要求,而不單單是批量處理;之所以說是及時(shí)性,因?yàn)樗€達(dá)不到實(shí)時(shí)性的程度。
BI(商業(yè)智能)。在當(dāng)前的大數(shù)據(jù)環(huán)境下,傳統(tǒng)的基于關(guān)系數(shù)據(jù)庫(kù)的方式呈現(xiàn)出幾個(gè)不足:1、傳統(tǒng)方案?jìng)?cè)重社會(huì)化(分析出整體模型,拿個(gè)體特征與其對(duì)比),難以滿足個(gè)體在某時(shí)某地的“復(fù)雜性/混沌的/發(fā)散的”的需求;2、傳統(tǒng)方案在數(shù)據(jù)量非常大時(shí),可能是抽樣的,難以做到全量分析;3、更多互聯(lián)網(wǎng)公司的數(shù)據(jù)和企業(yè)化系統(tǒng)的數(shù)據(jù),其存儲(chǔ)已經(jīng)使用NoSQL方案,傳統(tǒng)方案難以匹配。能解決以上三個(gè)問題的BI框架還未成熟。
不管在數(shù)據(jù)處理的哪個(gè)環(huán)節(jié),使用那種處理技術(shù),對(duì)于數(shù)據(jù)的質(zhì)量識(shí)別、優(yōu)劣控制都是必須的。在車聯(lián)網(wǎng)中,從車機(jī)或OBD設(shè)備開始,由于車型的多樣性、設(shè)備工作環(huán)境的復(fù)雜性,數(shù)據(jù)就不可能達(dá)到統(tǒng)一的質(zhì)量標(biāo)準(zhǔn),如何處理不同的可用率的數(shù)據(jù),如何對(duì)待由這些數(shù)據(jù)產(chǎn)生的價(jià)值精準(zhǔn)性,是必須考慮的重點(diǎn)問題。