一方面,以“大數(shù)據(jù)”為主題的研討會(huì)不斷召開,各類企業(yè)宣稱進(jìn)軍大數(shù)據(jù),另一方面,基于大數(shù)據(jù)的技術(shù)業(yè)務(wù)寥寥,一些簡單的嘗試都還沒有能實(shí)現(xiàn)大數(shù)據(jù)的技術(shù)。那么是誰在不斷歡迎著“大數(shù)據(jù)”時(shí)代?
從收益方來看,應(yīng)用軟件企業(yè)尋找到了新的工具,而開發(fā)出來的初步應(yīng)用也在被客戶接受,他們的價(jià)值逐步得到體現(xiàn);而業(yè)務(wù)公司也開始出現(xiàn)龐大數(shù)據(jù)分析的需求,急需技術(shù)支持;最后是硬件公司,無論是服務(wù)器還是存儲(chǔ),大數(shù)據(jù)都對(duì)硬件有更多的采購需求。
不過,大數(shù)據(jù)在中國遠(yuǎn)沒有落地,而有著龐大新生數(shù)據(jù)的公司成為行業(yè)的嘗鮮者。
何為大數(shù)據(jù)
按照現(xiàn)在較為普遍的定義,大數(shù)據(jù)是誕生于各類終端中產(chǎn)生的龐大的分結(jié)構(gòu)化數(shù)據(jù),而擁有存儲(chǔ)、分析該數(shù)據(jù)的能力就是大數(shù)據(jù)技術(shù)。
根據(jù)IDC的定義,高容量、多樣化、持續(xù)性和高價(jià)值是大數(shù)據(jù)的四個(gè)特點(diǎn),包括基礎(chǔ)架構(gòu)、數(shù)據(jù)管理、分析挖掘和決策支持四個(gè)層面。
物聯(lián)網(wǎng)、云計(jì)算、PC、平板電腦、傳感器都是這些數(shù)據(jù)的來源。如果說云計(jì)算等布局首先是滿足數(shù)據(jù)的收集,那大數(shù)據(jù)技術(shù)就等于是數(shù)據(jù)分析能力的升級(jí)。
這個(gè)最早從麥肯錫報(bào)告出現(xiàn)的詞匯變得非常熱門。IDC預(yù)測(cè),到2015年,全球大數(shù)據(jù)市場(chǎng)將達(dá)到170億美元規(guī)模。
大數(shù)據(jù)技術(shù)探索實(shí)例
中國聯(lián)通就在使用大數(shù)據(jù)技術(shù)。據(jù)中國聯(lián)通研究院副院長黃文良介紹,聯(lián)通部署了一套Hadoop系統(tǒng)的大數(shù)據(jù)平臺(tái),可以實(shí)現(xiàn)用戶查詢自己的3G流量使用情況。
隨著3G用戶的增加,智能手機(jī)可能出現(xiàn)各類大流量,而用戶并不清楚自己的流量去處,存在很多投訴,聯(lián)通這個(gè)平臺(tái)就是統(tǒng)計(jì)3G流量列表的一個(gè)嘗試。
據(jù)他介紹,支持用戶查詢3G上網(wǎng)記錄需要大量的數(shù)據(jù),而用傳統(tǒng)的數(shù)據(jù)庫無法滿足百億條數(shù)據(jù)的快速搜索能力,這一套新的平臺(tái)就是研究院的一個(gè)嘗試。
該系統(tǒng)部署在北京,用了178臺(tái)基于英特爾處理器的刀片服務(wù)器,每臺(tái)配了14TB的內(nèi)存,加上Name節(jié)點(diǎn),然后用Hadoop發(fā)行版實(shí)現(xiàn)了對(duì)數(shù)據(jù)的管理。
該系統(tǒng)可以讓聯(lián)通用戶隨時(shí)查清每天的流量情況,包括使用位置、3G還是2G,起始時(shí)間等。
另一個(gè)開始用大數(shù)據(jù)技術(shù)的是國內(nèi)安防類領(lǐng)頭企業(yè)海康威視。??低暩笨偛眉鍯TO蔣海清介紹,目前全國在部署平安城市的應(yīng)用,而城市視頻監(jiān)控的記錄都是海量的存儲(chǔ),而大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)了智能化監(jiān)控。
據(jù)介紹,??低曢_發(fā)的城市智能交通應(yīng)用典型解決方案,一個(gè)城市為例,年過車信息數(shù)據(jù)達(dá)到百億級(jí),從信息中提取車牌、車身顏色,就可以很快查出車牌、號(hào)碼、軌跡、違章等,而接下來的關(guān)聯(lián)分析就是基于大數(shù)據(jù)的基礎(chǔ)展開。
??低曔€在嘗試做面向公眾的視頻監(jiān)控服務(wù),出現(xiàn)報(bào)警情況就可以用手機(jī)通知業(yè)主,而平臺(tái)會(huì)判斷是否為誤判,這樣大基數(shù)數(shù)據(jù)的使用就需要新的技術(shù)。
另外還有北京億贊普這樣的企業(yè),這家企業(yè)為全國各類實(shí)業(yè)企業(yè)提供工廠直接傳遞到用戶的信息平臺(tái),使廠商可以通過碎片化的信息分析目標(biāo)市場(chǎng)。
大數(shù)據(jù)并不是一個(gè)全新的技術(shù),但從目前的嘗試來看,大數(shù)據(jù)技術(shù)還只是開始實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)和管理,深入分析能力還達(dá)不到行業(yè)的預(yù)期。
IDC對(duì)大數(shù)據(jù)的十大預(yù)測(cè)
IDC對(duì)大數(shù)據(jù)未來的發(fā)展做出了十大預(yù)測(cè),也代表了行業(yè)對(duì)大數(shù)據(jù)熱點(diǎn)的預(yù)期。
預(yù)測(cè)包括:一、走向商業(yè)化;二、部分早期的Hadoop項(xiàng)目面臨挑戰(zhàn);三、開源軟件帶來機(jī)遇;四、大數(shù)據(jù)加劇軟件公司間的并購;五、針對(duì)大數(shù)據(jù)的Appliance市場(chǎng)迅速增長;六、大數(shù)據(jù)的網(wǎng)絡(luò)數(shù)據(jù)處理走向企業(yè)級(jí);七、大數(shù)據(jù)催生更多細(xì)分市場(chǎng);八、打包的大數(shù)據(jù)行業(yè)分析應(yīng)用出現(xiàn);九、基礎(chǔ)架構(gòu)向Scale Out發(fā)展;十、中國成全球最重要的大數(shù)據(jù)市場(chǎng)。
IDC預(yù)測(cè),大數(shù)據(jù)發(fā)展最快的首先是軟件行業(yè),而基于開源平臺(tái)的分析類應(yīng)用軟件將快速發(fā)展。有能找到合適的需求而很快做出預(yù)期性能的企業(yè)將出現(xiàn)并購能力。
IDC中國企業(yè)級(jí)系統(tǒng)與軟件研究部高級(jí)研究經(jīng)理周震剛還認(rèn)為,中國將成為全球最重要的大數(shù)據(jù)市場(chǎng),而中國企業(yè)在其中有著巨大的發(fā)展機(jī)會(huì)。
全球性IT巨頭都開始關(guān)注大數(shù)據(jù)的機(jī)遇,IBM、微軟、英特爾、甲骨文等都在開發(fā)基于大數(shù)據(jù)需求的IT架構(gòu),而其中硬件提供商有更大的市場(chǎng)動(dòng)力,因?yàn)榇髷?shù)據(jù)的應(yīng)用都意味著更多的IT采購。