當(dāng)前，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)正處于起步階段，信息孤島、技術(shù)不足、人才缺失等都成為產(chǎn)業(yè)發(fā)展中亟待解決的大問題。
近日，在有關(guān)部門的調(diào)解之下，菜鳥和順豐的“數(shù)據(jù)斷交”事件總算告一段落，雙方經(jīng)過緊急會(huì)談后，再次恢復(fù)了數(shù)據(jù)傳輸合作，算是和平解決。這次事件暴露出了大數(shù)據(jù)發(fā)展中的數(shù)據(jù)共享難題，但只是大數(shù)據(jù)種種問題的冰山一角。當(dāng)前，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)正處于起步階段，信息孤島、技術(shù)不足、人才缺失等都成為產(chǎn)業(yè)發(fā)展中亟待解決的大問題。
數(shù)據(jù)孤島問題突出
“巧婦難為無米之炊。”大數(shù)據(jù)的基礎(chǔ)在于數(shù)據(jù)，數(shù)據(jù)的生命在于共享，拿不到底層的數(shù)據(jù)，數(shù)據(jù)分析也就無從談起。如今，數(shù)據(jù)孤島林立、融合困難，已經(jīng)成為政府與企業(yè)面前的首要難題。
“第一個(gè)問題就是沒數(shù)據(jù)，理論上我們中國(guó)有很多數(shù)據(jù)，但實(shí)際做數(shù)據(jù)分析會(huì)發(fā)現(xiàn)非常困難。”中國(guó)科學(xué)院院士、北京大數(shù)據(jù)研究院院長(zhǎng)鄂維南表示，數(shù)據(jù)孤島是一個(gè)嚴(yán)重的問題，不同部門的數(shù)據(jù)儲(chǔ)存在不同地方，格式也不一樣。大數(shù)據(jù)最高的層次就是用數(shù)據(jù)來形成智慧，使得社會(huì)各方面可以運(yùn)轉(zhuǎn)起來。做數(shù)據(jù)分析先要整合數(shù)據(jù)，這本身就是研究的困難。
由于政府部門之間、企業(yè)之間、政府和企業(yè)間信息不對(duì)稱、制度法律不具體、缺乏公共平臺(tái)和共享渠道等多重因素，導(dǎo)致大量政府?dāng)?shù)據(jù)存在“不愿公開、不敢公開、不能公開、不會(huì)公開”的問題，而已開放的數(shù)據(jù)也因格式標(biāo)準(zhǔn)缺失無法進(jìn)行關(guān)聯(lián)融合，形成孤島。
缺乏動(dòng)力和擔(dān)心安全是阻礙數(shù)據(jù)共享的另一個(gè)主要原因。貴陽(yáng)大數(shù)據(jù)交易所執(zhí)行總裁王叁壽透露，不少企業(yè)以保護(hù)商業(yè)機(jī)密或節(jié)省數(shù)據(jù)整理成本等為理由，不愿意交易自身數(shù)據(jù)。部分政府部門也缺乏數(shù)據(jù)公開的動(dòng)力：有的是因懶政而讓數(shù)據(jù)沉睡，有的則是已經(jīng)利用數(shù)據(jù)開展商業(yè)化應(yīng)用，因此不愿共享。
“數(shù)據(jù)孤島的痛不是技術(shù)問題，是利益問題，背后隱藏的利益導(dǎo)致了數(shù)據(jù)孤島的產(chǎn)生。”鄂維南坦言。
對(duì)于如何打通數(shù)據(jù)孤島，工信部賽迪研究院軟件所所長(zhǎng)潘文建議，要建立完善大數(shù)據(jù)發(fā)展協(xié)調(diào)機(jī)制，加快政府?dāng)?shù)據(jù)開放共享，穩(wěn)步推動(dòng)公共數(shù)據(jù)資源開放。同時(shí)，統(tǒng)籌規(guī)劃大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，推動(dòng)制定公共信息資源保護(hù)和開放的制度性文件，并加強(qiáng)大數(shù)據(jù)標(biāo)準(zhǔn)化頂層設(shè)計(jì)，逐步完善標(biāo)準(zhǔn)體系。
在數(shù)據(jù)共享的路上，2015年成立的貴陽(yáng)大數(shù)據(jù)交易所已經(jīng)做出了成功的嘗試。王叁壽表示，若想打通城市現(xiàn)存的信息壁壘，就要讓城市多方資源聯(lián)動(dòng)起來，搭建城市數(shù)據(jù)共享的平臺(tái)，從而激活大數(shù)據(jù)價(jià)值，充分發(fā)揮數(shù)據(jù)資源整合的優(yōu)質(zhì)效應(yīng)，用信息化手段輔助科學(xué)決策。
底層技術(shù)差距很大
即便解決了數(shù)據(jù)共享問題，數(shù)據(jù)可供隨時(shí)取用，數(shù)據(jù)的采集和分析仍是主要挑戰(zhàn)。微軟大中華區(qū)董事長(zhǎng)兼CEO柯睿杰認(rèn)為，數(shù)據(jù)智能并非那么觸手可及。大數(shù)據(jù)來源眾多、數(shù)量巨大、形式各異，要從中獲得一目了然的信息，就需要真正高效、可靠的數(shù)據(jù)管理和分析平臺(tái)。
如何處理巨量數(shù)據(jù)是中國(guó)大數(shù)據(jù)產(chǎn)業(yè)面臨的首要技術(shù)問題。鄂維南表示，“中國(guó)的數(shù)據(jù)體量特別大，比如，中國(guó)的視頻比任何國(guó)家都要多，這些數(shù)據(jù)儲(chǔ)存困難，需要用的時(shí)候往往就沒了”。再以基因測(cè)序領(lǐng)域?yàn)槔?，中?guó)每年新增的基因組測(cè)序原始數(shù)據(jù)超過20PB(1PB相當(dāng)于100萬GB)，面臨著數(shù)據(jù)量大、數(shù)據(jù)處理流程長(zhǎng)等技術(shù)挑戰(zhàn)。
另一方面，數(shù)據(jù)分析本身也是一個(gè)難題。大數(shù)據(jù)中，絕大部分屬于非結(jié)構(gòu)化的數(shù)據(jù)，它們大量存在于社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)和電子商務(wù)等領(lǐng)域，這些數(shù)據(jù)的不確定性表現(xiàn)在高維、多變和強(qiáng)隨機(jī)性等方面。股票交易數(shù)據(jù)流就是不確定性大數(shù)據(jù)的一個(gè)典型例子。這些都需要通過包括數(shù)學(xué)、經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、計(jì)算機(jī)科學(xué)和管理科學(xué)在內(nèi)的多學(xué)科交叉來研究和討論。
目前，我國(guó)大數(shù)據(jù)技術(shù)創(chuàng)新能力還有待提升?！洞髷?shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》指出，我國(guó)在新型計(jì)算平臺(tái)、分布式計(jì)算架構(gòu)、大數(shù)據(jù)處理、分析和呈現(xiàn)方面與國(guó)外仍存在較大差距，對(duì)開源技術(shù)和相關(guān)生態(tài)系統(tǒng)影響力弱。同時(shí)，大數(shù)據(jù)應(yīng)用水平不高。我國(guó)發(fā)展大數(shù)據(jù)具有強(qiáng)勁的應(yīng)用市場(chǎng)優(yōu)勢(shì)，但是目前還存在應(yīng)用領(lǐng)域不廣泛、應(yīng)用程度不深、認(rèn)識(shí)不到位等問題。