全社會(huì)開放與共享數(shù)據(jù)還很難，這讓數(shù)據(jù)質(zhì)量大打折扣。數(shù)據(jù)增值的關(guān)鍵在于整合，但自由整合的前提是數(shù)據(jù)的開放。在大數(shù)據(jù)的時(shí)代，開放數(shù)據(jù)的意義，不僅僅是滿足公民的知情權(quán)，更在于讓大數(shù)據(jù)時(shí)代最重要的生產(chǎn)資料、生活數(shù)據(jù)自由地流動(dòng)起來，準(zhǔn)確全面應(yīng)用起來，以推動(dòng)知識(shí)經(jīng)濟(jì)和網(wǎng)絡(luò)經(jīng)濟(jì)的發(fā)展，促進(jìn)中國(guó)的經(jīng)濟(jì)增長(zhǎng)由粗放型向精細(xì)型轉(zhuǎn)型升級(jí)。然而戰(zhàn)略觀念上的缺失、政府機(jī)構(gòu)協(xié)調(diào)困難、企業(yè)對(duì)數(shù)據(jù)共享的認(rèn)識(shí)不足及投入不夠、科學(xué)家對(duì)大數(shù)據(jù)的渴望無法滿足等都是大數(shù)據(jù)在當(dāng)前我國(guó)發(fā)展應(yīng)用中不得不面對(duì)的困難。
挑戰(zhàn)四：大數(shù)據(jù)管理與決策
大數(shù)據(jù)的技術(shù)挑戰(zhàn)顯而易見，但其帶來的決策挑戰(zhàn)更為艱巨。大數(shù)據(jù)至關(guān)重要的方面，就是它會(huì)直接影響組織怎樣作決策、誰來作決策。在信息有限、獲取成本高昂且沒有被數(shù)字化的時(shí)代，組織內(nèi)作重大決策的人，都是典型的位高權(quán)重的人，要不然就是高價(jià)請(qǐng)來的擁有專業(yè)技能和顯赫履歷的外部智囊。但是，在今時(shí)今日的商業(yè)世界中，高管的決策仍然更多地依賴個(gè)人經(jīng)驗(yàn)和直覺，而不是基于數(shù)據(jù)。
大數(shù)據(jù)開發(fā)的根本目的是以數(shù)據(jù)分析為基礎(chǔ)，幫助人們做出更明智的決策，優(yōu)化企業(yè)和社會(huì)運(yùn)轉(zhuǎn)。哈佛商業(yè)評(píng)論說，大數(shù)據(jù)本質(zhì)上是“一場(chǎng)管理革命”。大數(shù)據(jù)時(shí)代的決策不能僅憑經(jīng)驗(yàn)，而真正要“拿數(shù)據(jù)說話”。因此，大數(shù)據(jù)能夠真正發(fā)揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構(gòu)的與大數(shù)據(jù)技術(shù)工具相適配。這或許是我們最難邁過的一道坎了。
大數(shù)據(jù)應(yīng)用領(lǐng)域仍窄小，應(yīng)用費(fèi)用過高，制約大數(shù)據(jù)應(yīng)用。國(guó)內(nèi)能利用大數(shù)據(jù)背后產(chǎn)業(yè)價(jià)值的行業(yè)主要集中在金融、電信、能源、證券、煙草等超大型、壟斷型企業(yè)，其他行業(yè)談大數(shù)據(jù)價(jià)值為時(shí)尚早。隨著企業(yè)內(nèi)部的資料量愈來愈大，日后大數(shù)據(jù)將成為IT支出中的主要因素，特別是數(shù)據(jù)儲(chǔ)存所耗費(fèi)的成本，很可能造成企業(yè)負(fù)擔(dān)，甚至望而卻步。因此有遠(yuǎn)見的CIO必須預(yù)先做好準(zhǔn)備。
挑戰(zhàn)五：大數(shù)據(jù)人才缺口
如果說，以Hadoop為代表的大數(shù)據(jù)是一頭小象，那么企業(yè)必須有能夠馴服它的馴獸師。在很多企業(yè)熱烈擁抱這類大數(shù)據(jù)技術(shù)時(shí)，精通大數(shù)據(jù)技術(shù)的相關(guān)人才也成為一個(gè)大缺口。
大數(shù)據(jù)建設(shè)的每個(gè)環(huán)節(jié)都需要依靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支懂指揮、懂技術(shù)、懂管理的大數(shù)據(jù)建設(shè)專業(yè)隊(duì)伍。
可以說，真正啟動(dòng)大數(shù)據(jù)在企業(yè)和社會(huì)的全面應(yīng)用，面臨的不僅僅是技術(shù)和工具問題，更重要的是要轉(zhuǎn)變經(jīng)營(yíng)思維和組織架構(gòu)，才能真正地挖掘這座大數(shù)據(jù)“金礦”。那么在大數(shù)據(jù)時(shí)代，我們要做哪些應(yīng)對(duì)之策，以握戰(zhàn)略制勝之點(diǎn)?
整合與開放是基石
大數(shù)據(jù)服務(wù)創(chuàng)業(yè)公司Connotate對(duì)800多名商業(yè)和IT主管進(jìn)行了調(diào)查。結(jié)果顯示，60%受調(diào)查者稱：“目前就說這些大數(shù)據(jù)投資項(xiàng)目肯定能夠帶來良好回報(bào)尚為時(shí)過早。”之所以如此，是由于當(dāng)前大數(shù)據(jù)缺乏必需的開放性：數(shù)據(jù)掌握在不同的部門和企業(yè)手中，而這些部門和企業(yè)并不愿意分享數(shù)據(jù)。大數(shù)據(jù)是通過研究數(shù)據(jù)的相關(guān)性來發(fā)現(xiàn)客觀規(guī)律，這依賴于數(shù)據(jù)的真實(shí)性和廣泛性，數(shù)據(jù)如何做到共享和開放，這是當(dāng)前大數(shù)據(jù)發(fā)展的軟肋和需要解決的大問題。
2012年美國(guó)大選，奧巴馬因數(shù)據(jù)整合而受益。在奧巴馬的競(jìng)選團(tuán)隊(duì)中有一個(gè)神秘的數(shù)據(jù)挖掘團(tuán)隊(duì)，他們通過對(duì)海量數(shù)據(jù)進(jìn)行挖掘幫助奧巴馬籌集到10億美元資金；他們通過數(shù)據(jù)挖掘使競(jìng)選廣告投放效率提升了14%;他們通過制作“搖擺州”選民的詳細(xì)模型，每晚實(shí)施6.6萬次模擬選舉，推算奧巴馬在“搖擺州”的勝率，并以此來指導(dǎo)資源分配。奧巴馬競(jìng)選團(tuán)隊(duì)相比羅姆尼競(jìng)選團(tuán)隊(duì)最有優(yōu)勢(shì)的地方：對(duì)大數(shù)據(jù)的整合。奧巴馬的數(shù)據(jù)挖掘團(tuán)隊(duì)也意識(shí)到這個(gè)全世界共同的問題：數(shù)據(jù)分散在過多的數(shù)據(jù)庫中。因此，在前18個(gè)月，奧巴馬競(jìng)選團(tuán)隊(duì)就創(chuàng)建了一個(gè)單一的龐大數(shù)據(jù)系統(tǒng)，可以將來自民意調(diào)查者、捐資者、現(xiàn)場(chǎng)工作人員、消費(fèi)者數(shù)據(jù)庫、社交媒體，以及“搖擺州”主要的民主黨投票人的信息整合在一起，不僅能告訴競(jìng)選團(tuán)隊(duì)如何發(fā)現(xiàn)選民并獲得他們的注意，還幫助數(shù)據(jù)處理團(tuán)隊(duì)預(yù)測(cè)哪些類型的人有可能被某種特定的事情所說服。正如競(jìng)選總指揮吉姆·梅西納所說，在整個(gè)競(jìng)選活中，沒有數(shù)據(jù)做支撐的假設(shè)很少存在。