Q6:大數(shù)據(jù)和云計算、物聯(lián)網(wǎng)是什么關(guān)系?
如果把整個IT 流程看做一棵樹的話, 物聯(lián)網(wǎng)就是這棵樹的葉子和枝干。如果傳感器網(wǎng)絡(luò)所感知的信息是有關(guān)“人”的信息,比如用戶在網(wǎng)上購買商品的信息,或與人的移動行為和動機(jī)相關(guān)的信息,那么它就會有極大的商業(yè)價值,對這種數(shù)據(jù)的需求也會劇增。人的心理因素是世上最復(fù)雜的,對應(yīng)著某種動機(jī)和意識的行為、動作也千差萬別。人與人的關(guān)系組成了無窮多的維度,而大數(shù)據(jù)正是這些維度疊加而成的。這些數(shù)據(jù)不僅包括人本身的語言、文字、動作、視覺數(shù)據(jù),更是人與人之間關(guān)系的數(shù)據(jù)。凡是與人相關(guān)的活動數(shù)據(jù),都是最值得收集的數(shù)據(jù),與之相關(guān)的需求則永遠(yuǎn)存在。
所以說,關(guān)于人的數(shù)據(jù)才是大數(shù)據(jù)。物聯(lián)網(wǎng)只有考慮到人這種廣義的“物”,才最有價值。否則,物聯(lián)網(wǎng)所傳輸?shù)臄?shù)據(jù)無論從復(fù)雜度還是商業(yè)目的而言,都極為有限。
大數(shù)據(jù)和云計算的關(guān)系則在于,大數(shù)據(jù)的成功應(yīng)用除了“大”,還有三個必要條件:實時在線、對事件的全面描述以及產(chǎn)生差異化的效果。云計算使得這三個必要條件得以滿足。
首先,云計算使人們可以隨時隨地使用存儲和計算,使大量數(shù)據(jù)得以及時被采集和分析。手機(jī)上APP 應(yīng)用云的服務(wù)就是一個云計算的例子。由于存儲和計算成本的降低,云計算起到了實時在線的作用, 從而使得更多的人愿意使用云服務(wù),大數(shù)據(jù)的雪球由此可以滾動起來。
云計算的另一個好處是可以實現(xiàn)大規(guī)模的數(shù)據(jù)整合。當(dāng)今世界并不是為大數(shù)據(jù)應(yīng)用準(zhǔn)備的,因為大量數(shù)據(jù)集散落在不同地方,以不同方式存放,其擁有者也是不同的人。在云計算條件下,很多大規(guī)模數(shù)據(jù)整合的問題都會得到解決。當(dāng)大家數(shù)據(jù)放在一起時,數(shù)據(jù)整合的門檻會大幅降低,因此,大數(shù)據(jù)也會像核物理的聚變一樣, 產(chǎn)生成倍的效果。
Q7:有了大數(shù)據(jù),我們還需要專家嗎?
在大數(shù)據(jù)時代,專家的一部分作用確實可以被大數(shù)據(jù)應(yīng)用所取代。例如,推薦金融產(chǎn)品時,專家需要將特定金融產(chǎn)品推薦給特定客戶。這些客戶有以下特點(diǎn):接受這一推薦的可能性很高,同時,對其他客戶的影響力也很強(qiáng),在接受這一產(chǎn)品的同時,他們很有可能會把產(chǎn)品消息向親朋好友傳播。這一重要的市場工作過去是由專業(yè)的市場部門經(jīng)理來完成的。然而在大數(shù)據(jù)應(yīng)用中,通過對大數(shù)據(jù)的整合分析得出的大規(guī)模推薦模型的推薦效果,是市場部專家的二十倍以上。
這個例子說明:首先,在傳統(tǒng)商業(yè)領(lǐng)域,大數(shù)據(jù)的功效確實能夠取代并超越人的作用。在過去的實踐中,市場專家最多能夠判別十幾維的數(shù)據(jù),而數(shù)據(jù)挖掘模型卻可以處理幾萬維甚至幾千萬維的數(shù)據(jù);其次,取得這么好的效果需要做許多前期工作,如搭建數(shù)據(jù)平臺、整合不同數(shù)據(jù)、建立分析預(yù)測模型,以及利用模型對未來數(shù)據(jù)進(jìn)行分析決策。
這些研究人員具有三個突出特點(diǎn):
一是非常強(qiáng)的駕馭數(shù)據(jù)管理系統(tǒng)和快速編程的能力,
二是和業(yè)務(wù)專家溝通并理解業(yè)務(wù)目標(biāo)及約束能力、分析數(shù)據(jù)的能力,
三是與模型連接并預(yù)測到業(yè)務(wù)決策的能力。具有這些能力的人,我們稱其為數(shù)據(jù)科學(xué)家。
所以,有了大數(shù)據(jù)之后,專家依然是需要的,只不過專家在決策過程中的作用與焦點(diǎn)改變了:專家已經(jīng)不能獨(dú)享成功,而一定要和大數(shù)據(jù)系統(tǒng)共同完成一項復(fù)雜的任務(wù)。大數(shù)據(jù)做了以往專家在數(shù)據(jù)分析領(lǐng)域的工作,但專家對于專業(yè)領(lǐng)域的價值和經(jīng)驗依舊無法取代。建立數(shù)據(jù)分析模型需要理解業(yè)務(wù)及業(yè)務(wù)目標(biāo),這仍需要專家的研究和貢獻(xiàn),畢竟外行還是不能領(lǐng)導(dǎo)內(nèi)行。
Q8:大數(shù)據(jù)最適合做什么?
大數(shù)據(jù)的發(fā)展和其他任何技術(shù)的發(fā)展路徑一樣,都需要經(jīng)過