“大數(shù)據(jù)”被認(rèn)為是可以重塑現(xiàn)有數(shù)據(jù)中心的技術(shù)。誠然,數(shù)據(jù)中心聽起來一點(diǎn)都不如iPad有趣,不過如果沒有數(shù)據(jù)中心對云計(jì)算的支持,iPad至少不會(huì)像現(xiàn)在這么有趣。云計(jì)算不僅極大的延伸了移動(dòng)互聯(lián)網(wǎng),同時(shí)正在成為一股冉冉升起的新時(shí)代的中堅(jiān)力量,不斷為商業(yè)終端注入活力。美國政府已經(jīng)意識到了大數(shù)據(jù)的重要性,美國總統(tǒng)奧巴馬甚至斥資2億美元聯(lián)邦財(cái)政預(yù)算用于大數(shù)據(jù)項(xiàng)目。無論是商務(wù)人士還是政府機(jī)構(gòu)都在談?wù)摯髷?shù)據(jù),仿佛這是一盞濟(jì)世明燈,儼然在將經(jīng)濟(jì)發(fā)展的重任交付于大數(shù)據(jù)的肩上。
但且慢,這些對大數(shù)據(jù)如此推崇的人,商業(yè)人士也好、政府官員也好,真正了解大數(shù)據(jù)的本質(zhì)嗎?大數(shù)據(jù)真的是靈丹妙藥,還是我們高估了它的價(jià)值和能力?事實(shí)上,這些人對大數(shù)據(jù)的理解,都是源于各自不同的渠道,受限于供應(yīng)商對他們的影響。而直到現(xiàn)在,互聯(lián)網(wǎng)上居然還沒有對大數(shù)據(jù)“是什么,能做什么”有一個(gè)直觀、易懂、確定的解釋。因此,我們首先應(yīng)該搞清楚:究竟什么是大數(shù)據(jù),大數(shù)據(jù)的本質(zhì)是什么?如果沒有搞清楚就盲目的投入大筆資金,后果將非常嚴(yán)重。
隨著互聯(lián)網(wǎng)的發(fā)展,大量的企業(yè)面臨著新的挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)庫在很多情況下已經(jīng)無法滿足企業(yè)及用戶的需求。Hadoop,一個(gè)從Yahoo出來的開源項(xiàng)目,已經(jīng)變成它自己的商業(yè)行業(yè)。讀寫網(wǎng)的一項(xiàng)由154家美國中小企業(yè)主參與的調(diào)查顯示,對于大數(shù)據(jù)的定義,絕大部分企業(yè)主都是基于自身經(jīng)驗(yàn)和戰(zhàn)略來詮釋這個(gè)詞。其中28%的調(diào)查者表示認(rèn)可“大量的急速增長的數(shù)據(jù)傳輸”,24%的調(diào)可以看出,查者則認(rèn)為大數(shù)據(jù)“是一種新技術(shù),旨在解決數(shù)據(jù)在體積、種類以及速度不斷增加的挑戰(zhàn)“,19%認(rèn)為大數(shù)據(jù)是為了滿足”管理并遵循存儲和存檔數(shù)據(jù)的需求“,18%調(diào)查者則認(rèn)為大數(shù)據(jù)是“新的數(shù)據(jù)大爆炸”。
以上多種答案,那么究竟正確答案是什么呢?Scott M. Fulton,多部教學(xué)書籍及資源的作者。大量的再生產(chǎn)品,從包裝箱到公園的長椅,都是根據(jù)他的教學(xué)書籍制造出來的。他給“大數(shù)據(jù)”下了一個(gè)普適的定義:
雖然數(shù)據(jù)庫技術(shù)在業(yè)務(wù)邏輯層面已經(jīng)觸碰到了天花板(此邏輯依然在使用低效耗能的方式來訪問和維護(hù)數(shù)據(jù)),但是因?yàn)橐恢币詠?,硬件速度和能力的提升,以及存儲價(jià)格的不斷下降,這種低效率被很好的掩蓋了。于是直到2007年之前,一直沒有人能夠認(rèn)真嚴(yán)肅的對待這個(gè)問題。這種低效終于在做大量數(shù)據(jù)分析從而進(jìn)行結(jié)果推斷的過程中,暴露了出來。于是,大數(shù)據(jù)應(yīng)運(yùn)而生。
本質(zhì)上來將,大數(shù)據(jù)工具們指明了大量數(shù)據(jù)如何被存儲、維護(hù)以及分析。他們可能不會(huì)完全取代傳統(tǒng)的數(shù)據(jù)庫,不過至少像Hadoop這樣的存儲系統(tǒng)取代了數(shù)據(jù)訪問的方式。