對(duì)大企業(yè)而言，大數(shù)據(jù)的興起部分是因?yàn)橛?jì)算能力可用更低的成本獲得，且各類(lèi)系統(tǒng)如今已能夠執(zhí)行多任務(wù)處理。其次，內(nèi)存的成本也在直線(xiàn)下降，企業(yè)可以在內(nèi)存中處理比以往更多的數(shù)據(jù)。還有就是把計(jì)算機(jī)聚合成服務(wù)器集群越來(lái)越簡(jiǎn)單。IDC的數(shù)據(jù)庫(kù)管理分析師Carl Olofson認(rèn)為，這三大因素的結(jié)合便催生了大數(shù)據(jù)。

　　“我們不但能夠把這些事情做好，而且能夠以更低廉的成本去做這些事情，”他說(shuō)。“過(guò)去有些大型超級(jí)計(jì)算機(jī)就曾涉足過(guò)繁重的多處理系統(tǒng)，一起構(gòu)建成緊密聚合的集群，但由于都是專(zhuān)門(mén)設(shè)計(jì)的硬件，所以其成本動(dòng)輒數(shù)十萬(wàn)甚至數(shù)百萬(wàn)美元。而現(xiàn)在，我們利用普通的商品化硬件也能獲得同樣的計(jì)算能力。這便幫助我們能夠更快、更便宜地處理更多的數(shù)據(jù)。”

　　當(dāng)然，并非所有擁有龐大數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)都可以說(shuō)他們正在使用大數(shù)據(jù)技術(shù)。IDC認(rèn)為，某項(xiàng)技術(shù)要想成為大數(shù)據(jù)技術(shù)，首先必須是成本可承受的，其次是必須滿(mǎn)足IBM所描述的三個(gè)“V”判據(jù)中的兩個(gè)：多樣性(variety)、體量(volume)和速度(velocity)。

　　多樣性是指，數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。體量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的。而速度則是指數(shù)據(jù)處理的速度必須很快。Olofson說(shuō)，大數(shù)據(jù)“并非總是說(shuō)有數(shù)百個(gè)TB才算得上。根據(jù)實(shí)際使用情況，有時(shí)候數(shù)百個(gè)GB的數(shù)據(jù)也可稱(chēng)為大數(shù)據(jù)，這主要要看它的第三個(gè)維度，也就是速度或者時(shí)間維度。假如我能在1秒之內(nèi)分析處理300GB的數(shù)據(jù)，而通常情況下卻需要花費(fèi)1個(gè)小時(shí)的話(huà)，那么這種巨大變化所帶來(lái)的結(jié)果就會(huì)增加極大的價(jià)值。所謂大數(shù)據(jù)技術(shù)，就是至少實(shí)現(xiàn)這三個(gè)判據(jù)中的兩個(gè)的可承受得起的一種應(yīng)用。”

　　與開(kāi)源之關(guān)系

　　“很多人都認(rèn)為，Hadoop和大數(shù)據(jù)是同義詞。但這是個(gè)錯(cuò)誤，”Olofson解釋說(shuō)。例如Teradata、MySQL和一些“聰明的集群技術(shù)”的實(shí)施案例都沒(méi)有使用Hadoop，但也被認(rèn)為是大數(shù)據(jù)的實(shí)施案例。

　　作為大數(shù)據(jù)的一種應(yīng)用環(huán)境，Hadoop之所以能夠引起人們的注意，是因?yàn)樗腔贛apReduce環(huán)境的，這是超算圈里很常用的一種簡(jiǎn)化環(huán)境，主要是由谷歌所創(chuàng)建的一個(gè)項(xiàng)目。Hadoop是和各種Apache項(xiàng)目密切相關(guān)的混合實(shí)施環(huán)境，其中包含了在MapReduce環(huán)境下所創(chuàng)建的HBase數(shù)據(jù)庫(kù)。

　　軟件開(kāi)發(fā)人員一般會(huì)用一切利用到Hadoop以及相似的高級(jí)技術(shù)的手段來(lái)響應(yīng)——而這些技術(shù)很多都是在開(kāi)源社區(qū)里開(kāi)發(fā)的。“他們創(chuàng)建了一個(gè)令人眼花繚亂、變化多端的東西，即所謂的NoSQL數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)的鍵值多數(shù)都已利用了各種技術(shù)在處理能力、多樣化，或者數(shù)據(jù)庫(kù)規(guī)模上做了優(yōu)化的，”Olofson說(shuō)。

　　開(kāi)源技術(shù)一般是沒(méi)有商業(yè)支持的，“所以這些東西還必須讓其進(jìn)化一段時(shí)間，逐漸剔除各種缺陷，而這一般需要數(shù)年的時(shí)間。這就是說(shuō)，羽毛未豐的大數(shù)據(jù)技術(shù)目前還無(wú)法在普通市場(chǎng)上普及。”與此同時(shí)，IDC預(yù)計(jì)至少有三家商業(yè)廠(chǎng)商會(huì)在年底之前對(duì)Hadoop提供某種類(lèi)型的支持服務(wù)。還有其他一些廠(chǎng)商，如Datameer等，也會(huì)提供帶有Hadoop組件的分析工具，允許企業(yè)開(kāi)發(fā)他們自己的應(yīng)用。例如Cloudera和Tableau等已經(jīng)在其產(chǎn)品中用到了Hadoop。

　　升級(jí)關(guān)系型數(shù)據(jù)庫(kù)

　　行業(yè)觀察家們一般都贊成在升級(jí)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)時(shí)也要考慮大數(shù)據(jù)技術(shù)。Olofson說(shuō)，“大數(shù)據(jù)技術(shù)適用于速度更快、規(guī)模更大、成本更低廉的場(chǎng)合。”比如Teradata就把它的系統(tǒng)做得成本更低廉、具備可擴(kuò)展性和集群環(huán)境。

　　然而還有些人則不這么認(rèn)為。Gartner的數(shù)據(jù)管理分析師Marcus Collins說(shuō)，“通常在使用RDBMS時(shí)，都要用到BI工具，但這種處理流程并非真的大數(shù)據(jù)。這種流程由來(lái)已久。”