最近出爐了不少關(guān)于科技產(chǎn)業(yè)中各種預(yù)測，綜合一下各廠商的觀點(diǎn)，我們將對2013年度的大數(shù)據(jù)發(fā)展預(yù)測進(jìn)行綜述，再加上我們的意見，有些可能會是十分有趣的。

Hadoop的2013

讓我們從Hadoop開始吧。作為大數(shù)據(jù)技術(shù)的典型代表，相信你一點(diǎn)也不會對有許多公司的預(yù)測僅僅專注于Hadoop而感到意外。MapR首席執(zhí)行官John Schroeder預(yù)測稱，“硬件將針對Hadoop的用途進(jìn)行優(yōu)化”，同時(shí)Pervasive Software首席技術(shù)官M(fèi)ike Hoskins指出，“對企業(yè)友好型Hadoop的需求將達(dá)到極度狂熱程度”。

這兩種預(yù)測都有一定的道理，證明了同樣的整體需求：正在完善的不僅僅是Hadoop的能力，還有使其在企業(yè)數(shù)據(jù)中心內(nèi)的配置和集成更加無縫化?？赡苓@就是為什么MapR的Schroede還觀察到“Hadoop專業(yè)技術(shù)正在快速發(fā)展，但是仍然缺乏相關(guān)人才”，同時(shí)他預(yù)測說，“針對Hadoop的SQL工具將繼續(xù)擴(kuò)張”。我們幾乎不能否定這個(gè)預(yù)測，因?yàn)檫@樣的工具僅僅在今年第四季度就有了巨大的增長，同時(shí)毫無減速的跡象。

然而并不是所有的意見都是一致的。SQL-Hadoop混合產(chǎn)品提供商Rainstor預(yù)測稱，企業(yè)在管理大數(shù)據(jù)時(shí)除了Hadoop之外還需要一些新的技術(shù)。這與Pervasive預(yù)測的“現(xiàn)存的數(shù)據(jù)倉庫將衰退”以及MapR關(guān)于“Hadoop與其他的大數(shù)據(jù)分析方案脫離的市場觀點(diǎn)形成鮮明對比。

超越Hadoop

除了Hadoop之外我們還看到了更細(xì)微的預(yù)測。Rainstor指出，“企業(yè)大數(shù)據(jù)項(xiàng)目將從沙盒中走出來，清晰地定義一系列商業(yè)和科技要求”。MapR說“收入生成的的使用案例將勝過節(jié)約成本的應(yīng)用”。從本質(zhì)上說，其他公司也都預(yù)測客戶將進(jìn)入大數(shù)據(jù)成熟度模型的下一個(gè)階段。

他們是正確的，但是從沙盒中走出來將提出更苛刻的要求，有些要求是很多大數(shù)據(jù)用戶尚未全面解決的。有些預(yù)言家似乎同意這點(diǎn)。Pervasive指出“數(shù)據(jù)質(zhì)量仍將是企業(yè)的‘燙手山芋’”，而Progress DataDirect則認(rèn)為“人們將被他們的數(shù)據(jù)淹沒”。

對于我來說，所有的這些細(xì)節(jié)聽上去似乎都是正確的，同時(shí)到目前為止，BI領(lǐng)域多年來一直在面對這些問題。如果你認(rèn)為大數(shù)據(jù)世界可以幸免的話，只能是因?yàn)殛P(guān)于大數(shù)據(jù)技術(shù)的炒作蒙蔽了雙眼。一旦你越過了這個(gè)炒作的時(shí)期，你就會發(fā)現(xiàn)一些不可避免年的問題。

數(shù)據(jù)分析和可視化

除了Rainstor、Pervasive、MapR以及Progress DataDirect的預(yù)測之外，我們還看到了來自營銷關(guān)注分析公司BlueKai 和iOS數(shù)據(jù)可視化公司Roambi的一些觀點(diǎn)，當(dāng)然這些預(yù)測多少是與這些公司本身的利益相關(guān)，但也是與目前客戶變得更加富有經(jīng)驗(yàn)處理這些問題的主題是一致的。

舉例來說，Roambi指出“企業(yè)發(fā)現(xiàn)他們有半數(shù)的商業(yè)數(shù)據(jù)是無法輕松訪問到的，這影響了決策的制定以及推測的準(zhǔn)確性”。同時(shí)，BlueKai首席執(zhí)行官Omar Tawakol認(rèn)為“前瞻性的品牌將重新評估它們代理商在能否找到最大限度利用交叉渠道受眾數(shù)據(jù)以及衡量數(shù)據(jù)有效性和投資回報(bào)的能力”。

未來兩大方向

關(guān)于大數(shù)據(jù)技術(shù)的發(fā)展方向?qū)w結(jié)為兩點(diǎn)：減少對MapReduce的依賴，推動Hadoop更加深入到企業(yè)軟件堆棧。

而對于減少對MapReduce的依賴性，就像Cloudera Impala和Microsoft PolyBase這樣的產(chǎn)品，繞開了MapReduce直接面對保存在Hadoop分布式文件系統(tǒng)(HDFS)中的數(shù)據(jù)，這個(gè)勢頭將愈加明顯。

MapR關(guān)于基于SQL工具持續(xù)上升的預(yù)測與這一點(diǎn)很好地呼應(yīng)，同時(shí)印證了來自Pervasive關(guān)于“YARN改變Hadoop游戲規(guī)則” 的預(yù)測。Pervasive解釋說，“除了MapReduce應(yīng)用之外，YARN還允許其他很多類型的應(yīng)用運(yùn)行在Hadoop上?！?/p>

而推動Hadoop更加深入到企業(yè)軟件堆棧的預(yù)測是什么意思呢？簡單來說，Hadoop已經(jīng)被廣為采用，它實(shí)際上已經(jīng)變成了一種產(chǎn)業(yè)標(biāo)準(zhǔn)，而且通常標(biāo)準(zhǔn)趨向于成為更高價(jià)值的軟件工具的基礎(chǔ)，而不是代表自身利益的工具。同樣地，我們將會看到更多的內(nèi)部集成了Hadoop功能的BI和分析工具，以及我們對于直接參與Hadoop工作的專家的依賴性將逐漸減小。