說起大數(shù)據(jù)就不得不提Hadoop（也就是我們經(jīng)?？匆姷拇笙蟮臉酥?，注意不是飛豬是飛象），Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，專門針對海量非結(jié)構(gòu)化數(shù)據(jù)處理的需求（Hadoop是以Apache首席設(shè)計師兒子一個大象玩具的名字命名）。
以IOE體系（Oracle，IBM和EMC）為核心的傳統(tǒng)數(shù)據(jù)計算存儲和讀寫方式越來越不能滿足目前互聯(lián)網(wǎng)和物聯(lián)網(wǎng)發(fā)展帶來海量數(shù)據(jù)分析的需求，而Hadoop被認為是適應(yīng)未來大數(shù)據(jù)應(yīng)用的全新架構(gòu)體系，同時Hadoop也成為大數(shù)據(jù)的代名詞（今年開始已經(jīng)能在A股公司的年報和調(diào)研紀要中找到它了）。
Hadoop是個開源體系，任何開發(fā)者都可以依托它的基礎(chǔ)架構(gòu)開發(fā)新的大數(shù)據(jù)工具和應(yīng)用，使用Hadoop體系對傳統(tǒng)IT架構(gòu)替代就是IT界傳說的“去IOE”（在國內(nèi)就變成了國產(chǎn)替代了“囧”）。企業(yè)網(wǎng)基礎(chǔ)體系的替換是一個漫長的過程，IOE體系經(jīng)過30-40年的積累才有了目前一統(tǒng)江湖的地位，Hadoop最早始于2005年到目前為止也有十年的開發(fā)時間，其開源的屬性可能使得在普及過程中會更大激發(fā)開發(fā)者的熱情并推進產(chǎn)業(yè)的快速變革（參考andriod的快速崛起），幾家比較典型的Hadoop公司近兩年收入開始步入爆發(fā)期，不少公司也逐步開始IPO進入普通投資者的視野，也許在未來十年時間就有可能出現(xiàn)幾個市值媲美IOE（Oracle市值1800億美元，IBM市值1537億美元，EMC+Vmware市值920億美元）的Hadoop公司。
目前美股市場上也有不少貼上大數(shù)據(jù)標簽的公司，比如Splunk(SPLK，市值67億美元)，Tabuleau(DATA，市值55億美元)， Qlik(QLIK，市值26億美元)，Tibco(TIBX，市值39億美元)（公司市值以2014年12月12日收盤價為參考），此外目前大數(shù)據(jù)的參與者還有Oracle，IBM，SAS，Teradata這類偏向于BI（商業(yè)智能化的公司，簡單來講就是快速生成報表和各種數(shù)據(jù)分析的軟件），已經(jīng)上市的這一批公司中雖然被冠以大數(shù)據(jù)的名義但是更多是基于傳統(tǒng)基礎(chǔ)架構(gòu)開發(fā)的大數(shù)據(jù)應(yīng)用的公司，比如Tabuleau，Qlik，Tibco主要是做數(shù)據(jù)可視化（可以理解為一個智能化的excel，點點鼠標就可以畫各種高大上的圖表，戰(zhàn)略部門和領(lǐng)導(dǎo)的需求，技術(shù)壁壘相對有限），而Splunk則主要是做服務(wù)器日志文件分析的工具，在集群式服務(wù)器管理和服務(wù)器日志文件的批量檢索分析中都能用到，技術(shù)壁壘較高，也是這類公司中估值最高的公司，市銷率接近20倍。
而剛剛IPO的Hortonworks以及未上市的Cloudera和MapR則是Hadoop全新計算架構(gòu)的三家馬車，從概念上講他們是更加純粹的新型基礎(chǔ)架構(gòu)的大數(shù)據(jù)公司，當然像Tabuleau這樣的公司也在積極的向新基礎(chǔ)機構(gòu)方向轉(zhuǎn)型。