大數(shù)據(jù)是企業(yè)服務(wù)市場(chǎng)中的新興領(lǐng)域，短短幾年時(shí)間，大數(shù)據(jù)概念從興起到落地，開始在各行各業(yè)發(fā)揮作用，行業(yè)政策頻出，技術(shù)飛速發(fā)展，受到資本追捧。
整個(gè)大數(shù)據(jù)行業(yè)可大致分為三層，底層基礎(chǔ)平臺(tái)，中間層通用技術(shù)，上層行業(yè)應(yīng)用。接下來，愛分析將按照上述分類，逐步介紹各細(xì)分領(lǐng)域的行業(yè)現(xiàn)狀、未來前景。今天是大數(shù)據(jù)系列的第一篇——底層基礎(chǔ)平臺(tái)。
底層基礎(chǔ)平臺(tái)主要解決的是數(shù)據(jù)存儲(chǔ)、計(jì)算的問題，是整個(gè)大數(shù)據(jù)生態(tài)的基石。采集到的數(shù)據(jù)，首先要能高效、快捷地存起來，才能進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘。
這一層非常重要，同時(shí)也是技術(shù)含量最高的一層。以底層技術(shù)中明星Hadoop為例，用Hadoop的公司很多，能做Hadoop發(fā)行版的公司鳳毛麟角。
底層基礎(chǔ)平臺(tái)主要解決的是數(shù)據(jù)存儲(chǔ)、計(jì)算的問題，是整個(gè)大數(shù)據(jù)生態(tài)的基石。采集到的數(shù)據(jù)，首先要能高效、快捷地存起來，才能進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘。這一層非常重要，同時(shí)也是技術(shù)含量最高的一層。以底層技術(shù)中明星Hadoop為例，用Hadoop的公司很多，能做Hadoop發(fā)行版的公司鳳毛麟角。
Hadoop興起的原因：便宜才是硬道理
進(jìn)入新世紀(jì)的第一個(gè)十年，各大企業(yè)都在大力投入IT設(shè)備，建設(shè)自己的機(jī)房，上線各套辦公系統(tǒng)。第二個(gè)十年，經(jīng)濟(jì)下行，傳統(tǒng)企業(yè)的盈利下降，對(duì)IT設(shè)備的投入已經(jīng)不像上個(gè)十年那般狂熱，大型企業(yè)采購(gòu)IT設(shè)備的經(jīng)費(fèi)受到控制，開始核算成本，意圖在滿足需求的情況下，降低投入。
以Hadoop為代表的新底層技術(shù)能夠興起，拋開技術(shù)原因，最主要的原因是便宜、擴(kuò)展性強(qiáng)。利用分布式架構(gòu)，將一些性能一般的機(jī)器串聯(lián)起來，達(dá)到與高性能單機(jī)同樣的效果。隨著公司發(fā)展，數(shù)據(jù)量增大，不需要更換全套設(shè)備，只需要再增加機(jī)器就可以達(dá)到目的，省時(shí)省力。
分布式架構(gòu)的技術(shù)很多，為什么Hadoop最后勝出?還是因?yàn)楸阋?，用的人多。以微軟的Cosmos為例，這套系統(tǒng)本身優(yōu)于Hadoop，主要是針對(duì)大型機(jī)房，設(shè)計(jì)理念很好，上萬臺(tái)機(jī)器的機(jī)房，拿出幾十臺(tái)做別的事情，來提升系統(tǒng)運(yùn)營(yíng)效率。但如果是幾十臺(tái)機(jī)器，仍然需要拿出很大一部分來做別的事情，機(jī)器使用效率就很低。
實(shí)際應(yīng)用時(shí)，用上萬臺(tái)機(jī)器的公司少，用幾十臺(tái)機(jī)器的公司多，因此Hadoop的應(yīng)用面更廣。用的人多，自然幫助優(yōu)化架構(gòu)的人多，社區(qū)貢獻(xiàn)的人多，技術(shù)發(fā)展快，漸漸成為主流。
國(guó)外Hadoop三駕馬車，商業(yè)模式各有差異
提到Hadoop，必然要提到國(guó)外三家圍繞Hadoop技術(shù)的公司：Cloudera、Hortonworks和MapR。三家公司都成立時(shí)間不長(zhǎng)，Cloudera和MapR都是2009年成立，而Hortonworks是2011年從雅虎獨(dú)立出來。三家公司都在資本市場(chǎng)上受到追捧。Hortonworks在2014年上市，IPO當(dāng)天市值接近11億美金;Cloudera獲得英特爾7.4億美金的投資，估值近50億美金;MapR最近剛剛獲得5000萬美金融資，估值也超過10億美金。
盡管三家公司都是提供Hadoop相關(guān)服務(wù)，但是商業(yè)模式區(qū)別不小。Cloudera和MapR都研發(fā)自己的Hadoop發(fā)行版，只不過MapR的技術(shù)完全閉源，不會(huì)對(duì)外開放，而Cloudera的產(chǎn)品分為免費(fèi)版和企業(yè)版，只有企業(yè)版的核心組件不對(duì)外開放，其他技術(shù)均提供給社區(qū)。Hortonworks將自己的技術(shù)完全貢獻(xiàn)給社區(qū)，不靠產(chǎn)品獲利，靠派駐技術(shù)人員到客戶現(xiàn)場(chǎng)提供服務(wù)盈利。
國(guó)內(nèi)市場(chǎng)處于跑馬圈地階段，新興大數(shù)據(jù)公司剛剛起步盡管近年大數(shù)據(jù)行業(yè)風(fēng)起云涌，創(chuàng)業(yè)公司如雨后春筍般冒出，卻少有專注底層基礎(chǔ)平臺(tái)的公司。當(dāng)前，銀行等大型企業(yè)紛紛喊出“去IOE”(IBM小型機(jī)、Oracle數(shù)據(jù)庫(kù)、EMC存儲(chǔ)設(shè)備)，盡管國(guó)產(chǎn)企業(yè)的產(chǎn)品尚不能滿足大型企業(yè)核心系統(tǒng)的要求，但是必然會(huì)有大量新業(yè)務(wù)的IT系統(tǒng)采用國(guó)產(chǎn)品牌，舊有業(yè)務(wù)面臨更新?lián)Q代也會(huì)優(yōu)先選擇國(guó)內(nèi)廠商。
數(shù)據(jù)庫(kù)等底層設(shè)施不同于上層應(yīng)用，更換成本較高，客戶黏性很大，非萬不得已不會(huì)進(jìn)行替換，同時(shí)Hadoop這類新技術(shù)迭代速度快，需要后期維護(hù)。因此，各家公司都在大力開拓市場(chǎng)，跑馬圈地。新興公司服務(wù)客戶的方式類似，前期以產(chǎn)品為內(nèi)核，用項(xiàng)目制的形式幫助企業(yè)搭建系統(tǒng)，后期每年收取20%的維護(hù)費(fèi)。各家企業(yè)都在降低初裝費(fèi)，意圖占據(jù)市場(chǎng)，靠后期維護(hù)費(fèi)用收回成本。