回到題目中的問題，在大數(shù)據(jù)時代，每家公司都要有自己的大數(shù)據(jù)部門嗎?結(jié)論也不能下的太武斷。
早在2008年，云計算的概念剛剛興起，百度內(nèi)部出現(xiàn)了兩撥勢力。一撥要從零開始打造自己的大數(shù)據(jù)底層技術(shù)，把MapReduce、GFS、BigTable這些組件都要實現(xiàn)一遍，結(jié)果花了兩三年時間，也沒能穩(wěn)定運行。
而另外一撥勢力，直接采納開源的Hadoop生態(tài)，很快在公司內(nèi)應(yīng)用起來。而我當(dāng)時做的日志統(tǒng)計平臺，也是采用了Hadoop。但百度的數(shù)據(jù)規(guī)模畢竟太大了，所需的集群規(guī)模，開源版本根本撐不住，于是不得不改寫Hadoop，這樣就和開源的版本漸行漸遠(yuǎn)，等到后來再也合不到一起了。
曾經(jīng)有一年多的時間，我們部門新設(shè)計和實現(xiàn)和底層的存儲及計算系統(tǒng)，結(jié)果發(fā)現(xiàn)開源的版本也差不多實現(xiàn)到了同樣效果。雖然許多內(nèi)部的人覺得我們怎么總重復(fù)造輪子，但我明白還是需求使然，你面臨的需求相對領(lǐng)先，但也沒有領(lǐng)先到像Google那樣提早5年。
但對于小公司來說，則完全沒必要從零開始做，還是要盡量用開源的產(chǎn)品。
整個Hadoop生態(tài)，要比我2008年剛用的時候，要成熟很多。那個時候我們?nèi)ツ瞄_源的版本，編譯部署，一個新手可能兩周都不一定能正常的運轉(zhuǎn)起來。而現(xiàn)在下載一個Cloudera發(fā)行版，兩個小時就可以正常跑任務(wù)了。
與此同時，又面臨了新的問題，因為大數(shù)據(jù)平臺牽涉到數(shù)據(jù)的采集、傳輸、建模存儲、查詢分析、可視化等多個環(huán)節(jié)，而開源領(lǐng)域只是一些組件，于是各家公司都在紛紛打造自己的大數(shù)據(jù)平臺，這就像Oracle之前，各家都在打造自己的存儲系統(tǒng)。這顯然不是一件性價比高的事情。
有市場需求，就會有滿足相應(yīng)需求的公司誕生，于是就誕生了一堆提供大數(shù)據(jù)服務(wù)的公司。