人認(rèn)為 Hadoop 正在失敗，但硅谷數(shù)據(jù)管理公司 Hortonworks 的總經(jīng)理 Vamsi K. Chemitiganti 并不這么看，為了反駁此前一篇文章《為什么 Hadoop 正在消亡？（Why Hadoop is Failing）》的觀點(diǎn)，他在自己的博客上寫了一篇論述自己看法的文章，他認(rèn)為達(dá)爾文式的開源生態(tài)系統(tǒng)正在確保 Hadoop 成為穩(wěn)固和成熟的技術(shù)平臺(tái)。
「女士，那么剛出生的孩子能干什么？」——邁克爾·法拉第，在 18 世紀(jì)被問及新發(fā)明的電有什么用的時(shí)候。
為什么 Hadoop 正在發(fā)展壯大
過去兩年來，我一直致力于大數(shù)據(jù)方面的研究，并在這段時(shí)間里經(jīng)歷了令人感到震撼的變革，因?yàn)槲乙恢痹谌蚋鞯貫殂y行業(yè)的領(lǐng)導(dǎo)者們提供咨詢服務(wù)。
這也是為什么當(dāng)近期 KDnuggets 出現(xiàn)了一篇挑釁性質(zhì)的《為什么 Hadoop 正在消亡》時(shí)，我必須站出來反對(duì)了。在那篇文章中，作者的討論具有建設(shè)性，但問題在于其討論基于一些毫無根據(jù)的假設(shè)。在深入研究之前，我們要考慮其中的背景。
公司業(yè)務(wù)中數(shù)字架構(gòu)的出現(xiàn)意味著公司能夠與全球客戶/消費(fèi)者/病人持續(xù)地在線互動(dòng)。其目的并不僅僅是為了提供友好的可視化內(nèi)容，而是為了提供跨渠道，多類型的個(gè)性化服務(wù)。移動(dòng)應(yīng)用首先迫使企業(yè)將服務(wù)形式升級(jí)為與消費(fèi)者在多渠道中展開溝通。例如銀行業(yè)，所有銀行現(xiàn)在都涵蓋了四到五種服務(wù)方式：移動(dòng) app、電子銀行、呼叫中心、快捷銀行等。醫(yī)療保健業(yè)有希望成為下一個(gè)改變面貌的行業(yè)，護(hù)理人員已經(jīng)開始采用 iPad 來協(xié)助診斷，存儲(chǔ)和處理患者的藥物和疾病數(shù)據(jù)。大數(shù)據(jù)技術(shù)的發(fā)展是為了克服以往方法（RDBMS 和 EDW）的局限性，解決在數(shù)字應(yīng)用堆棧中數(shù)據(jù)架構(gòu)和分析的挑戰(zhàn)。
這些挑戰(zhàn)包括：
數(shù)據(jù)體量擴(kuò)大的挑戰(zhàn)。公司數(shù)據(jù)種類的飛速膨脹。Hadoop 顯然也有自己的限制——例如支持低延遲 BI（Business Intelligence，商業(yè)智能）查詢的能力。但是 Hadoop 之前的方法顯然有更多的缺陷，它們無法處理和管理大量數(shù)據(jù)，從而為數(shù)字架構(gòu)的業(yè)務(wù)帶來了兩大挑戰(zhàn)。第一個(gè)挑戰(zhàn)是在企業(yè)數(shù)據(jù)流架構(gòu)中實(shí)時(shí)提供洞見；第二個(gè)挑戰(zhàn)是進(jìn)行進(jìn)一步分析的能力：快速進(jìn)行預(yù)測(cè)分析和深度學(xué)習(xí)（經(jīng)常需要每秒處理百萬條信息），從而能夠跨領(lǐng)域解決復(fù)雜問題。Hadoop 是唯一能讓這些挑戰(zhàn)化為有效商業(yè)機(jī)會(huì)的方式。
達(dá)爾文式的開源生態(tài)系統(tǒng)正在確保 Hadoop 成為穩(wěn)固和成熟的技術(shù)平臺(tái)。
目前的絕大多數(shù) Hadoop 大數(shù)據(jù)項(xiàng)目（超過 25 個(gè)）都依靠開源社區(qū)在 Apache 生態(tài)系統(tǒng)中孵化、開發(fā)和維護(hù)。開源社區(qū)本質(zhì)上是達(dá)爾文式的。它專注于代碼質(zhì)量和行業(yè)應(yīng)用，依賴于路線圖和提交者的正確性，如果一個(gè)項(xiàng)目缺乏這些，那它會(huì)很快走進(jìn)墳?zāi)?。換句話說，生態(tài)系統(tǒng)中沒有落后者的位置。
讓我們看看那篇文章中作者的主要假設(shè)吧。
假設(shè) 1：Hadoop 采用不再增長，最多持平
我日常工作中的最重要的部分是與多個(gè)客戶合作探討他們的業(yè)務(wù)計(jì)劃以及尋找應(yīng)用技術(shù)來解決這些復(fù)雜難題的方法。我可以證明最大企業(yè)對(duì) Hadoop 的采用絕對(duì)沒有停滯不前。盡管我的觀點(diǎn)肯定是道聽途說，而且不是來自于企業(yè)內(nèi)部的內(nèi)幕，但在銀行業(yè)、電信業(yè)、制造業(yè)和保險(xiǎn)業(yè)，Hadoop 的采用卻實(shí)實(shí)在在地在飛漲。在早期就與領(lǐng)先的供應(yīng)商合作的企業(yè)已經(jīng)或多或少找到了將這項(xiàng)技術(shù)應(yīng)用于它們的業(yè)務(wù)難題的好方法。采用 Hadoop 的模式正在成熟，而且它們也正在意識(shí)到其中巨大的商業(yè)價(jià)值。一家領(lǐng)先的供應(yīng)商 Hortonworks 在實(shí)現(xiàn) 1 億美元年收入的道路上比其它任何科技創(chuàng)業(yè)公司都跑得快——這是該領(lǐng)域潛力的有力證明。Cloudera 剛剛已經(jīng)上市。在見證著這樣的增長的同時(shí)，我們也看到領(lǐng)先的 EDW 供應(yīng)商的收入和股價(jià)卻略有下跌。我預(yù)計(jì)，未來 5-7 年內(nèi)就會(huì)出現(xiàn)第一家年收入達(dá)到 10 億美元的大數(shù)據(jù)「創(chuàng)業(yè)公司」，與備受尊敬的開源先驅(qū) Red Hat 相比還多少快一點(diǎn)。至少，Hadoop 項(xiàng)目能幫助企業(yè)從昂貴和不靈活的企業(yè)數(shù)據(jù)倉庫項(xiàng)目上節(jié)省成百上千萬美元。幾乎所有組織都已經(jīng)開始部署 Hadoop，以作為它們的企業(yè)登陸區(qū)（ELZ：Enterprise Landing Zone），從而增強(qiáng)它們的 EDW。
假設(shè) 2：使用 Hadoop 創(chuàng)造的項(xiàng)目的商業(yè)價(jià)值不明顯
該作者在這方面還有點(diǎn)道理，但讓我解釋一下為什么這是組織機(jī)構(gòu)所面臨的難題，而實(shí)際上并不是任何技術(shù)堆棧（中間件或云或大數(shù)據(jù)）的過錯(cuò)。這個(gè)難題在于：尋找大數(shù)據(jù)項(xiàng)目的商業(yè)價(jià)值往往是一個(gè)精細(xì)活，涉及到整個(gè)復(fù)雜的組織結(jié)構(gòu)。IT 部分當(dāng)然可以將 POC（概念驗(yàn)證）作為一門科學(xué)或一項(xiàng)「一次性簡歷構(gòu)建」項(xiàng)目而開始，但其業(yè)務(wù)線需要從一開始就參與進(jìn)來，比其它任務(wù)技術(shù)類別都早。大數(shù)據(jù)并不是關(guān)于存儲(chǔ)大量數(shù)據(jù)的基礎(chǔ)設(shè)施的施工，而是關(guān)于如何在收集和策劃的數(shù)據(jù)上創(chuàng)造業(yè)務(wù)分析。不管這些分析是簡單而老套的商業(yè)智能（BI），還是數(shù)據(jù)科學(xué)導(dǎo)向的，它們都依賴于一個(gè)組織本身的文化和創(chuàng)新。