8月5日是個特殊的日子，為了推動大數(shù)據(jù)技術(shù)在中國大范圍應(yīng)用，同時將本土技術(shù)回饋到國際開源社區(qū)，Cloudera與清華大學(xué)合作達(dá)成儀式。說到Cloudera，相信業(yè)內(nèi)人士并不陌生，大數(shù)據(jù)市場的飛速發(fā)展使得Hadoop深受歡迎，許多公司都推出了各自版本的Hadoop，也有一些公司則圍繞Hadoop開發(fā)產(chǎn)品。而在Hadoop生態(tài)系統(tǒng)中，規(guī)模最大、知名度最高的公司則是Cloudera。
儀式結(jié)束后，Hadoop之父、Cloudera首席架構(gòu)師、Apache軟件基金會理事Doug Cutting應(yīng)邀接受了中國IDC圈記者的采訪，談及了Hadoop在安全方面的措施，Spark與Hadoop之間的微妙關(guān)系以及Hadoop未來的發(fā)展等一系列問題。
Hadoop之父、Cloudera首席架構(gòu)師、Apache軟件基金會理事Doug Cutting
Hadoop已成為非常安全的平臺
當(dāng)今時代，社交媒體、網(wǎng)絡(luò)、移動定位等諸多技術(shù)的廣泛應(yīng)用使得數(shù)據(jù)急速增長。Hadoop作為大數(shù)據(jù)利器，一直被大肆宣傳。憶往昔，Hadoop為搜索引擎建立的網(wǎng)頁索引，并不是處理信用卡號，所以其安全問題被擱置。如此一來，許多企業(yè)對其態(tài)度也從原來的淺嘗輒止變成了望而卻步。
關(guān)于安全方面，Doug Cutting指出，在Hadoop創(chuàng)立的時候是沒有做安全這塊的，但是我們后來不斷的加強(qiáng)對安全模塊的研發(fā)，現(xiàn)在Hadoop也成為了非常安全的平臺。在安全方面有：身份識別—保登錄的人群是被合法認(rèn)證的；用戶授權(quán)—控制用戶能夠讀取的信息；審計(jì)—提供滿足監(jiān)管需求的文檔支持，查看是否有違規(guī)操作靜態(tài)數(shù)據(jù)以及動態(tài)數(shù)據(jù)的加密。
Spark與Hadoop相輔相成、互補(bǔ)共生
Hadoop主要包括三方面的功能：以HDFS為主的存儲功能，以MapReduce為代表的Batch處理功能以及以YARN為代表的scheduling功能。
說到Hadoop自然而然會讓人聯(lián)想到Spark，作為實(shí)時處理工具Spark在batch processing和streaming代表著下一代技術(shù)，并且在某些方面優(yōu)于MapReduce。那么，假以時日Spark會不會有取代Hadoop的可能，Doug Cutting給出的答案當(dāng)然是否定的：“我覺得Spark不可能取代Hadoop，它能夠取代部分Hadoop的功能，比如說取代MapReduce，二者之間更多的是互補(bǔ)的關(guān)系而不是競爭的關(guān)系。在存儲和scheduling不可能取代Hadoop，Hadoop在batch或streaming處理方面比Spark更強(qiáng)大；在搜索方面很多又是Spark搜不到的，所以Spark只是相當(dāng)于開源集群計(jì)算的框架，它并不能完全取代Hadoop。Cloudera不光是支持Hadoop，也支持Spark，我們是Hadoop+Spark這樣的公司。”
Cloudera現(xiàn)在參與的項(xiàng)目有20多個，包括Hadoop、Spark、HBace等生態(tài)系統(tǒng)內(nèi)的項(xiàng)目，也擁有超過100個對于技術(shù)和系統(tǒng)都非常資深的技術(shù)開發(fā)者。其實(shí)用戶特別希望開源社區(qū)以開源形式開發(fā)軟件，開源社區(qū)要進(jìn)一步發(fā)展需要這些廠商來提供支持。作為開源廠商，到底是不是一個商業(yè)模式放之四海皆準(zhǔn)，現(xiàn)在整個行業(yè)都在探索這個問題。Doug Cutting指出：“Cloudera的核心平臺是開源的，但是我們可以賣一些加載在核心平臺上的軟件，這種軟件可以讓客戶更好的管理他的數(shù)據(jù)，更多地對管理工具進(jìn)行優(yōu)化，包括優(yōu)化、監(jiān)控?cái)?shù)據(jù)的管理工具，以收費(fèi)的方式可以進(jìn)行出售，我相信是比較成功的。”
中國企業(yè)為整個Hadoop的開源社區(qū)做了大量的貢獻(xiàn)
Doug Cutting不僅任職于Cloudera，同時也是Apache軟件基金會的理事。在基金會里，有很多企業(yè)參與Hadoop的研發(fā)，整個Hadoop版本發(fā)布速度非?？?。當(dāng)然，這其中的也不乏來自中國的代碼貢獻(xiàn)者，Doug Cutting表示：“中國的企業(yè)為整個Hadoop的開源社區(qū)做了大量的貢獻(xiàn)，例如華為、阿里巴巴、騰訊等企業(yè)不但是Hadoop的使用者，同時也是Hadoop技術(shù)的貢獻(xiàn)者。”目前，90%的Hadoop軟件運(yùn)行于Hadoop系統(tǒng)平臺上，其中很多軟件都是基于Hadoop平臺之外的開發(fā)。Doug Cutting強(qiáng)調(diào)：“在整個生態(tài)系統(tǒng)環(huán)境內(nèi)我們會打造一個非常豐富的生態(tài)系統(tǒng)，讓更多的參與者能夠進(jìn)行開發(fā)。”
Cloudera除了與清華大學(xué)合作之外，在海外也跟其他大學(xué)展開了合作，其中包括美國、新加坡等地的大學(xué)，也包括歐洲的一些大學(xué)和研究機(jī)構(gòu)。Doug Cutting表示：“我們合作的主要形式就是提供免費(fèi)的課程，這些全套免費(fèi)的課程我們開發(fā)了很多年，免費(fèi)提供給這樣的大學(xué)共同展開合作。我們在中國選取的第一個合作方是清華大學(xué)，今后將會與更多的中國大學(xué)展開合作。”