【編者按】Hadoop被認為是最好的大數(shù)據(jù)分析平臺,本身就具有較好的性能,還有活躍的開源社區(qū)支持,Hadoop創(chuàng)始人Doug Cutting也曾預(yù)言未來Hadoop不僅僅用于大數(shù)據(jù)處理,還將成為數(shù)據(jù)平臺的系統(tǒng)內(nèi)核,將用于在線事務(wù)處理……Hadoop的發(fā)展前景似乎一片光明,卻沒有注意到競爭者的出現(xiàn),Hydra在某些方面甚至具有比Hadoop更加優(yōu)越的性能,宣布開源以后,Hydra得到了越來越多的支持,未來Hydra極有可能成為Hadoop強勁的競爭對手,Datanami的主編Alex Woodie為我們帶來了詳細分析。
以下為譯文:
Hydra(九頭蛇),分布式任務(wù)處理系統(tǒng),由社交標簽服務(wù)提供商AddThis六年前開發(fā),現(xiàn)在已得到Apache的開源許可,就像Hadoop一樣,只是還沒有Hadoop那樣的知名度和聲勢。Hydra的創(chuàng)造者稱,該“多頭”平臺非常擅長處理一些大的數(shù)據(jù)任務(wù)——對非常大的數(shù)據(jù)集進行實時處理,這樣的任務(wù)恐怕會讓那只大象(Hadoop)很頭疼。
Hadoop仍然是一個儲存大量數(shù)據(jù)的優(yōu)秀平臺,但很多公司面臨著另一個問題,我們將數(shù)據(jù)存儲到Hadoop之后如何去分析數(shù)據(jù),無論是Hive還是Pig都需要方便地訪問Hadoop中的數(shù)據(jù),才能從中獲得的價值。正如我們看到的:Hadoop用于實時分析并不合適。
Hydra是一個大數(shù)據(jù)存儲和處理平臺,由Matt Abrams和他的AddThis同事們共同開發(fā)完成。AddThis也就是過去的Clearspring,是開發(fā)Web服務(wù)器窗口小部件的公司,使訪問者可以通過Twitter、Facebook、Pintrest、Google +或者Instagram輕松共享他們的數(shù)據(jù)。
當(dāng)AddThis開始逐漸擴大其業(yè)務(wù)時,它對越來越多的用戶數(shù)據(jù)漸漸感到無能為力。該公司需要一個可擴展的分布式系統(tǒng),對其用戶共享的這些數(shù)據(jù)進行實時分析。那時Hadoop無法滿足AddThis的需求,所以它開發(fā)了Hydra。