Hadoop的發(fā)行版除了社區(qū)的Apache hadoop外，cloudera，hortonworks，mapR，EMC，IBM，INTEL，華為等等都提供了自己的商業(yè)版本。商業(yè)版主要是提供了專業(yè)的技術(shù)支持，這對一些大型企業(yè)尤其重要。每個發(fā)行版都有自己的一些特點，本文就各發(fā)行版做簡單介紹。

2008 年成立的 Cloudera 是最早將 Hadoop 商用的公司，為合作伙伴提供 Hadoop 的商用解決方案，主要是包括支持，咨詢服務(wù)，培訓(xùn)。2009年hadoop的創(chuàng)始人 Doug Cutting也任職于 Cloudera 公司。Cloudera產(chǎn)品主要為CDH，Cloudera Manager，Cloudera Support。CDH是Cloudera的hadoop發(fā)行版，完全開源，比Apache hadoop在兼容性，安全性，穩(wěn)定性上有增強。Cloudera Manager是集群的軟件分發(fā)及管理監(jiān)控平臺，可以在幾個小時內(nèi)部署好一個hadoop集群，并對集群的節(jié)點及服務(wù)進行實時監(jiān)控。Cloudera Support即是對hadoop的技術(shù)支持。cloudera的標(biāo)價為每年每個節(jié)點4000美元。

2011年成立的Hortonworks是雅虎與硅谷風(fēng)投公司Benchmark Capital合資組建的公司。公司成立之初吸納了大約25名至30名專門研究Hadoop的雅虎工程師，上述工程師均在2005年開始協(xié)助雅虎開發(fā)Hadoop，這些工程師貢獻了hadoop 80%的代碼。。雅虎工程副總裁、雅虎Hadoop開發(fā)團隊負責(zé)人Eric Baldeschwieler出任Hortonworks的首席執(zhí)行官。Hortonworks 的主打產(chǎn)品是Hortonworks Data Platform (HDP)，也同樣是100%開源的產(chǎn)品，HDP除了常見的項目外還包含了Ambari，一款開源的安裝和管理系統(tǒng)。HCatalog，一個元數(shù)據(jù)管理系統(tǒng)。

 

　　HDP的Datasheet中描述的版本特點是：

集成和測試封裝 – HDP包括穩(wěn)定版本的Apache Hadoop的所有關(guān)鍵組件，集成和測試封裝。

安裝方便– HDP包括一個現(xiàn)代化的，直觀的用戶界面的安裝和配置工具。

管理和監(jiān)控服務(wù) – HDP包括直觀的儀表板，為監(jiān)測集群和建立警示。

數(shù)據(jù)集成服務(wù) – HDP包括Talend大數(shù)據(jù)平臺，領(lǐng)先的開源整合工具，輕松連接Hadoop集群，而無需編寫Hadoop代碼的數(shù)據(jù)系統(tǒng)集成工具。

元數(shù)據(jù)服務(wù) – HDP包括的Apache HCatalog，從而簡化了Hadoop的應(yīng)用程序之間和Hadoop和其他數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)共享。

高可用性– HDP與成熟的高可用性解決方案的無縫集成。

定價以集群為基礎(chǔ)，每10個節(jié)點每年為12500美元。

cloudera和hortonworks均是在不斷的提交代碼完善Apache hadoop，而2009年成立的MapR公司在Hadoop領(lǐng)域顯得有點特立獨行，它提供了一款獨特的發(fā)行版 。Hadoop在性能(在當(dāng)前Hadoop的設(shè)計中，所有的meta data操作都要通過集中式的Namenode來進行，Namenode有可能是性能的瓶頸;M/R 應(yīng)用程序需要通過DataNode來訪問HDFS, 這就涉及到格外的進程切換和網(wǎng)絡(luò)傳輸開銷)，可靠性與擴展性(namenode，jobtracker單點問題)，企業(yè)級應(yīng)用上的弱點(比如完全可讀寫的文件系統(tǒng)，snapshot，mirror等等)各大廠商均知，MapR則認為，Hadoop的這些缺陷來自于其架構(gòu)設(shè)計本身，小修小補不能解決問題。他們選擇了一條艱難得多的路： 用新架構(gòu)重寫HDFS，同時在API級別，和目前的Hadoop 發(fā)行版保持兼容。這家2009年成立的創(chuàng)業(yè)公司，在蟄伏了兩年之后，終于一鳴驚人，大放異彩。他們成功的“構(gòu)建一個HDFS的私有替代品，這個替代品比當(dāng)前的開源版本快三倍，自帶快照功能，而且支持無Namenode單點故障(SPOF)，并且在API上和兼容，所以可以考慮將其作為替代方案。” mapR版本不再需要單獨的namenode機器，元數(shù)據(jù)分散在集群中，也類似數(shù)據(jù)默認存儲三份。也不再需要用NAS來協(xié)助namenode做元數(shù)據(jù)備份，提供了機器使用率。還有個重要的特點的可以使用nfs直接訪問hdfs，提供了與舊有應(yīng)用的兼容性。鏡像功能也很適合做數(shù)據(jù)備份，而且支持跨數(shù)據(jù)中心的鏡像，快照功能對于數(shù)據(jù)的恢復(fù)作用明顯。據(jù)報道m(xù)apR標(biāo)價也為每年每個節(jié)點4000美元。

 

mapR有免費和商業(yè)兩個版本，免費版本在功能上有所縮減。

　　EMC的Greenplum HD是基于mapR版本二次開發(fā)改造而成，特點同mapR。

IBM在去年5月推出了InfoSphere BigInsights軟件。該軟件包括Apache Hadoop發(fā)行版、面向MapReduce編程的Pig編程語言、針對IBM的DB2數(shù)據(jù)庫的連接件以及IBM BigSheets，后者是一種基于瀏覽器的、使用電子表格隱喻(spreadsheet-metaphor)的界面，用于探究和分析Hadoop里面的數(shù)據(jù)。IBM在平臺管理，安全認證，作業(yè)調(diào)度算法，與DB2及netezza的集成上做了增強。從IBM中國開發(fā)中心信息管理總經(jīng)理朱輝下面這句話就可以看出IBM對于biginsights的定位：BigInsights并沒有替代OLAP(Online Analytical Processing)或OLTP(Online Transaction Processing)應(yīng)用程序，但它可以整合其中，用于“過濾大量原始數(shù)據(jù)并合并結(jié)果，將結(jié)果以結(jié)構(gòu)化數(shù)據(jù)的形式保存在DBMS或數(shù)據(jù)倉庫中”。

 

　　傳統(tǒng)的硬件廠商，華為，Intel也提供hadoop的版本

Intel 的商業(yè)版本，主要是強調(diào)其能提供全面的軟硬件解決方案設(shè)計，針對硬件具有更好的性能優(yōu)化，以及提供集群管理工具和安裝工具簡化了 Hadoop 的安裝和配置，能夠提供項目規(guī)劃到實施各階段專業(yè)的咨詢服務(wù)，實際中采購Intel版本貌似動力不足。

華為在硬件上具有天然的優(yōu)勢，在網(wǎng)絡(luò)，虛擬化，PC機等都有很強的硬件實力。華為的hadoop版本基于自研的Hadoop HA平臺，構(gòu)建NameNode、JobTracker、HiveServer的HA功能，進程故障后系統(tǒng)自動Failover，無需人工干預(yù)，這個也是對hadoop的小修補，遠不如mapR解決的徹底。華為在hadoop社區(qū)中的Contributor和committer也是國內(nèi)最多的，算是國內(nèi)技術(shù)實力較強的公司。

各發(fā)行版大事記

mapR

2011-05-25 ：宣布與EMC合作，EMC GREENPLUM HD 提供hadoop基礎(chǔ)版本。

2012-01-18：宣布與rainstor合作，

2012-03-05：宣布與informatica合作

2012-06-13:宣布成為Amazon Elastic MapReduce的計算選項

2012-06-28：成為Google App Engine的計算引擎

HortonWorks

2011-10-12：微軟宣布將于從雅虎分拆出來的Hortonworks合作開發(fā)，在Apache Hadoop上實現(xiàn)搭建Windows Server以及Windows Azure平臺。Hortonworks作為微軟的戰(zhàn)略合作伙伴將會借助自己在此領(lǐng)域的專長幫助最大化將Hadoop集成到微軟的產(chǎn)品之中。

2011-11-02：Hortonworks，Apache Hadoop項目的一個主要貢獻者，將分發(fā)Informatica HParser Community Edition。為Hadoop推出Informatica HParser。作為業(yè)界首個針對Hadoop環(huán)境的數(shù)據(jù)解析轉(zhuǎn)換解決方案，Informatica HParser利用MapReduce框架的并行性以有效地在Hadoop中把非結(jié)構(gòu)化復(fù)雜數(shù)據(jù)變成一個結(jié)構(gòu)化或半結(jié)構(gòu)化的格式。

2011-03-03 在今年3月初的Strate大會上，開源數(shù)據(jù)集成軟件廠商Talend宣布與Hortonworks達成協(xié)議，將合作把Talend開源數(shù)據(jù)集成工具帶入Apache

2012-03-12 ：TeraData就在周二宣布將與Hortonworks合作，并為客戶提供產(chǎn)品和服務(wù)。

2012-06-17：Hortonworks宣布將與VMware合作并推出一套運行于HDP高可靠性模式的工具。VMware的vSphere可監(jiān)測Hadoop的NameNode和JobTracker服務(wù)。如果服務(wù)出現(xiàn)錯誤時，vSphere可重定向操作實時備份服務(wù)，以保持集群的運行。

Cloudera：

2011年8月5日 – 戴爾宣布與Cloudera新的合作伙伴關(guān)系

2011年10月20日 – SGI和Cloudera聯(lián)合宣布，他們的公司已經(jīng)簽署協(xié)議，為SGI分發(fā)Cloudera的軟件預(yù)裝在SGI Hadoop集群中。

2012-01-26：今年1月發(fā)布的甲骨文大數(shù)據(jù)機(Oracle Big Data Appliance)將甲骨文-Sun分布式計算平臺與Cloudera的Apache Hadoop發(fā)行版、Cloudera管理器管理控制臺、R分析軟件的開源發(fā)行版以及甲骨文NoSQL數(shù)據(jù)庫結(jié)合起來。甲骨文還包括連接件，因而讓數(shù)據(jù)能夠在大數(shù)據(jù)機與甲骨文Exadata或傳統(tǒng)的甲骨文數(shù)據(jù)庫部署環(huán)境之間來回傳送。

2012-04-26：IBM宣布將Cloudera作為Hadoop商用版本的首選大數(shù)據(jù)平臺。

除了mapR以外的發(fā)行版?；径际窃贏pache hadoop上做了略微改進，只有mapR與Apache hadoop有較大區(qū)別，以下表格是一些功能上的區(qū)別，EMC Greenplum HD 是基于mapR所以功能同mapR。

 

http://www.slideshare.net/mcsrivas/design-scale-and-performance-of-maprs-distribution-for-hadoop

http://qing.weibo.com/2294942122/88ca09aa330003wz.html

http://qing.weibo.com/2294942122/88ca09aa330003x6.html

http://qing.weibo.com/2294942122/88ca09aa330003zv.html

http://qing.weibo.com/2294942122/88ca09aa330003zz.html

https://issues.apache.org/jira/browse/HDFS-347