一、hadoop發(fā)行版介紹
目前Hadoop發(fā)行版非常多,有Intel發(fā)行版,華為發(fā)行版、Cloudera發(fā)行版(CDH)、Hortonworks版本等,所有這些發(fā)行版均是基于Apache Hadoop衍生出來的,之所以有這么多的版本,是由于Apache Hadoop的開源協(xié)議決定的:任何人可以對其進行修改,并作為開源或商業(yè)產(chǎn)品發(fā)布/銷售。
目前而言,不收費的Hadoop版本主要有三個,都是國外廠商,分別是:
Apache(最原始的版本,所有發(fā)行版均基于這個版本進行改進)
Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,簡稱CDH)
Hortonworks版本(Hortonworks Data Platform,簡稱“HDP”)
對于國內用戶而言,絕大多數(shù)選擇CDH版本,Cloudera的CDH和Apache的Hadoop的區(qū)別如下:
(1) CDH對Hadoop版本的劃分非常清晰,截止目前為止,CDH共有5個版本,其中,前三個已經(jīng)不再更新,最近的兩個,分別是CDH4和CDH5,CDH4基于Hadoop2.0,CDH5基于hadoop2.2/2.3/2.5/2.6.相比而言,Apache版本則混亂得多;同時,CDH發(fā)行版比Apache hadoop在兼容性,安全性,穩(wěn)定性上有很大增強。
(2)CDH3是CDH第三個版本,基于Apache hadoop0.20.2改進而來,并融入了最新的patch,CDH4版本是基于Apache hadoop2.0.0改進的,CDH總是并應用了最新Bug修復或者Feature的Patch,并比Apache hadoop同功能版本提早發(fā)布,更新速度比Apache官方快。
(3)CDH支持Kerberos安全認證,apache hadoop則使用簡陋的用戶名匹配認證.
(4)CDH文檔完善清晰,很多采用Apache版本的用戶都會閱讀CDH提供的文檔,包括安裝文檔、升級文檔等。
(5)CDH支持yum/apt包,RPM包,tar包,Cloudera Manager三種方式安裝,Apache hadoop只支持Tar包安裝。
二、CDH發(fā)行版本介紹
CDH首先是100%開源,基于Apache協(xié)議。基于Apache Hadoop和相關projiect開發(fā)。可以做批量處理,交互式sql查詢和及時查詢,基于角色的權限控制。在企業(yè)中使用最廣的Hadoop分發(fā)版本。
Cloudera完善了CDH的版本,并提供了對hadoop的發(fā)布、配置和管理,監(jiān)控,診斷工具,在官網(wǎng)提供了多種集成發(fā)行版。如下圖所示:

1、單純CDH版本下載,目前最新版本為CDH5.8.2,可自由下載并免費無限制使用。
2、Cloudera Express,可免費下載使用,包含了CDH,以及Cloudera Manager(簡稱CM),CM提供了對集群的管理功能,比如自動化部署,中心化管理,監(jiān)控,診斷功能等。CM屬于非開源產(chǎn)品,Cloudera提供有限功能使用,之前對管理的數(shù)據(jù)節(jié)點限制為50個,目前已經(jīng)取消了此限制,可無限增加數(shù)據(jù)節(jié)點。
3、Cloudera Enterprise是官方的收費產(chǎn)品,可免費試用60天全功能版本,過期后需要注冊碼才能繼續(xù)使用,否則將變?yōu)镃loudera Express版本,包含CDH,以及Cloudera Manager。Cloudera Enterprise在發(fā)布、配置和管理,監(jiān)控,診斷,集成四個部分的功能是相同的。只有在高級管理功能中有區(qū)別,Cloudera Enterprise擁有這些功能,而Cloudera Express則沒有。
三、CDH發(fā)行版下載地址
可到官方網(wǎng)站下載頁面: http://www.cloudera.com/downloads.html , 也可以知道到下面地址下載不同版本:
http://archive.cloudera.com/cdh/
http://archive.cloudera.com/cdh4/
http://archive.cloudera.com/cdh5/
四、CDH與操作系統(tǒng)的依賴
CDH發(fā)行版本與操作系統(tǒng)的關系如下:
經(jīng)驗推薦:
hadoop-2.3.0-cdh5.1.5以及之前的版本,推薦linux操作系統(tǒng)版本為Centos6.x以上
hadoop-2.5.0-cdh5.2.0以及之后的版本,推薦linux操作系統(tǒng)版本為Centos7.x(Centos7.1/7.2,7.0不支持)以上。