4.解壓hadoop，部署hadoop
(1)按照以上步驟配置完成后，最好重啟一下所有機(jī)器，確保所有的設(shè)置生效。
然后利用joe賬戶分別登錄三臺機(jī)器。將事先下載好的hadoop壓縮包復(fù)制到每臺機(jī)器的/home/joe/目錄下，然后在每一臺機(jī)器上分別使用
tar–zxvf /home/joe/ hadoop-3.0.0-alpha1.tar.gz 命令解壓安裝hadoop3.0.
(2)解壓完成后需要修改hadoop的配置文件。
(本小節(jié)步驟在三臺機(jī)器上都完全相同，三臺機(jī)器都需要進(jìn)行修改)
A.使用如下指令編輯hadoop-env.sh文件
gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/hadoop-env.sh
在文件中找到exportJAVA_HOME=${JAVA_HOME}
修改為exportJAVA_HOME=/usr/java/jdk1.8.0_101(填寫自己安裝的jdk的路徑)
B.修改core-site.xml文件
使用命令gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/core-site.xml
在標(biāo)簽之間插入以下內(nèi)容。
hadoop.tmp.dir/home/joe/cloudData
fs.defaultFShdfs://cMaster:8020
C.修改yarn-site.xml文件
使用以下命令修改gedit /home/joe/hadoop-3.0.0-alpha1/etc/hadoop/yarn-site.xml
在標(biāo)簽之間插入以下內(nèi)容
yarn.resourcemanager.hostnamecMaster
yarn.nodemanager.aux-servicesmapreduce_shuffle
D.修改mapred-site.xml.template
將/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/目錄下的mapred-site.xml.template重命名為mapred-site.xml
并用命令gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/mapred-site.xml
在標(biāo)簽之間加入如下內(nèi)容：
mapreduce.framework.nameyarn
E.啟動(dòng)hadoop
首先格式化主節(jié)點(diǎn)命名空間，使用命令：
/home/joe/hadoop-3.0.0-alpha1/bin/hdfsnamenode –formate
其次在主節(jié)點(diǎn)上啟動(dòng)存儲服務(wù)和資源管理主服務(wù)。使用命令：
/home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start namenode #啟動(dòng)主存儲服務(wù)
/home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start resourcemanager # 啟動(dòng)資源管理服務(wù)。
最后在從節(jié)點(diǎn)上啟動(dòng)存儲從服務(wù)和資源管理從服務(wù)(以下兩條命令要在兩臺機(jī)器上分別執(zhí)行)
/home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start datanode #啟動(dòng)從存儲服務(wù)
/home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start nodemanager #啟動(dòng)資源管理從服務(wù)
服務(wù)啟動(dòng)后在三臺機(jī)器上分別使用jps命令查看是否啟動(dòng)。
cSlave0和cSlave1如下圖所示
cMaster節(jié)點(diǎn)顯示如下圖所示
在cMaster機(jī)器的瀏覽器地址欄里輸入cMaster：50070可以看到HDFS的相關(guān)信息，cMaster：8088可以看到Y(jié)arn的相關(guān)信息。
如圖還可以查看從節(jié)點(diǎn)的信息。
至此 Hadoop3.0的配置工作已經(jīng)完成了。接下來可以使用示例程序Wordcount來利用分布式系統(tǒng)統(tǒng)計(jì)某個(gè)文件中單詞出現(xiàn)的次數(shù)。
在cMaster上以joe用戶登錄，然后執(zhí)行以下的操作命令：
cd/home/joe/hadoop-3.0.0-alpha1/
bin/hdfs dfs -mkdir /in
bin/hdfs dfs -put/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/* /in