前言
我們講解了Hadoop單節(jié)點的安裝,并且已經(jīng)通過VMware安裝了一臺CentOS 6.8的Linux系統(tǒng),咱們本篇的目標就是要配置一個真正的完全分布式的Hadoop集群,閑言少敘,進入本篇的正題。
技術(shù)準備
VMware虛擬機、CentOS 6.8 64 bit
安裝流程
我們先來回顧上一篇我們完成的單節(jié)點的Hadoop環(huán)境配置,已經(jīng)配置了一個CentOS 6.8 并且完成了java運行環(huán)境的搭建,Hosts文件的配置、計算機名等諸多細節(jié)。
其實完成這一步之后我們就已經(jīng)完成了Hadoop集群的搭建的一半的工作了,因為我們知道通過虛擬機搭建所搭建的好處就是 直接拷貝機器 。多臺同步進行操作,減少分別配置的時間消耗浪費。這也是虛擬化技術(shù)所帶來的優(yōu)勢。
下面,咱們進去分布式系統(tǒng)的詳細操作過程。
1、首先需要在VMWare中將之前創(chuàng)建的單實例的計算機進行拷貝。
這里根據(jù)之前第一篇文章的規(guī)劃,我們至少需要再克隆出三臺計算機,作為DataNode數(shù)據(jù)節(jié)點的數(shù)據(jù)存儲。之前的上一臺機器作為Master主節(jié)點進行管理。

這里先來梳理一下整個Hadoop集群的物理架構(gòu)圖,大家有一個直接的觀念和認識,上表中已經(jīng)和明確了,總共需要5臺服務器來使用,四臺用來搭建Hadoop集群使用,另外一臺( 可選 )作為MySQL等外圍管理Hadoop集群來使用。
我們在開發(fā)的時候一般也是直接通過連接外圍的這臺機器來管理Hadoop整個集群。

根據(jù)上面的物理規(guī)劃圖應該對整個架構(gòu)有一個清晰的認識了,好,咱們進行實操。
關(guān)于在VMWare中進行虛擬機的拷貝是一個比較簡單的過程。截圖如下:

然后,就是下一步就行了,這里需要記住的是,一定要選擇 克隆一個完整的 而不是快照。

然后,根據(jù)計算機名輸入機器名就可以了??寺≈蟮臋C器如下:

2、配置各個Slave節(jié)點的機器信息。
關(guān)于各個Slave服務器的配置基本分為如下基本部分:
首先需要手動更改各個從節(jié)點的 計算機名和Hosts文件 (必須!)
然后配置各個從節(jié)點的內(nèi)存值,在第一篇的文章中我已經(jīng)分析過了,這里可以將這里的內(nèi)存值設置的比Master節(jié)點少點,(土豪公司忽略!)
最后配置的就是存儲了,這個自己根據(jù)之前的計算公式計算出來就可以了。
首先,進入各個機器中更改Hosts文件和計算機名,在上一篇文章我已經(jīng)介紹過了,大家可以上一篇翻閱,這里直接寫出腳本如下:
vim /etc/sysconfig/network
vim /etc/hosts
計算機名和Hosts配置文件按照之前規(guī)劃完成就行了,同樣網(wǎng)絡的IP地址也是按照規(guī)劃設置成固定的地址。

在配置完這一切之后,重啟完各個機器之后,確保 各個節(jié)點之間可以ping 通(重點!!!)。

然后剩下的內(nèi)存配置,直接關(guān)閉掉虛擬機,在VMWare中進行設置就可以了,很簡單。

這里根據(jù)需要自行調(diào)整,然后如果可以的話,盡量將主節(jié)點Master的CUP處理器設置成多路多核,這樣設置的原因,我第一篇文章中就已經(jīng)詳細分析過了。

至此,各個服務器的基礎配置已經(jīng)完成了。