中國IDC圈4月8日報道,在2010年,沒有人知道什么是Hadoop,但是今天,房間里的大象這個標志已經(jīng)成為了大數(shù)據(jù)的寵兒。根據(jù)Wikibon, Hadoop市場在2012年,供應(yīng)商的收入已經(jīng)有256美元,預(yù)計2017年底增加到17億、程序員、架構(gòu)師、系統(tǒng)管理員和數(shù)據(jù)倉庫員都在千方百計地學(xué)習(xí)存儲和處理大數(shù)據(jù)集的Hadoop。開始一個Hadoop管理員面試將會成為一個單調(diào)枯燥的工作,如果你沒有花足夠的時間來準備。
專業(yè)人士正在嘗試為hadoop開發(fā)者和管理者工作,不僅僅是要努力準備hadoop管理者的面試題。當人們處在hadoop開發(fā)者的位置,可以自由的準備與管理相關(guān)的hadoop面試問題,這對于那些正在準備進入hadoop管理者的角色的人們是很重要的,獲得hadoop管理者面試問題的細節(jié)。在我之前的TOP100的帖子里的面試問題及答案和TOP50的Hadoop的面試問題,我們列出了所有可能對Hadoop開發(fā)面試者問的問題。本文列舉了頂級Hadoop管理員的面試問題及答案,這些問題和答案在hadoop管理工作面試時很可能會被問到的。
計算機研究發(fā)現(xiàn)Hadoop的技能差距是整個大數(shù)據(jù)范圍內(nèi)最大的。在大數(shù)據(jù)的空間里,Hadoop被各行業(yè)應(yīng)用,Hadoop管理的重要性是不容忽視的。無數(shù)的行業(yè)招聘Hadoop管理人員,確保他們的大數(shù)據(jù)系統(tǒng)可以在最復(fù)雜和動態(tài)的環(huán)境下被選中。從金融業(yè)到政府部門,各行業(yè)招聘hadoop管理人員來管理他們的大數(shù)據(jù)平臺。Hadoop管理專業(yè)人才的需求量正不斷上升,以滿足專業(yè)人才的缺乏。
如何準備一個Hadoop管理者面試?
Hadoop管理員面試,圍繞Hadoop軟件安裝,配置和維護,測試一個考生的知識范圍,一個Hadoop管理員需要基于利益相關(guān)者的需求研究實現(xiàn)特定的平臺大數(shù)據(jù)解決方案。這是一個面試者為Hadoop管理員面試所必要的,精通大型數(shù)據(jù)管理的概念。為了證明自己是一位合格的Hadoop管理員的候選人,確保對于處理Hadoop項目的知識和管理能力,展示特定領(lǐng)域的興趣和專業(yè)知識,具有多任務(wù)處理能力和領(lǐng)導(dǎo)能力。
如果你已經(jīng)申請了Hadoop的管理員工作,那么它值得你花一些時間去回顧這些列在下面的面試問題,當你準備面試時——
Hadoop管理員面試問題與回答
1、 解釋不同的配置文件以及它們位于何處
配置文件位于conf子目錄。Hadoop有3個不同的配置文件,hdfs-site.xml, core-site.xml 和 mapred-site.xml。
2、 要求運行Hadoop集群的進程是什么
Namenode,DataNode,TaskTracker和JobTracker
3、 你將如何重新啟動節(jié)點?
最簡單的做法是運行停止運行命令shell腳本,即點擊stop-all.sh。一旦這樣做了,重啟NameNode點擊start-all.sh。
4、 解釋在Hadoop上的不同的調(diào)度程序。
FIFO調(diào)度——調(diào)度系統(tǒng)中不考慮系統(tǒng)中的異質(zhì)性,但命令工作是基于排隊達到的時間。
COSHH——這個計劃考慮工作量,調(diào)度決策的聚類和用戶異質(zhì)性。
公平分享——Hadoop調(diào)度為每個用戶定義。這個地方包含一個資源地圖以及減少資源上的狹縫。每個用戶都可以使用自己的資源去執(zhí)行這個作業(yè)。
5、 列出幾個用于執(zhí)行復(fù)制操作的Hadoop命令
fs –put
fs –copyToLocal
fs –copyFromLocal
6、 什么是指揮用的JPS?
JPS命令用于驗證程序,這種程序運行Hadoop集群是否工作。它命令顯示輸出者的NameNode的現(xiàn)狀,Secondary NameNode, DataNode, TaskTracker 和 JobTracker。
7、 當Hadoop部署生產(chǎn)環(huán)境時,什么重要的硬件因素應(yīng)該考慮?
基于應(yīng)用程序的工作服務(wù)和管理服務(wù)之間的內(nèi)存系統(tǒng)的內(nèi)存需求會有所不同。
操作系統(tǒng)——一個64位操作系統(tǒng),避免了任何限制,可用于在工作節(jié)點上的內(nèi)存量。
存儲——最好是通過移動計算活動數(shù)據(jù)實現(xiàn)可擴展性和高性能的Hadoop平臺設(shè)計。
容量——大形的因子磁盤(3.5”)磁盤的成本比較低,相比比較小的形式因素磁盤允許存儲更多內(nèi)容。
網(wǎng)絡(luò)——兩個TOR網(wǎng)絡(luò)交換機提供了較好的冗余。
計算能力可以在Hadoop集群的Mapreduce槽可用的數(shù)量節(jié)點決定。
8、 有多少節(jié)點可以運行在一個單一的Hadoop集群?
只有一個
9、 當Hadoop集群上的節(jié)點下來會發(fā)生什么呢?
文件系統(tǒng)脫機時,Namenode下來了。