導(dǎo)讀：在上周的Strata大會(huì)上，與會(huì)者透露出有關(guān)下代Hadoop的消息。包括對(duì)6000節(jié)點(diǎn)的支持、配備高可用性的HDFS以及下一代MapReduce的特性等。而未來(lái)Hadoop替代操作系統(tǒng)的大膽想法也讓我們充滿無(wú)限遐想。

在上周的Strata大會(huì)上透露出一些有關(guān)下代Hadoop的消息。正如你聽到的，相比于之前最新版的Hadoop將比以任何時(shí)候都發(fā)生更大的變化。被神秘炒作的關(guān)于大小以及速度的新特性將會(huì)從根本上改變Hadoop的使用方式。

在Strata會(huì)議上Hortonworks創(chuàng)始人和Apache Hadoop項(xiàng)目VP Arun Murthy透露新版Hadoop的相關(guān)特性。下一代的Hadoop將支持6000節(jié)點(diǎn)，同時(shí)配備高可用性的HDFS（Hadoop Distributed File System）。

而下一代MapReduce框架則被命名為YARN或MRv2（MapReduce version 2）。新框架已經(jīng)不再是傳統(tǒng)的MapReduce框架，甚至與MapReduce無(wú)關(guān)，YARN可被看做是通用的運(yùn)行時(shí)框架，用戶可以編寫自己的計(jì)算框架，在該運(yùn)行環(huán)境中運(yùn)行。經(jīng)過(guò)改良的MapReduce將分離HDFS中塊和命名空間的管理，提高數(shù)據(jù)的可伸縮性。最重要的是改良后的MapReduce將對(duì)非MapReduce應(yīng)用進(jìn)行支持，這使得更多類型應(yīng)用將具備在MapReduce工作的能力。

在新的YARN框架下，JobTracker將具備兩個(gè)重要的功能——資源管理以及任務(wù)調(diào)度/監(jiān)視，并把它們分成獨(dú)立的進(jìn)程。同時(shí)具備全局的RM(ResourceManager)和AM(ApplicationMaster)。

ResourceManager與NodeManager共同組成整個(gè)數(shù)據(jù)計(jì)算框架。同時(shí)ResourceManager是系統(tǒng)中將資源分配給各個(gè)應(yīng)用的最終決策者。ApplicationMaster實(shí)際上是一個(gè)具體的框架庫(kù)，ApplicationMaster主要負(fù)責(zé)同調(diào)度器協(xié)商以獲取合適的容器，并跟蹤這些容器的狀態(tài)和監(jiān)控其進(jìn)度。

Hadoop為企業(yè)擴(kuò)大基礎(chǔ)設(shè)施提供了理由，同時(shí)Hadoop也是構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的企業(yè)以及SaaS應(yīng)用巨大的潛力。未來(lái)如果應(yīng)用框架足夠健壯，將會(huì)有大量的開發(fā)人員在Hadoop平臺(tái)開發(fā)應(yīng)用。但Hadoop沒(méi)有取代底層的操作系統(tǒng)的意向，相反Hadoop將作為操作系統(tǒng)與應(yīng)用之間的一層。

而另外一種大膽的設(shè)想是未來(lái)Hadoop應(yīng)用程序框架和文件系統(tǒng)可擴(kuò)展到裸機(jī)或其它外設(shè)，并有效地成為一個(gè)完全面向數(shù)據(jù)的操作系統(tǒng)。盡管這還有很長(zhǎng)的路要走。（李智/編譯）