
事實1:Hadoop是由多個產(chǎn)品組成的。
人們在談?wù)揌adoop的時候,常常把它當(dāng)做單一產(chǎn)品來看待,但事實上它由多個不同的產(chǎn)品共同組成。
Russom說:“Hadoop是一系列開源產(chǎn)品的組合,這些產(chǎn)品都是Apache軟件基金會的項目?!?br />
一提到Hadoop,人們往往將其與MapReduce放在一起,但其實HDFS和MapReduce一樣,也是Hadoop的基礎(chǔ)。
事實2:Apache Hadoop是開源技術(shù),但專有廠商也提供Hadoop產(chǎn)品。
由于Hadoop屬于開源技術(shù),可免費下載,所以IBM、Cloudera和EMC Greenplum等廠商都可以推出他們各自的Hadoop特別發(fā)行版本。
這些特別發(fā)行版本一般都會有一些附加特性,比如高級管理工具及相關(guān)的支持維護服務(wù)。有人可能對此嗤之以鼻:既然開源社區(qū)是免費的,那么我們?yōu)槭裁催€要為它的服務(wù)付費?Russom解釋道,這些版本的HDFS對一些IT部門更合適,特別是企業(yè)IT系統(tǒng)已經(jīng)相對成熟的用戶。
事實3:Hadoop是一個生態(tài)系統(tǒng),而非一個產(chǎn)品。
Hadoop是由開源社區(qū)和各個廠商共同開發(fā)和推動的。具體說來,廠商的Hadoop的產(chǎn)品其結(jié)構(gòu)化和關(guān)系性更強一些。
Russom說:“一直以來報表平臺、數(shù)據(jù)集成平臺在為更新的平臺提供各種各樣的接口,Hadoop當(dāng)然也不例外?!?br />
事實4:HDFS是文件系統(tǒng),而不是數(shù)據(jù)庫管理系統(tǒng)。
Russom最無法忍受的,就是人們常常把二者混為一談。能夠?qū)?shù)據(jù)集進行管理是數(shù)據(jù)管理系統(tǒng)很重要的特性之一,這一點HDFS是不具備的。
數(shù)據(jù)庫管理系統(tǒng)中,我們通過查詢索引可以實現(xiàn)對數(shù)據(jù)的隨機訪問,它往往處理的是結(jié)構(gòu)化的數(shù)據(jù),而在Hadoop中不會處理這樣的數(shù)據(jù)類型。
事實5:Hive與SQL類似,卻非標(biāo)準(zhǔn)SQL。
傳統(tǒng)獲取數(shù)據(jù)的業(yè)務(wù)工具大多都是基于SQL的,這比較讓人頭疼,因為Hadoop使用的是一種類似SQL但不是SQL的語言——Apache Hive和HiveQL。
Russom說:“我常聽到別人說,‘Hive學(xué)起來非常簡單,直接學(xué)Hive就行?!@并不能解決與SQL工具兼容的根本問題?!?br />
Russom認(rèn)為兼容性只是一個短時間問題,但卻阻礙了Hadoop的普及。
事實6:Hadoop與MapReduce相互關(guān)聯(lián),但不相互依賴。
MapReduce早在HDFS出現(xiàn)以前就由Google開發(fā)推出。除此之外,諸如MapR一類的廠商一直在宣傳MapReduce功能的多樣性,無需HDFS支持。
盡管如此,Russom卻認(rèn)為它們具有很好的互補性。HDFS的大部分價值都體現(xiàn)在可層疊到分布式文件系統(tǒng)的工具上。
事實7:MapReduce提供的是對分析的控制,而不是分析本身。
MapReduce是一種通用執(zhí)行驅(qū)動引擎,可協(xié)助大數(shù)據(jù)分析。它能讀取手寫代碼數(shù)據(jù),對其進行并行自動處理,并將結(jié)果映射到單一集合中。然而我們需要明確一點,MapReduce自身并不進行分析工作。
Russom說:“MapReduce可以看作是升級版的MPP架構(gòu)。你無論怎樣編寫代碼,它都可以把它們并行化,非常強大?!?br />
事實8:Hadoop的意義不僅僅在于數(shù)據(jù)量,更在于數(shù)據(jù)的多樣化。
有人把Hadoop歸類為海量數(shù)據(jù)處理技術(shù),但是Hadoop真正的價值卻是對多樣化數(shù)據(jù)處理的能力。
Russom說:“Hadoop的處理范圍為大多數(shù)數(shù)據(jù)倉庫所不及,比如針對半結(jié)構(gòu)化與完全非結(jié)構(gòu)化的數(shù)據(jù)。”
事實9:Hadoop是數(shù)據(jù)倉庫的補充,不是數(shù)據(jù)倉庫的替代品。
Hadoop對多樣化數(shù)據(jù)類型進行管理的能力使得“數(shù)據(jù)倉庫將死”的言論四起,然而Russom卻進行了反駁。
他反問道:“在IT領(lǐng)域,人們多久替換一項技術(shù)?幾乎從來沒有過?!?br />
數(shù)據(jù)倉庫在其領(lǐng)域中的性能仍然出色,Hadoop可起到對數(shù)據(jù)倉庫技術(shù)進行補充的作用。數(shù)據(jù)倉庫和其他系統(tǒng)的架構(gòu)越來越多地開始向分布式靠攏,Hadoop在這里將發(fā)揮其作用。
事實10:Hadoop不僅僅是Web分析。
Hadoop在互聯(lián)網(wǎng)中的運用非常普遍,Russom認(rèn)為Hadoop普及趨勢的部分原因是因為它可以處理更多類型的分析。
更多詳細(xì)信息,請您微信關(guān)注“計算網(wǎng)”公眾號: