海量數(shù)據(jù)正在不斷生成，對(duì)于急需改變自己傳統(tǒng)IT架構(gòu)的企業(yè)而言，面對(duì)海量數(shù)據(jù)，如何分析并有效利用其價(jià)值，同時(shí)優(yōu)化企業(yè)業(yè)務(wù)已成為現(xiàn)代企業(yè)轉(zhuǎn)型過(guò)程中不可避免的問(wèn)題。
作為海量數(shù)據(jù)處理的一個(gè)重要工具——Hadoop也開(kāi)始受到了越來(lái)越多人的關(guān)注。第四屆Hadoop大會(huì)——Hadoop Summit 2011大會(huì)6月29日在Santa Clara舉行了，備受關(guān)注的Yahoo新成立的子公司——Hortonworks在此次大會(huì)上亮相，號(hào)稱比Hadoop快三倍的MapR也亮相了、同時(shí)一些新的項(xiàng)目比如HCatalog等也受到了技術(shù)人員的關(guān)注。我們將此次會(huì)議的一些重要信息整理如下，提供給Hadoop的從業(yè)者們參考。
三大Hadoop支持商爭(zhēng)奇斗艷
Hortonworks——小象變成了大象
Eric Baldeschwieler做了主題演講，他也是Hortonworks（Yahoo剝離出的專門(mén)運(yùn)營(yíng)Hadoop的新公司）未來(lái)的CEO。Hortonworks公司將專門(mén)負(fù)責(zé)Hadoop的開(kāi)發(fā)和運(yùn)維。他表示新公司的目標(biāo)是提供商業(yè)上的支持，并為客戶提供完整的Apache Hadoop平臺(tái)。他還表示Cloudera是他們的競(jìng)爭(zhēng)對(duì)手，并且表示兩家公司非常相似。（Eric并未提及MapR，也許在他看來(lái)，由EMC贊助的MapR至少在開(kāi)放性上還很難與Hortonworks和cloudera相比較，不過(guò)在對(duì)Hadoop的支持上，Cloudera、MapR和Hortonworks將是最有力的三個(gè)貢獻(xiàn)者，從LOGO即可看出，Hadoop已經(jīng)從小象變成了三只大象）。Cloudera提供他們自己的Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)，類似于Apache發(fā)布的版本，Hortonworks的目標(biāo)是提供類似的服務(wù)。
此外，Sanjay Radia也談到了Hadoop對(duì)企業(yè)的影響，Hortonworks在工作安全性（防止用戶數(shù)據(jù)被別人刪除）、服務(wù)水平協(xié)議（SLA）、可預(yù)測(cè)性和資源共享調(diào)度等方面進(jìn)行了改善。
MapR——最大處理1010EB數(shù)據(jù)
MapR——MC Srivas介紹了MapR的算法，以及和Apache Hadoop的不同。MapR的Hadoop Distribution對(duì)Hadoop的可靠性、性能和易用方面都做了大量的提升。HDFS可以處理10-50PB的數(shù)據(jù)，而MapR則可以處理1010EB數(shù)據(jù)；HDFS的瓶頸是2000節(jié)點(diǎn)的集群，而MapR的的處理能力則是10000個(gè)節(jié)點(diǎn)以上的集群。
在NameNode HA方面，MapR把元數(shù)據(jù)放在了所有的節(jié)點(diǎn)，這樣不僅可以scale還可以實(shí)現(xiàn)HA，由于元數(shù)據(jù)很少檢索，因此有更多的內(nèi)存可用于MapReduce處理。另外，MapR與Pig和Oozie兼容，HDFS也完全兼容了NFS協(xié)議，支持隨機(jī)讀寫(xiě)功能。
此外，MapR還配備了快照，并號(hào)稱不會(huì)出現(xiàn)SPOF單節(jié)點(diǎn)故障，且與現(xiàn)有HDFS的API兼容，因此非常容易替換原有的系統(tǒng)。
目前，MapR M3 Free版本已經(jīng)提供下載。
Cloudera——3.5版本發(fā)布
CLoudera新發(fā)布的Enterprise 3.5是此次大會(huì)的亮點(diǎn)之一。產(chǎn)品副總裁Charles Zedlewski表示，“最大的變化在于能夠讓用戶在一兩分鐘內(nèi)就可以安裝和配置Google-like這樣的架構(gòu)”。
據(jù)了解，3.5版本能夠自動(dòng)配置、重啟服務(wù)器、添加刪除硬件。另外還有一個(gè)活動(dòng)監(jiān)視器，整合各組件的用戶行為，并提供實(shí)時(shí)查看活動(dòng)、活動(dòng)歷史以及工作；同時(shí)它還提高了資源和授權(quán)的管理，并改善LDAP（Lightweight Directory Access Protocol）系統(tǒng)安全。
Cloudera 3.5提供了10個(gè)組件。Charles Zedlewski還表示將進(jìn)一步增加3到4個(gè)CDH的組件，例如壓縮算法，利用Google的Snappy加快數(shù)據(jù)的導(dǎo)入和導(dǎo)出。
免費(fèi)的Express版已經(jīng)可以下載，這個(gè)版本可自動(dòng)安裝和配置50個(gè)節(jié)點(diǎn)。
Kafka、Haystack、HCatalog——海量數(shù)據(jù)處理的未來(lái)
Linkedln——只有7000行代碼的Kafka
Linkedln作為最近最熱的社交網(wǎng)站，受到了與會(huì)者們的重點(diǎn)關(guān)注。開(kāi)源的Kafka是Linkedln的開(kāi)源消息隊(duì)列——包括數(shù)據(jù)跟蹤、記錄、指標(biāo)、消息和隊(duì)列。僅僅由7000行Scala編寫(xiě)，據(jù)了解，Kafka每秒可以生產(chǎn)約25萬(wàn)消息（50 MB），每秒處理55萬(wàn)消息（110 MB）。
在kafka的核心思路中，不需要在內(nèi)存里緩存數(shù)據(jù)，因?yàn)椴僮飨到y(tǒng)的文件緩存已經(jīng)足夠完善和強(qiáng)大，只要不做隨機(jī)寫(xiě)，順序讀寫(xiě)的性能是非常高效的。kafka的數(shù)據(jù)只會(huì)順序append，數(shù)據(jù)的刪除策略是累積到一定程度或者超過(guò)一定時(shí)間再刪除。Kafka另一個(gè)獨(dú)特的地方是將消費(fèi)者信息保存在客戶端而不是MQ服務(wù)器，這樣服務(wù)器就不用記錄消息的投遞過(guò)程，每個(gè)客戶端都自己知道自己下一次應(yīng)該從什么地方什么位置讀取消息，消息的投遞過(guò)程也是采用客戶端主動(dòng)pull的模型，這樣大大減輕了服務(wù)器的負(fù)擔(dān)。Kafka還強(qiáng)調(diào)減少數(shù)據(jù)的序列化和拷貝開(kāi)銷，它會(huì)將一些消息組織成Message Set做批量存儲(chǔ)和發(fā)送，并且客戶端在pull數(shù)據(jù)的時(shí)候，盡量以zero-copy的方式傳輸，利用sendfile(對(duì)應(yīng)java里的FileChannel.transferTo/transferFrom)這樣的高級(jí)IO函數(shù)來(lái)減少拷貝開(kāi)銷?？梢?jiàn)，kafka是一個(gè)精心設(shè)計(jì)，特定于某些應(yīng)用的MQ系統(tǒng)，這種偏向特定領(lǐng)域的MQ系統(tǒng)我估計(jì)會(huì)越來(lái)越多，垂直化的產(chǎn)品策略值的考慮。
Facebook的Haystack
在Karthic Ranganathan的演講中，F(xiàn)aceBook每月有150億條信息，但不包括短信和電子郵件，大約有14TB的數(shù)據(jù)。此外還有1200億聊天數(shù)據(jù)，大約有25TB，每月總計(jì)會(huì)有300TB的數(shù)據(jù)生成。Facebook使用HBase滿足他們的在小消息（small message）、元數(shù)據(jù)、和搜索引擎的需求。
據(jù)了解，F(xiàn)acebook使用HBase是因?yàn)樗母咄掏铝繉?xiě)入簡(jiǎn)單并具有橫向擴(kuò)展的能力。Facebook使用被稱之為“Haystack”的系統(tǒng)存儲(chǔ)照片、大型郵件和附件，而“Haystack”的配置是16個(gè)內(nèi)核，12個(gè)1TB硬盤(pán)和48GB內(nèi)存（HBase占用24GB）。
此外Fackbook正在提高NameNode的高可用性和使用第二個(gè)NameNode，并使用閃存來(lái)提高性能。
IBM的Watson
Anant Jhingran是IBM的CTO，他重點(diǎn)介紹了IBM的Watson的分布式計(jì)算原理，實(shí)際上，盡管MapReduce被應(yīng)用到了Watson之中，但I(xiàn)BM并未對(duì)此進(jìn)行大規(guī)模的宣傳。（據(jù)現(xiàn)場(chǎng)目擊者描述，IBM只是介紹了Watson到底有多么強(qiáng)大，但到底是如何強(qiáng)大，IBM并未做出太多的描述）據(jù)了解，Watson的知識(shí)是來(lái)源于200萬(wàn)個(gè)網(wǎng)頁(yè)數(shù)據(jù)，總共2-5TB的數(shù)據(jù)量（即時(shí)性），而這一切，base在使用3000-4000瓦電量的基礎(chǔ)上（節(jié)能性）。他還指出，用戶界面和人工智能對(duì)于應(yīng)用程序來(lái)說(shuō)同樣重要。
HCatalog——解決HDFS存儲(chǔ)瓶頸
HCatalog是Apache新的一個(gè)開(kāi)源項(xiàng)目，由Yahoo剛成立的Hortonworks提交。HCatalog主要用于解決數(shù)據(jù)存儲(chǔ)、元數(shù)據(jù)的問(wèn)題。（主要解決HDFS的瓶頸），它提供了一個(gè)地方來(lái)存儲(chǔ)數(shù)據(jù)的狀態(tài)信息，這使得數(shù)據(jù)清理和歸檔工具可以很容易的進(jìn)行處理。
HCatalog值得期待，因?yàn)橛脩舨辉僭傩枰獡?dān)心文件和目錄的問(wèn)題。HCatalog還允許數(shù)據(jù)生產(chǎn)者改變寫(xiě)數(shù)據(jù)操作，同時(shí)還支持舊格式數(shù)據(jù)，對(duì)開(kāi)發(fā)人員而言，HCatalog目前提供了一個(gè)API，用于幫助數(shù)據(jù)存儲(chǔ)開(kāi)發(fā)人員讀取和寫(xiě)入不同的格式數(shù)據(jù)。
從公布的信息來(lái)看，Pig和Hive已經(jīng)開(kāi)始集成HCatalog，而Hortonworks正打算增加HCatalog對(duì)HBase的支持。
Giraph——大規(guī)模圖像處理
大規(guī)模圖形算法——Giraph。大規(guī)模的圖形算法是本次會(huì)議的一個(gè)熱點(diǎn)，Avery Ching談到了Giraph——基于Hadoop的大規(guī)模圖像處理。Yahoo過(guò)去使用MPI處理圖形，可惜MPI沒(méi)有容錯(cuò)功能，而作為一個(gè)迭代的圖形處理庫(kù)，Giraph具有容錯(cuò)和動(dòng)態(tài)調(diào)節(jié)的功能。
實(shí)際上，雅虎的Webmap是一個(gè)用來(lái)計(jì)算網(wǎng)頁(yè)間鏈接關(guān)系，和基于鏈接關(guān)系的feature的算法。最主要的部分是link inversion和類似page rank的迭代算法，Giraph主要是webmap中相關(guān)算法的系統(tǒng)化框架化。
Hadoop in CBSi
令人驚訝的是，作為一個(gè)媒體集團(tuán)，CBSi居然也擁有自己的MapReduce技術(shù)，并支持Chukwa、Pig、Hive、HBase、Cascading、Sqoop、Oozie等等。CBSi用了100個(gè)節(jié)點(diǎn)、500TB磁盤(pán)來(lái)處理2.35億個(gè)媒體文件。CBSi的Hadoop平臺(tái)主要功能是數(shù)據(jù)挖掘、實(shí)驗(yàn)和對(duì)廣告系統(tǒng)優(yōu)化。而它正希望添加Oozie、Azkaban、HCatalog以及Hama(graph processing)到它的Hadoop平臺(tái)之上。