毫無(wú)疑問，大數(shù)據(jù)成了2012年的熱門詞。根據(jù)國(guó)外統(tǒng)計(jì)機(jī)構(gòu)的報(bào)告，大數(shù)據(jù)處理在今年的市場(chǎng)規(guī)模已經(jīng)達(dá)到700億美元并且正以每年15-20%的速度增長(zhǎng)。幾乎所有主要的大科技公司都對(duì)大數(shù)據(jù)感興趣，對(duì)該領(lǐng)域的產(chǎn)品及服務(wù)進(jìn)行了大量投入。其中包括了IBM、Oracel、EMC、HP、Dell、SGI、日立、Yahoo等，而且這個(gè)列表還在繼續(xù)。

IBM也在2011年中旬對(duì)外發(fā)布了針對(duì)大數(shù)據(jù)處理和分析技術(shù)：在SmartCloud平臺(tái)上新增基于Apache Hadoop的服務(wù)InfoSphere BigInsights分析軟件。在日前舉行的中國(guó)程序員、數(shù)據(jù)庫(kù)工程師“2011 IBM DB2 遷移之星大賽”媒體活動(dòng)上。IBM軟件集團(tuán)大中華區(qū)信息管理軟件總經(jīng)理盧偉權(quán)、IBM中國(guó)開發(fā)中心信息管理總經(jīng)理朱輝就相關(guān)話題分享了自己的看法。

3年前布局Hadoop研發(fā)

據(jù)介紹，IBM對(duì)Hadoop的研究開始于2～3年前。截止到目前，研究成果涉及作業(yè)調(diào)度、查詢語(yǔ)言等多個(gè)方面。作為典型應(yīng)用成果，IBM InfoSphere大數(shù)據(jù)分析平臺(tái)包括BigInsights和Streams，二者互補(bǔ)，Biglnsights對(duì)大規(guī)模的靜態(tài)數(shù)據(jù)進(jìn)行分析，它提供多節(jié)點(diǎn)的分布式計(jì)算，可以隨時(shí)增加節(jié)點(diǎn)，提升數(shù)據(jù)處理能力。Streams采用內(nèi)存計(jì)算方式分析實(shí)時(shí)數(shù)據(jù)。InfoSphere大數(shù)據(jù)分析平臺(tái)還集成了數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)庫(kù)、數(shù)據(jù)集成、業(yè)務(wù)流程管理等組件。

BigInsight整體框架圖

BigInsights基礎(chǔ)版和企業(yè)版均包含了Apache Hadoop和大量的開源軟件技術(shù)，具體包含的開源項(xiàng)目：

• Apache Hadoop包括Hadoop Distributed File System (HDFS)、MapReduce框架和通用的實(shí)用工具，是一種適用于數(shù)據(jù)密集型應(yīng)用的軟件框架，可用于開發(fā)分布式計(jì)算環(huán)境
• Pig是用于Hadoop的一種高級(jí)編程語(yǔ)言和運(yùn)行時(shí)環(huán)境
• Jaql是基于JavaScript Object Notation (JSON)的一種高級(jí)查詢語(yǔ)言，也支持SQL
• Hive是一種數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)架構(gòu)，設(shè)計(jì)用于支持批量查詢和分析Hadoop管理的文件
• HBase是一種以列為主的數(shù)據(jù)存儲(chǔ)環(huán)境，設(shè)計(jì)用于支持Hadoop中的稀疏填充的大型表格
• Flume是一種用來數(shù)據(jù)收集并將其加載到Hadoop中的工具
• Lucene是一種文本搜索和索引技術(shù)
• Avro是一種數(shù)據(jù)序列化技術(shù)
• ZooKeeper是分布式應(yīng)用程序的一種協(xié)作服務(wù)
• Oozie是工作流/作業(yè)編排技術(shù)

除了開源技術(shù)，BigInsights還包含了IBM開發(fā)的定制技術(shù)：一個(gè)文本分析引擎、一個(gè)用于商業(yè)分析的數(shù)據(jù)挖掘工具，以實(shí)現(xiàn)與企業(yè)軟件的整合和Hadoop增強(qiáng)的效果。

IBM中國(guó)開發(fā)中心信息管理總經(jīng)理朱輝

在IBM中國(guó)開發(fā)中心信息管理總經(jīng)理朱輝看來，BigInsights并沒有替代OLAP（Online Analytical Processing）或OLTP（Online Transaction Processing）應(yīng)用程序，但它可以整合其中，用于“過濾大量原始數(shù)據(jù)并合并結(jié)果，將結(jié)果以結(jié)構(gòu)化數(shù)據(jù)的形式保存在DBMS或數(shù)據(jù)倉(cāng)庫(kù)中”。IBM的Hadoop解決方案已經(jīng)問世了，客戶可以進(jìn)行測(cè)試。

Hadoop無(wú)法單一解決大數(shù)據(jù)問題

此外，朱輝認(rèn)為目前面臨的大數(shù)據(jù)分析和處理問題，業(yè)界需要一整套全面的解決方案。“當(dāng)前任何一種單一的產(chǎn)品都無(wú)法完整解決面臨的大數(shù)據(jù)的問題和挑戰(zhàn)?，F(xiàn)在行業(yè)當(dāng)中大家聽得最多的是Hadoop，但我不認(rèn)為基于任何一個(gè)例如Hadoop這樣的單一產(chǎn)品就能夠解決目前的問題。傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)在這當(dāng)中仍然扮演一個(gè)非常重要的角色，至少是海量數(shù)據(jù)巨大的產(chǎn)生源。”

此外，據(jù)當(dāng)天與會(huì)的IBM Big Data開發(fā)資深經(jīng)理王遠(yuǎn)洪介紹，IBM CDL(中國(guó)開發(fā)實(shí)驗(yàn)室)的研發(fā)人員參與了BigInsights項(xiàng)目的全球研發(fā)，并積極幫助國(guó)內(nèi)客戶在本地驗(yàn)證IBM基于Hadoop的數(shù)據(jù)分析平臺(tái)項(xiàng)目。

IBM軟件集團(tuán)大中華區(qū)信息管理軟件總經(jīng)理盧偉權(quán)

在當(dāng)天的活動(dòng)中，IBM軟件集團(tuán)大中華區(qū)信息管理軟件總經(jīng)理盧偉權(quán)介紹了本次中國(guó)程序員、數(shù)據(jù)庫(kù)工程師“2011 IBM DB2 遷移之星大賽”活動(dòng)情況。此次大賽于2011年9月20日在北京正式拉開帷幕，分為預(yù)賽、復(fù)賽、決賽三個(gè)階段。預(yù)賽采取了網(wǎng)上答題的方式進(jìn)行，選取成績(jī)最好的100名選手進(jìn)入復(fù)賽；進(jìn)入復(fù)賽的選手則根據(jù)地域、興趣自行組隊(duì)，按照組委會(huì)公布的應(yīng)用相關(guān)的方向和領(lǐng)域，向組委會(huì)提交團(tuán)隊(duì)的Proposal，由評(píng)委最終選出進(jìn)入決賽環(huán)節(jié)的10支隊(duì)伍，參加3月14日于北京進(jìn)行的總決賽。除獲得獎(jiǎng)金、證書等獎(jiǎng)勵(lì)外，競(jìng)賽優(yōu)勝隊(duì)伍還將獲得參觀IBM美國(guó)實(shí)驗(yàn)室的機(jī)會(huì)。

在早些時(shí)候，甲骨文也曾宣布其大數(shù)據(jù)系統(tǒng)Big Data Appliance將能夠支持Hadoop，而且微軟也暗示將在Azure云平臺(tái)和 Windows Server上對(duì)Hadoop進(jìn)行支持。此外，亞馬遜的Elastic MapReduce云服務(wù)也是基于Hadoop?？梢韵嘈?，大數(shù)據(jù)的解決 方案會(huì)受到業(yè)界的極大關(guān)注。