隨著物聯(lián)網(wǎng)、社交網(wǎng)絡等新的互聯(lián)網(wǎng)技術的發(fā)展，在為人們帶來便利的同時，也產(chǎn)生了大量的、結構化的非格式化的數(shù)據(jù)。如何通過數(shù)據(jù)挖掘，從海量數(shù)據(jù)中獲得有用的信息，為用戶提供好的用戶體驗，增強企業(yè)的競爭力，這對企業(yè)來說是一個挑戰(zhàn)。
▲圖1 圓桌論壇：如何應對海量數(shù)據(jù)挑戰(zhàn)?(從左至右：主持人、百度首席科學家威廉.張、RackSpace CIO John Engates、Yahoo!北京全球研發(fā)中心架構師周軼平、SAP 中國區(qū)企業(yè)信息管理資深顧問杜濤)
各巨頭的數(shù)據(jù)量級大曝光
百度威廉.張表示，“數(shù)百PB，每一天需要處理的數(shù)據(jù)是數(shù)十個TB，許多數(shù)據(jù)要在幾秒鐘之內處理，很多數(shù)據(jù)在幾分鐘之內要處理，更多的是幾個小時之內處理就夠了，幾個小時處理數(shù)十個PB的數(shù)據(jù)，也是很困難的。所有的策略都是針對實時性和數(shù)據(jù)處理的時效性理來做的?；ヂ?lián)網(wǎng)用戶的需求是更加實時，如微博、團購、秒殺等，所以說實時處理十分重要?！?/P>
Yahoo!周軼平談道，“雅虎的云計算平臺綜述超過三萬臺機器，最大的超過4000太左右，總存儲容量超過了100PB?！彼硎荆呕⒆罱帕撕芏嗑υ诒Ｗo用戶的隱私和數(shù)據(jù)安全性上，歐盟規(guī)定雅虎不能夠存儲用戶的數(shù)據(jù)超過一百天，雖然不能保存，但是雅虎做很深入的數(shù)據(jù)挖掘，從數(shù)據(jù)瓦局得到一些真正有價值的信息，并把這些信息保存下來。”
SAP杜濤也介紹了其需要幫助客戶處理的數(shù)據(jù)量的級別，“SAP作為企業(yè)級應用的提供商，更關注客戶的數(shù)據(jù)量是多少，這些客戶包括中小型企業(yè)到大型的客戶，其中有數(shù)據(jù)密集型的企業(yè)，如電信、金融、政府、零售等等，客戶的數(shù)量級包括從幾個TB到數(shù)百個TB?！蓖瑫r，SAP自己有一個很大的數(shù)據(jù)中心，主要是為SAP的客戶提供服務，有三萬臺服務器，數(shù)據(jù)量大概是15TB并且有越來越多的客戶的數(shù)據(jù)會在SAP的數(shù)據(jù)中心。
如何存儲并利用這些海量的數(shù)據(jù)?
如此海量的數(shù)據(jù)，如何進行存儲、分析、處理?并基于海量數(shù)據(jù)的挖掘，為企業(yè)創(chuàng)造更大的商業(yè)價值?針對海量數(shù)據(jù)的挖掘的技術架構，幾位專家分別介紹了自己的法寶。
SAP杜濤從兩個方面介紹SAP的海量數(shù)據(jù)處理方法，“一方面，在SAP的數(shù)據(jù)中心，采用了標準的云計算所用的虛擬化和分布式存儲;另一方面，針對單獨的企業(yè)，SAP在4月16號在德國發(fā)生了內存計算技術。海量數(shù)據(jù)的讀取和分析，在傳統(tǒng)的架構下，基于磁盤的IO是以毫秒級來計算的，而在內存RAM中處理時間是nm級的。所以SAP把客戶的數(shù)據(jù)經(jīng)過壓縮的處理放到內存中去，進行讀取和分析，把之前在應用層的分析放到內存里面去做，提升性能，幫助用戶充分利用他們的數(shù)據(jù)?！?/P>
Yahoo!的云計算的體系是以Hadoop為中心的，周軼平介紹到，并從數(shù)據(jù)采集(HDFS)、數(shù)據(jù)存儲和處理、數(shù)據(jù)服務三個層面入手，介紹了雅虎的海量數(shù)據(jù)處理的方案。數(shù)據(jù)采集方面，yahoo建立了Data Have負責從雅虎遍布全球數(shù)據(jù)中心中的幾十萬臺機器上實時收集數(shù)據(jù)，它有2個干道，主干道負責把數(shù)據(jù)以很高的一致性經(jīng)過各種過濾清理以后，放到Hadoop的平臺上。但是這樣的處理方法實時性不是很高，為了滿足實時性的需求，還有一個旁道系統(tǒng)，能夠在秒級直接將數(shù)據(jù)源導入到Hadoop上。雅虎的數(shù)據(jù)處理都是基于Hadoop的實時的服務，同時Yahoop還有一套很大的不同業(yè)務邏輯所需求的服務系統(tǒng)，超過一半的數(shù)據(jù)處理都是使用Hadoop Pig數(shù)據(jù)引擎。