當社交網(wǎng)絡(luò)興起,移動互連快速發(fā)展,數(shù)據(jù)傳感器的大量應(yīng)用以及云計算帶來了新一輪的數(shù)據(jù)大集中,在這個時代“數(shù)據(jù)”出現(xiàn)了爆炸式的增長。據(jù)統(tǒng)計,2011年中國移動互聯(lián)網(wǎng)用戶數(shù)已經(jīng)達到3.5億,預(yù)計今年可能會突破5億;目前全球大概已經(jīng)有1萬億臺聯(lián)網(wǎng)的設(shè)備;在過去十年間,全球服務(wù)器增加兩倍,如今全球服務(wù)器數(shù)量已達到3190萬臺;2012年的數(shù)字化數(shù)據(jù)已經(jīng)達到2.7 ZB,比2011年增加48%...如今,數(shù)字宇宙中的數(shù)據(jù)不僅龐大,而且種類多樣,增長快速,“大數(shù)據(jù)”時代已經(jīng)來臨。
“數(shù)據(jù)里面有黃金”
繼云計算之后,大數(shù)據(jù)成為時代最為前沿的話題。越來越多的企業(yè)開始進行大數(shù)據(jù)的研究,而傳統(tǒng)的IT廠商們也紛紛開始將重心投向大數(shù)據(jù)領(lǐng)域,試圖在這一新的契機中占領(lǐng)先機。那么,大數(shù)據(jù)到底是什么,又為何獨具魅力?雖然目前業(yè)內(nèi)對于大數(shù)據(jù)還沒有一個標準的、教科書式的定義。但對于大數(shù)據(jù)普遍描述大致有著以下幾種:海量的數(shù)據(jù);大量增長的交易數(shù)據(jù);需要存儲并進行監(jiān)管的數(shù)據(jù);爆炸的新數(shù)據(jù)來源等等。對于大數(shù)據(jù)中“大”的理解,主要有兩個方面,第一種是指大量的、快速增長的數(shù)據(jù),第二種則是數(shù)據(jù)中所蘊含的大的價值和洞察。
對于大數(shù)據(jù)的第二點普遍認知讓大數(shù)據(jù)變得炙手可熱,“數(shù)據(jù)里面有黃金”,這讓大數(shù)據(jù)充滿了誘惑力。麥肯錫全球研究機構(gòu)在2011年5月發(fā)布的《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個前沿領(lǐng)域》中表示,充分利用大數(shù)據(jù)可幫助全球個人定位服務(wù)提供商增加1000億美元收入、幫助歐洲公共部門的管理每年提升2500億美元產(chǎn)值、幫助美國醫(yī)療保健行業(yè)每年提升3000億美元產(chǎn)值,并可幫助美國零售業(yè)獲得60%以上的凈利潤增長。麥肯錫認為,數(shù)據(jù)逐漸成為重要的生產(chǎn)因素,人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。
從大數(shù)據(jù)中挖掘出有用的信息能夠幫助企業(yè)做出更加正確的決策,分析師認為,企業(yè)決策應(yīng)當更加依靠于數(shù)據(jù)而不是經(jīng)驗,雖然大數(shù)據(jù)中非結(jié)構(gòu)化數(shù)據(jù)要占到大多數(shù),但其中蘊藏著大量有關(guān)客戶行為和業(yè)務(wù)運營等重要信息,能夠創(chuàng)造巨大的商業(yè)價值。最早對大數(shù)據(jù)感興趣的是金融業(yè),而后零售、電信、房地產(chǎn)等行業(yè)也紛紛發(fā)布出利用大數(shù)據(jù)的成功案例,例如某國際零售巨頭通過消費者購買行為的分析,成功提高商品的銷量;又如房地產(chǎn)業(yè),從搜索引擎反饋的消費者對房市的搜索結(jié)果,甚至能夠預(yù)測到樓盤的銷量。
大數(shù)據(jù)是把雙刃劍
凡事都有兩面性,大數(shù)據(jù)也不例外。
大數(shù)據(jù)為企業(yè)、IT廠商們帶來巨大機會的同時,也給企業(yè)帶來了前所未有的挑戰(zhàn),特別對于IT基礎(chǔ)架構(gòu)而言。數(shù)據(jù)的快速增長讓企業(yè)IT基礎(chǔ)設(shè)施更加龐大而且難于管理,隨之而來的還有信息難于整合共享以及能耗的不斷飆升。據(jù)統(tǒng)計,過去十年間,服務(wù)器數(shù)量增加2倍,虛擬機數(shù)量增加了42%;過去5年間,服務(wù)器能耗增加了2倍;自2000年來,安全漏洞增加了8倍。故而,在享受大數(shù)據(jù)所帶來帶來的甜餅之前,企業(yè)首先要處理好IT基礎(chǔ)架構(gòu)所面對的難題,否則在探索大數(shù)據(jù)的道路上難免會出現(xiàn)各種障礙。
雖然大數(shù)據(jù)中蘊含著大價值,但企業(yè)想要在大數(shù)據(jù)中受益,首先數(shù)據(jù)要“大”,換句話說,目前來看,大數(shù)據(jù)還并不是適合每一家企業(yè)和每一種行業(yè),它更適合那些具有大量的、快速增長數(shù)據(jù)的企業(yè)。就像在沙堆中發(fā)現(xiàn)金子,沙堆大了,發(fā)現(xiàn)金子的幾率也就更大,如果刻意的去從沙堆中尋找金子,金子未必有,即使找到了,所耗費的人力物力也許比金子的價值還要大。比較典型的,金融、零售、電信、房地產(chǎn)、大型電子商務(wù)公司等涉及大量數(shù)據(jù)的企業(yè),也許能更早在大數(shù)據(jù)中獲益,同時,這些企業(yè)IT基礎(chǔ)架構(gòu)中的挑戰(zhàn)也會更早的浮現(xiàn)出來。
例如電信行業(yè),隨著移動互聯(lián)網(wǎng)的快速發(fā)展,電信需要迅速擴大IT基礎(chǔ)架構(gòu)來支撐新業(yè)務(wù)及不斷增加的負載,這就導(dǎo)致服務(wù)器蔓延,機房空間快速減少,能耗的開銷甚至要達到運營成本一半;同時,由于數(shù)據(jù)中心服務(wù)器架構(gòu)、配置、操作系統(tǒng)的多樣性,運營難度不斷提高。在衛(wèi)生行業(yè),IT基礎(chǔ)架構(gòu)要支撐電子病歷和健康檔案等文字圖像的存儲和查詢,由于電子病例是要跟蹤患者一生,基礎(chǔ)數(shù)據(jù)在以每年30%的速度增長;越來越多的跨地區(qū)轉(zhuǎn)診會診,需要數(shù)據(jù)的大集中以提供統(tǒng)一的數(shù)據(jù)視圖。
數(shù)據(jù)爆發(fā)為企業(yè)帶來了IT基礎(chǔ)架構(gòu)龐大、機房空間捉襟見肘、能耗飆升、管理復(fù)雜、運維成本飆升等難題,進行IT基礎(chǔ)架構(gòu)的整合是一個降低IT成本的一個好方法。進行整合能夠提高服務(wù)器利用率、降低能耗和管理的復(fù)雜度,更加容易實現(xiàn)資源的統(tǒng)一調(diào)配,能夠更加高效的實現(xiàn)大數(shù)據(jù)的存儲、分類、分析和挖掘等工作,因此可以說,整合是應(yīng)用大數(shù)據(jù)的一個基礎(chǔ)。但是企業(yè)應(yīng)用千姿百態(tài),IT基礎(chǔ)架構(gòu)也有所不同,我們通??吹礁嗟陌咐菍崿F(xiàn)整合后的良好收益,但實現(xiàn)整合也并非像說的那么簡單。
整合讓數(shù)據(jù)從分散變得集中,讓數(shù)據(jù)變得很“大”,也就意味著比分布式要面臨更大的風險,這包含兩方面的考慮:第一,在IT基礎(chǔ)架構(gòu)層面,整合讓服務(wù)器、存儲等設(shè)備變得更少,那么,單點故障帶來的損失,將會比分布式的部署要嚴重的多,故而整合時所選擇IT設(shè)施在安全、可靠性上要比分布式高得多;第二,在數(shù)據(jù)安全角度,雖然將數(shù)據(jù)集中到一起保護起來要更加簡單,但是也變得更加有誘惑力,一旦數(shù)據(jù)遭受入侵,遭受的損失也要大得多;故而在進行數(shù)據(jù)整合中,基礎(chǔ)架構(gòu)的安全性是首要考慮的因素之一。
整合存痛點 安全是關(guān)鍵
如今實現(xiàn)IT基礎(chǔ)架構(gòu)整合的有效方法就是實施虛擬化,虛擬化改變了以往“單機單用”的應(yīng)用模式,能夠?qū)崿F(xiàn)應(yīng)用集中,提高系統(tǒng)資源的利用率,有效降低服務(wù)器數(shù)量及空間占用,降低能耗和制冷等運營成本。但對于那些機房中運行著成百上千個應(yīng)用、系統(tǒng)平臺復(fù)雜的用戶來說,如何實現(xiàn)虛擬化也是一個難題;另外,虛擬化這種“將所有雞蛋放進一個籃子”的方式有著天然的安全性隱患,也給不少運營著大量數(shù)據(jù)的用戶帶來了擔憂。
中國電信某省電信分公司信息化部負責人在接受采訪時曾介紹了其數(shù)據(jù)中心的情況:“大大小小的應(yīng)用有上百個,分布在數(shù)十臺服務(wù)器上;這些服務(wù)器采購時間不同,平臺和配置不盡相同,有些是小型機、有些是x86服務(wù)器;操作系統(tǒng)也不同,有的是Unix,有的是Linux,還有的服務(wù)器已經(jīng)進行了虛擬化,如何將這些不同平臺、不同操作系統(tǒng)的應(yīng)用進行整合是個難題。”在傳統(tǒng)的應(yīng)用模式中,每個應(yīng)用是單獨購買服務(wù)器,由于應(yīng)用不同,導(dǎo)致平臺也不同,這就造成了很多“煙囪式”的信息孤島,資源難于共享,即使采用虛擬化整合,要將如此多的不同平臺整合到少數(shù)服務(wù)器上,對硬件系統(tǒng)、虛擬化系統(tǒng)的能力和安全性都有著很高的要求。
這位負責人介紹說,這些應(yīng)用中不乏一些較為關(guān)鍵的應(yīng)用,如果實施虛擬化,要保證應(yīng)用的連續(xù)性,對虛擬化平臺的可靠性及安全性要求較高,對于虛擬化這種將“雞蛋放到一個籃子”的應(yīng)用方式,有著很大的挑戰(zhàn)。
零售業(yè)和餐飲業(yè)也是典型的涉及大量數(shù)據(jù)的行業(yè),根據(jù)消費者的行為分析,能夠分析出消費者的購買或者消費喜好,從而幫助企業(yè)做出更加正確的經(jīng)營策略。例如沃爾瑪是最早進行大數(shù)據(jù)分析的零售企業(yè)之一,成功提高貨品銷量;Tesco公司經(jīng)過大數(shù)據(jù)分析,將超市開到了地鐵的墻上;可口可樂利用大數(shù)據(jù)分析,發(fā)現(xiàn)消費者喜好來開發(fā)新品。零售和餐飲業(yè)有著一些共性:業(yè)務(wù)數(shù)據(jù)增長快速、門店眾多,其傳統(tǒng)的信息化模式往往是一種分布式的“豎井”架構(gòu),信息難于共享和管理;如果采用集中式的IT部署模式,則能夠大大降低信息的管理難度,實現(xiàn)資源共享,降低運營成本,并更加有利于對大數(shù)據(jù)的利用。
筆者曾采訪過兩位國內(nèi)知名餐飲和零售行業(yè)ISV的負責人,這兩家公司在餐飲及零售行業(yè)有著多年的信息化實施經(jīng)驗。這兩位負責人的觀點比較一致:雖然集中式的IT部署方式降低了管理難度,能幫助客戶降低信息化的成本,但由于涉及到多個門店的業(yè)務(wù),進行整合的IT基礎(chǔ)架構(gòu)在可靠性和安全性上要非常高,如果業(yè)務(wù)中斷,或者數(shù)據(jù)丟失或損壞,將直接影響消費者體驗,這為客戶帶來的損失將是巨大的。故而他們對于整合平臺的選擇,安全可靠處于第一位,然后才是性能和擴展性。
某省地稅的一位信息化負責人也面臨著基礎(chǔ)架構(gòu)整合上的難點,這位負責人介紹說,在當前稅務(wù)行業(yè)信息化推進當中,雖然各個單項系統(tǒng)業(yè)務(wù)功能已非常完善,但由于應(yīng)用系統(tǒng)之間信息互不銜接,此外部分應(yīng)用系統(tǒng)也程度不同地存在功能重疊等問題,這都給管理工作帶來諸多難點與不便。同時,隨著全國省級數(shù)據(jù)大集中的全面推進,對各國稅、地稅單位的信息化管理及IT基礎(chǔ)架構(gòu)整合也相應(yīng)提出了更高的標準和要求。故而,構(gòu)建未來稅務(wù)行業(yè)IT基礎(chǔ)架構(gòu)的關(guān)鍵就在于整合和簡化。
“我們對整合的要求就是設(shè)備具有高度的安全性,將數(shù)據(jù)存儲的風險降到最低”,同樣,這位信息化負責人對于整合的擔憂還是在安全性上,對于稅務(wù)這類用戶來說,整合后的業(yè)務(wù)系統(tǒng)不容中斷,同時數(shù)據(jù)的大集中要面臨更多的安全風險,這是必須要考慮的重點。這位負責人表示,該地稅信息化整合所需要的IT基礎(chǔ)架構(gòu),安全可靠是最先需要考慮的因素。
綜上所述,“大數(shù)據(jù)”所帶來的,有機遇也有挑戰(zhàn)。的確,數(shù)據(jù)中有黃金,對大數(shù)據(jù)進行有效地挖掘分析,能夠幫助企業(yè)獲得更多洞察,做出更加正確的決策,從而占領(lǐng)先機,這也是大數(shù)據(jù)所蘊含的最大魅力。同時,大數(shù)據(jù)所帶來的,還有對IT基礎(chǔ)架構(gòu)的巨大挑戰(zhàn),這促使客戶更加迫切的需要進行整合,從而降低IT的運營成本,將IT投資更多的用于生產(chǎn)、創(chuàng)新而不是運維。另一方面,整合也會給數(shù)據(jù)帶來安全上的風險,那么,在大數(shù)據(jù)時代,更加安全可靠的IT基礎(chǔ)架構(gòu),才能更加受到客戶的青睞,這也是IT廠商們需要共同努力的一個方向。