一份來自Novell公司Ponemon研究所針對對美國94個大型企業(yè)的調(diào)查顯示，平均每個公司每年花在非結(jié)構(gòu)化數(shù)據(jù)處理上的成本為210萬美元；而一些受到嚴(yán)格監(jiān)管的行業(yè)，比如金融、制藥、通訊和醫(yī)療行業(yè)的成本最高，每年將達(dá)到250萬美元；另一個來自Unisphere Research的調(diào)查則顯示，62%的受訪者表示非結(jié)構(gòu)化信息的產(chǎn)生是不可避免的，在未來十年內(nèi)將超過傳統(tǒng)數(shù)據(jù)。此外有35%的人表示，在未來的36個月里，非結(jié)構(gòu)化的信息量將超過傳統(tǒng)的關(guān)系數(shù)據(jù)。

據(jù)IDC的預(yù)測，現(xiàn)在全球數(shù)據(jù)量每18個月就要翻一番，每年全球產(chǎn)生的數(shù)據(jù)量已經(jīng)高達(dá)40EB(1EB=1000PB)。而這些瘋狂增長的數(shù)據(jù)主要來自非結(jié)構(gòu)化數(shù)據(jù)。

事實(shí)上，結(jié)構(gòu)化數(shù)據(jù)成為主流早有征兆，2008年，基于文件的存儲系統(tǒng)容量出貨量就以微弱的優(yōu)勢首次超過了基于塊的存儲系統(tǒng)容量的出貨量，而近幾年，這一差距正在逐漸拉大，據(jù)Gartner預(yù)計(jì)，到2012年，基于文件的存儲系統(tǒng)容量將占到總?cè)萘康?0%。而IDC也同時預(yù)測，鑒于基于文件類型的非結(jié)構(gòu)化數(shù)據(jù)的增速極快，到2012年，全球存儲市場的總出貨量中將有80%的容量被文件級數(shù)據(jù)所覆蓋。

顯然，對于擁有非結(jié)構(gòu)化數(shù)據(jù)處理需求的企業(yè)而言，需要正視它所帶來的麻煩了。

什么是非結(jié)構(gòu)化數(shù)據(jù)？

非結(jié)構(gòu)化數(shù)據(jù)是相對于結(jié)構(gòu)化數(shù)據(jù)而言，結(jié)構(gòu)化數(shù)據(jù)主要是指那些數(shù)字的或能用統(tǒng)一的結(jié)構(gòu)來表示的數(shù)據(jù)，如存儲在數(shù)據(jù)庫中的數(shù)據(jù)，這些數(shù)據(jù)基本上是以塊(Block)的形式呈現(xiàn)。而非結(jié)構(gòu)化數(shù)據(jù)是指那些無法用數(shù)字或統(tǒng)一的結(jié)構(gòu)來表示的數(shù)據(jù)，像文本、圖像、視頻、音頻、報(bào)表、網(wǎng)頁等都是非結(jié)構(gòu)化數(shù)據(jù)，它們大多以文件(File)的形式保存。

實(shí)際上，造成非結(jié)構(gòu)化數(shù)據(jù)激增的原因主要有兩個：一是云時代的到來使得數(shù)據(jù)創(chuàng)造的主題由企業(yè)逐漸轉(zhuǎn)向用戶個體，而個體所產(chǎn)生的絕大部分?jǐn)?shù)據(jù)均為圖片、文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù)；另一方面，信息化技術(shù)的普及使得企業(yè)更多的辦公流程通過網(wǎng)絡(luò)得以實(shí)現(xiàn)，以往紙質(zhì)的表單、票據(jù)等現(xiàn)在都實(shí)現(xiàn)了數(shù)字化存檔，而這方面產(chǎn)生的數(shù)據(jù)也以非結(jié)構(gòu)化數(shù)據(jù)為主。

比如Web頁面，其通常被認(rèn)為是一個典型的非結(jié)構(gòu)化數(shù)據(jù)，盡管基本上所有的網(wǎng)頁都是由HTML語言組成，具備豐富的結(jié)構(gòu)定義。但是Web頁面還包含鏈接和引用外部的內(nèi)容，而這些內(nèi)容往往是非結(jié)構(gòu)化的內(nèi)容，如圖像、XML文件、動畫等。

此外，非結(jié)構(gòu)化數(shù)據(jù)也是在客戶關(guān)系管理（CRM）系統(tǒng)中普遍存在，特別是客戶服務(wù)代表和呼叫中心的工作人員的筆記記錄。

面對由非結(jié)構(gòu)化數(shù)據(jù)+傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)組成的“Big Data”，我們該如何應(yīng)對呢？

顯然，集成所有這些數(shù)據(jù)將需要推陳出新。40年前的數(shù)據(jù)管理系統(tǒng)需要更高級的程序能夠管理所有數(shù)據(jù)類型，包括結(jié)構(gòu)化和非結(jié)構(gòu)化，并可滿足分布式數(shù)據(jù)部署在全球網(wǎng)絡(luò)任何地方的需求。

非結(jié)構(gòu)化數(shù)據(jù)——RAID模式已過時

在傳統(tǒng)的解決方案中，結(jié)構(gòu)化數(shù)據(jù)的訪問是小數(shù)據(jù)大密集的方式，一次數(shù)據(jù)庫的寫入讀出產(chǎn)生的數(shù)據(jù)量只有幾Byte或者是幾KB，但是它需要非常密集的訪問，對于一個大型企業(yè)的數(shù)據(jù)庫而言，其每秒的調(diào)用次數(shù)一般會達(dá)到幾十?dāng)?shù)百次，因此對于數(shù)據(jù)庫存儲設(shè)備的考量指標(biāo)是IOps，也就是一秒能夠完成的I/O數(shù)量。

因此為了最求更快的查詢速度，企業(yè)開始部署擁有更大I/O吞吐能力的SSD硬盤。但是新的問題開始出現(xiàn)，隨著SSD制成的提升（72nm->50nm->32nm->25nm)，單點(diǎn)可擦寫次數(shù)是在下降的，對于MLC，50nm的單點(diǎn)擦寫10000次，32nm就只有5000次左右，而最新的25nm單點(diǎn)3000次不到。

性能提升的同時也就意味著可靠性的下降，這實(shí)在是一個兩難的選擇。

雖然能夠通過軟件能力提升擦寫和磨損均衡算法，但這幾代SSD產(chǎn)品的壽命提升并不明顯。不過制程提升，容量也大幅度提升，用戶可以通過冗余更多空間來換取壽命，但這也并非是解決非結(jié)構(gòu)化數(shù)據(jù)的最好辦法。

阿里巴巴運(yùn)維部高級DBA張瑞表示，如果一套系統(tǒng)，雖然設(shè)計(jì)了RAID，但是壞盤后，重建需要十多個小時，而且整個系統(tǒng)的性能降級非常明顯，用戶是根本無法接受的，所以在考慮系統(tǒng)架構(gòu)上不要總是從最好的方面考慮，而是應(yīng)該從最差的情況考慮。

他表示，從某種意義上而言，重新設(shè)計(jì)新的系統(tǒng)，很重要的考慮因素需要考慮壞盤、壞節(jié)點(diǎn)、壞路徑對系統(tǒng)的影響，而且還要考慮損壞后，如何快速恢復(fù)。

顯然，處理結(jié)構(gòu)化數(shù)據(jù)最好的選擇依然是RAID，畢竟RAID技術(shù)因更大容量硬盤、更便宜的穩(wěn)定性硬盤深受用戶喜愛。但是對于非結(jié)構(gòu)化數(shù)據(jù)而言，當(dāng)存儲服務(wù)器里面的磁盤越來越多，容量越來越大后，目前的RAID卡技術(shù)也許真的不太適合了，一個好的非結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)將能夠提供非常大的I/O吞吐量，也就是傳輸帶寬。必然的趨勢是，非結(jié)構(gòu)化數(shù)據(jù)處理使用分布式計(jì)算的方式將會越來越多。

RAID不會以任何方式消亡，但是對新一代磁盤和新一代的存儲不斷增長的需求正在開放新的擴(kuò)展磁盤保護(hù)的新方法去超越RAID。RAID或許仍然是數(shù)據(jù)保護(hù)一個重要的部分，但是它將可能會是其他技術(shù)的補(bǔ)充。

未來的商業(yè)智能——混合數(shù)據(jù)的需求

對一個企業(yè)而言，非結(jié)構(gòu)化數(shù)據(jù)用于BI（商業(yè)智能）的目的不僅僅是分析數(shù)據(jù)，更多的的企業(yè)希望的是將結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)相結(jié)合進(jìn)行分析，企業(yè)希望能夠分析各種各樣的數(shù)據(jù)流：比如混合數(shù)據(jù)。

從傳統(tǒng)的數(shù)據(jù)倉庫來看，他們對非結(jié)構(gòu)化數(shù)據(jù)的支持非常好。因此，數(shù)據(jù)倉庫新興的架構(gòu)體系觀點(diǎn)是：將非結(jié)構(gòu)化數(shù)據(jù)存儲在像Hadoop這樣的分布式架構(gòu)中，并對這些數(shù)據(jù)做基本的分析工作。最后創(chuàng)建摘要信息傳遞到正在使用的數(shù)據(jù)倉庫做進(jìn)一步分析，企業(yè)還可以通過直接合并兩個不同的環(huán)境或通過例如Hadoop中聯(lián)合查詢的方式實(shí)現(xiàn)。

但現(xiàn)實(shí)的問題是傳統(tǒng)的BI工具不支持在同一查詢中分析查找結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。相反，你必須使用MapReduce或其他一些基于SQL的工具。

然而這并不意味著不存在合適的可同時處理結(jié)構(gòu)化和非結(jié)構(gòu)數(shù)據(jù)的工具。例如Endeca Latitude和CXAIR都支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的混合查詢功能。

這兩種產(chǎn)品實(shí)現(xiàn)的方法不同，但基本理念相同。就是從非結(jié)構(gòu)化數(shù)據(jù)中提取結(jié)構(gòu)，然后直接結(jié)合結(jié)構(gòu)化數(shù)據(jù)。這兩款產(chǎn)品都非常容易使用。而且允許用戶集中瀏覽數(shù)據(jù)，而不僅僅是產(chǎn)生報(bào)告。

目前來看，這兩家廠商在自己的市場方針上還是不同的。具體來說Latitude主要開發(fā)分析應(yīng)用程序，支持混合數(shù)據(jù)的瀏覽。而CXAIR則更傾向于傳統(tǒng)BI市場。

但似乎兩個廠商都沒有一個完美的解決方案可應(yīng)對所有混合數(shù)據(jù)所帶來的問題。

共同點(diǎn)是，他們都明確選擇倉庫存儲體系結(jié)構(gòu)。毫無疑問，內(nèi)置Endeca和Connexica技術(shù)并具有處理非結(jié)構(gòu)化數(shù)據(jù)功能是BI領(lǐng)導(dǎo)廠商所必需具備的。

分布式架構(gòu)將是最終的選擇

對于大型組織而言，處理非結(jié)構(gòu)化數(shù)據(jù)的能力的確是有必要的，但對于較小規(guī)模的公司，潛在的問題是這一解決方案成本過高。

云數(shù)據(jù)庫能否克服多年來一直困擾傳統(tǒng)數(shù)據(jù)庫的擴(kuò)展性和性能的問題。照目前的情況來看，為了獲取云數(shù)據(jù)庫的數(shù)據(jù)，需要求數(shù)據(jù)管理技術(shù)在一個集中的位置存儲數(shù)據(jù)庫中的所有數(shù)據(jù)。除此之外，還有一個嚴(yán)重的限制，就是傳統(tǒng)數(shù)據(jù)管理技術(shù)在管理非結(jié)構(gòu)化數(shù)據(jù)帶來的問題。

一種替代方法是將數(shù)據(jù)存儲在數(shù)據(jù)倉庫，例如Teradata的Aster Data或EMC的Greenplum，他們支持原生MapReduce提供的所有功能。但是如果嘗試這樣做的話會遇到擴(kuò)展性的問題。

而分布式計(jì)算則完美地解決了擴(kuò)展性的問題，因此目前幾乎所有的數(shù)據(jù)倉庫、數(shù)據(jù)分析廠商都開始宣布支持以Hadoop或Mapreduce為代表的分布式技術(shù)，這也是必然之選（但是所有的商業(yè)化的數(shù)據(jù)倉庫軟件都是價格不菲）。

當(dāng)然，對企業(yè)而言，另一個挑戰(zhàn)在于作出重大改變來應(yīng)對新的挑戰(zhàn)，而這些改變包括新架構(gòu)部署的費(fèi)用，提高監(jiān)管能力和日益復(fù)雜的IT基礎(chǔ)設(shè)施。

在云計(jì)算的架構(gòu)里，服務(wù)器或存儲設(shè)備將不可避免的比現(xiàn)在更加分散，這帶來數(shù)據(jù)管理，分布式設(shè)計(jì)和性能的挑戰(zhàn)。例如，一個數(shù)據(jù)庫管理系統(tǒng)，可以查詢分布在跨越多個地理位置上的數(shù)據(jù)中心的分布式數(shù)據(jù)，這是云計(jì)算普及中企業(yè)會遇到的一個新問題。

傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)不能滿足云數(shù)據(jù)庫管理系統(tǒng)的需求。集中式的架構(gòu)大部分是40年前設(shè)計(jì)的。這阻礙了他們被有效的分布式的存儲在數(shù)據(jù)中心之中。為了滿足云數(shù)據(jù)庫管理系統(tǒng)的最關(guān)鍵的特性，需要一個分布式的對等架構(gòu)。

企業(yè)需要數(shù)據(jù)管理的技術(shù)，可有效的獲取任何格式的數(shù)據(jù)，并分布在全球網(wǎng)絡(luò)的任何地方。無需上傳或下載大量的數(shù)據(jù)在互聯(lián)網(wǎng)上，這將是未來對云計(jì)算網(wǎng)絡(luò)的基本要求。