大數(shù)據(jù)在IT行業(yè)是與云計(jì)算并駕齊驅(qū)的另一大熱門話題。“大數(shù)據(jù)” 指的是那些數(shù)量巨大、難于收集、處理、分析的數(shù)據(jù)集，這就容易出現(xiàn)存儲(chǔ)問(wèn)題，本文介紹的容易出現(xiàn)的幾大問(wèn)題。
“大數(shù)據(jù)”通常指的是那些數(shù)量巨大、難于收集、處理、分析的數(shù)據(jù)集，亦指那些在傳統(tǒng)基礎(chǔ)設(shè)施中長(zhǎng)期保存的數(shù)據(jù)。這里的“大”有幾層含義，它可以形容組織的大小，而更重要的是，它界定了企業(yè)中IT基礎(chǔ)設(shè)施的規(guī)模。業(yè)內(nèi)對(duì)大數(shù)據(jù)應(yīng)用寄予了無(wú)限的期望商業(yè)信息積累的越多價(jià)值也越大只不過(guò)我們需要一個(gè)方法把這些價(jià)值挖掘出來(lái)。
為什么現(xiàn)在要大數(shù)據(jù)?
與以往相比，我們除了有能力存儲(chǔ)更多的數(shù)據(jù)量之外，還要面對(duì)更多的數(shù)據(jù)類型。這些數(shù)據(jù)的來(lái)源包括網(wǎng)上交易、網(wǎng)絡(luò)社交活動(dòng)、自動(dòng)傳感器、移動(dòng)設(shè)備以及科學(xué)儀器等等。除了那些固定的數(shù)據(jù)生產(chǎn)源，各種交易行為還可能加快數(shù)據(jù)的積累速度。比如說(shuō)，社交類多媒體數(shù)據(jù)的爆炸性增長(zhǎng)就源于新的網(wǎng)上交易和記錄行為。數(shù)據(jù)永遠(yuǎn)都在增長(zhǎng)之中，但是，只有存儲(chǔ)海量數(shù)據(jù)的能力是不夠的，因?yàn)檫@并不能保證我們能夠成功地從中搜尋出商業(yè)價(jià)值。
數(shù)據(jù)是重要的生產(chǎn)要素
信息時(shí)代，數(shù)據(jù)儼然已成為一種重要的生產(chǎn)要素，如同資本、勞動(dòng)力和原材料等其他要素一樣，而且作為一種普遍需求，它也不再局限于某些特殊行業(yè)的應(yīng)用。各行各業(yè)的公司都在收集并利用大量的數(shù)據(jù)分析結(jié)果，盡可能的降低成本，提高產(chǎn)品質(zhì)量、提高生產(chǎn)效率以及創(chuàng)造新的產(chǎn)品。例如，通過(guò)分析直接從產(chǎn)品測(cè)試現(xiàn)場(chǎng)收集的數(shù)據(jù)，能夠幫助企業(yè)改進(jìn)設(shè)計(jì)。此外，一家公司還可以通過(guò)深入分析客戶行為，對(duì)比大量的市場(chǎng)數(shù)據(jù)，從而超越他的競(jìng)爭(zhēng)對(duì)手。
存儲(chǔ)技術(shù)必須跟上
隨著大數(shù)據(jù)應(yīng)用的爆發(fā)性增長(zhǎng)，它已經(jīng)衍生出了自己獨(dú)特的架構(gòu)，而且也直接推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)以及計(jì)算技術(shù)的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個(gè)新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動(dòng)的，就這個(gè)例子來(lái)說(shuō)，我們很明顯的看到大數(shù)據(jù)分析應(yīng)用需求正在影響著數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施的發(fā)展。
從另一方面看，這一變化對(duì)存儲(chǔ)廠商和其他IT基礎(chǔ)設(shè)施廠商未嘗不是一個(gè)機(jī)會(huì)。隨著結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)量的持續(xù)增長(zhǎng)，以及分析數(shù)據(jù)來(lái)源的多樣化，此前存儲(chǔ)系統(tǒng)的設(shè)計(jì)已經(jīng)無(wú)法滿足大數(shù)據(jù)應(yīng)用的需要。存儲(chǔ)廠商已經(jīng)意識(shí)到這一點(diǎn)，他們開(kāi)始修改基于塊和文件的存儲(chǔ)系統(tǒng)的架構(gòu)設(shè)計(jì)以適應(yīng)這些新的要求。在這里，我們會(huì)討論哪些與大數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施相關(guān)的屬性，看看它們?nèi)绾斡哟髷?shù)據(jù)的挑戰(zhàn)。
容量問(wèn)題
這里所說(shuō)的“大容量”通?？蛇_(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡(jiǎn)便，可以通過(guò)增加模塊或磁盤柜來(lái)增加容量，甚至不需要停機(jī)?；谶@樣的需求，客戶現(xiàn)在越來(lái)越青睞Scale-out架構(gòu)的存儲(chǔ)。Scale-out集群結(jié)構(gòu)的特點(diǎn)是每個(gè)節(jié)點(diǎn)除了具有一定的存儲(chǔ)容量之外，內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備，與傳統(tǒng)存儲(chǔ)系統(tǒng)的煙囪式架構(gòu)完全不同，Scale-out架構(gòu)可以實(shí)現(xiàn)無(wú)縫平滑的擴(kuò)展，避免存儲(chǔ)孤島。
“大數(shù)據(jù)”應(yīng)用除了數(shù)據(jù)規(guī)模巨大之外，還意味著擁有龐大的文件數(shù)量。因此如何管理文件系統(tǒng)層累積的元數(shù)據(jù)是一個(gè)難題，處理不當(dāng)?shù)脑挄?huì)影響到系統(tǒng)的擴(kuò)展能力和性能，而傳統(tǒng)的NAS系統(tǒng)就存在這一瓶頸。所幸的是，基于對(duì)象的存儲(chǔ)架構(gòu)就不存在這個(gè)問(wèn)題，它可以在一個(gè)系統(tǒng)中管理十億級(jí)別的文件數(shù)量，而且還不會(huì)像傳統(tǒng)存儲(chǔ)一樣遭遇元數(shù)據(jù)管理的困擾?；趯?duì)象的存儲(chǔ)系統(tǒng)還具有廣域擴(kuò)展能力，可以在多個(gè)不同的地點(diǎn)部署并組成一個(gè)跨區(qū)域的大型存儲(chǔ)基礎(chǔ)架構(gòu)。
延遲問(wèn)題
“大數(shù)據(jù)”應(yīng)用還存在實(shí)時(shí)性的問(wèn)題。特別是涉及到與網(wǎng)上交易或者金融類相關(guān)的應(yīng)用。舉個(gè)例子來(lái)說(shuō)，網(wǎng)絡(luò)成衣銷售行業(yè)的在線廣告推廣服務(wù)需要實(shí)時(shí)的對(duì)客戶的瀏覽記錄進(jìn)行分析，并準(zhǔn)確的進(jìn)行廣告投放。這就要求存儲(chǔ)系統(tǒng)在必須能夠支持上述特性同時(shí)保持較高的響應(yīng)速度，因?yàn)轫憫?yīng)延遲的結(jié)果是系統(tǒng)會(huì)推送“過(guò)期”的廣告內(nèi)容給客戶。這種場(chǎng)景下，Scale-out架構(gòu)的存儲(chǔ)系統(tǒng)就可以發(fā)揮出優(yōu)勢(shì)，因?yàn)樗拿恳粋€(gè)節(jié)點(diǎn)都具有處理和互聯(lián)組件，在增加容量的同時(shí)處理能力也可以同步增長(zhǎng)。而基于對(duì)象的存儲(chǔ)系統(tǒng)則能夠支持并發(fā)的數(shù)據(jù)流，從而進(jìn)一步提高數(shù)據(jù)吞吐量。