天下武功唯快不破，然“大數(shù)據(jù)＋”時(shí)代的開啟，讓很多成名已久的“武林高手”扼腕嘆息，結(jié)構(gòu)化數(shù)據(jù)包打天下的時(shí)代已經(jīng)成為歷史！從IT到DT意味著什么？意味著需要頓悟新的功法，應(yīng)對(duì)更殘酷的江湖競爭！
繼云計(jì)算之后，大數(shù)據(jù)迅速躋身IT江湖熱門功法排行榜。云和大數(shù)據(jù)好比硬幣的兩面，云計(jì)算是大數(shù)據(jù)處理的依托平臺(tái)，大數(shù)據(jù)則是云計(jì)算最典型的應(yīng)用，正引發(fā)全球范圍內(nèi)深刻的技術(shù)和商業(yè)變革。在這個(gè)廣闊的市場(chǎng)空間，浪潮怎會(huì)缺席？
時(shí)勢(shì)造英雄：結(jié)構(gòu)化數(shù)據(jù)“之退”與非結(jié)構(gòu)化數(shù)據(jù)“之進(jìn)”
傳統(tǒng)數(shù)據(jù)處理方式，以結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)增長緩慢、系統(tǒng)都比較孤立，用傳統(tǒng)關(guān)系型數(shù)據(jù)庫來管理這些數(shù)據(jù)基本可以滿足各類應(yīng)用開發(fā)。但是在大數(shù)據(jù)時(shí)代，數(shù)據(jù)來源更加豐富，很多數(shù)據(jù)通過設(shè)備、服務(wù)器、應(yīng)用自動(dòng)產(chǎn)生的，這些數(shù)據(jù)以非結(jié)構(gòu)、半結(jié)構(gòu)化為主，增長速度快，價(jià)值密度低。所謂的 “大數(shù)據(jù)生態(tài)”，數(shù)據(jù)類型多樣、計(jì)算場(chǎng)景復(fù)雜，傳統(tǒng)數(shù)據(jù)庫對(duì)這類需求和應(yīng)用在架構(gòu)和功能上幾乎束手無策，需要不同的技術(shù)手段支撐，這樣其實(shí)就給類似 Hadoop、MPP、內(nèi)存數(shù)據(jù)庫等架構(gòu)體系提供了很好的發(fā)展機(jī)會(huì)和空間。大數(shù)據(jù)生態(tài)除了傳統(tǒng)關(guān)系數(shù)據(jù)庫之外，還需要MPP、 NewSQL、NoSQL、流式計(jì)算、實(shí)時(shí)計(jì)算、內(nèi)存計(jì)算等多種存儲(chǔ)和計(jì)算手段。
浪潮近期同步推出云海Insight三劍客：云海Insight HD、云海Insight MPP、云海Insight MemDB，涵蓋了當(dāng)前主流的分布式數(shù)據(jù)存儲(chǔ)和計(jì)算組件，能支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化等幾乎全部數(shù)據(jù)類型的處理。幫助企業(yè)方便快捷地架起完整的大數(shù)據(jù)處理平臺(tái)，以期幫助用戶構(gòu)建海量數(shù)據(jù)的“極速”處理能力，應(yīng)對(duì)大數(shù)據(jù)的復(fù)雜應(yīng)用場(chǎng)景。對(duì)各類數(shù)據(jù)進(jìn)行整理、交叉分析、比對(duì)碰撞、內(nèi)容檢索、深度挖掘、特征提取等，對(duì)用戶提供自助的實(shí)時(shí)、近時(shí)、迭代的響應(yīng)能力等。
電視劇《歡樂頌》熱播，通過大數(shù)據(jù)技術(shù)，對(duì)網(wǎng)絡(luò)直播平臺(tái)的收視點(diǎn)擊情況和網(wǎng)友互動(dòng)評(píng)論情況進(jìn)行分析，可以知道哪 個(gè)女主最受男性歡迎。這在傳統(tǒng)的收視統(tǒng)計(jì)中，是需要收視儀定點(diǎn)采樣、人員專門統(tǒng)計(jì)等一些列手段，花費(fèi)大量工作量才能完成的。作為新興技術(shù)技術(shù)，大數(shù)據(jù)的發(fā) 展已經(jīng)從概念到大規(guī)模落地，正在為各行業(yè)帶來一些新奇的變化。
1、分布式計(jì)算引擎HD
lHD適合PB級(jí)以上的海量數(shù)據(jù)離線處理，可在大數(shù)據(jù)應(yīng)用建設(shè)中輕松構(gòu)建基礎(chǔ)資源庫。
l它采用Hadoop 架構(gòu)，融合了業(yè)界最新 Spark 實(shí)時(shí)計(jì)算架構(gòu)，讓二者優(yōu)勢(shì)互補(bǔ)?？梢詳U(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)的集群規(guī)模，設(shè)計(jì)了高度兼容SQL語句的解析引擎，提供可視化運(yùn)維、統(tǒng)一用戶、證書認(rèn)證滾動(dòng)升級(jí)能力，讓用戶使用 Hadoop 像使用數(shù)據(jù)庫一樣簡單。
lHD具備企業(yè)級(jí)、高安全性、易運(yùn)維、強(qiáng)兼容性等諸多特點(diǎn)。
2、分布式數(shù)據(jù)倉庫MPP
lMPP是處理TB-PB級(jí)的結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫和數(shù)據(jù)集市的最優(yōu)選擇。
l它采用sharenothing架構(gòu)，性能和擴(kuò)展性優(yōu)于傳統(tǒng)的oracle數(shù)據(jù)庫（oracle RAC share disk架構(gòu)）和SQL server數(shù)據(jù)庫（share everything）。
lMPP是基于MPP架構(gòu)的分布式關(guān)系型數(shù)據(jù)庫，其SQL 查詢性能比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫提升 10～100 倍；支持千節(jié)點(diǎn)內(nèi)的穩(wěn)定運(yùn)行，可在BI領(lǐng)域替換傳統(tǒng)架構(gòu)。
l總體來說，分布式數(shù)據(jù)倉庫MPP具備開放彈性架構(gòu)、在線線性擴(kuò)展、擁有成本可控、海量并行處理、優(yōu)秀混合負(fù)載、平臺(tái)持續(xù)可用、易于管理維護(hù)等特點(diǎn)，具體如下圖所示。
3、內(nèi)存數(shù)據(jù)庫MemDB
lMemDB適合TB數(shù)量級(jí)以下規(guī)模超高并發(fā)訪問的OLTP 和OLAP實(shí)時(shí)計(jì)算和加速場(chǎng)景。
l它基于內(nèi)存的無共享分布式架構(gòu)，支持Key-Value、及SQL關(guān)系型存儲(chǔ)，具備跨地區(qū)集群能力；MemDB同時(shí)支持分布式事務(wù)和毫秒級(jí)響應(yīng)，善于進(jìn)行實(shí)時(shí)數(shù)據(jù)處理。
l內(nèi)存數(shù)據(jù)庫MemDB具備在線可擴(kuò)展、計(jì)算高性能、數(shù)據(jù)高可靠、跨地域分布等特點(diǎn)，具體如下圖所示。
大數(shù)據(jù)的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下。這句話道出了大數(shù)據(jù)的本質(zhì)，隨著大數(shù)據(jù)在不同行業(yè)、不同業(yè)務(wù)領(lǐng)域的滲透，對(duì)海量數(shù)據(jù)的挖掘和運(yùn)用已經(jīng)成為推動(dòng)行業(yè)發(fā)展的重要因素。