中國(guó)IDC圈4月27日?qǐng)?bào)道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注?，F(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學(xué)、物理學(xué)等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長(zhǎng)全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時(shí)也為各個(gè)行業(yè)帶來(lái)了準(zhǔn)確洞察市場(chǎng)行為的機(jī)會(huì)。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問(wèn)題，4月27日至28日，由工業(yè)和信息化部指導(dǎo)、中國(guó)信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)"在北京國(guó)際會(huì)議中心盛大召開(kāi)。在27日大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新分論壇中東方金信聯(lián)合創(chuàng)始人石棋玲以《海盒大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新》為題做了精彩的分享。
東方金信聯(lián)合創(chuàng)始人石棋玲
以下是石棋玲的演講實(shí)錄：
石棋玲：大家好，很高興在這里為大家介紹我們北京東方金信科技有限公司的海盒大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新。我本次演講主要介紹一下大數(shù)據(jù)的通用技術(shù)與我們海盒大數(shù)據(jù)產(chǎn)品。本次演講首先會(huì)介紹大數(shù)據(jù)的技術(shù)發(fā)展近況，其次會(huì)介紹我們海盒大數(shù)據(jù)平臺(tái)產(chǎn)品創(chuàng)新，然后講解創(chuàng)新點(diǎn)的應(yīng)用實(shí)踐，再就是大數(shù)據(jù)行業(yè)的趨勢(shì)。
首先我介紹大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的近況。我國(guó)的大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模越來(lái)越大，國(guó)家也推出了很多很好的政策，比如說(shuō)工信部很多的政策對(duì)我們大數(shù)據(jù)技術(shù)的研發(fā)有很大的推動(dòng)作用。我們就大數(shù)據(jù)在金融行業(yè)的廣泛應(yīng)用大家可以看到有很多的案例，我本身在美國(guó)PNC銀行從事風(fēng)險(xiǎn)管理很多年，我們?cè)诿绹?guó)大的銀行也有很多的大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)在通信行業(yè)也有很多的應(yīng)用，逐漸滲透到很多的行業(yè)，我所知道的像醫(yī)療、政府，還有很多其他的行業(yè)可以看到大數(shù)據(jù)的應(yīng)用。
這是一張大數(shù)據(jù)產(chǎn)業(yè)生態(tài)圖，這只是一個(gè)簡(jiǎn)單的例子，大數(shù)據(jù)有很多的組件，我列舉了一些例子，像分布式文件系統(tǒng)，今天我們用的最多的就是這個(gè)。HBase等等大家都比較熟悉，其他的組件，很多都是我們常用的。我們公司根據(jù)客戶的需求，深度定制大數(shù)據(jù)平臺(tái)不同的組件，去滿足客戶的需求。
現(xiàn)在在大數(shù)據(jù)發(fā)展的熱潮中，很多技術(shù)點(diǎn)開(kāi)始成為大家熱切關(guān)心的一個(gè)方面，像數(shù)據(jù)存取，現(xiàn)在要求數(shù)據(jù)存取的速度不斷的提升，催生了數(shù)據(jù)實(shí)時(shí)處理的一些需求。云計(jì)算的發(fā)展，現(xiàn)在催生了很多大數(shù)據(jù)本地部署和云端部署的結(jié)合。大數(shù)據(jù)平臺(tái)的不斷擴(kuò)展，催生了數(shù)據(jù)管理安全的必要性。有些像商務(wù)方面的發(fā)展，我們就有很多像移動(dòng)商務(wù)與大數(shù)據(jù)平臺(tái)的結(jié)合。其他方面，有一些像預(yù)測(cè)性的分析、規(guī)范文本分析的發(fā)展應(yīng)用。
下面我介紹我們公司海盒大數(shù)據(jù)平臺(tái)的一些產(chǎn)品創(chuàng)新。首先我介紹一下我們公司，今年數(shù)據(jù)中心聯(lián)盟第一批大數(shù)據(jù)產(chǎn)品認(rèn)證通過(guò)的企業(yè)，這個(gè)認(rèn)證是國(guó)內(nèi)首家考察商用大數(shù)據(jù)平臺(tái)能力的測(cè)試。多家業(yè)界領(lǐng)先的企業(yè)都參與了測(cè)試，高可用、多租戶我們都通過(guò)了測(cè)試，而且這個(gè)測(cè)試非常全面，包括功能、運(yùn)維、安全、兼容性等各個(gè)指標(biāo)，對(duì)大數(shù)據(jù)平臺(tái)的能力進(jìn)行了全面的考察，有很多的測(cè)試專家全程監(jiān)控整個(gè)測(cè)試的現(xiàn)場(chǎng)，由參測(cè)的廠家，還有客戶專家、學(xué)術(shù)專家構(gòu)成的評(píng)審委員會(huì)，測(cè)試非常公正嚴(yán)謹(jǐn)。
我們海盒大數(shù)據(jù)平臺(tái)一個(gè)主要的技術(shù)創(chuàng)新就是一個(gè)高效的實(shí)時(shí)處理技術(shù)。我們通過(guò)實(shí)時(shí)處理的技術(shù)，能夠?qū)崿F(xiàn)首先是數(shù)據(jù)的連續(xù)性，然后是實(shí)時(shí)信息的訪問(wèn)，之后是實(shí)時(shí)數(shù)據(jù)的展現(xiàn)，能降低IT成本。我們?cè)趺慈?shí)現(xiàn)實(shí)時(shí)的技術(shù)？我們有一個(gè)專門(mén)的海盒實(shí)時(shí)同步工具，首先是解析日志的文件，實(shí)現(xiàn)數(shù)據(jù)同步的功能。另一方面我們也使用了很多Hadoop的開(kāi)源組件或者是其他的組件進(jìn)行封裝，能夠?qū)崿F(xiàn)準(zhǔn)實(shí)時(shí)的同步。另外我們平臺(tái)的一個(gè)創(chuàng)新點(diǎn)在于，在我們的大數(shù)據(jù)平臺(tái)上我們做了很多數(shù)據(jù)倉(cāng)庫(kù)的理論創(chuàng)新，因?yàn)槲冶旧碜约壕褪亲鼋鹑谛袠I(yè)很多年，我們?cè)跀?shù)據(jù)行業(yè)積累了很多的經(jīng)驗(yàn)。所以首先在數(shù)據(jù)倉(cāng)庫(kù)層面形成了四個(gè)方面的理論創(chuàng)新，海盒平臺(tái)實(shí)現(xiàn)了倉(cāng)庫(kù)式的數(shù)據(jù)存儲(chǔ)，我們構(gòu)建了數(shù)據(jù)倉(cāng)庫(kù)的多層數(shù)據(jù)模型，我們有數(shù)據(jù)層等等各種數(shù)據(jù)倉(cāng)庫(kù)的層次。我們實(shí)現(xiàn)了基于大數(shù)據(jù)的一個(gè)主題模型和數(shù)據(jù)管控，因?yàn)榻鹑谥黝}模型和數(shù)據(jù)管控是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的核心，怎么建立總框架圖，通過(guò)這些模型的管控，實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的核心價(jià)值。在展現(xiàn)方面，我們有多種圖形的展示方式，能夠滿足各種業(yè)務(wù)的需求。我們創(chuàng)新大數(shù)據(jù)與云的結(jié)合，我們SeaBox大數(shù)據(jù)的平臺(tái)可以跑到多可用，我們把各種封裝跑在Docker里，Docker可以跑在IaaS服務(wù)器上，通過(guò)多種平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)的結(jié)合。