中國(guó)IDC圈4月27日?qǐng)?bào)道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注?，F(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學(xué)、物理學(xué)等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長(zhǎng)全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時(shí)也為各個(gè)行業(yè)帶來(lái)了準(zhǔn)確洞察市場(chǎng)行為的機(jī)會(huì)。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問(wèn)題，4月27日至28日，由工業(yè)和信息化部指導(dǎo)、中國(guó)信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)"在北京國(guó)際會(huì)議中心盛大召開(kāi)。在27日下午的大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新分論壇中北京明略軟件公司的CTO馮世聰分享了明略大數(shù)據(jù)平臺(tái)核心技術(shù)。
北京明略軟件公司的CTO馮世聰
以下是馮世聰演講實(shí)錄：
馮世聰：首先感謝數(shù)據(jù)中心聯(lián)盟給我們提供這個(gè)機(jī)會(huì)，讓我們分享我們的大數(shù)據(jù)平臺(tái)。其實(shí)上午我們?cè)跀?shù)據(jù)中心聯(lián)盟這邊通過(guò)了評(píng)測(cè)，跟他們一起簽了一個(gè)數(shù)據(jù)的聲明，所以我們跟數(shù)據(jù)中心聯(lián)盟合作還是非常密切的。
我說(shuō)的可能比較偏技術(shù)這一塊，我們公司可能有些人了解，可能有些人不是特別了解，我們公司是定位在做關(guān)系挖掘的一個(gè)大數(shù)據(jù)解決方案提供商，其中有兩個(gè)關(guān)鍵詞，一個(gè)就是關(guān)系挖掘，大家知道，在任何自然界里面，都是由點(diǎn)和邊組成的，在座的每一個(gè)人都是一個(gè)點(diǎn)，人與人之間的關(guān)系就是一個(gè)邊，在任何領(lǐng)域都有關(guān)系挖掘的領(lǐng)域。另外我們做解決方案，我們跟很多廠商在一起，不光是提供產(chǎn)品，我們是在一起針對(duì)一個(gè)特定的業(yè)務(wù)問(wèn)題把這個(gè)問(wèn)題解決掉，在這個(gè)解決問(wèn)題的過(guò)程中需要一個(gè)解決方案，這個(gè)解決方案當(dāng)中可能需要一個(gè)產(chǎn)品，需要我們的科學(xué)家，需要我們的服務(wù)，所以我們跟很多廠商最大的區(qū)別是我們做解決方案。
這是我們公司一個(gè)簡(jiǎn)單的歷史，我們公司大概是2006年，最早的時(shí)候我們成立一個(gè)公司，是做互聯(lián)網(wǎng)廣告的監(jiān)測(cè)，在這個(gè)垂直領(lǐng)域我們做的是亞太地區(qū)第一的。在2010年的時(shí)候，我們把我們的一些系統(tǒng)做成大數(shù)據(jù)平臺(tái)，在2014年的時(shí)候我們把公司大數(shù)據(jù)事業(yè)部獨(dú)立出來(lái)成立明略公司。這個(gè)原因就是我們?cè)谧鲞@個(gè)過(guò)程當(dāng)中注意到了大量的數(shù)據(jù)問(wèn)題干我們是什么都不干，一天接觸到的就是5TB，除了BAT的大互聯(lián)網(wǎng)公司，包括剛才的360公司以外，很多公司很難見(jiàn)到每天5TB的數(shù)據(jù)量。這么多的數(shù)據(jù)量，逼迫著我們做一個(gè)龐大的集群，我們大概有500臺(tái)集群，這就要求我們自己有很強(qiáng)的運(yùn)維能力，有很強(qiáng)的系統(tǒng)管理能力。
2006年的時(shí)候我們有了大數(shù)據(jù)的經(jīng)驗(yàn)了，我們公司的產(chǎn)品很多，一共有四款。第一款是大數(shù)據(jù)平臺(tái)，我們叫做MBP。我們還有數(shù)據(jù)挖掘產(chǎn)品，我們單獨(dú)有一款產(chǎn)品是針對(duì)于公安。還有就是常見(jiàn)的所有的關(guān)聯(lián)規(guī)則這種大數(shù)據(jù)，針對(duì)于選擇數(shù)據(jù)超過(guò)1TB、10TB的大數(shù)據(jù)挖掘。還有我們的展示平臺(tái)，相當(dāng)于我們的BI工具。很多客戶找到我們，我們根據(jù)客戶的業(yè)務(wù)特點(diǎn)，給他定制化的提供一個(gè)解決方案。這個(gè)解決方案可能會(huì)用到我們四款產(chǎn)品，我們這里跟很多廠商最大的區(qū)別是，我們是解決業(yè)務(wù)問(wèn)題，而不僅僅是把產(chǎn)品部署給你，你自己去玩。
我的分享會(huì)偏技術(shù)一點(diǎn)，因?yàn)闀r(shí)間的關(guān)系，我可能會(huì)簡(jiǎn)單介紹一下我們大概的五個(gè)特性，我們這個(gè)產(chǎn)品有很多特性，我只介紹這五個(gè)。首先是公司概述，跟我們所有做大數(shù)據(jù)平臺(tái)的是一樣的，都有自己的產(chǎn)品架構(gòu)。我們的架構(gòu)大概是四層，淺藍(lán)色的是開(kāi)源社區(qū)的，基本上沒(méi)有什么特點(diǎn)，都是從開(kāi)源社區(qū)下來(lái)的。深顏色的是我們自己開(kāi)發(fā)的，在自己開(kāi)發(fā)的過(guò)程當(dāng)中可以看到我們有幾個(gè)特點(diǎn)，我們這里有一個(gè)安全運(yùn)維，我想360的同事是非常有體會(huì)的，如果你機(jī)器搭幾萬(wàn)臺(tái)或者是幾百臺(tái)的時(shí)候，如果沒(méi)有一個(gè)很強(qiáng)的運(yùn)維平臺(tái)的時(shí)候是一個(gè)災(zāi)難，廉價(jià)的機(jī)器硬件壞掉是一個(gè)常態(tài)，硬盤(pán)、CPU隨時(shí)可以壞掉，如果沒(méi)有一個(gè)很強(qiáng)的運(yùn)維平臺(tái)，這個(gè)集群幾乎上是沒(méi)有辦法運(yùn)營(yíng)的。我們做到了安全性，360的同仁剛才也介紹了，我們這幾年服務(wù)的客戶基本上都是中大型客戶，每一個(gè)大型的客戶數(shù)據(jù)安全是非常重要的，我后面會(huì)詳細(xì)介紹。我們做了全員控制，還有數(shù)據(jù)運(yùn)維，這里面有各種各樣的特點(diǎn)，因?yàn)闀r(shí)間的關(guān)系我就不一一介紹了。