中國(guó)IDC圈4月28日?qǐng)?bào)道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注。現(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學(xué)、物理學(xué)等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長(zhǎng)全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時(shí)也為各個(gè)行業(yè)帶來(lái)了準(zhǔn)確洞察市場(chǎng)行為的機(jī)會(huì)。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問(wèn)題，4月27日至28日，由工業(yè)和信息化部指導(dǎo)、中國(guó)信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)"在北京國(guó)際會(huì)議中心盛大召開。
其中，在4月28日上午“大數(shù)據(jù)與電信業(yè)轉(zhuǎn)型”分論壇上，中國(guó)電信股份有限公司云計(jì)算分公司大數(shù)據(jù)事業(yè)部產(chǎn)品總監(jiān)楊維發(fā)表了主題為《中國(guó)電信大數(shù)據(jù)能力開放實(shí)踐與分享》的精彩演講。
中國(guó)電信股份有限公司云計(jì)算分公司大數(shù)據(jù)事業(yè)部產(chǎn)品總監(jiān)楊維
以下為楊維演講實(shí)錄：
楊維：尊敬的來(lái)賓大家上午好，非常榮幸有這樣的機(jī)會(huì)跟大家分享一下中國(guó)電信在整個(gè)大數(shù)據(jù)的運(yùn)營(yíng)中的心得，我分享的主題是開放與分享。在我們的經(jīng)營(yíng)過(guò)程中，中國(guó)電信的大數(shù)據(jù)運(yùn)營(yíng)經(jīng)過(guò)了兩年多的歷程，在這個(gè)過(guò)程中，各個(gè)行業(yè)的朋友和專家反復(fù)跟我們提一個(gè)問(wèn)題，中國(guó)運(yùn)營(yíng)商的數(shù)據(jù)資產(chǎn)是整個(gè)社會(huì)有機(jī)組成部分，你們重要的職責(zé)不是自己做產(chǎn)品，而是應(yīng)該開放出來(lái)，讓這個(gè)數(shù)據(jù)在社會(huì)生產(chǎn)過(guò)程中發(fā)揮價(jià)值，這樣才是你們作為一個(gè)有情懷的企業(yè)應(yīng)該做的事情，這個(gè)問(wèn)題困擾我們很長(zhǎng)時(shí)間，因?yàn)槠髽I(yè)資質(zhì)的問(wèn)題，包括國(guó)家去年出了很多法規(guī)條例，我們感覺在數(shù)據(jù)開放運(yùn)營(yíng)過(guò)程中的條條框框越來(lái)越重，怎么把數(shù)據(jù)真正開放出來(lái)，把企業(yè)責(zé)任盡到，這是一直困擾我們的問(wèn)題，今天我想分享的，在這個(gè)過(guò)程中目前怎么思考這個(gè)問(wèn)題做了哪些嘗試以及可以向大家討論和分享的方法。
中國(guó)電信自身定位目前是在做數(shù)據(jù)能力開放平臺(tái)商， 我們是把中國(guó)電信的數(shù)據(jù)資源和能力包裝和合法合規(guī)的能力向社會(huì)開放，在這個(gè)當(dāng)中有三個(gè)問(wèn)題，一個(gè)是互信融合，安全合規(guī)和怎么高效，現(xiàn)在大家在講數(shù)據(jù)在分享過(guò)程中需要融合訓(xùn)練，你的數(shù)據(jù)是你的，我的是我的，都互相不相信，這個(gè)數(shù)據(jù)融合很難推進(jìn)。什么樣的數(shù)據(jù)是安全的，數(shù)據(jù)的顆粒度開放出來(lái)要安全合規(guī)，什么樣的數(shù)據(jù)要關(guān)聯(lián)，這個(gè)過(guò)程中也出現(xiàn)這樣的疑問(wèn)，作為一個(gè)海量的數(shù)據(jù)，對(duì)于社會(huì)上廣泛的合作伙伴，這個(gè)時(shí)候性能，以及設(shè)備靈活性會(huì)成為制約整個(gè)數(shù)據(jù)開放的很重要的問(wèn)題。
我們當(dāng)時(shí)在整個(gè)數(shù)據(jù)開放的過(guò)程中針對(duì)這三個(gè)問(wèn)題想，我們到底應(yīng)該怎么辦，我們?cè)谙胍婚_始的時(shí)候希望有沒有成熟的解決方案，包括跟業(yè)內(nèi)開源和大數(shù)據(jù)廠商做了很多交流，有沒有一攬子的解決方案解決我們所有的煩惱，后來(lái)發(fā)現(xiàn)其實(shí)很難，在這個(gè)傳統(tǒng)大數(shù)據(jù)處理能力，我們常說(shuō)的Hadoop之外，要持續(xù)開放出來(lái)還缺什么東西，我們歸結(jié)為三項(xiàng)基本能力，四項(xiàng)運(yùn)營(yíng)性能力和兩項(xiàng)云處理能力，我們?cè)诖髷?shù)據(jù)之外把標(biāo)簽的發(fā)布整個(gè)數(shù)據(jù)的隔離調(diào)度和數(shù)據(jù)安全的管控以及生產(chǎn)環(huán)境的實(shí)施構(gòu)建，在Hadoop之外構(gòu)建了我們自己的能力。有兩套運(yùn)營(yíng)體系監(jiān)控和審計(jì)，以及對(duì)于數(shù)據(jù)的治理，這個(gè)是我們的主要能力。
互信融合，解決這個(gè)問(wèn)題，我們有一個(gè)很簡(jiǎn)單的思路，假如雙邊都有數(shù)據(jù)，把數(shù)據(jù)放在一個(gè)環(huán)境里，讓他做運(yùn)算，然后把服務(wù)器砸了，每人把這個(gè)統(tǒng)計(jì)結(jié)果去做，這個(gè)方式是不是能解決安全問(wèn)題，大家說(shuō)這個(gè)方式說(shuō)不定能接受，但是把服務(wù)器砸了成本太高，云主機(jī)是一個(gè)很好的思考，2013年的時(shí)候我們過(guò)了工信部的認(rèn)證，我們?cè)谙胗袥]有一種可能，在一個(gè)云主機(jī)環(huán)境里構(gòu)建一臺(tái)主機(jī)，把大數(shù)據(jù)生產(chǎn)環(huán)境布上去，這樣和用戶的環(huán)境是一個(gè)專線的打通，大家把數(shù)據(jù)放上去，運(yùn)算完之后把這個(gè)結(jié)果取走把整個(gè)云主機(jī)模板做刪除，這種情況會(huì)讓大家放心一些，敢把數(shù)據(jù)放上來(lái)，這是我們做的第一個(gè)嘗試。現(xiàn)在也在做一些試水的應(yīng)用，這個(gè)方式是比較口語(yǔ)化的，更多時(shí)候，我們是基于用戶空間的處理方式，在整個(gè)要做數(shù)據(jù)融合運(yùn)算過(guò)程中有一定預(yù)定義的模板，我們通過(guò)定制的模板給用戶搭一個(gè)混合云出來(lái)，通過(guò)專線VPN的方式進(jìn)行打通，通過(guò)PaaS技術(shù)在主機(jī)上時(shí)時(shí)生成大數(shù)據(jù)運(yùn)營(yíng)環(huán)境，生成之后雙方把數(shù)據(jù)放進(jìn)來(lái)做一些運(yùn)算，最終把結(jié)果放在標(biāo)簽系統(tǒng)上，把結(jié)果取走，把這個(gè)結(jié)果做一個(gè)完整的刪除包括虛機(jī)物理文件的數(shù)據(jù)，這樣數(shù)據(jù)在一個(gè)黑盒子中完成運(yùn)算，通過(guò)界面調(diào)度，這種情況比以前往前小小的走了一步。