中國(guó)IDC圈4月27日?qǐng)?bào)道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注。現(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學(xué)、物理學(xué)等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長(zhǎng)全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時(shí)也為各個(gè)行業(yè)帶來(lái)了準(zhǔn)確洞察市場(chǎng)行為的機(jī)會(huì)。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問(wèn)題，4月27日至28日，由工業(yè)和信息化部指導(dǎo)、中國(guó)信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)"在北京國(guó)際會(huì)議中心盛大召開(kāi)。在27日大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新分論壇中360系統(tǒng)部總監(jiān)肖康向與會(huì)人員介紹了360安全大數(shù)據(jù)平臺(tái)。
360系統(tǒng)部總監(jiān)肖康
以下是肖康演講實(shí)錄：
肖康：我是做技術(shù)出身的，現(xiàn)在一直做技術(shù)，未來(lái)可能會(huì)做大數(shù)據(jù)及其產(chǎn)品。我今天的演講主要是兩個(gè)部分的內(nèi)容，第一部分分享一下在360內(nèi)部我們是怎么做大數(shù)據(jù)的，360內(nèi)部大數(shù)據(jù)的情況是什么樣子。第二部分是我們?cè)?60內(nèi)部做大數(shù)據(jù)平臺(tái)應(yīng)用之后，我們想能不能把我們?cè)诨ヂ?lián)網(wǎng)公司做大數(shù)據(jù)的能力輸出到政府和企業(yè)里面去，能給我們的客戶帶來(lái)價(jià)值。我們講一講怎么把大數(shù)據(jù)的能力包容成一些產(chǎn)品，將來(lái)提供給我們的政府和企業(yè)的客戶。
首先我們看一下360公司內(nèi)部大數(shù)據(jù)的規(guī)模和能力，也是秀一下肌肉。整個(gè)在360公司現(xiàn)在有差不多4萬(wàn)臺(tái)服務(wù)器用來(lái)做大數(shù)據(jù)，總共存儲(chǔ)的數(shù)據(jù)量有1.6EB數(shù)據(jù)，每天新增超過(guò)1PB，每天有幾十萬(wàn)個(gè)任務(wù)對(duì)這些數(shù)據(jù)進(jìn)行處理，每天處理的數(shù)據(jù)也有幾十個(gè)PB。我們這樣一個(gè)大數(shù)據(jù)平臺(tái)里面，我們可以在幾分鐘之內(nèi)調(diào)度幾十萬(wàn)個(gè)CPU進(jìn)行計(jì)算，能夠?qū)τ赥B的數(shù)據(jù)進(jìn)行秒級(jí)的快速處理。
360大數(shù)據(jù)的技術(shù)演進(jìn)過(guò)程其實(shí)很簡(jiǎn)單，在很早期的時(shí)候沒(méi)有用大數(shù)據(jù)的時(shí)候，也是用Oracle去做數(shù)據(jù)的分析，后來(lái)發(fā)現(xiàn)越來(lái)越慢，成本越來(lái)越高，扛不住了，就采用開(kāi)放的技術(shù)路線。所謂開(kāi)放就是硬件采用通用的X86的服務(wù)器，軟件就是采用基于開(kāi)源去定制優(yōu)化，形成一套完整的大數(shù)據(jù)平臺(tái)。這一套方案的特點(diǎn)相對(duì)于以前我們用IOE的方式，第一個(gè)是成本比較低，我們可以定制和靈活性比較好，我們可以去控制。第二是擴(kuò)展性比較好，可以看到我們之前的幾臺(tái)機(jī)器，現(xiàn)在是幾萬(wàn)服務(wù)器，這個(gè)擴(kuò)展現(xiàn)在看來(lái)在軟件層面沒(méi)有太大的問(wèn)題。
接下來(lái)我介紹一下這么多服務(wù)器究竟做什么事情和360幾個(gè)典型的大數(shù)據(jù)的應(yīng)用。首先是數(shù)據(jù)驅(qū)動(dòng)安全，我們360是一家安全公司，360做安全和其他公司不一樣，其他公司做安全早期做病毒查殺，很多是根據(jù)特征，傳統(tǒng)的一些安全技術(shù)。360做安全是數(shù)字驅(qū)動(dòng)安全的技術(shù)，通過(guò)數(shù)據(jù)來(lái)找出安全的問(wèn)題，通過(guò)數(shù)據(jù)分析解決安全的問(wèn)題，通過(guò)數(shù)據(jù)驅(qū)動(dòng)安全背后就是大數(shù)據(jù)的力量。比如說(shuō)我們的一些成果，我們的殺毒引擎全球的冠軍QVM，還有我們新一代的威脅感知系統(tǒng)天眼，還有在我們360大數(shù)據(jù)平臺(tái)里面存儲(chǔ)了非常多的各種程序的樣本，還有各種網(wǎng)址的黑白名單庫(kù)，這個(gè)都是我們做大數(shù)據(jù)安全的一個(gè)基礎(chǔ)和基石，其實(shí)這個(gè)也是360做安全和其他公司做安全很不一樣的地方。
360的搜索，相信大家都知道，這個(gè)搜索基本上在整個(gè)中國(guó)占將近30%的市場(chǎng)份額，這個(gè)也是非常不錯(cuò)的，是第一個(gè)除了百度之外能夠占據(jù)這么多市場(chǎng)份額的搜索廠商。其實(shí)大數(shù)據(jù)的快速發(fā)展時(shí)期就是前面兩個(gè)，一個(gè)是數(shù)據(jù)驅(qū)動(dòng)安全，第二個(gè)就是搜索驅(qū)動(dòng)了我們大數(shù)據(jù)平臺(tái)快速的發(fā)展，我也是在那個(gè)時(shí)候加入360。我們?cè)谒阉鬟@個(gè)方面，比如說(shuō)我們建立了一個(gè)千億級(jí)的網(wǎng)頁(yè)庫(kù)。首先是這樣一個(gè)龐大的網(wǎng)頁(yè)庫(kù)，把所有的中文網(wǎng)頁(yè)都能抓下來(lái)存儲(chǔ)起來(lái)快速訪問(wèn)，存起來(lái)之后還能夠做分析，對(duì)它進(jìn)行快速的索引，還要對(duì)實(shí)時(shí)的東西進(jìn)行熱點(diǎn)的跟蹤。360云盤，相信在座的很多同仁都可能會(huì)用到360云盤去存儲(chǔ)你的資料，去存儲(chǔ)你的照片和你的視頻等等，這個(gè)其實(shí)背后也正是我們團(tuán)隊(duì)在做的工作，就是我們通過(guò)大數(shù)據(jù)平臺(tái)提供在線的海量存儲(chǔ)的訪問(wèn)，差不多有上萬(wàn)臺(tái)服務(wù)器提供幾百PB的免費(fèi)輸出空間，不間斷隨時(shí)的訪問(wèn)，這是海量云存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)的應(yīng)用。數(shù)據(jù)分析和統(tǒng)計(jì)，這個(gè)其實(shí)在很公司，不管是互聯(lián)網(wǎng)公司還是傳統(tǒng)公司都是特別需要的，早期可能我們通過(guò)數(shù)據(jù)庫(kù)這樣的方式，后面越來(lái)越玩不轉(zhuǎn)，就通過(guò)大數(shù)據(jù)的方式來(lái)做，每天有大量的產(chǎn)品運(yùn)營(yíng)的數(shù)據(jù)都會(huì)通過(guò)我們大數(shù)據(jù)平臺(tái)進(jìn)行分析和統(tǒng)計(jì)，比如手機(jī)助手、游戲、搜索等等，這樣的產(chǎn)品都需要進(jìn)行大量海量數(shù)據(jù)的分析。