中國IDC圈4月27日報(bào)道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注?，F(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學(xué)、物理學(xué)等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時(shí)也為各個(gè)行業(yè)帶來了準(zhǔn)確洞察市場行為的機(jī)會。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問題，4月27日至28日，由工業(yè)和信息化部指導(dǎo)、中國信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會"在北京國際會議中心盛大召開。28日上午，在中國信息通信研究院、數(shù)據(jù)中心聯(lián)盟主辦的大數(shù)據(jù)人才發(fā)展計(jì)劃公開課上南大通用數(shù)據(jù)技術(shù)有限公司培訓(xùn)總監(jiān)沈麗萍分享了大數(shù)據(jù)時(shí)代的數(shù)據(jù)庫技術(shù)與應(yīng)用。
南大通用數(shù)據(jù)技術(shù)有限公司培訓(xùn)總監(jiān)沈麗萍
以下是沈麗萍演講實(shí)錄：
沈麗萍：大家下午好，非常榮幸談到大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟，也非常榮幸給大家介紹大數(shù)據(jù)產(chǎn)業(yè)中數(shù)據(jù)庫的技術(shù)和應(yīng)用。今天上午我也聽了其他會場行業(yè)內(nèi)建設(shè)大數(shù)據(jù)的情況匯報(bào)。
今天下午大家來參加人才的公開課，肯定大家有一個(gè)愿望，希望加入到大數(shù)據(jù)的時(shí)代中來，也要成為大數(shù)據(jù)人才，也要能夠參與到大數(shù)據(jù)平臺的建設(shè)之中。大家可能也在想，那么多行業(yè)都在建設(shè)大數(shù)據(jù)，我怎樣來啊搭建一個(gè)大數(shù)據(jù)的體系。我主要給大家介紹數(shù)據(jù)庫的技術(shù)和應(yīng)用。
大家都是會大數(shù)據(jù)這個(gè)資源，它可以比作是一個(gè)“金礦”，我們這個(gè)數(shù)據(jù)庫就相當(dāng)于尋找“金礦”的挖掘工具。這個(gè)挖掘工具幫助客戶尋找數(shù)據(jù)的內(nèi)在價(jià)值。
我今天演講的主題分為三個(gè)方面：第一方面，介紹一下大的趨勢和背景，大數(shù)據(jù)推動(dòng)了IT的架構(gòu)變革。第二部分，給大家重點(diǎn)介紹一下MPP數(shù)據(jù)庫的主流技術(shù)。第三部分，介紹一下大數(shù)據(jù)領(lǐng)域中數(shù)據(jù)庫的一些應(yīng)用案例。主要也是應(yīng)用MPP數(shù)據(jù)庫在我們的一些金融、電信、政府，這些行業(yè)里已經(jīng)成功上線的一些案例，也希望通過這些案例給大家?guī)硪恍┧伎己徒梃b。
我們說現(xiàn)在這個(gè)時(shí)代已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代了。那么，因?yàn)閿?shù)據(jù)的體量呈爆發(fā)式的增長，主要還是在于互聯(lián)網(wǎng)的發(fā)展，以及智能手機(jī)的普及。那么，從2008年開始基本上每兩年數(shù)據(jù)就翻一倍。我們看到，2008年達(dá)到0.5ZB，2010年達(dá)到1.2ZB，按照IDC的預(yù)測，到2020年數(shù)據(jù)的總量要達(dá)到40ZB。這些概念可能對大家來說不好理解，我們說現(xiàn)在你的一個(gè)硬盤可能就是家用電腦可能1TB，我們企業(yè)級的服務(wù)器里頭，可能一塊硬盤也是3TB這種的架構(gòu)。40ZB這真的是體量很大。而且預(yù)測其中22%將來自中國，中國一個(gè)是地大物博，另外一個(gè)就是人多，用的數(shù)據(jù)，產(chǎn)生的數(shù)量也是很多的。
大數(shù)據(jù)有四個(gè)特征，我們叫“4V”，主要是Value，價(jià)值是大家最關(guān)注的。我們看一下左邊這個(gè)表，列出了一些行業(yè)，有互聯(lián)網(wǎng)、電信、金融、交通、政府、醫(yī)療，還有其他行業(yè)。那么，還列出了一些銷售額，從我們這個(gè)看，看一下市場的占比。我們右邊這個(gè)圖，就是把互聯(lián)網(wǎng)這個(gè)單獨(dú)給它作為一個(gè)緯度，然后其他行業(yè)單獨(dú)作為一個(gè)數(shù)據(jù)做了一下分析。我們發(fā)現(xiàn)互聯(lián)網(wǎng)的這個(gè)大概占到34%，其他行業(yè)65%。我們說這個(gè)行業(yè)大數(shù)據(jù)其實(shí)它也有很大的價(jià)值，不管是我們一說大數(shù)據(jù)，好像都是在互聯(lián)網(wǎng)上產(chǎn)生的，而且中國對大數(shù)據(jù)的重點(diǎn)行業(yè)其實(shí)就是在電信、金融、交通、政府、醫(yī)療這些行業(yè)。
我們?yōu)槭裁匆只ヂ?lián)網(wǎng)大數(shù)據(jù)和行業(yè)大數(shù)據(jù)兩大類呢？因?yàn)槲覀冎?，在互?lián)網(wǎng)上它的大數(shù)據(jù)的數(shù)據(jù)類型主要是以非結(jié)構(gòu)化為主，像我們看的網(wǎng)頁屬于半結(jié)構(gòu)化，視頻、照片、音頻這些都是屬于非結(jié)構(gòu)化的，它的空間很大，要得取有價(jià)值的信息密度很小。但是，行業(yè)大數(shù)據(jù)，因?yàn)榻?jīng)過幾十年的信息化系統(tǒng)的建設(shè)，行業(yè)大數(shù)據(jù)已經(jīng)有很多的系統(tǒng)，像我們電信行業(yè)有詳單，賬單系統(tǒng)，企業(yè)有客戶關(guān)系系統(tǒng)，還有很多的管理系統(tǒng)，以及銀行有存貸業(yè)務(wù)，信用卡業(yè)務(wù)的各種各樣的系統(tǒng)，這些系統(tǒng)隨著時(shí)間積累，數(shù)據(jù)體量也是越來越大的。但是這些系統(tǒng)都是我們傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，所以它里頭的數(shù)據(jù)都是結(jié)構(gòu)化的數(shù)據(jù)。
所以，我們這些數(shù)據(jù)把它整合到大數(shù)據(jù)平臺上做分析，它的價(jià)值密度是很高的。當(dāng)然，現(xiàn)在隨著互聯(lián)網(wǎng)的發(fā)展，各種服務(wù)器和各種設(shè)備也會產(chǎn)生大量的日志信息，以及人員使用中，瀏覽的各種內(nèi)容，它也會產(chǎn)生很多的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。但是行業(yè)數(shù)據(jù)來說，大部分還是屬于結(jié)構(gòu)化數(shù)據(jù)。我們要解決大容量、高價(jià)值、密度結(jié)構(gòu)化的大數(shù)據(jù)的存儲、計(jì)算和分析課題。