根據(jù)Cisco預(yù)測(cè)，2010-2015年，全球移動(dòng)數(shù)據(jù)流量將激增26倍，將達(dá)到6.3EB/月；寬帶IP數(shù)據(jù)流量將達(dá)到80.5EB/月。
數(shù)據(jù)的快速增長(zhǎng)帶來(lái)了數(shù)據(jù)存儲(chǔ)、處理、分析的巨大壓力，大數(shù)據(jù)技術(shù)的引入，不但滿足了系統(tǒng)功能和性能的要求，帶來(lái)良好的可擴(kuò)展性，降低了IT部署的成本，此外它還拓展了數(shù)據(jù)智能分析的應(yīng)用領(lǐng)域。大數(shù)據(jù)技術(shù)成為當(dāng)前面臨快速變化、數(shù)據(jù)爆炸時(shí)代的企業(yè)提升競(jìng)爭(zhēng)力的有力工具。
大數(shù)據(jù)：云計(jì)算的延伸
什么是大數(shù)據(jù)？根據(jù)維基百科的定義，大數(shù)據(jù)指難以用常用的軟件工具在可容忍時(shí)間內(nèi)抓取、管理以及處理的數(shù)據(jù)集。大數(shù)據(jù)的顯著特征包括：Volume 數(shù)據(jù)體量巨大；Variety 數(shù)據(jù)類(lèi)型繁多，包括結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)如網(wǎng)頁(yè)、日志、視頻、圖片等等；Velocity要求的處理速度快。
大數(shù)據(jù)技術(shù)與云計(jì)算的發(fā)展密切相關(guān)，大數(shù)據(jù)技術(shù)是云計(jì)算技術(shù)的延伸。大數(shù)據(jù)技術(shù)涵蓋了從數(shù)據(jù)的海量存儲(chǔ)、處理到應(yīng)用多方面的技術(shù)，包括海量分布式文件系統(tǒng)、并行計(jì)算框架、NoSQL數(shù)據(jù)庫(kù)、實(shí)時(shí)流數(shù)據(jù)處理以及智能分析技術(shù)如模式識(shí)別、自然語(yǔ)言理解、應(yīng)用知識(shí)庫(kù)等等。
對(duì)電信運(yùn)營(yíng)商而言，在當(dāng)前智能手機(jī)、智能設(shè)備快速增長(zhǎng)、移動(dòng)互聯(lián)網(wǎng)流量迅猛增加的情況下，大數(shù)據(jù)技術(shù)可以為運(yùn)營(yíng)商帶來(lái)新的機(jī)會(huì)。大數(shù)據(jù)在運(yùn)營(yíng)商中的應(yīng)用可以涵蓋多個(gè)方面，包括企業(yè)管理分析如戰(zhàn)略分析、競(jìng)爭(zhēng)分析，運(yùn)營(yíng)分析如用戶分析、業(yè)務(wù)分析、流量經(jīng)營(yíng)分析，網(wǎng)絡(luò)管理維護(hù)優(yōu)化如網(wǎng)絡(luò)信令監(jiān)測(cè)、網(wǎng)絡(luò)運(yùn)行質(zhì)量分析，營(yíng)銷(xiāo)分析如精準(zhǔn)營(yíng)銷(xiāo)、個(gè)性化推薦等。下面列舉一些典型的應(yīng)用場(chǎng)景。
典型應(yīng)用1：網(wǎng)絡(luò)管理維護(hù)優(yōu)化
隨著運(yùn)營(yíng)商網(wǎng)絡(luò)數(shù)據(jù)業(yè)務(wù)流量快速增長(zhǎng)，數(shù)據(jù)業(yè)務(wù)在運(yùn)營(yíng)商收入占比重不斷增加，流量與收入之間的不平衡也越發(fā)突出，智能管道、精細(xì)化運(yùn)營(yíng)成為運(yùn)營(yíng)商突破困境的共識(shí)。網(wǎng)絡(luò)管理維護(hù)和優(yōu)化成為精細(xì)化運(yùn)營(yíng)中的一個(gè)重要基礎(chǔ)。
傳統(tǒng)的信令監(jiān)測(cè)尤其是數(shù)據(jù)信令監(jiān)測(cè)已經(jīng)面臨瓶頸，以某運(yùn)營(yíng)商省公司為例，原始數(shù)據(jù)信令達(dá)到1TB/天，以文件形式保存。而處理之后生成的xDR（x Detail Record）數(shù)據(jù)量達(dá)到550GB/天，以數(shù)據(jù)庫(kù)形式保存。通常這些數(shù)據(jù)需要保存數(shù)天或數(shù)月，傳統(tǒng)文件系統(tǒng)以及傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)處理這么大的數(shù)據(jù)量顯得捉襟見(jiàn)肘。面對(duì)信令流量快速增長(zhǎng)、擴(kuò)展困難、成本高的情況，采用海量分布式文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)量不受限制，可以按需擴(kuò)展，同時(shí)NoSQL數(shù)據(jù)庫(kù)可以有效處理達(dá)PB級(jí)的數(shù)據(jù)，實(shí)時(shí)流處理及分析平臺(tái)保證實(shí)時(shí)處理海量數(shù)據(jù)。
智能分析技術(shù)在大數(shù)據(jù)的支撐下將在網(wǎng)絡(luò)管理維護(hù)優(yōu)化中發(fā)揮積極作用，網(wǎng)絡(luò)維護(hù)的實(shí)時(shí)性將得到提升，事前預(yù)防成為可能。比如通過(guò)歷史流量數(shù)據(jù)以及專(zhuān)家知識(shí)庫(kù)結(jié)合，生成預(yù)警模型，可以有效識(shí)別異常流量，防止網(wǎng)絡(luò)擁塞或者病毒傳播等異常。
典型應(yīng)用2：用戶行為分析
用戶行為分析在流量經(jīng)營(yíng)中起重要的作用。用戶行為結(jié)合用戶profile、產(chǎn)品、服務(wù)、計(jì)費(fèi)、財(cái)務(wù)等信息進(jìn)行綜合分析，得出細(xì)粒度、精確的結(jié)果，實(shí)現(xiàn)用戶個(gè)性化的策略控制。今后還可以對(duì)管道內(nèi)容進(jìn)行分析，比如圖片、電影、網(wǎng)頁(yè)等，深入理解用戶的行為特征。目前流量經(jīng)營(yíng)分析中的瓶頸主要是數(shù)據(jù)的采集和處理。比如某運(yùn)營(yíng)商省公司建立了營(yíng)銷(xiāo)門(mén)戶系統(tǒng)，該系統(tǒng)為適應(yīng)省公司精確化管理、針對(duì)性營(yíng)銷(xiāo)要求，實(shí)現(xiàn)對(duì)營(yíng)銷(xiāo)活動(dòng)的日?qǐng)?bào)統(tǒng)計(jì)等支撐，打造適用于全省各級(jí)營(yíng)銷(xiāo)管理人員、一線經(jīng)理及支撐人員的營(yíng)銷(xiāo)支撐門(mén)戶，提供與營(yíng)銷(xiāo)活動(dòng)相關(guān)的日?qǐng)?bào)、月報(bào)統(tǒng)計(jì)，包括量收、欠費(fèi)、用戶發(fā)展、預(yù)警信息、機(jī)構(gòu)樹(shù)匯總等內(nèi)容。目前每月新增數(shù)據(jù)量達(dá)到4T，傳統(tǒng)方式分析結(jié)果需要26個(gè)小時(shí)，數(shù)據(jù)處理效率低，系統(tǒng)擴(kuò)展困難。采用Data Cloud、并行分布式處理等大數(shù)據(jù)技術(shù)后，報(bào)表分析只需要2個(gè)小時(shí)，滿足了報(bào)表對(duì)時(shí)限的要求，系統(tǒng)擴(kuò)展性好，可用性高。
典型應(yīng)用3：個(gè)性化推薦
目前在各類(lèi)增值業(yè)務(wù)中，根據(jù)用戶喜好推薦各類(lèi)業(yè)務(wù)或應(yīng)用成為運(yùn)營(yíng)商服務(wù)用戶的一個(gè)有效方式，比如應(yīng)用商店軟件推薦、IPTV視頻節(jié)目推薦。這一類(lèi)應(yīng)用需要處理的數(shù)據(jù)量大，實(shí)時(shí)性要求高，涉及到大量的非結(jié)構(gòu)化數(shù)據(jù)以及智能分析，大數(shù)據(jù)技術(shù)成為系統(tǒng)實(shí)現(xiàn)中關(guān)鍵的技術(shù)。以IPTV節(jié)目推薦為例，不僅需要分析用戶已有日志及評(píng)論、打分等數(shù)據(jù)，還需要從互聯(lián)網(wǎng)通過(guò)網(wǎng)絡(luò)爬蟲(chóng)分析獲得相關(guān)視頻和評(píng)論進(jìn)行綜合分析?？梢圆捎玫南嚓P(guān)技術(shù)包括并行計(jì)算框架、分布式文件系統(tǒng)以及文本分類(lèi)/聚類(lèi)/關(guān)聯(lián)算法、文本摘要抽取、情感分析和文本語(yǔ)義分析、文本挖掘等智能分析算法。