在我們身處的時(shí)代，數(shù)據(jù)無處不在。據(jù)IBM公司估算，人類每天產(chǎn)生約2.5萬ZB的數(shù)據(jù)，這意味著世界上90%數(shù)據(jù)都是過去的兩年中產(chǎn)生的。Gartner公司分析報(bào)告顯示，在2015年財(cái)富500強(qiáng)的公司中百分之八十五的企業(yè)無法利用大數(shù)據(jù)來獲取競爭優(yōu)勢。
數(shù)據(jù)無處不在
到2020年，全世界將有上百萬大數(shù)據(jù)相關(guān)的就業(yè)機(jī)會(huì)產(chǎn)生。這些龐大的數(shù)據(jù)蘊(yùn)藏了寶貴財(cái)富，企業(yè)可以使用最先進(jìn)的分析技術(shù)，利用這些數(shù)據(jù)更好地了解客戶的行為，識(shí)別商業(yè)機(jī)會(huì)，制定運(yùn)營戰(zhàn)略。
讓我們舉幾個(gè)例子，金融機(jī)構(gòu)每天通過信用評(píng)分模型，了解他們的客戶在未來12個(gè)月內(nèi)每種信貸產(chǎn)品(抵押貸款、信用卡、分期貸款)上的信用。他們以該信用評(píng)分為基礎(chǔ)來進(jìn)行壞帳準(zhǔn)備，計(jì)算巴塞爾協(xié)議II/III規(guī)定所需資本金數(shù)量，或是制定營銷方案(例如根據(jù)信用評(píng)分調(diào)整信用卡額度)。
電信運(yùn)營商使用最近通話行為數(shù)據(jù)建立流失模型，估計(jì)客戶在未來一到三個(gè)月流失的可能性。運(yùn)營商會(huì)根據(jù)模型得分來制定營銷活動(dòng)，避免有價(jià)值的客戶流失。Facebook和Twitter會(huì)使用社交媒體分析技術(shù)進(jìn)行內(nèi)容分析和情感語義分析，以便更好地了解品牌認(rèn)知度，進(jìn)一步調(diào)整產(chǎn)品服務(wù)設(shè)計(jì)。
亞馬遜和Netflix等在線零售商不斷地分析顧客的購買行為，以決定產(chǎn)品捆綁銷售策略，并利用推薦系統(tǒng)為客戶下一次購買推薦產(chǎn)品。信用卡公司使用欺詐檢測模型，檢測付款是否具有欺騙性，是否發(fā)生了信用卡盜刷。政府采用數(shù)據(jù)分析技術(shù)來預(yù)測逃稅行為，優(yōu)化公共預(yù)算分配，分析交通數(shù)據(jù)提高公共交通效率，分析預(yù)測恐怖襲擊保障國家安全。
化數(shù)據(jù)為價(jià)值
數(shù)據(jù)是任何分析模型成功的基礎(chǔ)。當(dāng)啟動(dòng)分析項(xiàng)目時(shí)，有必要詳細(xì)列出企業(yè)內(nèi)所有可用于分析的數(shù)據(jù)。這里的原則就是數(shù)據(jù)越多越好!因?yàn)楹芏喾治瞿Ｐ投寄茏詣?dòng)決定哪些數(shù)據(jù)對(duì)當(dāng)前分析很重要，哪些數(shù)據(jù)可以排除在下一步分析之外。
我們的研究不斷印證了這樣一個(gè)觀點(diǎn)：改善分析模型最好的辦法，就是投資于你的數(shù)據(jù)!這可以通過數(shù)量和質(zhì)量兩個(gè)維度的提升來完成。對(duì)于前者，一個(gè)關(guān)鍵點(diǎn)是如何整合結(jié)構(gòu)化數(shù)據(jù)(例如關(guān)系數(shù)據(jù)庫)和非結(jié)構(gòu)化數(shù)據(jù)(如文本)，提供全方位綜合視角進(jìn)行客戶行為分析，另一個(gè)關(guān)鍵點(diǎn)則是在線數(shù)據(jù)和離線數(shù)據(jù)的整合，很多企業(yè)為這個(gè)問題所困擾。
此外企業(yè)還可以超越其內(nèi)部邊界，考慮從外部數(shù)據(jù)供應(yīng)商那里購買外部數(shù)據(jù)，以彌補(bǔ)其內(nèi)部數(shù)據(jù)的不足。大量的研究表明采用外部數(shù)據(jù)，對(duì)比較和完善分析模型非常有用。雖然數(shù)據(jù)常常體量巨大，但是數(shù)據(jù)質(zhì)量經(jīng)常是一個(gè)痛點(diǎn)。GIGO(garbage in garbage out)的原則在這里非常適用，爛數(shù)據(jù)只會(huì)生成爛模型。
聽起來顯而易見，然而實(shí)踐中數(shù)據(jù)質(zhì)量往往成為許多分析項(xiàng)目的“阿喀琉斯之踵”。數(shù)據(jù)質(zhì)量可以分解成很多維度：準(zhǔn)確性、完整性、新近度、一致性等。在大數(shù)據(jù)分析中，企業(yè)必須專門制定數(shù)據(jù)質(zhì)量管理方案，設(shè)立數(shù)據(jù)審核員、數(shù)據(jù)管家或數(shù)據(jù)質(zhì)量經(jīng)理等職位，持續(xù)監(jiān)測數(shù)據(jù)質(zhì)量。
數(shù)據(jù)分析應(yīng)該從商業(yè)問題開始，而不是從具體的技術(shù)解決方案開始。但是這帶有一絲“雞生蛋，蛋生雞”的意味。要解決商業(yè)問題、識(shí)別商業(yè)機(jī)會(huì)，需要對(duì)潛在的技術(shù)解決方案有了解。以社交媒體分析為例，只有首先了解分析技術(shù)后，公司才能開始思考如何利用它們研究在線品牌認(rèn)知度，進(jìn)行趨勢監(jiān)測。為了跨越分析技術(shù)和業(yè)務(wù)之間的鴻溝，持續(xù)性培訓(xùn)和學(xué)習(xí)是關(guān)鍵，它能使企業(yè)始終屹立在分析技術(shù)的潮頭，保持競爭優(yōu)勢。在這一點(diǎn)上，學(xué)術(shù)界應(yīng)該深刻檢討，因?yàn)楝F(xiàn)有的很多大數(shù)據(jù)分析(或數(shù)據(jù)科學(xué))碩士課程無法滿足上述的要求。
將數(shù)據(jù)轉(zhuǎn)化為洞察力和提升價(jià)值的另一個(gè)關(guān)鍵點(diǎn)是分析模型的驗(yàn)證。分析模型需要適當(dāng)?shù)臋C(jī)制和工具來進(jìn)行審核和驗(yàn)證，越來越多的公司將分析團(tuán)隊(duì)拆分成模型開發(fā)和模型驗(yàn)證兩個(gè)團(tuán)隊(duì)。良好的公司治理能夠在兩個(gè)團(tuán)隊(duì)之間筑起一道防火墻，使得由前一小組開發(fā)的模型可以客觀和獨(dú)立地被后者團(tuán)隊(duì)評(píng)估。
公司甚至可以考慮由外部合作伙伴進(jìn)行模型驗(yàn)證。通過建立分析基礎(chǔ)信息設(shè)施，公司能夠不斷基于現(xiàn)有狀況對(duì)模型進(jìn)行評(píng)估和驗(yàn)證，提升分析模型性能，抓住更多目標(biāo)客戶。