Klout公司正在利用數(shù)據(jù)分析來了解人們在社交網(wǎng)絡(luò)的影響力，該公司首席技術(shù)官Virendra Vase表示：“我們基本上是位于社交網(wǎng)絡(luò)上面，收集所有信息，幫助人們理解以及認(rèn)識其影響力。”
這個(gè)工作每天需要處理來自超過4億用戶的120億數(shù)據(jù)信號，Klout的大數(shù)據(jù)環(huán)境包括開源平臺Hadoop、以及Hbase、Hive、ElasticSearch、Scala、Storm、Node.js和其他工具。
Virendra Vase
Rachel Higham
Vase最近談到了Klout學(xué)到的一些大數(shù)據(jù)教訓(xùn)。保險(xiǎn)公司ACE Group公司首席企業(yè)架構(gòu)師Rachel Higham，Tenet Healthcare公司消費(fèi)類應(yīng)用程序副總裁Brian Barnes也分享了他們的大數(shù)據(jù)技巧、竅門以及遇到的問題，下面讓我們來看看他們分享的內(nèi)容：
數(shù)據(jù)量使測試、存儲和計(jì)算復(fù)雜化
龐大的數(shù)據(jù)量使測試成為一個(gè)挑戰(zhàn)。處理非結(jié)構(gòu)化數(shù)據(jù)格式和社交媒體導(dǎo)出的數(shù)據(jù)(例如140個(gè)字符的微薄)也不是簡單的事情。當(dāng)涉及存儲時(shí)，更多的數(shù)據(jù)并不總是更好。他提醒說：“我們必須要弄清楚：我們需要保存什么樣的數(shù)據(jù)?我們需要?dú)w檔哪些數(shù)據(jù)。在最后，并不是關(guān)于數(shù)據(jù)，而是關(guān)于我們?nèi)绾畏治鰯?shù)據(jù)。”
技術(shù)成熟度是一個(gè)挑戰(zhàn)
Vase警告說，很多大數(shù)據(jù)技術(shù)仍然在開發(fā)中。雖然這些基礎(chǔ)技術(shù)正在日趨完善，但用于管理和配置的工具仍然處于起步階段，這讓IT專業(yè)人士不得不應(yīng)對這種差距。他表示：“我們需要從管理的角度、從工作流程的角度、從配置的角度來開發(fā)攻擊。”
模塊化
對于Klout來說，模塊化的基礎(chǔ)設(shè)施很重要，因?yàn)檫@允許IT團(tuán)隊(duì)處理業(yè)務(wù)優(yōu)先級變化，并提供業(yè)務(wù)透明度。他重申，企業(yè)需要投資于管理和生產(chǎn)力工具。“這正是我們的20%和25%工程資源側(cè)重的地方--生產(chǎn)力工具和工作流程管理。”
努力發(fā)現(xiàn)人才
大數(shù)據(jù)工具正在快速發(fā)展，而供應(yīng)商支持并沒有完全到位，這使得尋找大數(shù)據(jù)人才成為挑戰(zhàn)。“我們很難找到人才，我們只能聘請優(yōu)秀的工程師，并對他們進(jìn)行培訓(xùn)。”
大數(shù)據(jù)專家與業(yè)務(wù)專家合作
我們經(jīng)常談到讓大數(shù)據(jù)專家與產(chǎn)品專家以及業(yè)務(wù)專家緊密合作，但這說起來比做起來容易，這件事情仍然難以貫徹，但雙方都需要了解另一方。
ACE集團(tuán)已經(jīng)很善于利用大數(shù)據(jù)分析來發(fā)現(xiàn)風(fēng)險(xiǎn)和欺詐模式，識別新的商業(yè)機(jī)會，以及了解客戶情緒。Higham表示：“我認(rèn)為我們學(xué)到的最大經(jīng)驗(yàn)是：在企業(yè)內(nèi)傳達(dá)我們的意圖、愿景以及成功案例”。
定義一個(gè)愿景，教育領(lǐng)導(dǎo)班子
“我們花了很多時(shí)間來發(fā)現(xiàn)大數(shù)據(jù)可運(yùn)用的領(lǐng)域，例如在我們的承保和理賠流程中，并向業(yè)務(wù)部門進(jìn)行解釋，”Higham表示，“這為我們確定了兩個(gè)概念證明，現(xiàn)在我們已經(jīng)運(yùn)用到更多領(lǐng)域，并且進(jìn)一步運(yùn)用一些大數(shù)據(jù)工具和技術(shù)。”
建立督導(dǎo)組
ACE集團(tuán)的督導(dǎo)委員會負(fù)責(zé)領(lǐng)導(dǎo)該公司的大數(shù)據(jù)項(xiàng)目，令人驚訝的是，其中并不完全是技術(shù)人員。“其中包含4名技術(shù)人員以及大約20名企業(yè)領(lǐng)導(dǎo)。”
在開始項(xiàng)目前，配備數(shù)據(jù)和人才
Higham表示：“我們投資的關(guān)鍵事情之一就是在開始項(xiàng)目之前，準(zhǔn)備技能和資源，如果沒有這些，我們將無法為業(yè)務(wù)提供價(jià)值。”
散布企業(yè)內(nèi)的人才
ACE集團(tuán)的大數(shù)據(jù)專家分散在整個(gè)企業(yè)，“我們在整個(gè)企業(yè)都建立了核心競爭力，在企業(yè)中配備了新的技能人才，包括統(tǒng)計(jì)人員、數(shù)據(jù)篩選人員、數(shù)據(jù)分析師、流程專家等。這種協(xié)作能夠幫助我們收集資源、分享技能，以及不斷發(fā)展和創(chuàng)新。”
不要低估供應(yīng)商管理或者系統(tǒng)集成
對于Vanguard Health Systems而言，大數(shù)據(jù)分析的最好方法是利用8個(gè)供應(yīng)商的方法，“我們使用8家供應(yīng)商的解決方案，因?yàn)闆]有供應(yīng)商提供即用的解決方案。”供應(yīng)商管理是一個(gè)挑戰(zhàn)，集成所有不同系統(tǒng)也是挑戰(zhàn)。
單獨(dú)評估投資回報(bào)率
美國第二大醫(yī)療保健網(wǎng)絡(luò)Tenet Healthcare利用大數(shù)據(jù)分析來改進(jìn)和驗(yàn)證營銷活動(dòng)的有效性。當(dāng)大數(shù)據(jù)取得成功時(shí)，每個(gè)人都希望成為其中的一部分。“當(dāng)你部署大數(shù)據(jù)項(xiàng)目后，你會開始給企業(yè)帶來新的收入，然后企業(yè)其他團(tuán)隊(duì)也會跳出來說這是他們帶來的收入。”對于其團(tuán)隊(duì)而言，首席財(cái)務(wù)官能夠幫助解決這個(gè)問題，他們能夠單獨(dú)提供大數(shù)據(jù)項(xiàng)目的投資回報(bào)率。