如果有一天你可以預(yù)測未來,你要做的第一件事情是什么?買彩票?第二件、第三件事情呢? 先賣個關(guān)子,我們后面再說這件事情。
大數(shù)據(jù)是個產(chǎn)業(yè),廣義上指的是在這個信息過載時代圍繞著海量信息產(chǎn)生、傳播、收集、處理、創(chuàng)造價值的整個產(chǎn)品鏈條;狹義上一般指大數(shù)據(jù)存儲與處理、數(shù)據(jù)挖掘的相關(guān)產(chǎn)業(yè)。目前市場上利用大數(shù)據(jù)最多的一般在于分析和預(yù)測。
根據(jù)本人10年來在這個行業(yè)的從業(yè)經(jīng)驗,大數(shù)據(jù)與前兩年的云計算、再往前的網(wǎng)格計算、并行計算都是相同產(chǎn)業(yè)鏈上幾個環(huán)節(jié),它是作為概念被媒體和從業(yè)者炒作起來的。但不可否認的是,我們的社會正處于信息爆炸的時代,各行業(yè)的信息量都在幾何級數(shù)增長,高效利用好這些數(shù)據(jù)確實能為工作和生活帶來巨大變革。
觀點1:數(shù)據(jù)本身不產(chǎn)生價值,如何分析和利用大數(shù)據(jù)對實際業(yè)務(wù)產(chǎn)生幫助才是關(guān)鍵
例如,它可以幫助控制美國占17.6%GDP的醫(yī)療支出,為醫(yī)藥行業(yè)帶來超過3000億美元的成本節(jié)省和收益(來自麥肯錫的報告)
Netflix 制作《紙牌屋》的故事很多人都聽過,說的是這家公司利用大數(shù)據(jù)分析了用戶最喜歡的情節(jié)、最喜歡的演員組合、最喜歡的編劇等等,組合起來之后自己制作了一部電視劇最終取得巨大成功。
雖然聽過故事的人很多,但幾乎沒有人注意到,這家公司是處于大數(shù)據(jù)應(yīng)用鏈的頂端。與提供分析服務(wù)、提供大數(shù)據(jù)存儲、提供數(shù)據(jù)清洗的基礎(chǔ)產(chǎn)業(yè)中下游公司不同,Netflix除了自身產(chǎn)生數(shù)據(jù)且具備分析能力外,關(guān)鍵的是具備把分析結(jié)果轉(zhuǎn)化為產(chǎn)品的能力,這才是產(chǎn)生高利潤和競爭力的核心。
觀點2:從事大數(shù)據(jù)的生意要重視投入與產(chǎn)出
大數(shù)據(jù)門檻很低,用一個Excel就可以起步,但隨著研究的深入,想利用大數(shù)據(jù)分析進行獲利,還是需要一定的預(yù)算和投入。
比如:需要專業(yè)的團隊,如大數(shù)據(jù)分析師,10年前這個職位就存在,叫BI(商業(yè)智能),工作的內(nèi)容就是分析大量的數(shù)據(jù)并通過建模等方式幫助制定戰(zhàn)略或進行商業(yè)決策。
有了分析師就需要有配套的工程師配合,從海量的數(shù)據(jù)中挖掘出有價值的東西。
服務(wù)器:大數(shù)據(jù)另一個要消耗的資源就是服務(wù)器,從存儲到計算再到帶寬,都是需要不斷的進行投入的。
所以商業(yè)公司進入這個行業(yè)前要考慮下是否有足夠的預(yù)算,但同時上述的幾點也孕育了不少新的機會,比如amazon就是全球最大的云計算基礎(chǔ)設(shè)施廠商,splunk和前一段上市的Tableau都是對分析師提供數(shù)據(jù)處理服務(wù)的,相當(dāng)于替代了一部分昂貴的工程師的工作。
觀點3:大數(shù)據(jù)不是最近才有的,數(shù)據(jù)一直存在,分析數(shù)據(jù)的技術(shù)近幾年有了革命性的突破
處理海量數(shù)據(jù)在技術(shù)界一直是個課題,幾個革命性的技術(shù)在近10年相繼出現(xiàn),奠定了我們目前大數(shù)據(jù)的基礎(chǔ),其中包括虛擬化技術(shù)、Map-Reduce & Bigtable 、 NoSQL數(shù)據(jù)庫、Deep Learning技術(shù)等。
虛擬化造就了今天的amazon云服務(wù)基礎(chǔ)設(shè)施, map reduce造就了幫助我們進行高速云計算的hadoop開源軟件,之前處理幾天的數(shù)據(jù)現(xiàn)在幾分鐘就可以處理完。NoSQL數(shù)據(jù)庫已經(jīng)廣泛應(yīng)用在了擁有大量數(shù)據(jù)及高訪問量的網(wǎng)站上,性能比傳統(tǒng)數(shù)據(jù)庫提升了許多。
觀點4:許多人已經(jīng)默默地通過大數(shù)據(jù)獲利
商業(yè)公司通過長期研究,一旦發(fā)現(xiàn)了通過大數(shù)據(jù)獲利的秘訣,多數(shù)情況下還是選擇獨樂樂而不是眾樂樂。因為分析方法和數(shù)據(jù)源一旦公開,競爭對手必然會跟進,會導(dǎo)致了方法同質(zhì)化最終體現(xiàn)在收益降低。
精準營銷是個眾所周知的領(lǐng)域,通過對每個人的信息進行分類建模,進行不同種類的營銷。比如搜索引擎中,你長期搜索一些新的樓盤信息,搜索引擎會根據(jù)你的搜索歷史判斷你極有可能是潛在的買房者,美國target百貨公司就曾因為根據(jù)用戶的購物記錄判斷出一女孩懷孕并給其家里投送孕婦購物手冊而名聲大噪。在淘寶中搜索了旅行背包后,在新浪上都能看到相關(guān)旅游用品的廣告。
但實際上大數(shù)據(jù)公司為了提高競爭優(yōu)勢,已經(jīng)并不滿足于這種有直接聯(lián)系的數(shù)據(jù),紛紛通過更多的途徑收集數(shù)據(jù)。 根據(jù)筆者這些年的見聞,在保護行業(yè)機密的前提下在這里分享一些讀者之前沒聽過的干貨。