從小樣本到大數(shù)據(jù)：概念與誤區(qū)
 
“大數(shù)據(jù)”這個詞早期是IBM和EMC鼓吹的一種商業(yè)概念，自誕生之日就有概念包裝的商業(yè)基因。明白這一道理就不會過分糾結“到底什么是大數(shù)據(jù)”，“多大數(shù)據(jù)算大數(shù)據(jù)”之類的問題。這一概念包含了我們在面對海量數(shù)據(jù)環(huán)境下的哲學迷思、技術困境、解決方案和由此引發(fā)的商業(yè)機會。
 
探討大數(shù)據(jù)問題前我們先回顧另一個數(shù)據(jù)界的經典問題——小樣本問題。小樣本的“小＂表面指的是數(shù)據(jù)樣本少，本質則是說現(xiàn)存樣本對特征空間的刻畫能力不足。
 
“過擬合”問題是小數(shù)據(jù)時代的核心問題之一，也成就了vapnik這樣的理論巨匠及svm算法。大數(shù)據(jù)，其顯性特征是超出一般算法或一般硬件計算處理能力的“大”規(guī)模數(shù)據(jù)；其伴隨的另一個特征，就是擁有足以刻畫樣本特征空間以外的＂超額＂樣本。前者顯性特征推動了并行/云計算的軟硬件發(fā)展，后者則從商業(yè)模式和數(shù)據(jù)分析的方法論層面推動了行業(yè)變化。
 
怎么理解這些＂超額的樣本＂帶給我們的價值呢？顯然，通過數(shù)據(jù)刻畫對象的全局特征，獲得全體統(tǒng)計規(guī)律及關聯(lián)規(guī)則并不需要這些“超額的樣本”，因此才有“大數(shù)據(jù)是不是越多越好”，“大數(shù)據(jù)是否需要抽樣”這樣的辯論，這是在大數(shù)據(jù)時代之前關心的問題?？梢哉f，糾結于這些問題的人還未觸及大數(shù)據(jù)的核心價值。歸納一下就是：大數(shù)據(jù)時代之前，我們處理的是小樣本或適度抽樣后的小數(shù)據(jù)進行群體規(guī)律的知識發(fā)現(xiàn)（KDD）；在大數(shù)據(jù)時代，我們依賴從小樣本挖掘出的或原本就已知的經驗規(guī)則，通過搜索海量樣本數(shù)據(jù)發(fā)現(xiàn)目標個體來兌現(xiàn)商業(yè)價值。
 
從理論到價值：政府應用實例
 
大數(shù)據(jù)在何處？這些擁有富礦的金主包括：工業(yè)、金融、通信、科研機構、互聯(lián)網(wǎng)企業(yè)等。除此之外，還有一個超級礦山擁有者——政府。以美國為例，在公開的美國政府網(wǎng)站Data.gov上，大約有超過40萬各種原始數(shù)據(jù)文件，涵蓋農業(yè)、金融、就業(yè)等近50個分類。美國官方稱這么做的目的是“方便公眾更便捷地獲得聯(lián)邦政府數(shù)據(jù)，并通過鼓勵創(chuàng)新突破政府的圍墻而創(chuàng)造性地使用這些數(shù)據(jù)”。同時，各行業(yè)大數(shù)據(jù)又能極大改進政府的決策行為。
 
近些年大數(shù)據(jù)對國家及政府領域的應用案例開始涌現(xiàn)：
 
1.情感測量及幸福指數(shù)
 
2008年，法國總統(tǒng)薩科齊組建了一個專家組，成員包括以諾貝爾經濟學獎獲得者約瑟夫·斯蒂格里茨和阿馬蒂亞·森在內的20多名世界知名專家，進行了一項名為“幸福與測度經濟進步”（Happiness and Measuring Economic Progress）的研究。該項研究將國民主觀幸福感納入衡量經濟表現(xiàn)的指標，以主觀幸福程度、生活質量及收入分配等指標來衡量經濟發(fā)展。
 
佛蒙特大學計算實驗室的項目Hedonometer
 
（1）2011年：幸福度來自旅行的遠度
 
佛蒙特大學的克里斯多夫·丹佛斯主持研究了幸福度與地理位置的關系，他們在2011年從從Twitter上篩選帶有博主地理位置的Tweet。全世界逾18萬用戶發(fā)布的3700萬條tweet中，約1%的微博含有這類經緯度信息。
 
研究發(fā)現(xiàn)，人們通常會有兩個最常去的地方，且這兩個地方相距不遠，應該就是家和工作地。為了評估博主的幸福額度，佛蒙特大學的研究小組研制了一種“幸福測試儀”（hedonometer）：這種測試儀能檢測出文本中表示積極、快樂情緒的詞匯（比如，“新鮮的”、“極好的”、“咖啡”和“午餐”）以及表示消極情緒的詞匯（比如，“沒有”、“不”、“討厭”、“該死的”、“無聊的”）。幸福測試儀會以此為根據(jù)評出每一條微博的幸福指數(shù)。研究團隊發(fā)現(xiàn)，離家越遠，人們所發(fā)微博中含有的開心詞匯就越多。
 
（2）2011年：人們沒有以前快樂
 
2011 12月21日消息，美國佛蒙特大學學者對Twitter上的用詞進行分析后，最終得出“人們沒有以前快樂”的結論。研究稱，自2009年4月以來，人們的幸福感總體呈下行趨勢。該研究報告的主要作者、佛蒙特大學的應用數(shù)學家Peter Dodds表示，“人們的幸福感正在下降?！边@是多茲團隊對6300萬Twitter用戶所發(fā)tweet時用的460億個單詞分析得出的結論。

 1/2    1 2 下一頁 尾頁