大數據是一把雙刃劍,所謂水能載舟亦能覆舟,我們應該利用這個手段來實現更好的商業(yè)和社會的公正性,還是應該放棄這個手段來保護我們的隱私?是一個永遠的問題。而現在首先要做的,是把“大數據”帶出被神化了的世界。
被新聞媒體和學術會議宣傳得近乎神化的大數據,最近也頻頻被潑冷水。2013年年初,美國知名大數據分析公司Avasid聯(lián)合創(chuàng)始人兼CEO Gurieet Singht就暗示大家“大數據”可能并沒有那么靠譜。他指出,從查詢開始分析數據本身就是一個死胡同,目前,研究人員還只是從收集到的數據中提取1%進行分析,而這1%被分析的數據卻用來支配企業(yè)的革新和形成某種見解,這顯然是不科學的。2013年5月,阿里集團王堅的一篇“大數據,你們都理解錯了”的講話,立刻抓牢人們的眼球,也值得讓我們反思,大數據到底是什么?一直以來真的都沒有抓住要點嗎?
我們沒有理解大數據的真正含義嗎?
Gurjeet Singht的觀點有很扎實的依據。面對數據宇宙規(guī)模爆炸式的增長,科技發(fā)展的速度并沒有與之相匹配。根據IDC最近的報告,當前人們每天可以收集的數據約1qB,而數字宇宙的規(guī)模已經達到了2.8ZB的數據量。IDC預計,到2020年數字宇宙的規(guī)模將高達40ZB。移動技術、傳感技術的發(fā)展,讓人們采集數據的能力不斷增強,但識別數據的技術發(fā)展速度卻沒那么樂觀。比如,在當前數據宇宙中很多有價值的數據,都是基于文檔的未被標記的非結構化數據,人們對這類數據的識別、處理技術的研究剛剛起步。但市場中所謂成熟的大數據分析方法,卻普遍是基于有效數據標識來采集用于分析的數據。根據這種方法,有些數據因為無法識別所以不能被標記,因而不能被視為有效數據,在用于分析前,它們就會被拋棄。這一問題導致大量有價值的數據就這樣丟失了,完全沒有被利用。
王堅的論述也有相當豐富的例子作為佐證,大數據很早以前就有,然而,數據僅有“大”是完全不夠的,即便是擁有全世界最多數據的歐洲對撞實驗室,只要他的數據與互聯(lián)網不沾邊,那么他對大眾來說就變得沒有意義。所以,今天我們對數據本質的研究不應該是大,而應該是“在線”。在線讓數據搜集變得容易,比如,以前美國要大選總統(tǒng)時,需要做蓋勒普民意調查,抽取2000人進行調查問卷的填寫,而現在,只需要在Twitter上分析每個人發(fā)布的狀態(tài),就可以推斷出總統(tǒng)是誰,并且能夠快速影響社會。但是,要讓產品和數據結合得很好,還需要一個漫長的過程。
磨刀不誤砍柴工——玩轉大數據
紐約創(chuàng)業(yè)公司Media6Degrees首席科學家克勞迪婭·珀利徹也給正走在被神化道路上的“大數據”重重的一擊,“你可以用數據來欺騙自己,但我擔心大數據出現泡沫?!?/p>
珀利徹擔心許多人將自己稱為“數據科學家”,但實際上卻并未做足功課,反而給該領域抹黑。 珀利徹認為,大數據似乎將面臨勞動力瓶頸,因為現有大數據專家們技能提升的速度遠遠不夠數據的增長速度。麥肯錫全球學會在2012年發(fā)布的一份報告也顯示,美國需要14萬名至19萬名具有“深度分析”經驗的工作者,以及150萬名更加精通數據的經理人,無論是已退休人士還是已受聘人士。這個數字無疑是龐大的。
管理大數據要比搜集大數據意義重大的多,如何問問題,如何定義問題,從哪里提取數據?這都需要專業(yè)數據分析人士的技能,如果個人數字世界的算法過于簡單,就不會達到預期描繪的那般智能。試想,如果沒有挖掘出數據背后真正的價值,那么,再龐大的數據量也只是空彈,無法擊中要害。所以,大數據專家們都應該意識到大數據技術的局限和不足,培養(yǎng)經驗和敏銳的直覺,不能僅把聽取數據放在重要的位置。
也許現在大多數應用大數據的企業(yè),還只邁步在1.0、2.0版本上,但真正意義上的大數據時代,也許要到3.0版才能實現。
——電子科技大學互聯(lián)網科學中心主任、教授、博士生導師周濤
善用數據,讓版本升級
在新一次可能的第三次工業(yè)革命中,數據、計算將扮演材料、能源和先進工藝技術這樣的角色,如果把計算看成能源,能夠允許它像電力一樣進入大眾的生活并流動起來,以一種統(tǒng)一的收費方式,不在乎計算從何而來,就像我們不知道今天我們用的5度電是來自大亞灣還是三峽。可以想象,在未來云計算以及其他的計算能力將成為一個國家非常至關重要的核心戰(zhàn)略之一。數據就是其中一種戰(zhàn)略材料,每一個企業(yè)、科研團隊、都有責任通過一些計劃,有目的的搜集、處理、分析和索引數據。然而,未來的大數據如果想要成就偉大的企業(yè),真正先進的工藝技術來自于更深入的分析,需要更聰明的頭腦,不再等同以前工業(yè)革命時期的工業(yè)技術,而在于擁有更聰明的頭腦。
更多詳細信息,請您微信關注“計算網”公眾號: