Gurjeet Singht，Ayasdi聯(lián)合創(chuàng)始人兼CEO。在Gigaom上帶來了關于當下大數(shù)據(jù)技術的看法，Singht認為：從查詢開始分析數(shù)據(jù)本身就是一個死胡同，并指出了當下的大數(shù)據(jù)只完成了萬里長征的第一步。
以下為譯文：
許多人都會被震驚，如果他們知道研究人員只是從收集到數(shù)據(jù)中1%的數(shù)據(jù)進行分析和提取見解。而就是這1%被分析的數(shù)據(jù)支配了革新和見解，現(xiàn)在我們稱之為“大數(shù)據(jù)”。而在每天收集的1 quintillion（百萬3次方）字節(jié)的數(shù)據(jù)中，有99%的數(shù)據(jù)完全未被利用。
我們都知道使用大數(shù)據(jù)非常的有前途，然而基于當下的許多因素，數(shù)據(jù)的有效利用仍然是個瓶頸。藥物研發(fā)過程中，數(shù)據(jù)的使用多于化學過程；新能源的探測中，數(shù)據(jù)的使用超過地質(zhì)學；恐怖分子的追蹤、預防欺騙中同樣如此。
當下我們認識到的這些問題（上文）和其它一些全局性問題，都是數(shù)據(jù)使用的瓶頸所造成的。這種情況催生了大數(shù)據(jù)上的海量投資，而數(shù)據(jù)工作同樣成為了最熱門的崗位 —— 數(shù)據(jù)科學家，更把私人數(shù)據(jù)分析服務提供商的估值推到數(shù)十億美元。然而，你能想象到將分析的數(shù)據(jù)從1%提升到100%的前景嗎。
對已有數(shù)據(jù)分析的見解
如果你擁有一個和人類基因一樣龐大的數(shù)據(jù)集，你該如何開始？比如，奧巴馬最近提倡對人類大腦進行繪制？為了突破，我們需要解決這個世界上最復雜的問題，我們需要根本上改變從數(shù)據(jù)中獲取知識的途徑。這里我們必須首先思考的是：
從查詢開始必然是一個死胡同：查詢本身并沒有問題。事實上一旦你知道問什么問題，查詢是至關重要的。同樣這也是關鍵所在：從查詢開始的初衷是從大量的數(shù)據(jù)中發(fā)現(xiàn)一個指針，然而他們并未做到。
數(shù)據(jù)是有開銷的：大部分情況下，數(shù)據(jù)的儲存已經(jīng)不再昂貴。而且通過使用類似Hadoop或Redshift的工具，即使查詢大量的數(shù)據(jù)都變得非常劃算。當然，這只是從硬件的角度上講。
見解就是金錢：我們愿意承擔花銷唯一理由就是數(shù)據(jù)中的見解可以釋放價值。遺憾的是，我們失去了已收集數(shù)據(jù)中大部分的價值。雖然收集數(shù)據(jù)的成本可能會很高，但是無效分析帶來的成本顯然更高。當下并不存在什么工具可以直接從數(shù)據(jù)中提取見解，我們依賴著非常聰明的人去提出假設，然后使用我們的工具去證實（或者是否定）這些臆測。因為依賴的是臆測，這個途徑存在著天生的缺陷。
你已經(jīng)擁有了足夠多的數(shù)據(jù)：這里經(jīng)常存在的信念就是 —— “如果我們擁有了足夠多的數(shù)據(jù)，我們肯定會得到我們想要的。”太多的時間和精力被浪費在新的數(shù)據(jù)收集上，其實你可以用你手中的數(shù)據(jù)做更多的事情。舉個例子，Ayasdi最近在Nature Scientific Reports公布的從12歲乳腺癌患者身上獲得的新見解，就已經(jīng)被深入分析了10多年之久。
大數(shù)據(jù)只是起步，并不是終點
基于查詢的分析在某些方面確實可以起到很多作用，但是很顯然并沒有滿足人們對大數(shù)據(jù)的期望。
經(jīng)常會聽到我們在癌癥研究、能源勘探、藥物發(fā)現(xiàn)、金融欺詐檢測等領域取得了關鍵性突破，如果因為炒作出來的“大數(shù)據(jù)泡沫”導致人們因為各種原因在數(shù)據(jù)分析投資上的失敗，這與犯罪又有何不同？
所以我們需要給予數(shù)據(jù)分析更高的期望，我們更需要認識到下一代解決方案必須滿足：
授權領域?qū)＜?/strong>：數(shù)據(jù)科學家出現(xiàn)的頻率已完全跟不上企業(yè)的需求。這里不妨這么做，停止繼續(xù)為他們（數(shù)據(jù)科學家）開發(fā)工具；取而代之的是，給商業(yè)用戶（生物學家、地質(zhì)學家、安全分析師等）開發(fā)對應的工具。他們比任何人都明白問題出現(xiàn)的環(huán)境，但可能跟不上最新的技術或數(shù)學。
加速探索：我們需要更快的獲得關鍵見解。事實證明大數(shù)據(jù)技術的處理速度并沒有承諾的那么快。如果一直這樣發(fā)展下去，可能我們永遠都得不到足夠快的關鍵見解獲得速度，因為我們永遠都不可能針對所有數(shù)據(jù)提出所有的問題。
人機整合：為了更快的獲得見解，我們需要加大對機器智能的投資。我們需要機器能在數(shù)據(jù)點之間尋求連接和關系時擔當更多的重任，讓其給商業(yè)用戶一個更好的起點去探索見解。事實上通過算法途徑解決這些問題是完全可行的，并且人們本身永遠都不可能發(fā)現(xiàn)大型數(shù)據(jù)集上的顯著特征。例如在最近的一項研究中，通過算法查詢網(wǎng)絡搜索引擎日志發(fā)現(xiàn)了之前未報告過的藥物副作用。