硅谷的這一個月，我在 startups demo days 和各種大公司一日游中度日，以為會逃脫國內(nèi)各種會上各種“大數(shù)據(jù)”和挖掘機的梗，但萬萬沒想到這里更甚。Hi~ 本文發(fā)自僅次于五道口的宇宙中心硅谷，與你分享大數(shù)據(jù)在這片土地上的真實生長狀況。
下篇：http://www.china-cloud.com/yunjishu/shujuzhongxin/20141208_44108.html
什么是“改變世界”的大數(shù)據(jù)公司
近兩周硅谷兩場規(guī)模比較大的 demo 大會上，就有十多家自稱做大數(shù)據(jù)的 startups，有做消費者行為的，有做體育分析的，有做 NGO 融資的，有做環(huán)保的，有做 UX 的，有做信貸評級的，當然還少不了做移動端廣告的。乍看都是高大上的產(chǎn)品，但仔細琢磨一下會發(fā)現(xiàn)一些沒那么高大上的細節(jié)。
比如，有一家介紹時候說 "Brings big data to teams, media and fans"，用的是Moneyball作引子。展示結(jié)束后詢問他們是如何分析視頻以得到各種數(shù)據(jù)的，demo 的哥們表示他們請了一些人看視頻的。沒錯，是人工。自然地，下一個問題就是：未來如何擴張以應對來自不同體育項目大量的全長錄像？他的回答也很簡單，雇傭更多人。聽完我懵了一下，問，那打算如何利用收集的數(shù)據(jù)呢？答曰：開放 API，自己不做分析。
那么，說好的大數(shù)據(jù)呢？難道有數(shù)據(jù)就叫大數(shù)據(jù)公司了？如果慶豐包子留存有這半個多世紀以來的購買者和交易記錄它就得叫大數(shù)據(jù)公司了？
是，但也不是。
先歸納了一下硅谷“大數(shù)據(jù)公司”的類型，有補充或修正的請拍磚：
數(shù)據(jù)的擁有者、數(shù)據(jù)源：特點是業(yè)務優(yōu)勢能收集到大量數(shù)據(jù)，就像煤老板壟斷一個地區(qū)的礦一樣。其實大多數(shù)有能力產(chǎn)生或收集數(shù)據(jù)的公司都屬于這類型，比如Vantage Sports和收集了PB級數(shù)據(jù)的包子鋪。
大數(shù)據(jù)咨詢：特點是非常技術(shù)，提供從基礎(chǔ)設(shè)施規(guī)劃建設(shè)維護到軟件開發(fā)和數(shù)據(jù)分析等的服務，但不擁有數(shù)據(jù)，比如Cloudera這家不到500人的startup是最著名的Hadoop架構(gòu)咨詢公司。
做大數(shù)據(jù)工具的：比如AMPLab出來的Databricks和Yahoo人主導的Hortonworks。
整合應用型：特點是收集擁有或購買一些數(shù)據(jù)，然后結(jié)合AI來解決更多實際的痛點。
所以回答之前的問題：是，因為包子鋪只要收集的消費者數(shù)據(jù)量夠大就能成為數(shù)據(jù)擁有者，有那么大的數(shù)據(jù)就有得到洞見的可能；不是，因為可能從真正意義上來說，大數(shù)據(jù)公司應該只屬于第四種類型：AI。
對，我相信未來是 AI 的，而 AI 的食物是數(shù)據(jù)。就像很多產(chǎn)業(yè)鏈一樣，最困難且最有價值的創(chuàng)新往往發(fā)生在接近最終用戶的那端，比如 iPhone。大數(shù)據(jù)行業(yè)最有價值的部分在于如何利用機器去處理數(shù)據(jù)得到洞見，影響組織和個人的行為，從而改變世界。收集和整理數(shù)據(jù)在未來會變得標準化和自動化，而利用 AI 進行分析的能力會變得更為關(guān)鍵。
再看硅谷主打 AI 的公司，現(xiàn)在大致可以分成以下三類了：1. 分析用戶行為，改進產(chǎn)品和營銷的，比如 LinkedIn 的推薦系統(tǒng)和用 iBeacon 實現(xiàn)店內(nèi)營銷；2. 統(tǒng)籌大量分散個體，利用大數(shù)據(jù)實現(xiàn)精確有效的預測和規(guī)劃的，比如 Uber 和前段時間出現(xiàn)的 Amazon Fresh 及 Grub Market；3. 分析識別各種類型的數(shù)據(jù)，開發(fā)更智能的設(shè)備和程序，比如 Google 大腦及無人車和以 Nest 為代表的智能設(shè)備等。
這些產(chǎn)品都有一個很明顯的共性，就是在努力嘗試把機器變得更智能以減輕人類的工作量。這個目的與科技發(fā)展的動力相符合，因此認為之前所說的第四種類型的公司是最有希望改變世界的。
這樣的大數(shù)據(jù)公司需要什么樣的人
那么大數(shù)據(jù)公司，或者說到真正可以改變世界的大數(shù)據(jù)公司需要什么樣的人才呢？這里要介紹一個在硅谷被炒得很熱的高頻詞匯：數(shù)據(jù)科學家。
這個職位出現(xiàn)的原因并不是因為數(shù)據(jù)量變大了需要更好的方式去存取，那是數(shù)據(jù)工程師的活。那產(chǎn)生的原因是什么呢？正是為了匹配上面第四種公司的需要。數(shù)據(jù)是 AI 當中不可分割的一部分，而且量越大越好，從數(shù)學上來說，數(shù)據(jù)越多則我們越能夠有信心把從樣本分析出來的結(jié)果推論到未知的數(shù)據(jù)當中，也就是說機器學習的效果越來越好，AI 越來越智能。
由此誕生的數(shù)據(jù)科學家是一個非常綜合型的職業(yè)。它所要求的知識范圍包括分析數(shù)據(jù)的統(tǒng)計學，到算法的選擇優(yōu)化，再到對行業(yè)知識的深刻理解。這群人是開發(fā)數(shù)據(jù)產(chǎn)品的核心。硅谷大部分 startup 已經(jīng)把它當成是必需品了，以至于剛?cè)胄械男氯艘材茴I(lǐng)到差不多 $100K 的薪水。而模糊的定義和誤解也讓有的人戲稱，data scientist is a data analyst living in the bay area。