數(shù)據(jù)專家不能只生活在R語(yǔ)言或Excel表格里。他們需要工具來(lái)獲得質(zhì)量拔尖且可用于預(yù)測(cè)分析的數(shù)據(jù)。其實(shí)我覺(jué)得這正是統(tǒng)計(jì)學(xué)家和數(shù)據(jù)專家的區(qū)別所在。在我看來(lái)，統(tǒng)計(jì)學(xué)家 使用數(shù)據(jù)進(jìn)行回歸分析。而 數(shù)據(jù)專家 需要切實(shí)獲取數(shù)據(jù)、進(jìn)行回歸分析、溝通結(jié)果、展示模式，并超越所在機(jī)構(gòu)當(dāng)時(shí)的局限，立足于制高點(diǎn)帶領(lǐng)大家尋求切實(shí)可行的突破發(fā)展。鑒于他們需要統(tǒng)籌整個(gè)數(shù)據(jù)通道，我希望這個(gè)數(shù)據(jù)生態(tài)系統(tǒng)可以羅列出數(shù)據(jù)專家門常用的重要工具和使用方法，以及工具之間的交互聯(lián)系。
第一部分：數(shù)據(jù)源
數(shù)據(jù)是整個(gè)數(shù)據(jù)生態(tài)系統(tǒng)的源頭?？偟膩?lái)說(shuō)，數(shù)據(jù)源可分為數(shù)據(jù)庫(kù)、應(yīng)用和第三方數(shù)據(jù)三類。
1，數(shù)據(jù)庫(kù)
結(jié)構(gòu)化數(shù)據(jù)庫(kù)早于非結(jié)構(gòu)化數(shù)據(jù)庫(kù)出現(xiàn)。結(jié)構(gòu)化數(shù)據(jù)庫(kù)每年有約250億美元的市場(chǎng)，你可以在數(shù)據(jù)生態(tài)系統(tǒng)圖里看到眾所周知的Oracle，和一些新創(chuàng)公司譬如MemSQL等。結(jié)構(gòu)化數(shù)據(jù)庫(kù)儲(chǔ)存有限的數(shù)據(jù)列，一般由結(jié)構(gòu)化查詢語(yǔ)言(SQL)運(yùn)行，用于數(shù)據(jù)可靠完善至關(guān)重要的領(lǐng)域，比如說(shuō)財(cái)政和運(yùn)營(yíng)。
對(duì)結(jié)構(gòu)化數(shù)據(jù)庫(kù)有一個(gè)重要假設(shè)，那就是查詢數(shù)據(jù)時(shí)必須能得到一致且完善的結(jié)果。想一想誰(shuí)絕對(duì)需要這樣一種結(jié)構(gòu)化數(shù)據(jù)庫(kù)?對(duì)了，就是你的銀行。它們存儲(chǔ)賬戶信息、個(gè)人姓名、借款等等，必須隨時(shí)分毫不差地知道你賬戶中的金額。
而另外一種則是非結(jié)構(gòu)化數(shù)據(jù)庫(kù)。情理之中，非結(jié)構(gòu)化數(shù)據(jù)庫(kù)是由數(shù)據(jù)專家們開拓的，因?yàn)閿?shù)據(jù)專家眼中的數(shù)據(jù)與賬戶并不相同。數(shù)據(jù)專家不太在意查詢結(jié)果絕對(duì)一致，他們更關(guān)注數(shù)據(jù)的靈活性。因此， 非結(jié)構(gòu)化數(shù)據(jù)在許多方面降低了對(duì)數(shù)據(jù)存儲(chǔ)和查詢的要求 。
很多非結(jié)構(gòu)化數(shù)據(jù)庫(kù)是谷歌獲得成功的直接產(chǎn)物。谷歌嘗試把互聯(lián)網(wǎng)存儲(chǔ)在數(shù)據(jù)庫(kù)中，其野心和工程之龐大可想而知。MapReduce是一種用于這種數(shù)據(jù)庫(kù)的技術(shù)，雖然它一定程度上沒(méi)有結(jié)構(gòu)化查詢語(yǔ)言 (SQL)那么強(qiáng)大，但是 用戶可以依據(jù)需要來(lái)調(diào)整和擴(kuò)充它們的數(shù)據(jù) 。MapReduce的數(shù)據(jù)使用甚至已經(jīng)超出了谷歌的初始預(yù)期。比如現(xiàn)在谷歌可以在所有網(wǎng)站間查詢，并根據(jù)網(wǎng)站之間的互相鏈接來(lái)調(diào)整搜索結(jié)果。這種可量化的靈活查詢使谷歌獲得了巨大的競(jìng)爭(zhēng)優(yōu)勢(shì)，因此雅虎和其他公司以巨額投資來(lái)開發(fā)這種技術(shù)的開源版本，名叫Hadoop。
此外，非結(jié)構(gòu)化數(shù)據(jù)庫(kù)通常所需的 儲(chǔ)存空間通常更小 。在過(guò)去數(shù)據(jù)存儲(chǔ)十分昂貴，因此幾年前，一些主要的互聯(lián)網(wǎng)公司不得不每隔幾個(gè)月就清空一次數(shù)據(jù)庫(kù)?，F(xiàn)在這種情況已難以想象了。 從強(qiáng)大的推薦引擎，到世界級(jí)的翻譯系統(tǒng)，到令人難以置信的存貨管理，都建立于這些數(shù)據(jù)之上。
非結(jié)構(gòu)化數(shù)據(jù)庫(kù)一般來(lái)說(shuō)沒(méi)有結(jié)構(gòu)化數(shù)據(jù)庫(kù)那么精確，但對(duì)于許多應(yīng)用(尤其是數(shù)據(jù)科學(xué)界)，這個(gè)折衷是值得的。舉例來(lái)說(shuō)，
比如你的非結(jié)構(gòu)化數(shù)據(jù)庫(kù)在100個(gè)機(jī)器上運(yùn)行，但是其中有一個(gè)當(dāng)機(jī)了。這時(shí)你僅用99臺(tái)機(jī)器(而非100臺(tái))來(lái)決定向用戶推薦觀看一部特定的電影，也完全可行。這種類型的數(shù)據(jù)庫(kù)看重靈活性，量化以及速度，哪怕不能隨時(shí)保證完全精確。
還有一個(gè)更有名的例子。一個(gè)軟件公司創(chuàng)建了一個(gè)基于Hadoop的非結(jié)構(gòu)化數(shù)據(jù)庫(kù)軟件Cloudera。來(lái)看看它有多大的成長(zhǎng)空間吧：7年前，我接到風(fēng)投的電話，他們預(yù)期Cloudera在全球有10到15家公司的市場(chǎng)，去年Cloudera已獲得了將近10億美元的融資。 隨著數(shù)據(jù)專家取代財(cái)務(wù)和會(huì)計(jì)，成為最主要的數(shù)據(jù)消費(fèi)者，數(shù)據(jù)庫(kù)將會(huì)越來(lái)越走進(jìn)每一個(gè)人的生活 。
2，商業(yè)應(yīng)用
十年前，沒(méi)有人想過(guò)能把重要的商業(yè)數(shù)據(jù)存在云端，如見(jiàn)這卻早已成為了現(xiàn)實(shí)。這也許是商業(yè)的IT基礎(chǔ)結(jié)構(gòu)的最大轉(zhuǎn)變之處。 我在數(shù)據(jù)庫(kù)生態(tài)系統(tǒng)中列出了四種主要的商業(yè)應(yīng)用，分別是銷售、營(yíng)銷、產(chǎn)品和消費(fèi)者，每一種功能都有多種SaaS應(yīng)用可供選擇。
SalesForce 應(yīng)該是首先掀起這股趨勢(shì)的并最先獲得成功的。他們把軟件開發(fā)的目標(biāo)人群是終端用戶(銷售團(tuán)隊(duì))，而非單個(gè)的首席技術(shù)官。這對(duì)他們的用戶十分有用，在此過(guò)程中，大家也能看到公司客戶能夠信任地把重要公司數(shù)據(jù)放在云端。 銷售數(shù)據(jù)不再存在于用戶自己安裝的內(nèi)部數(shù)據(jù)庫(kù)，而是被放在云端，由致力于保證數(shù)據(jù)可用且穩(wěn)定的云端公司提供服務(wù)。
其他公司也紛紛效仿這種做法。如今基本上每個(gè)商業(yè)部門都有一個(gè)對(duì)應(yīng)的數(shù)據(jù)應(yīng)用。
Marketo存儲(chǔ)營(yíng)銷數(shù)據(jù)，
MailChimp存儲(chǔ)電子郵件，