Apache Spark在2015年得到迅猛發(fā)展，開發(fā)節(jié)奏比以前任何時(shí)候都快，在過(guò)去一年的時(shí)間里，發(fā)布了4個(gè)版本(Spark 1.3到Spark 1.6)，各版本都添加了數(shù)以百計(jì)的改進(jìn)。
給Spark貢獻(xiàn)過(guò)源碼的開發(fā)者數(shù)量已經(jīng)超過(guò)1000，是2014年年末人數(shù)的兩倍。據(jù)我們了解，不管是大數(shù)據(jù)或小數(shù)據(jù)工具方面，Spark目前是開源項(xiàng)目中最活躍的。對(duì)Spark的快速成長(zhǎng)及社區(qū)對(duì)Spark項(xiàng)目的重視讓我們深感責(zé)任重大。
在Databricks，我們?nèi)匀辉谂ν苿?dòng)Spark向前發(fā)展，事實(shí)上，2015年我們貢獻(xiàn)給Spark的代碼量是其它任何公司的10倍之多。在本博文中，將重點(diǎn)突出2015年加入到項(xiàng)目中的主要開發(fā)內(nèi)容。
數(shù)據(jù)科學(xué)API，包括DataFrames，機(jī)器學(xué)習(xí)流水線(Machine Learning Pipelines)及R語(yǔ)言支持;
平臺(tái)API;
Tungsten項(xiàng)目和性能優(yōu)化;
Spark流計(jì)算。
在見證快速開發(fā)節(jié)奏的同時(shí)，也很高興目睹了用戶采用新版本的速度。例如，下圖給出的是超過(guò)200個(gè)客戶在Databricks運(yùn)行Spark版本的情況(注意單個(gè)客戶同時(shí)可以運(yùn)行多個(gè)版本的Spark)。
從上圖中可以看到，Spark用戶在緊隨最新版本方面積極性很高，在Spark 1.5發(fā)布后的僅三個(gè)月內(nèi)，大多數(shù)的客戶便在使用它，同時(shí)有一小部分客戶已經(jīng)在試用2015年11月底發(fā)布的預(yù)覽版本的Spark 1.6。現(xiàn)在，讓我們來(lái)詳細(xì)說(shuō)明2015年Spark的主要變化：
數(shù)據(jù)科學(xué)API: DataFrame，ML Pipelins和R
在Spark之前，大數(shù)據(jù)相關(guān)讀物總是會(huì)涉及一系列令人望而生畏的概念，從分布式計(jì)算到MapReduce函數(shù)式編程。從而，大數(shù)據(jù)工具主要由那些掌握高級(jí)復(fù)雜技術(shù)水平的數(shù)據(jù)基礎(chǔ)團(tuán)隊(duì)使用。
Spark在2015年首要發(fā)展主題是為大數(shù)據(jù)構(gòu)建簡(jiǎn)化的APIs，類似于為數(shù)據(jù)科學(xué)構(gòu)建的那樣。我們并非逼迫數(shù)據(jù)科學(xué)家去學(xué)習(xí)整個(gè)新的發(fā)展范式，實(shí)際上是想要降低學(xué)習(xí)曲線，提供類似于他們已經(jīng)熟悉的工具。
為了達(dá)此目的，下面介紹下Spark的三個(gè)主要API附件。
DataFrames：針對(duì)結(jié)構(gòu)化的數(shù)據(jù)，是一個(gè)易用并且高效的API，類似于小數(shù)據(jù)工具，像Python中的R和Pandas。
Machine Learning Pipelines：針對(duì)完整的機(jī)器學(xué)習(xí)工作流，是一個(gè)易用的API。
SparkR：與Python一起，R是深受數(shù)據(jù)科學(xué)家歡迎的編程語(yǔ)言。只需簡(jiǎn)單的學(xué)習(xí)一下，數(shù)據(jù)科學(xué)家馬上就可以使用R和Spark處理數(shù)據(jù)，比他們的單一機(jī)器處理數(shù)據(jù)強(qiáng)大的多。
雖然這些API僅僅發(fā)布了數(shù)月，根據(jù)2015年Spark調(diào)查報(bào)道，使用DataFrame API的Spark用戶已占62%。正如調(diào)查結(jié)果所示，調(diào)查對(duì)象大部分人都把自己定位為數(shù)據(jù)工程師(41%)或數(shù)據(jù)科學(xué)家(22%)，數(shù)據(jù)科學(xué)家對(duì)Spark興趣的上升通過(guò)其使用的開發(fā)語(yǔ)言能更明顯地說(shuō)明問題，58%的調(diào)查對(duì)象使用Python(相比2014年增幅超過(guò)49%)，18%的受訪者使用R API。
由于我們發(fā)布了DataFrames，因此也收集了社區(qū)的反饋，其中最為重要的反饋是：對(duì)于構(gòu)建更大型、更復(fù)雜的數(shù)據(jù)工程項(xiàng)目，經(jīng)典RDD API所提供的類型安全特性十分有用。基于此反饋，針對(duì)這些不同種類的數(shù)據(jù)，我們正在Spark 1.6中開發(fā)一個(gè)新類型Dataset API。
平臺(tái)APIs
對(duì)應(yīng)用開發(fā)者來(lái)說(shuō)，Spark正成為通用的運(yùn)行時(shí)環(huán)境。應(yīng)用程序僅需要針對(duì)單個(gè)集合的API進(jìn)行編程便可以運(yùn)行在不同種類的環(huán)境上(on-prem、cloud、Hadoop等)及連接不同種類的數(shù)據(jù)源。在本年年初，我們便為第三方開發(fā)人員引入了標(biāo)準(zhǔn)的可插拔數(shù)據(jù)源API，它可以智能地解析數(shù)據(jù)源格式。目前支持的數(shù)據(jù)源包括：
CSV, JSON, XML
Avro, Parquet
MySQL, PostgreSQL, Oracle, Redshift
Cassandra, MongoDB, ElasticSearch
Salesforce, Google Spreadsheets
為便于查找數(shù)據(jù)源和算法對(duì)應(yīng)的庫(kù)，我們啟用了一個(gè)網(wǎng)站spark-packages.org作為Spark開發(fā)庫(kù)的一個(gè)中央倉(cāng)庫(kù)。
另外一個(gè)有趣的趨勢(shì)是Spark早期使用者大多數(shù)與Hadoop結(jié)合起來(lái)使用，隨著Spark的發(fā)展，Hadoop不再代表著大多數(shù)Spark使用時(shí)。根據(jù)2015年Spark調(diào)查報(bào)告，48%的Spark部署方式為Spark standalone集群管理器，而Hadoop Yarn的使用僅為40%左右。