本年度Hadoop World會議上最火的一則消息可能就是Cloudera決定提供Apache Spark的全企業(yè)級支持——類似Hadoop發(fā)行版里的定制內(nèi)容及付費產(chǎn)品支持，不僅僅是技術(shù)整合。這進(jìn)一步證明了未來Hadoop的工作負(fù)載比現(xiàn)在和過去的看起來大不一樣。

Spark是一個內(nèi)存中的數(shù)據(jù)處理平臺，兼容Hadoop數(shù)據(jù)源，但是比Hadoop MapReduce運行的更快。它非常適合機(jī)器學(xué)習(xí)作業(yè)，以及交互式數(shù)據(jù)查詢，非常易于開發(fā)者使用，因為它包含了Scala、Python、Java的 API。Spark已經(jīng)在大量的網(wǎng)絡(luò)公司和網(wǎng)絡(luò)創(chuàng)業(yè)公司中使用，一個旨在商業(yè)化Spark的初創(chuàng)公司Databricks近日獲得了1400萬美元的風(fēng)險投資。

實際上，Databricks是Cloudera Connet的第一個合作伙伴，它將幫助Cloudera提供支持，在Apache Spark未來發(fā)展中也將與大的Hadoop供應(yīng)商合作，Cloudera公司聯(lián)合創(chuàng)始人兼CTO Amr Awadallah解釋了這個合作關(guān)系，也作為所有潛在客戶的合作關(guān)系：將作為Cloudera所有感興趣的客戶創(chuàng)新的樞紐。Databricks以類似OEM的關(guān)系獲益，但該協(xié)議僅限于擴(kuò)展Apache Spark，不會發(fā)布任何商業(yè)版本的Databricks。

除下Databricks和Cloudera建立在Spark上的合作之外，Hortonworks也在致力流處理引擎Storm的企業(yè)級應(yīng)用，這些探索都是非常重要的，因為只運行MapReduce的Hadoop永遠(yuǎn)都無法取得長期勝利?，F(xiàn) 在，YARN資源管理層已經(jīng)可以投入使用，Cloudera和Hortonworks不用浪費任何時間為Hadoop未來的工作負(fù)載做準(zhǔn)備，坦白來說，面 對本質(zhì)上Hadoop變成能支持可擴(kuò)展性的開源數(shù)據(jù)層，我不明白過去幾年那些對Hadoop持懷疑態(tài)度的人依然能夠堅持，理論上，你可以使用它來處理任何 類型。

Awadallah指出，雖然MapReduce仍然能流行一段時間，但是作為事實上的通用數(shù)據(jù)處理平臺，Hadoop的未來應(yīng)該更好。

原文鏈接： Spark is a really big deal for big data, and Cloudera gets it