對于如何將流行的Apache HadoopMapReduce框架運(yùn)行于AmazonEC2之上,老早之前就已經(jīng)有教程了。今天Amazon通過Amazon Elastic MapReduce對其提供了官方支持,不斷改善自身。從其產(chǎn)品頁面可看到:
Amazon Elastic MapReduce自動(dòng)地在Amazon EC2實(shí)例上驅(qū)動(dòng)一個(gè)MapReduce框架的Hadoop實(shí)現(xiàn),將任務(wù)流中的數(shù)據(jù)分解為更小的塊以用于并行處理(“map”函數(shù)),并最終將處理后的數(shù) 據(jù)重新組合在一起成為最后結(jié)果(“reduce”函數(shù))。Amazon S3作為被分析的數(shù)據(jù)源,并作為最終結(jié)果輸出的目的地。
Amazon Elastic MapReduce的價(jià)格是在現(xiàn)有EC2的收費(fèi)之上的15%比率。其FAQ上有一個(gè)關(guān)于價(jià)格和使用的完整列表。AWS的官方博客也提供了報(bào)道:
...Elastic MapReduce的處理是圍繞著任務(wù)流這一概念為中心來開展的。每個(gè)任務(wù)流包含一步或者多步。第一步從Amazon S3輸入一定的數(shù)據(jù),再將其分配給指定數(shù)量的運(yùn)行Hadoop的EC2實(shí)例(如果需要的話,驅(qū)動(dòng)這一實(shí)例),完成所有的工作,再將結(jié)果寫回S3。每個(gè)步驟 必須參考應(yīng)用特定的“mapper”和/或“reducer”代碼(Java JARS或是通過流模型使用的腳本代碼)。我們同時(shí)還包含進(jìn)了集合包,對一系列諸如和,最小,最大,歷史圖以及計(jì)數(shù)等等的公共操作提供了內(nèi)置的支持。在你 開始寫代碼之前就已經(jīng)有很多事情搞定了!我們提供了三種不同的訪問Elaastc MapReduce的途徑。你可以通過Elastic MapReduce API獲取完全的控制,你也可以使用Elastic MapRedue命令行工具,或者在AWS管理控制臺的Elastic MapReduce標(biāo)簽頁通過點(diǎn)擊進(jìn)行操作!讓我們分別來看每一個(gè)...
ZDNet的Dana Gardner 推測 這暗示了Amazone將在商業(yè)智能市場推出新的產(chǎn)品。
更多詳細(xì)信息,請您微信關(guān)注“計(jì)算網(wǎng)”公眾號: