Twitter通過(guò)2011年購(gòu)買Backtype獲得Strom建立者Nathan Marz,因此它應(yīng)該是個(gè)典型的Storm用戶。Storm幫助Twitter完成許多事情,比如讓用戶Timeline保持實(shí)時(shí)更新,但是該公司同樣依靠了許多其他工具(Hadoop,當(dāng)然名列其中)來(lái)做一些長(zhǎng)期趨勢(shì)分析和搜索引擎模型訓(xùn)練。
Amazon CTO Werner Vopgels在11月對(duì)外公布了Kinesis服務(wù)
就像Storm,在將數(shù)據(jù)運(yùn)輸?shù)搅硪粋€(gè)數(shù)據(jù)存儲(chǔ)(基于AWS平臺(tái)的ElasticMapReduce、Redshift或者DynamoDB)之前,Kinesis就能夠進(jìn)行實(shí)時(shí)處理。但是區(qū)別于Storm,Kinesis保存數(shù)據(jù)的時(shí)間可以長(zhǎng)達(dá)24小時(shí),同時(shí),通過(guò)軟件開(kāi)發(fā)工作包或者SDK可以自動(dòng)地?cái)U(kuò)展到每小時(shí)上千個(gè)TB 。Kinesis還含一個(gè)轉(zhuǎn)移數(shù)據(jù)到Storm的連接器,AWS數(shù)據(jù)科學(xué)經(jīng)理Matt Wood解釋到,在當(dāng)現(xiàn)存Storm用戶想繼續(xù)使用它來(lái)處理數(shù)據(jù)時(shí),Kinesis可以實(shí)現(xiàn)自動(dòng)連接。
對(duì)Kinesis來(lái)說(shuō)SDK是一項(xiàng)關(guān)鍵,因?yàn)檫@項(xiàng)服務(wù)的設(shè)計(jì)宗旨就是“降低建立響應(yīng)式應(yīng)用程序的門檻”,AWS在一次采訪中說(shuō)到。早期訪問(wèn)用戶,包括移動(dòng)游戲開(kāi)發(fā)商Supercell,正在使用Kinesis對(duì)游戲服務(wù)器和市場(chǎng)平臺(tái)Bizo中的數(shù)據(jù)流進(jìn)行處理,然后供給實(shí)時(shí)監(jiān)控面板。 Wood說(shuō)Bizo有一個(gè)異常小的研發(fā)團(tuán)隊(duì),能有機(jī)會(huì)省卻管理數(shù)據(jù)管道的工時(shí),從而轉(zhuǎn)移到更具價(jià)值的任務(wù)上,這得感謝AWS。
當(dāng)Amazon首次公開(kāi)Knesis這個(gè)產(chǎn)品時(shí),我們就會(huì)發(fā)現(xiàn),AWS的云服務(wù)無(wú)可比擬,這里我們不妨計(jì)算一下其他云供應(yīng)商提供自己流處理服務(wù)的時(shí)間。當(dāng)下企業(yè)的計(jì)算基礎(chǔ)設(shè)施一般都包括一個(gè)完整的數(shù)據(jù)管道,用以收集和處理數(shù)據(jù),因此如果其他云服務(wù)供應(yīng)商想遏制用于瘋狂涌向AWS,那么他們不可以只有一個(gè)Hadoop。