12月12日,全球首個(gè)探討產(chǎn)業(yè)互聯(lián)網(wǎng)的大型會(huì)議,2014 CVW﹒產(chǎn)業(yè)互聯(lián)網(wǎng)大會(huì)在北京亦莊召開,并通過紐約時(shí)代廣場大屏幕同步呈現(xiàn)。大會(huì)由亞信集團(tuán)、云基地和亦莊經(jīng)濟(jì)技術(shù)開發(fā)區(qū)聯(lián)合舉辦,匯聚超過5000名關(guān)注互聯(lián)網(wǎng)和傳統(tǒng)產(chǎn)業(yè)發(fā)展的全球IT和傳統(tǒng)行業(yè)領(lǐng)袖和精英,探討“互聯(lián)網(wǎng)進(jìn)入傳統(tǒng)行業(yè)”、“傳統(tǒng)行業(yè)互聯(lián)網(wǎng)化”的演進(jìn)以及產(chǎn)業(yè)互聯(lián)網(wǎng)的技術(shù)模式和業(yè)務(wù)創(chuàng)新。
在下午的云平臺@互聯(lián)網(wǎng)論壇上,亞馬遜AWS中國解決方案高級經(jīng)理曹瑋祺帶來《基于AWS的移動(dòng)互聯(lián)SaaS服務(wù)云》的主題演講,分享亞馬遜的技術(shù)以及AWS在移動(dòng)互聯(lián)網(wǎng)以及大數(shù)據(jù)等等這些方面所提供的服務(wù)和支持。
以下是他的演講全文:
曹瑋祺:非常感謝在座的各位今天下午剛剛吃完飯,還有點(diǎn)嗜睡到我們的云平臺專場,來為我們喝彩。我今天就AWS的經(jīng)驗(yàn)盡量的給大家更多的分享和啟發(fā)。
大家今天上午都參加了主會(huì)場全球副總裁中國區(qū)的執(zhí)行總裁榮永康做的AWS在中國發(fā)展現(xiàn)狀的分享,今天下午我將聚焦技術(shù)和大家分享AWS在移動(dòng)互聯(lián)網(wǎng)以及大數(shù)據(jù)等等這些方面所提供的服務(wù)和支持。
首先先做一個(gè)自我介紹,我是AWS中國解決方案架構(gòu)師團(tuán)隊(duì)的負(fù)責(zé)人,我的團(tuán)隊(duì)主要是致力于給大家做相關(guān)的咨詢和解決方案架構(gòu),幫助大家能夠向云平臺更加順利的轉(zhuǎn)型。
AWS是全球云計(jì)算的領(lǐng)跑者,為什么是領(lǐng)跑者?因?yàn)槲覀円恢睕]有停止創(chuàng)新的步伐。AWS在8年多的商業(yè)運(yùn)營之中,已經(jīng)積累了豐富的經(jīng)驗(yàn),也是陪伴我們所有的客戶一起成長,也是幫助我們的客戶解決所有的問題。所以在8年多商業(yè)的運(yùn)營之中,我們已經(jīng)有40多種云服務(wù),1096種功能特性,有40251個(gè)實(shí)例鏡像。實(shí)例鏡像就是大家在建私有云的時(shí)候,直接用實(shí)例鏡像創(chuàng)建虛機(jī)。AWS在我們的軟件市場里有1900多種第三方產(chǎn)品,這也是AWS這個(gè)平臺本身的價(jià)值。也就是說,AWS平臺不是AWS服務(wù)本身,更多的是我們的合作伙伴以及我們的客戶,我們的客戶也把他在AWS上面的項(xiàng)目方案開源出來,供更多的客戶使用。
目前AWS有13000多個(gè)合作伙伴,1900多種第三方產(chǎn)品是在應(yīng)用市場里,大家可以像APPStore一樣大家可以直接去下載使用。AWS每天增加的計(jì)算能力足以可以支撐一個(gè)70億美金的公司,這個(gè)數(shù)字是怎么出來的?AWS2004年的時(shí)候曾經(jīng)是一家年收入70億美金的電商,當(dāng)時(shí)我們的IT支撐能力,大家可以想象是非常巨大的,因?yàn)橐患?0億美金年收入的電商,現(xiàn)在我們每一天所增加的容量就是當(dāng)時(shí)的容量。
這個(gè)地方是Gartner一個(gè)魔力象限,今年5月份他出的魔力象限,是這么指示的,他說如果其他主要4家云服務(wù)提供商計(jì)算容量的總和乘以5倍,AWS比它還要多。這說明AWS的規(guī)模是一個(gè)海量的計(jì)算平臺。AWS是一種快速迭代的服務(wù)創(chuàng)新模式,這種快速迭代給我們的客戶、給我們的合作伙伴帶來了非常多的創(chuàng)新的可能。僅僅在今年一年我們已經(jīng)發(fā)布了442項(xiàng)新的功能,也就是說我們幾乎每一天都會(huì)至少有一項(xiàng)新功能發(fā)布。在每一項(xiàng)新功能和新特性發(fā)布之后就可以直接使用。
舉一個(gè)例子,客戶曾經(jīng)向我提出一個(gè)問題,說你們能不能將數(shù)據(jù)文件直接導(dǎo)入到數(shù)據(jù)倉庫里,當(dāng)時(shí)我非常誠懇的告訴他們對不起,我們的數(shù)據(jù)倉庫目前不支持這個(gè)功能。周末發(fā)生了什么事情?我們?nèi)虻泥]件告訴我們說我們已經(jīng)增加了一個(gè)新的功能,數(shù)據(jù)倉庫可以增加文件的直接導(dǎo)入。到了星期一我跟客戶溝通,問他周末休息的好嗎?如果休息的好我告訴你一個(gè)好消息,現(xiàn)在你可以把數(shù)據(jù)直接導(dǎo)入到數(shù)據(jù)倉庫里。這就讓我們的客戶可以不斷的創(chuàng)新,所有的功能過不了幾天AWS就能為他提供了。
到今年年底會(huì)有超過500項(xiàng)的創(chuàng)新。
AWS有遍布全球的基礎(chǔ)設(shè)施網(wǎng)絡(luò),中國北京區(qū)域有一些在預(yù)覽階段,大家可以受邀去使用,除此以外我們?nèi)蜻€有10個(gè)區(qū)域,亞太的東京,新加坡、悉尼。歐洲有兩個(gè)區(qū)域,一個(gè)是愛爾蘭,還有一個(gè)是德國的法蘭克福。北美有四個(gè)區(qū)域,美國西海岸有一個(gè)政府區(qū)域,是專門為美國聯(lián)邦政府設(shè)的一個(gè)區(qū)域,這個(gè)區(qū)域是完全隔離的,和其他區(qū)域是分隔的。除此之外,在美國西海岸有加利福尼亞,東海岸有一個(gè)我們最早的區(qū)域,有九個(gè)區(qū)域是全部連載一起,每個(gè)區(qū)域有一個(gè)或多個(gè)可用區(qū),一個(gè)可用區(qū)是一個(gè)到六個(gè)數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心至少有5萬到8萬臺的服務(wù)器,多的像美國東部的區(qū)域有5個(gè)可用區(qū)。全球有52個(gè)邊緣站點(diǎn),在中國的臺北和香港各有兩個(gè)邊緣站點(diǎn)。這樣一個(gè)全球的網(wǎng)絡(luò)是為我們將來整個(gè)數(shù)據(jù)全球的部署打下了基礎(chǔ)。
這張圖是AWS的服務(wù)一覽圖,從下面的區(qū)域,普通區(qū)和52個(gè)邊緣站點(diǎn)之上有計(jì)算、存儲、數(shù)據(jù)庫,有網(wǎng)絡(luò),還有大數(shù)據(jù)分析、移動(dòng)應(yīng)用,應(yīng)用服務(wù)、管理和控制,有桌面級服務(wù),還有PaaS平臺服務(wù)。AWS是一個(gè)生態(tài)系統(tǒng),在里面大家可以找到所有的IT需要的全站的服務(wù),除此以外還可以在我們的客戶和合作伙伴那里找到相關(guān)的解決方案。
AWS整個(gè)的成本模型是通過持續(xù)降價(jià)和優(yōu)化成本來為客戶提供服務(wù)的,我們不斷的降價(jià),我們的用戶就會(huì)用的更多,用的更好,這樣我們就需要更大規(guī)模更多的計(jì)算,更多的容量來支持我們的客戶。隨著我們的規(guī)模效益出來之后,不斷的創(chuàng)新優(yōu)化成本,讓我們的成本降低,成本降低之后再進(jìn)一步的回饋給我們的客戶。2006年AWS成立以來,已經(jīng)降價(jià)了47次。
AWS快速擴(kuò)張的生態(tài)系統(tǒng)才是AWS真正的價(jià)值所在,不管是合作伙伴,還是政府公共事業(yè)部以及非營利機(jī)構(gòu)、教育機(jī)構(gòu)方面的客戶,還有應(yīng)用市場方面都有非常全面豐富的合作伙伴和應(yīng)用產(chǎn)品。這些都可以給我們的客戶帶來非常多的價(jià)值,在座的將來也可以把你們自己的產(chǎn)品直接發(fā)布在我們的應(yīng)用市場,供你的客戶直接下載來使用。
前面是一個(gè)AWS的概述,除了AWS遍布全球的基礎(chǔ)架構(gòu)和服務(wù)以外,AWS有五個(gè)特點(diǎn)。第一,開放。我們支持所有主流的語言,現(xiàn)在主要使用的是JAVA、iOS、安卓、PHP等等。初次以外,AWS是真正支持開放架構(gòu)和開放標(biāo)準(zhǔn)的平臺,所有的開源操作系統(tǒng)以及商用的操作系統(tǒng),像Windows各種版本,各種各樣的語言庫都在AWS上做了認(rèn)證,也是有非常多的客戶在使用企業(yè)級的應(yīng)用。
大家在使用云平臺的時(shí)候,或者在使用公有云的時(shí)候,最大的一個(gè)擔(dān)心是這個(gè)平臺是不是安全可靠。除了非常豐富的功能,非常完善的基礎(chǔ)架構(gòu)以及非常豐富的運(yùn)營的經(jīng)驗(yàn),最重要的就是安全。AWS是擁有最多安全標(biāo)準(zhǔn)認(rèn)證的一個(gè)云平臺。除了合規(guī)、認(rèn)證以外,AWS也提供了非常多的安全機(jī)制,為我們的用戶,為我們的平臺使用者提供非常靈活的,從各個(gè)層次非常容易去使用的安全措施,包括客戶自己的加密機(jī)制,或者我們?yōu)榭蛻粼诜?wù)器端直接加密的機(jī)制,還有客戶密鑰的管理,密鑰的生成,包括硬件、軟件加密,AWS全部都有這樣的服務(wù)
包括日志的追蹤,AWS可以把所有在AWS平臺上訪問的蛛絲馬跡全部記錄下來,幫助我們?nèi)プ鲈破脚_上開發(fā)應(yīng)用的審計(jì)和跟蹤。
AWS機(jī)器人可以幫助你分析你在AWS上的應(yīng)用,提供出你在AWS架構(gòu)上哪些地方做的還不夠安全,哪些地方做的還不夠省錢,哪些地方的性能還不夠好,哪些地方容錯(cuò)性不夠好。在這四個(gè)方面幫助你提供很多的建議。去年一年,我們的AWS機(jī)器人為客戶提供的省錢建議共節(jié)省了3億5000萬美金的成本。
AWS云端高可用系統(tǒng),在AWS上存100萬個(gè)文件,最多只有1個(gè)文件失效。AWS所有服務(wù)的設(shè)計(jì)是為失效而設(shè)計(jì)的,我們所有的服務(wù)在推出之前都是假定所有的一切都是不可靠的,比如說機(jī)器,比如說人。什么東西都會(huì)有不可靠,AWS就認(rèn)為所有的東西都是不可靠的,我們要為不可靠設(shè)計(jì),最終你就會(huì)零失效。
我們的整個(gè)設(shè)計(jì)不同的AZ為你實(shí)現(xiàn)高可用,比如數(shù)據(jù)庫你直接可以在界面里面選擇多AZ,實(shí)現(xiàn)數(shù)據(jù)同步復(fù)制,一旦主節(jié)點(diǎn)宕掉會(huì)直接切到負(fù)節(jié)點(diǎn),同時(shí)還可以做讀復(fù)制,一個(gè)節(jié)點(diǎn)可以有五個(gè)讀復(fù)制,最多可以達(dá)到30個(gè)。在各個(gè)層面我們都可以實(shí)現(xiàn)高的服務(wù)性,自動(dòng)擴(kuò)展組會(huì)永遠(yuǎn)保證組里面的服務(wù)器是高可用的,而且隨著負(fù)載的變化會(huì)彈性的伸縮。像小米的閃購,一天的搶購人數(shù)達(dá)到3000萬,比如小米電視、小米手機(jī),在AWS上做閃購的時(shí)候,QPS可以達(dá)到每秒鐘100萬。在這么大并發(fā)量的訪問下面,利用AWS云平臺自動(dòng)讓它伸縮,等到搶購的高峰過去了,自然把這個(gè)機(jī)器關(guān)掉,幫他省錢。
除此之外,云端最重要的是備份和恢復(fù)。云端的備份、恢復(fù)和災(zāi)備是和物理的災(zāi)備有非常大的性價(jià)比,我們平時(shí)在各個(gè)行業(yè)建立數(shù)據(jù)中心的時(shí)候一般都考慮同城建立一個(gè)災(zāi)備中心,在異地再建立一個(gè)異地的災(zāi)備中心,兩地三中心一般都是非常有錢的企業(yè)這么來做。他為了建一個(gè)數(shù)據(jù)中心得花三筆錢保障業(yè)務(wù),平時(shí)只有真正的數(shù)據(jù)中心在運(yùn)營,另外兩個(gè)中心完全是屬于等待狀態(tài),如果不等的話心里不踏實(shí),就覺得這個(gè)錢白花了。海嘯的幾率有多高,當(dāng)然中國還有地震,但我們一般建數(shù)據(jù)中心的時(shí)候都會(huì)避免建在地震帶上。所以為了完成一項(xiàng)業(yè)務(wù)我們要花三份的錢,有兩個(gè)是浪費(fèi)的,但是在云端我們可以完全把這兩份錢省下來,真正出現(xiàn)業(yè)務(wù)災(zāi)難的時(shí)候就會(huì)幫你解決這些問題。
我們有多種方案,一種是備份與恢復(fù)。一旦數(shù)據(jù)中心被打掉了切到云端,切換的時(shí)間非???,根本不同的指標(biāo)我們來設(shè)定災(zāi)備的方案。平時(shí)只需要做一些虛機(jī)的鏡像,數(shù)據(jù)的快照,一旦發(fā)生災(zāi)難以后,從虛機(jī)鏡像到云端,幫助你把業(yè)務(wù)備份恢復(fù)起來。
第二種情況是信號燈架構(gòu)。當(dāng)你的數(shù)據(jù)中心只能承載100萬,突然來了300萬,剩余的200萬承擔(dān)不了,100萬的時(shí)候信號燈就亮了,信號燈是一件好事情,是我們希望看到的。信號燈亮了以后有200萬用戶訪問就會(huì)卸載到云端,由云端幫你承擔(dān)起來。這種架構(gòu)我們叫做信號燈架構(gòu),云端的實(shí)力和物理的實(shí)力是一一對應(yīng)的,但是AWS云端有一個(gè)特點(diǎn),只有這邊開機(jī)上線了才會(huì)有費(fèi)用。當(dāng)你把東西建好,沒有開機(jī),這些費(fèi)用是沒有的,除非有一些存儲空間的費(fèi)用。大家可以想象它的成本比我們物理的災(zāi)備要低很多。
第三種情況是相互配分,同時(shí)互為配分,互為切換,同時(shí)承擔(dān)業(yè)務(wù)。
最后一種情況是多活架構(gòu)。
運(yùn)維管理是我們非常重要的云平臺的指標(biāo),也就是說是當(dāng)虛擬機(jī)開始泛濫的時(shí)候大家最頭疼的時(shí)候。這些服務(wù)當(dāng)你用的越多的時(shí)候,你會(huì)發(fā)現(xiàn)IP地址都很難管理,包括不同的租戶不同的應(yīng)用。這些相關(guān)的運(yùn)維,一些計(jì)費(fèi),相關(guān)的技術(shù),AWS提供了多種一鍵部署和運(yùn)維自動(dòng)化的手段。
第一非常值得推薦的AWS的服務(wù)是CloudFormation,整個(gè)過程也就幾分鐘的時(shí)間,部署跟一臺虛機(jī)啟動(dòng)的時(shí)間一樣。部署好之后所有的配置都配好,所有的應(yīng)用也都幫你安裝好。所以非常適合是環(huán)境到演練環(huán)境到生產(chǎn)環(huán)境。
第二種是你把你的應(yīng)用,直接把源程序開發(fā)好之后,不同版本直接丟到容器里面,剩余的彈性擴(kuò)展,前端的負(fù)載均衡,后端的數(shù)據(jù)庫,所有的跨AZ的部署都不用擔(dān)心,隨著你的用戶量增加,都會(huì)幫你彈性伸張,用戶量下降的時(shí)候幫助你彈性收縮。而且不同的版本之間還可以隨時(shí)進(jìn)行切換,所以它支持各種語言,所有的主流的語言都可以把應(yīng)用放進(jìn)去,剩下的就不用你來管了。
第三種是DevOps,是運(yùn)維自動(dòng)化的一個(gè)非常先進(jìn)的工具。菜譜里面有各種各樣烹調(diào)的說明,怎么樣把你的服務(wù)器配好,怎么樣安裝補(bǔ)丁,怎么樣安裝相關(guān)的應(yīng)用,怎么樣把所有的東西都裝好了,你可以在物理的環(huán)境下運(yùn)行?,F(xiàn)在直接拿過來,在AWS云端,比如要給1000臺機(jī)器打補(bǔ)丁,原來寫好的腳本直接拿過來就可以用。DevAps是非常好的運(yùn)維自動(dòng)化的工具。今天早上在北京技術(shù)峰會(huì)的現(xiàn)場,我們?nèi)虻腃TO他做的一些新服務(wù)的發(fā)布,做云端代碼開發(fā)版本控制、配置管理以及全生命周期管理自動(dòng)化的工具,這些也都在AWS管理平臺里可以使用。
第四,對于容易管理這一點(diǎn),我們的客戶真的是受益良多。像趣加,趣加是一家在Facebook上排名第6的游戲開發(fā)商,每天的活躍用戶數(shù)能達(dá)到850萬。
第五,可擴(kuò)展。在座的真正開始使用公有云的時(shí)候,最關(guān)心的是我現(xiàn)有的私有云中心能不能和公有云混合起來,你可以把虛擬機(jī)直接通過我們的虛機(jī)導(dǎo)入導(dǎo)出,導(dǎo)到云端還可以導(dǎo)回來。你可以在數(shù)據(jù)中心裝一個(gè)網(wǎng)關(guān),把存儲中心無限的擴(kuò)展到云端,把備份存儲到云端。網(wǎng)絡(luò)的混合,AWS有一個(gè)虛擬私有云,在云端再去開辟一片你的私有云天地,和你的數(shù)據(jù)中心VPN隧道打通來傳輸你的加密信息。
我們怎么將單實(shí)例、單租戶的服務(wù)怎么變成一個(gè)SaaS,SaaS最重要的幾個(gè)特點(diǎn),一是多租戶,二是通過配置可以實(shí)現(xiàn)定制化,從界面到數(shù)據(jù)模型到工作流的定制。三是可以實(shí)現(xiàn)商業(yè)模式,可以對真正的軟件進(jìn)行計(jì)費(fèi)。計(jì)費(fèi)之后我們可以實(shí)現(xiàn)各種各樣的計(jì)費(fèi)模型。在AWS云平臺上要去真正實(shí)現(xiàn)SaaS化有三種方式,第一種方式是非常簡單的資源隔離。所有的成本中心都是以單虛機(jī)、單數(shù)據(jù)庫、單存儲為單元,這種單元是非常容易計(jì)費(fèi)的,從開通服務(wù)到計(jì)量到分析到出帳單,作為的都是以單個(gè)實(shí)例為單元去計(jì)費(fèi)。這種模式有點(diǎn)像頭等艙VIP客戶,他需要隔離。
第二種方式叫集裝化。容器你可以理解成虛機(jī)里面的虛機(jī),在虛機(jī)里面再虛出很多的容器出來,這些容器可以組成應(yīng)用的堆棧,這一套容器是針對一個(gè)客戶使用的。我們以容器為單位來計(jì)費(fèi),針對不同的租戶比如說他們共用一個(gè)容器站,但是他又用不同的容器來部署自己的業(yè)務(wù),也就是數(shù)據(jù)庫。
第三種方式純的SaaS。把我們的應(yīng)用系統(tǒng)做改造,所有的應(yīng)用從展現(xiàn)層到應(yīng)用邏輯層到數(shù)據(jù)庫層,數(shù)據(jù)庫里面你也要做很多的東西,比如同數(shù)據(jù)空間的共享,運(yùn)維你要做定制,你要實(shí)現(xiàn)差異化的數(shù)據(jù)模型等等一系列的手段,你要實(shí)現(xiàn)真正的定制化。這種的改造非常大,但是計(jì)費(fèi)非常的細(xì),租戶也會(huì)非常多。我們變成一個(gè)SaaS模式之后,要對手機(jī)端、對平板端,對于各種各樣的設(shè)備端提供支持,AWS提供的全套的應(yīng)用服務(wù)。從身份認(rèn)證識別、授權(quán)訪問,我們叫聯(lián)邦的身份認(rèn)證識別。除此之外,你怎么去做訪問授權(quán)管理,數(shù)據(jù)的同步、用戶行為分析,包括用戶的跟蹤、媒體共享推送,你怎么樣給你的用戶在手機(jī)上推送一些消息,包括蘋果手機(jī),包括安卓手機(jī),還有實(shí)時(shí)的數(shù)據(jù)分析。這些都是移動(dòng)應(yīng)用所需要的,所以我們的移動(dòng)應(yīng)用服務(wù)就幫助大家提供一個(gè)后端服務(wù),所有的后端幫助你提供ATI,你的前端應(yīng)用可以直接使用這些移動(dòng)服務(wù),就可以實(shí)現(xiàn)功能非常強(qiáng)大的移動(dòng)的應(yīng)用端。
為什么這個(gè)主題叫移動(dòng)物聯(lián),而不是移動(dòng)互聯(lián),因?yàn)橐苿?dòng)互聯(lián)更多的還是通過電腦、通過PC端大家連在一起,或者通過手機(jī)端,物聯(lián)到了有一天我們的設(shè)備都連在一起的時(shí)候,是人聯(lián)、物聯(lián)的時(shí)代。比如海爾的產(chǎn)品賣到全球,他的冰箱、彩電一定是全球聯(lián)網(wǎng)的。同時(shí)你還要做實(shí)時(shí)的交互,AWS剛剛在拉斯維加斯11月12號發(fā)布了一個(gè)服務(wù),我們都在用Excel表格的時(shí)候,當(dāng)你寫一個(gè)函數(shù),所有跟這個(gè)字段有關(guān)的函數(shù)都會(huì)自動(dòng)的更新,所有的圖表也會(huì)自動(dòng)的根據(jù)你的數(shù)據(jù)的變化而變化,它就是一個(gè)典型的事件驅(qū)動(dòng)引擎。一旦你的設(shè)備接入到這個(gè)引擎里,你需要用幾行簡單的API,就可以和云端你的設(shè)備端將來的客戶端進(jìn)行實(shí)時(shí)的交互。這會(huì)為我們將來的物聯(lián)網(wǎng)提供非常多的創(chuàng)新服務(wù)出來。
除此之外看一看大數(shù)據(jù)。大數(shù)據(jù)在AWS云平臺上支持非常的完善,大數(shù)據(jù)一般數(shù)據(jù)量非常大,各種各樣海量級的存儲空間。你可以非常容易的建一個(gè)數(shù)據(jù)倉庫,可以跨洲際,以關(guān)系數(shù)據(jù)為主要部分。
大數(shù)據(jù)包括不同的非結(jié)構(gòu)化、半結(jié)構(gòu)化以及無結(jié)構(gòu)化的數(shù)據(jù)需要各種各樣的以文檔的方式來存儲,AWS也有這樣的數(shù)據(jù)庫。
現(xiàn)在大數(shù)據(jù)領(lǐng)域非?;虻腍adoop,實(shí)際上是一個(gè)非常難用的東西,因?yàn)樗械臇|西都是開源的,只有專業(yè)的IT人士才能搞定。AWS可以做全托管的Hadoop,各種各樣格式的數(shù)據(jù),你要做數(shù)據(jù)的清洗、格式轉(zhuǎn)換,處理完之后把關(guān)系數(shù)據(jù)庫進(jìn)行交換,通過AWS進(jìn)行數(shù)據(jù)工作流的自動(dòng)化,幫你自動(dòng)的做數(shù)據(jù)加載。除此之外,你可以使用開源領(lǐng)域所有的Hadoop的東西來做數(shù)據(jù)分析。你可以通過Cloudera IMPALA做大數(shù)據(jù)的分析。這些在EMR建立的時(shí)候都可以通過勾選幫你建立好,如果覺得500個(gè)不夠還可以變成1000個(gè)節(jié)點(diǎn)集群。當(dāng)你的集群伸縮的時(shí)候也自然幫你去做資源管理和資源調(diào)度。
現(xiàn)在比Hadoop還要熱的Spark,Spark有替代Hadoop的趨勢。Spark研發(fā)的時(shí)候就在AWS云端部署的80多臺虛機(jī)在上面做研發(fā),所以Spark所有應(yīng)用出來的時(shí)候都會(huì)有一個(gè)腳本。他們用了我們在美國的北弗吉尼亞區(qū)域的AWS。
來看一筆賬,在AWS做大數(shù)據(jù)分析和傳統(tǒng)的大數(shù)據(jù)分析是不一樣的,我們真正最后的數(shù)據(jù)分析就是幾十個(gè)鐘頭或幾百個(gè)小時(shí)是不得了的,但是我們要花半年或一年的時(shí)間去招投標(biāo),購買大數(shù)據(jù)一體機(jī),BI軟件,所有的投資都投入之后才開始真正的去做我們的數(shù)據(jù)分析、數(shù)據(jù)收集、數(shù)據(jù)處理。把我們真正的業(yè)務(wù)倒置,這些成本投入之后沒有辦法收回。我們對每一天5億個(gè)推文分析,每個(gè)推文2KB就是12MB/秒,48美金這個(gè)事情就做完了。
下一個(gè)案例叫做Razorfish,是AWS平臺上非常成功的數(shù)字營銷全球的帶頭公司,他是做大數(shù)據(jù)分析,然后做網(wǎng)絡(luò)推送。所有他的業(yè)務(wù)都是圍繞網(wǎng)絡(luò)推送來做的??梢钥吹剿恳粭l要處理35億條的點(diǎn)擊記錄,記錄所有網(wǎng)站視頻用戶瀏覽和觀看時(shí)候的蹤跡,記錄下來他們點(diǎn)擊的整個(gè)流程,做一些后端的分析,最后得出這些用戶的興趣模型,把他真正感興趣的東西推送給他。他每一天都要對13TM的訪問日志量做處理,利用AWS EMR的集群做大數(shù)據(jù)分析,分析的結(jié)果可以看到他每一天要做170萬個(gè)精準(zhǔn)的廣告投放。當(dāng)我們看電視的時(shí)候,他會(huì)分析你拿搖控器切換頻道以及點(diǎn)播視頻時(shí)候的習(xí)慣,比如你喜歡看棒球的比賽,他會(huì)插播棒球比賽或棒球設(shè)備。500%的廣告花費(fèi)回報(bào)。
AWS云平臺上大數(shù)據(jù)的客戶各行各業(yè)非常多,像大家非常熟悉的納斯達(dá)克、三星。
最后舉一個(gè)infor的例子,現(xiàn)在他們提供在線的SaaS服務(wù),選擇AWS作為他們的戰(zhàn)略合作伙伴,最終他把整個(gè)的ERP系統(tǒng)全部都遷移到AWS平臺上,以SaaS服務(wù)的方式提供給他的企業(yè)級客戶。
我的報(bào)告就到這里,謝謝大家!