讓每個企業(yè)都可以打造淘寶般強(qiáng)大的交易應(yīng)用
我們的架構(gòu)總結(jié)下來是這樣的,全分布式的體系,訪問層,應(yīng)用層和數(shù)據(jù)層都是分布式的,這使得核心系統(tǒng)也是分布式的。為應(yīng)對大規(guī)模的挑戰(zhàn),我們在前端通過CDN把內(nèi)容緩存在離客戶最近的地方來提高客戶體驗。在2015年的時候,我們將這個架構(gòu)變?yōu)楫a(chǎn)品,讓任何一個企業(yè),哪怕是小微企業(yè)也可以構(gòu)建像淘寶一樣強(qiáng)大在線交易系統(tǒng),幫助這些企業(yè)在做“互聯(lián)網(wǎng)+”轉(zhuǎn)型以及業(yè)務(wù)轉(zhuǎn)型的時候獲得最大的技術(shù)基礎(chǔ)。
阿里大數(shù)據(jù)發(fā)展之路的三次突圍
能夠把云計算的三個方向整合到一起的另外一個方向就是大數(shù)據(jù)的處理。阿里云的大數(shù)據(jù)處理也是經(jīng)過了從2009年到2013年這五年的孵化,在2009年的時候,我們還是亞洲最大的Oracle集群,但是還是已經(jīng)無法承載飛速發(fā)展的業(yè)務(wù)。
于是我們選擇了3條分支路徑去探索后面的路,第一條路徑是用商業(yè)的Greenplum來替代分析型數(shù)據(jù)運(yùn)算;第二條路是因為擔(dān)心Greenplum不靠譜,我們也使用Hadoop做類似的事情。第三件事情,就是啟動了飛天操作系統(tǒng)的研發(fā),目標(biāo)是打造一個屬于自己的大數(shù)據(jù)平臺。中間的歷程非??部溃?010年的時候,Greenplum這條路因為規(guī)模和可用性的問題以及計算準(zhǔn)確性問題被放棄,2013年的時候,Hadoop平臺也因為數(shù)據(jù)中心規(guī)模擴(kuò)展不上去和安全管理以及權(quán)限管理和資源管理等一系列問題,以及我們與社區(qū)之間和這些社區(qū)背后的商業(yè)利益群體之間的斗爭導(dǎo)致不得不放棄這套體系。
飛天涅槃
最終我們使用自主研發(fā)的飛天操作系統(tǒng)將五千臺機(jī)器整合到一個大平臺,用飛天操作系統(tǒng)能夠分布式的部署到異地的多個機(jī)房的能力實現(xiàn)了大數(shù)據(jù)計算和存儲能力。飛天操作系統(tǒng)幫我們真正實現(xiàn)了夢想:把三個云計算方向整合起來,提供通用的計算能力,提供一種足夠便宜足夠強(qiáng)大的計算能力。
通過使用安裝了Linux系統(tǒng)的五千臺相同的計算機(jī),通過飛天的分布式文件系統(tǒng),整合成為一個分布式系統(tǒng)。基于200個PB的存儲和10顆CPU,還有這1000TP的內(nèi)存以及它們之間網(wǎng)絡(luò)的服務(wù),得以開通了三類服務(wù)。
第一類服務(wù):彈性計算,就是應(yīng)對虛擬化的服務(wù),但是它不只虛擬化,彈性計算可以做計算虛擬化,存儲虛擬化,可以提供更加強(qiáng)大的計算環(huán)境;
第二類服務(wù):提供淘寶這樣強(qiáng)大的分布式應(yīng)用中間件來幫助企業(yè)打造分布式應(yīng)用;
第三類服務(wù):大數(shù)據(jù)處理和數(shù)據(jù)智能的這些業(yè)務(wù),這些業(yè)務(wù)都是依賴于我們的大數(shù)據(jù)處理能力進(jìn)行的。
強(qiáng)大的數(shù)據(jù)處理能力進(jìn)一步推動了智能業(yè)務(wù)的高速發(fā)展
通過飛天系統(tǒng)成功地將三種云計算以及云計算路線整合到一個平臺當(dāng)中,有了這個平臺的支持,才使得整個企業(yè)的智能化得到了長足的發(fā)展。在智能化發(fā)展過程中,我們基于這些計算能力,逐漸地壘高了技術(shù)和模型的儲備以及對數(shù)據(jù)應(yīng)用的儲備,一層一層地從分析工具到應(yīng)用引擎再到解決方案,支撐了阿里巴巴整個智能化的人力資源,智能化的安全管理,智能的物流客服以及智能化推薦,這些也支持阿里巴巴整個集團(tuán)業(yè)務(wù)不斷前進(jìn)和發(fā)展。
惡劣的互聯(lián)網(wǎng)安全環(huán)境下十年攻防鑄就了強(qiáng)大的云安全
在這個的過程中,阿里巴巴作為一個互聯(lián)網(wǎng)公司,在快速發(fā)展業(yè)務(wù)的同時也在遭受世界上最多的互聯(lián)網(wǎng)攻擊。真正的統(tǒng)計數(shù)據(jù)是,我們每天會防御2億次暴力破解,2000萬次Web入侵,超過1000次DDOS拒攻擊,在這樣惡劣的環(huán)境下,我們用10年的時間產(chǎn)生出一整套安全體系和服務(wù)產(chǎn)品。這個產(chǎn)品從感知態(tài)勢就可以知道,哪些壞人,哪些惡意的行為在哪里發(fā)生,以及他們用了什么樣的服務(wù)器,誰是主控,對我們在進(jìn)行什么樣的探索行為,背后的人是誰,他的身份證號碼是多少,這些東西,我們都通過感知的基礎(chǔ)之上進(jìn)行捕獲?;诟兄幕A(chǔ)就可以做到知己知彼,才可以百戰(zhàn)百勝,戰(zhàn)勝敵人的同時對自己進(jìn)行保護(hù)。我們的產(chǎn)品服務(wù)有網(wǎng)絡(luò)層面的保護(hù),也有服務(wù)器主機(jī)層面的保護(hù),更多的會上升到業(yè)務(wù)層面的保護(hù)以及對于數(shù)據(jù)的防護(hù)。