大屏幕上正顯示《星際迷航:暗黑無界》中企業(yè)號引擎艙中的驚險是如何制作出來的。原景在南加州一個尋常百威工廠中拍攝,但后期制作中加入了火花、蒸汽以及金屬在光照下的反射等豐富細節(jié)。當鏡頭轉動角度,主角背后更多的細節(jié)讓引擎艙看起來巨大、復雜、充滿危險。
“作為一個負責任的公司,以前面對那么多要求,我會說這個你不能做,那個你不能做,這往往限制了導演的創(chuàng)意;但是AWS讓我現(xiàn)在不用擔心這些,我可以加入很多細節(jié)。”大屏幕前,Kevin Baillie這樣說。
他是為這部電影承擔特效的公司Atomic Fiction的創(chuàng)始人,也是亞馬遜AWS(亞馬遜網(wǎng)絡服務,Amazon Web Service)11月中旬在技術大會Re:Invent 2013第一天最后一個演講的嘉賓。
他試圖解釋,作為一個成立于2011年的創(chuàng)意公司,Atomic Fiction如何能夠做到?jīng)]有進行任何硬件投資,還能更高效更有創(chuàng)意地完成特效制作—特效制作中的渲染部分通常需要巨大的計算資源。用傳統(tǒng)的方式,特效師在自己的電腦中完成工作后,通常要等待后臺電腦進行長時間的運行才能看到最終效果。因此許多傳統(tǒng)特效公司通常在數(shù)據(jù)中心上進行了大量的投資。
“但用AWS,我們就擁有了足夠多的計算機資源。這節(jié)約了成本,而且效率更高。因為用100臺機器在10個小時內完成的工作,和1000臺在1個小時完成工作的成本是一樣的。”Baillie說。他展現(xiàn)的圖顯示,在制作的最后時間內,所需要的計算資源遠遠高于之前的時間,這意味著如果要自己進行硬件投資,得按照高峰期的要求來配置硬件。
如果說Baillie的演講勾勒出擺脫硬件負擔使用AWS后這家公司如何專注創(chuàng)意,以至于憑空創(chuàng)造出一個細節(jié)豐富栩栩如生的外星世界;那么你同樣可以在AWS上找到最近幾年這個物理世界迅速數(shù)字化的資源所在。
Re:Invent 2013 keynote上的其他演講嘉賓,以及之后3天幾百個講座上的演講者,都在講述他們如何從傳統(tǒng)的IT架構上轉移到“云端”。
一個令人印象深刻的講述來自于Tradewrox的主席Arzhang Kamarei。這家提供金融技術的公司正在幫助SEC(美國證券交易委員會,Securities and Exchange Commission)通過使用AWS來實時存儲和處理大量交易信息,以更有效地監(jiān)管市場。這能避免類似2010年5月6日那種股市閃電崩潰的發(fā)生。在那次事件中,SEC花了4個月時間來查看那天發(fā)生的幾十億次交易,然后才得出結論在那幾秒內究竟發(fā)生了什么;現(xiàn)在,他們將每天產(chǎn)生的高達1兆字節(jié)的信息存儲在AWS,并能通過兩行代碼,完成此前4個月的調查工作量。
在AWS剛推出時,業(yè)內大多數(shù)人覺得那只不過是一個玩具,沒人真的會將程序跑在這朵“云”上。但SEC等機構對亞馬遜這項服務的采用足以讓人改變看法。另外兩個讓人驚異的AWS客戶是NASA(美國國家航空航天局,National Aeronautics and Space Administration)和CIA(美國中央情報局,Central Intelligence Agencey)。
比它們更早使用AWS,并受益更早的是那些新成長起來的公司,例如Airbnb和Uber。它們無須考慮底層架構,迅速起步,然后在用戶爆發(fā)時只需購買更多AWS的服務就能實現(xiàn)規(guī)模的增長。
所發(fā)生的變化像在一個世紀前,電網(wǎng)鋪設給個人和小業(yè)主帶來了光亮和更多便利,也讓有實力的大機構放棄自己已有的發(fā)電站。此后創(chuàng)新爆發(fā),整個人類社會也發(fā)生天翻地覆的變化。
“如果現(xiàn)在你不用云,那就像是你為了用電而在自家后院建起了一個發(fā)電廠。”在這個行業(yè)里從業(yè)30年的Bill Hood說。他去年和朋友在德克薩斯州建立了一家新公司SoftNAS,開始開發(fā)基于云上的虛擬存儲技術。他說這番話時正在Re:Invent的展廳中。他身邊有將近200多家已踏入AWS生態(tài)的公司,其中有Adobe這樣的大公司,也有像SoftNAS這樣的初創(chuàng)公司。
這種將電網(wǎng)和云計算進行對比的言論并不新鮮。2008年,普利策獎獲得者尼古拉斯·卡爾(Nicholas Carr)在《IT不再重要》(The Big Switch:Rewiring the World,from Edison to Google)一書中就做了這樣的對比。在這本書中他提到Google、亞馬遜等諸多技術公司,并將Google看作是云計算領域最大的引領者。
但之后的時間里,亞馬遜這家以在線零售起家的公司將對手甩在了身后。按照Gartner在今年8月的一個報告,亞馬遜有效計算資源已經(jīng)是其它14家云服務供應商總和的5倍。
微軟在2010年才宣布名為Azure的云服務;而Google在2012年才起步類似服務,并開始大規(guī)模在西雅圖與亞馬遜爭奪人才。
在傳統(tǒng)領域,IBM已覺察到威脅因此按耐不住。在Re:Invent會議開始前一周,它于紐約花大力氣在卡車上刷上廣告,試圖宣傳IBM才能提供更好的服務—它的著急可以理解,亞馬遜剛從它手里搶走了CIA一筆6億美元的訂單。
“亞馬遜把對手甩得太遠。我不知道為什么是亞馬遜,而不是Google或其它硅谷公司做到了這一點。但它的確推動得非常迅速,野心勃勃,價格也很便宜。”John Sheehan說。
他是舊金山初創(chuàng)公司Runscope的創(chuàng)始人,因為看到越來越多的公司創(chuàng)立在AWS的基礎上,需要對API進行更有效地診斷,因此開始創(chuàng)建工具。成立半年,他的公司已獲得Ture Venture、Andreessen Horowitz等聲名赫赫的風投的投資。
一個解釋或許在于,亞馬遜是第一個試圖將計算資源的各種功能拆成小塊,并提供給第三方的公司。這種被拆解的小塊像積木一般,當需要時能隨意搭建并擴展。在2006年,亞馬遜將之提供給第三方公司使用。
一個對于亞馬遜會如此早就提供這種服務的解釋在于,作為電商它在非高峰期計算資源過剩,所以要銷售出去。但美國記者Brad Stone在新書The Everything Store中卻有不一樣的解釋:亞馬遜AWS的建立源于當時它遇到的困擾。
2000年后,亞馬遜已飽受內部系統(tǒng)崩潰之痛,這一系統(tǒng)在1995年后慢慢搭建起來,已日益陳舊;這種陳舊還在于IT部門的員工常常像個看門人,他們嚴格控制誰能觸及亞馬遜的服務器,使得其它部門的員工想要有點新嘗試時通常被拒之門外。
酷愛讀書的亞馬遜CEO杰夫·貝索斯(Jeff Bezos)當時剛讀完Creation這本書。它的作者Steve Grand是1990年代電子游戲Creature的開發(fā)者,他在游戲中設定了簡單可計算的叫做“基本體”(Primitives)的小模塊,然后就驚訝地發(fā)現(xiàn)游戲中的人工智能(AI)自己生長起來。之后,這本書被亞馬遜的高管讀書俱樂部廣泛討論。再之后,貝索斯敦促員工們頭腦風暴,以看看是不是有可能將底層架構拆解成一個個小“基本體”。
這個片段在Re:Invent大會上被證實。會議第二天下午,亞馬遜AWS部門副總裁Chalie Bell在說到AWS如何能夠保持創(chuàng)新時說,一旦他們確定了一個所要解決的問題,他們就立刻去尋找那個相應的“基本體”。
在建造這種最初的“基本體”之前,亞馬遜內部的技術架構已因和外部的合作而有所調整,這多少使得AWS在開發(fā)時就已有了成為平臺的可能。
當時亞馬遜已給Target等線下零售商提供IT系統(tǒng),并提供大量API。在亞馬遜工作多年后跳槽去Google的員工Steve Yegge在2011年發(fā)表博客說,這讓亞馬遜很早就在內部轉變成“面向服務架構”(SOA,Service-Oriented Architecture)。雖然當時已經(jīng)有很多這方面的文獻,但“在亞馬遜的大規(guī)模運用上就像在告訴印第安納·瓊斯在過馬路前要朝兩邊看”—意思是整件事的部署變得異常簡單。
“事實上我們從這種API的開放上受益很多,從那時候起,我們決定所有的服務都應該那樣去建立。”Jassay在大會上接受媒體采訪時說。
“我們所有的‘基本體’都放在‘harden APIs’后面。”Bell說。這就使得AWS的每個小組都能獨立創(chuàng)新,但也能通過API結構受益于別人的創(chuàng)新。這些API也意味著一旦開放,就能被外部開發(fā)者所使用。
在最初,EC2和S3分別在南非和西雅圖開發(fā),前者提供計算服務,后者提供存儲服務。那種API的合作方式使得即使這兩個團隊彼此相隔甚遠,但依然能在開發(fā)完成之后彼此合作。按Steve Yegge的說法,亞馬遜更大膽也因此能領先于別人的地方在于,“吃自己的狗食”(eat our own dog food)。在EC2和S3尚未成熟時,亞馬遜內部其它部門就被要求使用這些服務。這讓程序員們都痛苦不堪,但這也讓亞馬遜比其競爭對手提早很多年就直面服務上線后可能會出現(xiàn)的問題。
在亞馬遜推出EC2服務,并在美國東海岸開啟第一臺服務器后,東海岸的創(chuàng)業(yè)者蜂擁而至,以至于亞馬遜都來不及向西海岸開放資源就已滿負荷。
這并非由于亞馬遜口碑在外,而是定價上的吸引力。
亞馬遜在推出AWS之前就決定按小時收費—這意味著人們開始可以像用電一樣使用計算資源,并只為使用的那部分付費。之后,當時EC2的員工Willem Ban Bijion建議定價為一個實例(Instance)每小時15美分時,貝索斯在這個基礎上又將定價降低了5美分。
這和亞馬遜零售業(yè)務上的戰(zhàn)略一致,貝索斯相信不斷低價帶來的飛輪效應。
在零售業(yè)務上,他的理論是:價格優(yōu)勢能帶來更多客戶,進而帶來更多銷售量;這使得亞馬遜能對供貨商有更多議價權,也能讓更多第三方供貨商在其平臺上銷售;因此亞馬遜的固定成本例如倉儲和網(wǎng)站平臺能達到最大效用。這種策略一直以來讓供貨商苦不堪言,也給亞馬遜帶來冷血的惡名。在AWS業(yè)務上,亞馬遜對待自己和對待這些供貨商一樣。每個新用戶通常都有長達一年的免費試用時間,而時不時的優(yōu)惠和降價也總是讓使用者喜出望外。
這種理念起初是源于貝索斯對大家伙的恐懼。在亞馬遜成立初期,創(chuàng)始團隊成員Shel Kaphan問貝索斯為什么要那么迫切擴張時,貝索斯說:“當你很小,那些大家伙總能過來把你擁有的拿走。”
但現(xiàn)在亞馬遜顯然體會到了規(guī)模化帶來的力量。這和電網(wǎng)發(fā)明人塞繆爾·英薩爾所信奉的公式一樣:大規(guī)模等于高能量,也相當于單位成本的降低。
在大會Keynote上,亞馬遜絲毫不隱瞞自己的定價哲學。亞馬遜副總裁Andy Jassy說,用戶的增加能帶來更多的使用量,就能讓亞馬遜繼續(xù)增加基礎設施的建設規(guī)模;這能減少成本,進而支持亞馬遜繼續(xù)降價。而在這過程中,得到好處的是整個系統(tǒng),因為這種加速過程能產(chǎn)生更多創(chuàng)新,并給整個生態(tài)系統(tǒng)提供更多功能和服務。
將這種定價哲學推到極致,以至于違反常理的做法是,AWS有個為客戶提供省錢建議的服務,叫做Trusted Advisor。按照Jassy的說法,現(xiàn)在這個部門已為客戶提供了70萬條建議,在過去一年為其客戶們節(jié)約下了1.4億美元。
看不出有什么苗頭會讓亞馬遜在接下來的競爭中失去這種先發(fā)優(yōu)勢。使用者們最能體會到的,除了它不斷的降價之外,就是它不斷的產(chǎn)品發(fā)布和瘋狂迭代。
AWS在去年推出Redshift這一數(shù)據(jù)倉庫功能之后,已增加了26個新功能。在這次大會上,AWS又推出了諸多功能,包括提供虛擬桌面服務的Amazon Workspaces、提供控件管理的Amazon Management Console,以及讓開發(fā)者能更好開發(fā)計算資源密集型程序(例如3D游戲或互動高清程序)的Amazon Appstream等。
亞馬遜的不斷擴張已讓它將數(shù)據(jù)中心布置到了全球9個地區(qū)。亞馬遜最新財報的虧損顯示,它還在繼續(xù)加大這方面的投入。這讓憎惡虧損的投資者們少有地繼續(xù)保持信心。在財報發(fā)布后,亞馬遜股價大幅上漲。
大會第二天,AWS的副總裁James Hamilton詳細介紹了AWS是如何降低成本的。這家公司已經(jīng)在自己設計服務器、存儲設備等硬件,并將之分別定制化,以適應于不同用途,好使成本為之減少。
亞馬遜甚至自己建立起發(fā)電站,并招聘了精通電力的工程師來重新設計云計算的省電方案。
當亞馬遜在說自己如何致力于成本減少時,你可以相信它能做得比Google或微軟更好。這家公司從創(chuàng)業(yè)早期就把“節(jié)約”作為自己的信條。到現(xiàn)在,亞馬遜總部大樓的辦公室還有用門板搭成的辦公桌,而亞馬遜的員工從來沒有免費的午餐、零食和免費停車位。
亞馬遜在云計算方面的遠見和優(yōu)勢已讓它不像在開發(fā)之初那樣難以招聘人才。AWS數(shù)據(jù)科學部門的Matt Wood在接受《第一財經(jīng)周刊》采訪時說,作為一個生命科學方面的研究人員,他在做基因實驗時需要處理大量數(shù)據(jù),這讓他對AWS的應用能力和前景印象深刻,因此在2008年時加入了AWS。而James Hamilton,這個AWS中最重要的構建者,此前是微軟未來數(shù)據(jù)中心的架構師,在1980年代,他幫IBM開發(fā)了DB2數(shù)據(jù)庫,被認為是數(shù)據(jù)庫這個領域最關鍵的人之一。
你很難忽視AWS背后貝索斯的遠見和野心。這不光是因為貝索斯說AWS將成為亞馬遜最大的業(yè)務,并不斷推動其快速前進,而是他讓AWS完全和零售業(yè)獨立,并成長為一個中立的、能讓競爭對手也使用的服務。
在大會上,最引人矚目的一個AWS用戶是Netflix。這家提供在線視頻點播的公司和亞馬遜的Instant Video是競爭對手。在今年年初Netflix推出自制電視劇《紙牌屋》后,亞馬遜在11月15日也推出了自己制作的電視劇Alpha House。
但Netflix現(xiàn)在已將自己全部業(yè)務都放在了AWS架構上,從軟件開發(fā)到存儲,以此基礎進行了Netflix Platform的開發(fā),并將之完全開源。
在大會展廳中,Netflix布置了自己的展位。他們的員工拒絕評論Netflix和亞馬遜這種競爭合作的關系,卻強調他們所做的這些能讓整個生態(tài)系統(tǒng)更加健康。如果亞馬遜Instant Video團隊愿意,也能受益于他們開發(fā)的開源工具。
Netflix這種信任來源于亞馬遜各個業(yè)務部門之間的獨立。亞馬遜宣稱AWS在對待它自己的零售業(yè)務時,不過是將它們當成自己的另外一個客戶。“我們甚至不在同一個辦公樓工作,會做嚴格的區(qū)分。”Matt Wood說。
在展區(qū)中,Adobe、Ctrix這些傳統(tǒng)廠商也都出現(xiàn)了。它們逐漸將建立在傳統(tǒng)服務器上的工具搬遷到云上。對于它們而言,完成向“云”的遷徙,AWS是現(xiàn)在可選的最好平臺。
AWS有專門的合作伙伴網(wǎng)絡業(yè)務(Amazon Partner Network),為生態(tài)圈中的成員提供技術、業(yè)務和營銷。
“從第一天起,我們就知道合作伙伴是多么重要,我們知道客戶在遷徙到云上還是會想要用現(xiàn)在所正在用的那些軟件。”Jassy在接受《第一財經(jīng)周刊》采訪時說。
“你能看到傳統(tǒng)IT架構上有的工具和服務,這兩年在云上都生長起來,從數(shù)據(jù)庫、安全、數(shù)據(jù)分析,到幫助傳統(tǒng)廠商遷徙的工具。”Geoff Lunsford說,他還和他的同事一起報出這個生態(tài)系統(tǒng)中一大串細分的領域。
他所在的公司Qubole是做基于大數(shù)據(jù)的分析,創(chuàng)始人是曾為Facebook搭建并運營數(shù)據(jù)服務的Ashish Thusoo和Joydeep Sen Sarma。他們知道因為有了AWS這樣相對廉價并取之可用的計算資源,即使是小公司也可以將大數(shù)據(jù)分析應用到商業(yè)運營中去?,F(xiàn)在他們的客戶中有500強的大公司,也有成立不過3年的Pinterest。
在AWS服務推出的最初幾年,它所能對這個世界產(chǎn)生的影響還尚不明顯,但現(xiàn)在,一些漣漪已經(jīng)泛起。
最新在硅谷涌出的創(chuàng)業(yè)公司大多使用AWS服務。它便宜,容易搭建,使得小團隊無須招聘更多人去負責后端,而只需專注于最能帶來特色和競爭力的產(chǎn)品設計。
移動設備上應用程序尤其依賴AWS所提供的支持。無論智能設備發(fā)展多迅速,它依然擁有更小的CPU以保持輕巧,這使得這些程序極其依賴云上的存儲和計算。當這些程序在競爭中被設計得越來越需要密集計算資源時,它們的創(chuàng)造者也不會去考慮自己建立數(shù)據(jù)中心,而是繼續(xù)依賴云所帶來的取之不竭的存儲和運算能力,以及靈活性。
亞馬遜布局到世界各地的數(shù)據(jù)中心也使這些小公司將業(yè)務擴展到海外變得比以前更容易。在技術方面,它們只需將代碼放到當?shù)氐姆掌髦?,剩下的就是市場推廣工作。
“我在5年前根本不敢想象作為一個創(chuàng)業(yè)公司能這么快把業(yè)務擴展到美國之外的地方去。但因為AWS,我完全可以做到。當我要服務一個澳大利亞的客戶時,我在新加坡的代碼能迅速響應,在幾秒鐘而不是幾分鐘內就和它完成通信。而且,我們才5個人。”Runscope的Sheehan說。
“AWS的出現(xiàn)如此劇烈地降低了創(chuàng)建一個公司的成本,也事實上給我們提高了門檻。以前我們是在等著年輕公司來證明它們自己,但現(xiàn)在我們得更早地去尋找它們成功的跡象。”紅杉資本的合伙人Mike Goguen說。
一些創(chuàng)業(yè)公司正在加快AWS生態(tài)系統(tǒng)中的新一輪創(chuàng)新。Runscope就是其中之一,這些基于云并面向開發(fā)者的工具簡化了開發(fā),將創(chuàng)業(yè)門檻進一步降低。
這些工具讓越來越多的公司和行業(yè)都更加依賴這個生態(tài)。例如在德克薩斯州的奧斯汀,成立于2003年的線上物流平臺Uship已經(jīng)在用Runscope來診斷自己和諸多承運商之間的自動化請求。
對于大公司而言,猶如貝索斯最初試圖用“基本體”給公司各部門都帶來資源以促進創(chuàng)新那樣,大公司也正在使用AWS來獲得靈活性。
“上周少數(shù)幾個大型公司的CIO在一起開會,我們不斷重復的詞是AWS。”風險投資公司Madrona Venture Group的Matt Mcllwain說,“大公司認識到,自建的數(shù)據(jù)庫這些陳舊設置,根本無法讓它們變得靈活。”
在大會的一個演講中,來自Comcast公司的Jacques Louvet說從一開始,他們就將這個試驗性項目Xfinity X1 Platform建立在了AWS上,這使得這個項目有了一個創(chuàng)業(yè)公司一樣的開端,能迅速啟動,并不受預算太大限制。而他的同事Charlies Hammell說在這個過程中,基于云的軟件設計完全改變了他們的設計思維,并有能力將搜索、推薦等功能加入到產(chǎn)品中去?,F(xiàn)在這個項目已經(jīng)正式上線,并被Comcast公司大力推廣。當迎來用戶迅速增長時,AWS讓它們能很從容地面對壓力。所有這些都沒法在之前有線電視的數(shù)據(jù)中心架構基礎上做到。
“研發(fā)的靈活性需要底層架構的靈活性。當這些發(fā)生變化,之后的變化會是巨大的,甚至連商業(yè)模式也會發(fā)生變化。”Mcllwain說。
“一個會出現(xiàn)的情況是這樣:大公司在了解到AWS的好處后,雖然不會立即放棄原有的數(shù)據(jù)中心,但會在數(shù)據(jù)中心陳舊后不再更新,進而慢慢遷移到云上。”出版商Scholatics負責企業(yè)架構的Mahipal Komatreddy說。這家世界最大的兒童圖書出版公司雖然和亞馬遜在圖書業(yè)務的合作上糾結萬分,但依然在年初開始了向AWS的轉移。