「我們已經(jīng)在人工智能技術(shù)方面投入了很多。」Facebook 工程和基礎(chǔ)設(shè)施(Engineering and Infrastructure)部門 全球老大Jay Parikh說,「目前,人工智能應(yīng)用于Facebook的Newsfeed,幫助我們提供更好的廣告服務(wù)。也能幫助用戶在日常生活中更安全地使用Facebook?!?/p>
Big Sur 系統(tǒng)使用了英偉達(dá)Tesla 加速計(jì)算平臺,擁有8個高性能GPUs,每個功率達(dá)300瓦特,在多個PCI-e連接之間靈活配置。Facebook已經(jīng)優(yōu)化了這些新型服務(wù)器的發(fā)熱和功耗控制,使其可以與數(shù)據(jù)中心中配備標(biāo)準(zhǔn)CPU的服務(wù)器協(xié)同工作。
Big Sur 系統(tǒng)優(yōu)化了性能和反應(yīng)時間,幫助Facebook處理更多的數(shù)據(jù),極大地縮短了其訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時間。
「性能有了極大的提升,」Parikh說,「我們在數(shù)月間就部署了數(shù)千臺這種機(jī)器。使得我們有能力將該技術(shù)應(yīng)用于公司更多的產(chǎn)品實(shí)例?!?/p>
存儲:Just a buch of Flash
多年來,F(xiàn)acebook已經(jīng)在用閃存來加速服務(wù)器引導(dǎo)驅(qū)動,提升緩存效率。隨著公司基礎(chǔ)設(shè)備進(jìn)一步擴(kuò)大規(guī)模,F(xiàn)acebook創(chuàng)造了一種新型「模塊」,在服務(wù)器運(yùn)算中整合更多的閃存。Facebook已經(jīng)改進(jìn)了初代開放計(jì)算機(jī)——即Knox——的存儲驅(qū)動器,使用固態(tài)硬盤(SSDs)取代存儲硬盤存儲(HDDs),存儲單元從磁盤簇(JBOD)轉(zhuǎn)到了閃存簇(JBOF)。
Facebook和英特爾合作開發(fā)這種新型的閃存簇單元,稱之為Lighting,反應(yīng)了使用NVMe帶來了速度提升,NVMe是為SSDs優(yōu)化的高速PCI總線接口。下面我們通過Parikh 在開放計(jì)算峰會上展示的幻燈片來看看具體的參數(shù)。
作為一個分散式(disaggregated)存儲設(shè)備,Lightning 支持各種不同的應(yīng)用?!高@為我們正在開發(fā)的應(yīng)用帶來了一個高性能存儲式的新型建造模塊。」Parikh說。Parikh表示將來會有更多存儲方面的創(chuàng)新,尤其是創(chuàng)新地使用非易失性存儲器(NVM)。
「在存儲行業(yè),磁盤驅(qū)動器還在持續(xù)擴(kuò)大,但是可靠性和反應(yīng)時間并未變得更好,IOPS (每秒讀寫次數(shù))也沒有提升?!筆arikh 表示,「閃存小有進(jìn)步,但是耐久性也沒有極大地提升。我們陷入這樣一個模式:規(guī)模在不斷擴(kuò)大,但是從性能的角度看,我們并未獲得真正需要的?!?/p>
Facebook在新型的NVM應(yīng)用方面,尤其是英特爾和鎂光共同開發(fā)的3D XPoint技術(shù),看到了潛在答案。Parikh 呼吁開放計(jì)算社區(qū)將重點(diǎn)放在該技術(shù)上,或能解決存儲行業(yè)面臨的挑戰(zhàn)。
Parikh說,我們可以(基于這些選擇,指NVM,F(xiàn)lash等不同技術(shù))開始思考我們的存儲問題,把存儲需求進(jìn)行分級(按照性能,容量)布局,帶給我們更多的價格和性能杠桿,實(shí)現(xiàn)性能或者儲能的拓展,或者對成本進(jìn)行優(yōu)化。他表示NVM 是介于DRAM 和NAND 之間一個值得關(guān)注的。
Facebook 正在MyRocks開源項(xiàng)目測試NVM 配置,該項(xiàng)目是基于MYSQL和RocksDB 數(shù)據(jù)庫技術(shù)之上。
前路漫漫:為到來的數(shù)據(jù)洪流進(jìn)行擴(kuò)展
Facebook不遺余力地推動更快、性能更強(qiáng)的基礎(chǔ)設(shè)施建設(shè)的原因在于用戶增長,目前,F(xiàn)acebook用戶數(shù)達(dá)到10.6億、WhatsApp 10億、Facebook Messenger 8億、Instagram 4億。扎克伯格在虛擬現(xiàn)實(shí)領(lǐng)域的野心也是推動因素之一,F(xiàn)acebook 20億美元收購虛擬現(xiàn)實(shí)先驅(qū)Oculus就是明證。
虛擬現(xiàn)實(shí)可提供沉浸式3D體驗(yàn),很多分析人士認(rèn)為,虛擬現(xiàn)實(shí)技術(shù)的黃金期即將到來。扎克伯格相信Facebook可賦予其社交網(wǎng)絡(luò)虛擬現(xiàn)實(shí)體驗(yàn)。
「很快,我們將生活在一個人人都可以身臨其境般分享和體驗(yàn)全部場景的世界,」扎克伯格在近期的世界移動通信大會(MWC)上說。「想象一下,你可以在任何時候你都可以坐在篝火前,與朋友待在一起;或者在任何時間都可以與朋友們在私人電影院看電影。想象下在全球任意一個角落開會或舉辦大會。所有這些都將成為現(xiàn)實(shí),這也是為什么Facebook這么早在大力投資虛擬現(xiàn)實(shí),我們真的很希望提供這些社交體驗(yàn)。」
這對基礎(chǔ)設(shè)施建設(shè)提出了極高的要求,完整的虛擬現(xiàn)實(shí)視頻容量大小是現(xiàn)在的高清視頻的20倍之多。
「超大的文件或成為高質(zhì)量、大規(guī)模地推廣360視頻或虛擬現(xiàn)實(shí)的障礙,」Facebook的Evgeny Kuzakov and David Pio 寫道,他們近期概述了虛擬現(xiàn)實(shí)文件的解碼和壓縮技術(shù)的進(jìn)展。Facebook 在360視頻上正從等距柱狀投影布局(equirectangular layouts)遷入使用立方體版式(cube format ),文件大小減少了25%。