作為全球半導(dǎo)體行業(yè)當(dāng)之無愧的龍頭老大,英特爾在x86服務(wù)器市場的綜合占有率已經(jīng)超過90%。對于英特爾來說,未來的發(fā)力點(diǎn)在哪里?
顯然,繼續(xù)擴(kuò)大市占率對英特爾來說已經(jīng)基本沒有太大意義。想要贏得更大的發(fā)展,幫助下游企業(yè)和軟件公司,把整個(gè)市場的蛋糕擴(kuò)大,這才是唯一的方向。于是,我們在傳統(tǒng)的Xeon處理器之外又看到了Xeon D、Xeon Phi等產(chǎn)品,除此之外還有網(wǎng)絡(luò)架構(gòu)OPA以及存儲技術(shù)3D X Point等等。
當(dāng)然,除了產(chǎn)品線的擴(kuò)展,幫助軟件企業(yè)更好的使用英特爾產(chǎn)品也是把整個(gè)市場蛋糕做大的重要一環(huán)。而機(jī)器學(xué)習(xí)和數(shù)據(jù)分析則是英特爾把市場做大的一個(gè)機(jī)遇。
專有與通用之爭的另一種解法
IT硬件行業(yè)發(fā)展至今,我們可以看出一個(gè)相當(dāng)明顯的趨勢。任何應(yīng)用種類的誕生都伴隨著一大批專用硬件的崛起。計(jì)算領(lǐng)域有超算和通用計(jì)算之別;網(wǎng)絡(luò)有交換機(jī)、路由器、防火墻和負(fù)載均衡之分;存儲有NAS、SAN等。而經(jīng)過一段時(shí)間的發(fā)展之后,這些專有設(shè)備則會被更加通用的硬件所取代,以提升靈活性。
而在機(jī)器學(xué)習(xí)和數(shù)據(jù)分析領(lǐng)域,歷史似乎有可能繼續(xù)重演。在這些領(lǐng)域中,由于對性能的巨大需求,各類協(xié)處理器開始不斷粉墨登場。雖然他們可以在專業(yè)領(lǐng)域內(nèi)提供超過處理器的強(qiáng)大計(jì)算能力,但這種計(jì)算能力的提升確實(shí)已降低系統(tǒng)通用性為代價(jià)的。而目前英特爾所作的工作正式竭力避免又一輪專用硬件崛起所帶來的通用性和靈活性災(zāi)難。其手段便是建立強(qiáng)大的軟件團(tuán)隊(duì)并與機(jī)器學(xué)習(xí)和數(shù)據(jù)分析領(lǐng)域中的廠商展開廣泛而深入的合作。顯然,英特爾注資Cloudera就是這一行為的典型代表。
英特爾公司軟件與服務(wù)事業(yè)部副總裁、系統(tǒng)技術(shù)和優(yōu)化部門大數(shù)據(jù)技術(shù)總監(jiān)馬子雅女士
英特爾公司軟件與服務(wù)事業(yè)部副總裁、系統(tǒng)技術(shù)和優(yōu)化部門大數(shù)據(jù)技術(shù)總監(jiān)馬子雅女士表示:通過使用更新的編譯器和針對硬件優(yōu)化的新一代算法,英特爾可以用軟件技術(shù)讓機(jī)器學(xué)習(xí)系統(tǒng)的可擴(kuò)展性提升10-70倍。而通過系統(tǒng)規(guī)模的擴(kuò)大,機(jī)器學(xué)習(xí)的周期可以縮短至之前的1/8。而為了讓更多的用戶都可以獲得這些提升,英特爾已經(jīng)將大部分源代碼無償?shù)幕仞伣o了開源社區(qū)。
同時(shí),作為Hadoop和眾多開源項(xiàng)目中的核心廠商,Cloudera也與英特爾展開了廣泛的合作,力圖提升通用硬件在開源應(yīng)用中的性能表現(xiàn)。馬子雅女士表示:為了降低分布式存儲系統(tǒng)對存儲空間的大量消耗,英特爾和Cloud共同主導(dǎo)了名為HDFS Erasure Coding的開源項(xiàng)目。借助這一技術(shù),分布式存儲技術(shù)對存儲空間的消耗會降低整整一半。而在過去,為了保證數(shù)據(jù)的可用性,分布式存儲通常會把一份數(shù)據(jù)“一式三份”的存儲在不同的物理介質(zhì)上,而這也就意味著三倍的存儲空間。另外,英特爾也通過更新編碼器和解碼器的方法,將性能提升30倍。
通過英特爾在軟件領(lǐng)域的一系列努力我們不難發(fā)現(xiàn),英特爾正在用一種更“軟性”的方法提升通用硬件在專用領(lǐng)域的性能表現(xiàn)。從而讓用戶在不使用專用硬件的前提下也能獲得較高的機(jī)器學(xué)習(xí)效率。而這種不需要改動硬件的方法帶給用戶的不僅是成本的降低,更能避免過度依賴專用硬件所產(chǎn)生的成本不可控、靈活性下降等問題。
軟件,很重要
所謂通用硬件與專用硬件的分別其實(shí)是系統(tǒng)優(yōu)化的不同出發(fā)點(diǎn)導(dǎo)致的。專用硬件是從硬件角度出發(fā),讓硬件去適應(yīng)軟件和算法的結(jié)果;而英特爾目前則走的是一條相對相對更中庸的路。換句話說,從英特爾的角度出發(fā),系統(tǒng)優(yōu)化工作需要先在硬件中打好基礎(chǔ),給后續(xù)軟件優(yōu)化預(yù)留更多空間,然后通過軟件優(yōu)化使硬件利用率提高,從而達(dá)到提升性能的目的。
硬件優(yōu)化成本高、效果好,而軟件方法投入低、見效快,但有提升上限。
而現(xiàn)在,數(shù)據(jù)分析和機(jī)器學(xué)習(xí)仍處于初生的高速發(fā)展階段,應(yīng)用更新的速度更快,且存在技術(shù)方向發(fā)生重大改變的可能性。在這種情況下貿(mào)然投入大筆資金來構(gòu)建專有硬件系統(tǒng)對于大多數(shù)企業(yè)來說顯然是不那么劃算的,而此時(shí),軟件優(yōu)化方法就成了目前一種比較理性的選擇,更何況這種選擇很多時(shí)候還是免費(fèi)和開源的呢?