而把計(jì)算任務(wù)部署到超算上，又面臨著不少的成本，除去使用費(fèi)用不說(shuō)，由于超算只提供編譯平臺(tái)，使用者還要自己去熟悉系統(tǒng)。而且目前的超級(jí)計(jì)算機(jī)雖然大多為學(xué)術(shù)機(jī)構(gòu)所有，但是一想到要把自己用戶的數(shù)據(jù)拿到別人的機(jī)子上計(jì)算，總覺得有點(diǎn)怪怪的……
所以，超算并不是不能用來(lái)處理我們?nèi)粘?、商業(yè)中遇到的計(jì)算問(wèn)題，而是很多本來(lái)不是超算最擅長(zhǎng)的，綜合使用成本而言，沒(méi)有必要使用超算。
用超算訓(xùn)練AI，會(huì)不會(huì)是超算民用的第一步？
不過(guò)一個(gè)好消息是，隨著深度學(xué)習(xí)的普及和發(fā)展，超算的計(jì)算能力或許可以被更多人應(yīng)用起來(lái)。
眾所周知，深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層數(shù)更深，每個(gè)神經(jīng)元之間互相連接，形成了一個(gè)非常復(fù)雜的結(jié)構(gòu)。而每個(gè)神經(jīng)元中又都需要Sigmoid函數(shù)這類復(fù)雜的數(shù)學(xué)計(jì)算，加上圖像識(shí)別、語(yǔ)音識(shí)別這類工作本身數(shù)據(jù)訓(xùn)練集就很大，最后就集結(jié)成了一種非?？膳碌挠?jì)算量。
這幾年深度學(xué)習(xí)的發(fā)展，離不開計(jì)算能力的發(fā)展。英偉達(dá)之所以能靠賣GPU超過(guò)同行，最大的原因就是深度學(xué)習(xí)對(duì)計(jì)算能力的依賴。
那么，超級(jí)計(jì)算機(jī)能不能應(yīng)用在深度學(xué)習(xí)上呢？答案是肯定的。
在今年年初的德?lián)淙藱C(jī)大賽中，打贏了人類牌手的Libratus就是一個(gè)在超級(jí)計(jì)算機(jī)上訓(xùn)練的AI。Libratus甚至沒(méi)有搭建神經(jīng)網(wǎng)絡(luò)，光學(xué)習(xí)了游戲規(guī)則，利用強(qiáng)化學(xué)習(xí)自我博弈就超越了人類水平。
在國(guó)內(nèi)，百度旗下的深度學(xué)習(xí)開源平臺(tái)PaddlePaddle也支持超算應(yīng)用，甚至還入選了今年的ASC超算大賽總決賽。計(jì)算性能的超越讓一些以往不可能的事情成為可能，比如上面那個(gè)德?lián)涞陌咐?，不?yīng)用神經(jīng)網(wǎng)絡(luò)、單純靠強(qiáng)化學(xué)習(xí)的自我博弈在沒(méi)有超算的情況下可能要花費(fèi)無(wú)法想象的時(shí)間，而有了超算后，這件事情就成為了可能。
同理，一些大量數(shù)據(jù)、長(zhǎng)時(shí)間的深度學(xué)習(xí)/深度強(qiáng)化學(xué)習(xí)模型訓(xùn)練都可以在超計(jì)算機(jī)上完成。不過(guò)，這個(gè)領(lǐng)域中的超級(jí)計(jì)算機(jī)的競(jìng)爭(zhēng)對(duì)手也不少。
首先就是芯片廠商們，英偉達(dá)、IBM、高通等等廠商都在爭(zhēng)先恐后的研發(fā)著適用于深度學(xué)習(xí)的芯片。早在3年前，IBM推出的TrueNorth就已經(jīng)集成了54億個(gè)硅晶體管，計(jì)算能力已經(jīng)接近當(dāng)年的超級(jí)計(jì)算機(jī)，功耗卻只有65毫瓦。英偉達(dá)也曾推出過(guò)集成8個(gè)GPU的“超算系統(tǒng)”，計(jì)算能力也可以滿足大部分人的需求。
其次就是云服務(wù)供應(yīng)商，也就是上述芯片廠商的客戶們。他們不光花重金搭建起來(lái)能力超群的分布式計(jì)算系統(tǒng)，還貼心的和TensorFlow、caffe等等深度學(xué)習(xí)框架合作，讓算法可以無(wú)縫部署在系統(tǒng)上。阿里云在今年推出的異構(gòu)計(jì)算產(chǎn)品最高可提供每秒75萬(wàn)億次的算力，雖然比起超級(jí)計(jì)算機(jī)還差的遠(yuǎn)，但性價(jià)比卻不低。
最后，還有一大批以研究算法為主的技術(shù)供應(yīng)商。他們雖然不能提供算力，卻可以通過(guò)種種方式壓縮算法模型，讓算法模型在更低算力的硬件中也能運(yùn)行。比如西雅圖的一個(gè)創(chuàng)業(yè)團(tuán)隊(duì)，就在一直嘗試用二值化神經(jīng)網(wǎng)絡(luò)調(diào)整模型精度，試圖在能耗和成果中找到一個(gè)平衡。
加上在深度學(xué)習(xí)上，高成本、軟件環(huán)境復(fù)雜、數(shù)據(jù)隱私擔(dān)憂等等問(wèn)題仍然有待解決。綜合看來(lái)超級(jí)計(jì)算機(jī)仍然不是最好的解決方案。
讓人哭笑不得的是，很多人認(rèn)為深度學(xué)習(xí)帶來(lái)的高強(qiáng)度計(jì)算要求會(huì)推進(jìn)超級(jí)計(jì)算機(jī)的商業(yè)化、民用應(yīng)用，結(jié)果反而是帶動(dòng)了其他算力供應(yīng)商的發(fā)展，給超級(jí)計(jì)算機(jī)造就了更多的競(jìng)爭(zhēng)對(duì)手。
即使我們暫時(shí)還不能在生活場(chǎng)景中享受到超算帶來(lái)的益處，但超算在天文、物理、軍工上帶來(lái)的貢獻(xiàn)仍然是巨大的，如果沒(méi)有超算，在研發(fā)火箭、衛(wèi)星時(shí)幾乎無(wú)法進(jìn)行模擬計(jì)算。而超算帶來(lái)的快速、高精度的模擬，為這些高精尖技術(shù)的研發(fā)節(jié)約了無(wú)法估計(jì)金錢和時(shí)間成本。或許，等我們能在火星上觀光的那天，就會(huì)切實(shí)體會(huì)到超算帶來(lái)的福利吧。