所以說你要想去把這個架構做得更好,只有一個方法就是去不停地優(yōu)化它的架構,讓它計算得更快。
GPU下一代架構NVIDIA我們都知道了叫Volta,那我們在接下來的5月份,會在美國發(fā)布新的計算架構芯片。一年一度的GTC就是針對于GPU的技術發(fā)展,從各個不同的角度去優(yōu)化它的計算平臺的性能,無論你是在做訓練或者影響都是一樣的。
剛才水成將的很好,在訓練的時候可能不惜一切代價,讓它算得很快,功耗無所謂,只要算得快就行,但是到影響的時候,我們的模型要小,我們的功耗要很低,然后我們還要算得很快,還要做得很準。因為當你的精度不夠的時候。這個AI就像剛才我們講的,都要變成動物了,那就沒有用了。所以它是有一定的門檻的,那這些門檻的對這個影響的作用也是一樣的,你必須得達到一定的精度我們才能去用,否則的話這些技術放到今天,我們AI應用當中就是沒有價值的了。
那從這些所有的架構當中,我們研究了幾乎所有的架構。其實你不管它是叫GPU也好,叫FPGA也好,你最后的就是我們要做深度學習的處理的。那我們可以講,今天的這個GPU恰恰是在目前架構當中最合適的,無論是用來做訓練還是用來做影響,最佳的芯片,處理器的架構。
那在今后這個架構往哪個方向變,是不是叫GPU,你可以叫它是GPU,其實我們可以叫它是深度學習處理器,你要問我的話下一代架構我不叫GPU,可能GPU是我們以前的名字,就像以前我們叫微軟研究院,今天有將門,其實都是同一批人,但是同一個架構的演變當中,以前GPU的名字叫圖像處理器,20年后,GPU早就不再是以前的GPU。如果拿今天NVIDIA的架構叫做Pascal,跟第一代用來做定點渲染引擎--那個專門做VGA處理器的話,兩個架構是完全不一樣的。今天的GPU基本上是一個并行計算器,而且100% 可編程,以前是不可能的。
那我們講20年前那個也叫GPU,今天也還叫GPU的話,下一代還叫GPU的話,那我們可以持續(xù)地用這個名稱,但是你要問我的話,下一代已經(jīng)就是深度學習處理器了。
所以FPGA也好,GPU也好,無論是誰,只要你想做人工智能行業(yè),我們必須要專門為這個行業(yè)定制處理器。所以NVIDIA下一代處理器你完全100%地可以講,它就是一個AI 處理器系統(tǒng),我們在這上面就要搭建一個AI的平臺,這個平臺不只是芯片的,包括周邊的設備,你會看到NVIDIA我們做一個N2N的解決方案。我們有第一個產(chǎn)品叫做AI 超級計算機,很多人可能沒有聽說過,叫做NVIDIA DGX,DGX1是第一個,在全世界我相信也是第一臺基于AI的超級計算機,這個AI 超級計算機我們在中國已經(jīng)有很多用戶開始使用了,他的設計就是專門用來做AI的,它的工作就是AI運算。
在這個超級計算機的基礎上,下一代我們要做的是,在超級計算機硬件的基礎上,去增加很多數(shù)據(jù)的處理的能力,所以你可以看到它的支持的內(nèi)存的速度,它的總線是NVLINK,不是我們的PCIE。在數(shù)據(jù)和數(shù)據(jù)之間的通訊,在GPU跟GPU之間的連接,多GPU和GPU Cluster之間的連接,都是專門用來設計做大規(guī)模計算處理的一些系統(tǒng)架構。
那當然只有硬件是沒有用的,你必須要做很多的訓練框架,就像CNTK,我們一定要100%加速,還要讓它加速得很快,你就要有它的中間件,我們就要支持caffe,我們要去優(yōu)化caffe,做成NVIDIA caffe,我們要去支持tensorflow,我們就要有專門NVIDIA Tensorflow去加速的這個Tensorflow的速度。
所以你可以看到一系列的軟件過程是經(jīng)過了很多年的積累下來。當然這些還不重要,重要的是如何讓我們更多的人才,讓我們所有的初創(chuàng)公司很快地用上這些工具,這個是最關鍵的。所以我們要有教育系統(tǒng)。
NVIDIA專門設立了一個培訓學校叫做深度學習學院(Deep Learning Institute),DLI是NVIDIA在全球推廣的一個項目,我們在全球幾乎18個國家要去做培訓學校,培養(yǎng)深度學習的人才。而這些人才我們肯定會跟北大這樣的研究機構、培訓機構去培訓我們未來的天才,我們也不能只是靠小文幫我們培養(yǎng)在中國的人才,我們也是希望擴大我們的這個培訓的機構的能力,讓北大、清華、交大,各種各樣的大專院校、科研機構在中國培養(yǎng)本土的人才,這樣的人才很缺乏,我相信在今后的這一段時間當中,幾乎所有的計算機專業(yè)的人,學數(shù)學的、學物理的,都會成為深度學習的專家的。那這些平臺的培養(yǎng)、人才的培養(yǎng)、系統(tǒng)的軟件、硬件的架構結合,我相信才會幫助我們把深度學習用在人工智能當中,同時讓AI達到一個新的階段。所以我希望大家不要再去看你是GPU、FPGA還是ASIC,只要是處理器,他要想做人工智能,你一定要為AI定制。