GPU驅(qū)動(dòng)的深度學(xué)習(xí)是一種新的計(jì)算模型，其引發(fā)了現(xiàn)代人工智能大爆炸。NVIDIA聯(lián)合創(chuàng)始人兼CEO黃仁勛先生在本文中討論了人工智能不久的將來、人工智能對(duì)產(chǎn)業(yè)的影響，以及企業(yè)如何抓住人工智能的商業(yè)機(jī)會(huì)。
過去6周內(nèi)，我們一直在世界各地接連召開NVIDIA開發(fā)者大會(huì)。GPU技術(shù)大會(huì)（GTC）始辦于2009年，旨在培育使用大規(guī)模并行處理GPU實(shí)現(xiàn)高性能計(jì)算的新方法。GTC逐漸成為GPU深度學(xué)習(xí)的中心——引發(fā)現(xiàn)代人工智能大爆炸的新計(jì)算模式。
顯而易見，人工智能正在呈現(xiàn)出星火燎原之勢(shì)。僅過去2年間，GPU深度學(xué)習(xí)開發(fā)者數(shù)量即激增25倍之多。約1,500家人工智能初創(chuàng)公司順勢(shì)而起。這種爆炸性增長(zhǎng)帶動(dòng)了全球?qū)τ贕TC的需求。
迄今，我們已經(jīng)在北京、臺(tái)北、阿姆斯特丹、東京、首爾以及墨爾本舉辦相關(guān)活動(dòng)。下周的活動(dòng)將于華盛頓舉辦，下個(gè)月將移師孟買。我參加了其中4場(chǎng)GTC大會(huì)。隨著人工智能變革一個(gè)又一個(gè)行業(yè)，我希望將我所談、所了解以及所見的事情與大家分享。
新的計(jì)算時(shí)代
由人工智能計(jì)算機(jī)支持且能夠?qū)W習(xí)、推理并與人互動(dòng)的智能機(jī)器不再是科學(xué)幻想。今天，基于人工智能的自動(dòng)駕駛汽車能夠自主導(dǎo)航，在夜間自由穿行于鄉(xiāng)村道路之上。人工智能機(jī)器人能夠通過試錯(cuò)習(xí)得動(dòng)作技能。這真是一個(gè)杰出的時(shí)代。在我長(zhǎng)達(dá)30年的計(jì)算機(jī)行業(yè)生涯中，沒有哪種技術(shù)比這更有潛力，或者更有趣。人工智能時(shí)代已經(jīng)開啟。
我們的行業(yè)推動(dòng)著大規(guī)模工業(yè)與社會(huì)變革。隨著計(jì)算的發(fā)展，新企業(yè)不斷出現(xiàn)，新產(chǎn)品接連面世，我們的生活也因之發(fā)生變化?；仡欉^去幾波計(jì)算，每一次均由革命性的計(jì)算模式、拓展計(jì)算能力與范圍的新架構(gòu)所支撐。
1995年，低成本微處理器（CPU）、標(biāo)準(zhǔn)操作系統(tǒng)（Windows 95）、以及信息世界新門戶（Yahoo?。┑慕Y(jié)合催生出了PC-互聯(lián)網(wǎng)時(shí)代。PC-互聯(lián)網(wǎng)時(shí)代讓大約10億人獲得了計(jì)算能力，并實(shí)現(xiàn)了微軟“讓每臺(tái)辦公桌和每個(gè)家庭都有一臺(tái)電腦”的愿景。10年后，iPhone讓“互聯(lián)網(wǎng)通信”設(shè)備放入我們的口袋。伴隨著Amazon AWS的推出，誕生了移動(dòng)-云時(shí)代。大量應(yīng)用進(jìn)入我們的日常生活，約30億人享受著移動(dòng)計(jì)算帶來的自由。
今天，我們正站在由GPU深度學(xué)習(xí)的新計(jì)算模式引發(fā)的人工智能計(jì)算時(shí)代的開端。事實(shí)證明，該新模式——其中，深度神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練后，能夠從海量數(shù)據(jù)中識(shí)別各種模式——能夠“超乎尋常”有效解決計(jì)算機(jī)科學(xué)領(lǐng)域內(nèi)的一些最復(fù)雜的問題。在該時(shí)代，軟件能夠自主編程，機(jī)器也具備學(xué)習(xí)能力。不久，數(shù)以千億計(jì)的設(shè)備將被嵌入智能。人工智能將變革每一個(gè)行業(yè)。
GPU深度學(xué)習(xí)“大爆炸”
為什么是現(xiàn)在，就像我在此前一篇文章《利用GPU加速人工智能是一種新型計(jì)算模式》中所寫的那樣，2012年是人工智能標(biāo)志性的一年。多倫多大學(xué)Alex Krizhevsky創(chuàng)建了能夠從100萬樣本中自動(dòng)學(xué)習(xí)識(shí)別圖像的深度神經(jīng)網(wǎng)絡(luò)。僅在兩塊NVIDIA GTX 580 GPU上訓(xùn)練幾天，“AlexNet”就贏得了當(dāng)年的ImageNet競(jìng)賽，擊敗了磨練幾十年的所有人類專家算法。同年，認(rèn)識(shí)到網(wǎng)絡(luò)規(guī)模越大、或者大腦越大，其學(xué)習(xí)能力就越強(qiáng)的規(guī)律之后，斯坦福的Andrew Ng與NVIDIA 研究室合作開發(fā)了一種使用大規(guī)模GPU計(jì)算系統(tǒng)訓(xùn)練網(wǎng)絡(luò)的方法。
這引起了全球關(guān)注。世界各地的人工智能研究人員轉(zhuǎn)向GPU深度學(xué)習(xí)。百度、谷歌、Facebook與微軟是首批將其用于模式識(shí)別的公司。2015年，人工智能在圖像識(shí)別方面實(shí)現(xiàn)了“超越人類”的水準(zhǔn)。在語音識(shí)別領(lǐng)域，微軟研究院使用GPU深度學(xué)習(xí)實(shí)現(xiàn)了歷史里程碑，在對(duì)話語音領(lǐng)域獲得“媲美人類””水平。
圖像識(shí)別與語音識(shí)別——GPU深度學(xué)習(xí)已經(jīng)為機(jī)器學(xué)習(xí)、認(rèn)知、推理與解決問題奠定了基礎(chǔ)。GPU開始成為模擬人類想象力的引擎，打造出了視頻游戲與好萊塢影片的驚人虛擬世界。現(xiàn)在，NVIDIA的GPU運(yùn)行深度學(xué)習(xí)算法，模擬人類智能，并用作能夠認(rèn)知與理解世界的計(jì)算機(jī)、機(jī)器人與自動(dòng)駕駛汽車的大腦。就像人類想象力與智能密不可分一樣，計(jì)算機(jī)圖形與人工智能也在我們的架構(gòu)內(nèi)結(jié)合在一起。人類大腦擁有兩種模式，GPU也擁有兩種模式。這可能是NVIDIA GPU之所以被廣泛用于深度學(xué)習(xí)的原因所在，因此NVIDIA日益被稱作“人工智能計(jì)算公司”。
面向全新計(jì)算模式的端到端平臺(tái)
作為一種全新的計(jì)算模式，GPU深度學(xué)習(xí)正改變著軟件的開發(fā)與運(yùn)行方式。過去，軟件工程師構(gòu)思程序與細(xì)致編碼的算法?，F(xiàn)在，算法從無數(shù)真實(shí)世界示例中自我學(xué)習(xí)–軟件自我編寫。編程指的是編寫指令代碼。深度學(xué)習(xí)指的是構(gòu)建與訓(xùn)練神經(jīng)網(wǎng)絡(luò)。然后，該網(wǎng)絡(luò)可部署于數(shù)據(jù)中心，對(duì)新數(shù)據(jù)進(jìn)行推斷、預(yù)測(cè)與分類。該網(wǎng)絡(luò)也可部署于攝像機(jī)、汽車與機(jī)器人等智能設(shè)備中，以了解世界。根據(jù)新經(jīng)驗(yàn)收集新數(shù)據(jù)，進(jìn)一步訓(xùn)練與改進(jìn)神經(jīng)網(wǎng)絡(luò)。通過從數(shù)十億設(shè)備中學(xué)習(xí)，網(wǎng)絡(luò)中的所有設(shè)備變得更加智能。神經(jīng)網(wǎng)絡(luò)將獲得GPU處理能力指數(shù)級(jí)進(jìn)步與大規(guī)模網(wǎng)絡(luò)效應(yīng)的雙重優(yōu)勢(shì)–也就是說，它們將以快于摩爾定律的速度變得更加智能。
不同于“指令處理”密集型的老式計(jì)算模型，這種全新計(jì)算模型需要海量“數(shù)據(jù)處理”。為了在各方面推進(jìn)人工智能，我們正在建立一個(gè)端到端人工智能計(jì)算平臺(tái)——即一個(gè)跨越訓(xùn)練、推理和數(shù)十億正在使用的智能設(shè)備的架構(gòu)。
GPU在四年時(shí)間里提速65倍
我們先從訓(xùn)練開始。全新Pascal GPU的項(xiàng)目投資約20億美元，是數(shù)千名工程師花費(fèi)三年多時(shí)間的工作成果。作為首款經(jīng)深度學(xué)習(xí)優(yōu)化的圖形處理器，Pascal的網(wǎng)絡(luò)處理速度比Alex Krizhevsky在其論文中使用的Kepler圖形處理器要快65倍。如果一臺(tái)計(jì)算機(jī)配備八臺(tái)通過NVIDIA NVLink連接的Pascal圖形處理器，即可創(chuàng)建有史以來最高吞吐量的互連結(jié)構(gòu)，其網(wǎng)絡(luò)處理速度比250臺(tái)傳統(tǒng)服務(wù)器還要快。
GPU在四年時(shí)間里提速65倍
每天數(shù)百億次互聯(lián)網(wǎng)查詢很快將需要人工智能，這意味著每次查詢將需要進(jìn)行數(shù)十億次的數(shù)學(xué)運(yùn)算。云服務(wù)的總負(fù)載將很龐大，以確保實(shí)時(shí)響應(yīng)。為了得到更快速的數(shù)據(jù)中心推理性能，我們公布了Tesla P40和P4 GPU。 P40使數(shù)據(jù)中心推理吞吐量加速40倍。P4僅需要50瓦功率，旨在加快1U OCP服務(wù)的速度，這是超大規(guī)模數(shù)據(jù)中心的典型。軟件是NVIDIA深度學(xué)習(xí)平臺(tái)的重要組成部分。在訓(xùn)練方面，我們有CUDA和cuDNN。在推理方面，我們公布了一款優(yōu)化推理引擎TensorRT。TensorRT通過融合一個(gè)層級(jí)和多個(gè)層級(jí)內(nèi)的操作，簡(jiǎn)化低貢獻(xiàn)權(quán)重，將精確度降至FP16或INT8，以及采用許多其他技術(shù)，從而改善性能，同時(shí)不損害準(zhǔn)確度。
將來，數(shù)十億個(gè)智能設(shè)備將利用深度學(xué)習(xí)來執(zhí)行智能的任務(wù)。無人機(jī)將自主導(dǎo)航通過一個(gè)倉庫，找到相關(guān)物品并撿取。便攜式醫(yī)療儀器將利用人工智能，現(xiàn)場(chǎng)診斷血液樣本。智能攝像機(jī)將學(xué)會(huì)只向我們警告我們關(guān)心的情況。我們已經(jīng)針對(duì)此類智能物聯(lián)網(wǎng)設(shè)備創(chuàng)建了一臺(tái)高效能人工智能超級(jí)計(jì)算機(jī)。Jetson TX1是一個(gè)信用卡大小的模塊，只用10瓦功率就可以達(dá)到1 TeraFLOP FP16性能。其架構(gòu)與我們最強(qiáng)大的GPU相同，可以運(yùn)行所有相同軟件。
簡(jiǎn)而言之，我們提供一個(gè)端到端人工智能計(jì)算平臺(tái)——從GPU到深度學(xué)習(xí)軟件和算法，從訓(xùn)練系統(tǒng)到車載人工智能計(jì)算機(jī)，從云到數(shù)據(jù)中心到個(gè)人電腦到機(jī)器人。NVIDIA的人工智能計(jì)算平臺(tái)無處不在。
針對(duì)每個(gè)行業(yè)的人工智能計(jì)算
我們的端到端平臺(tái)是確保每個(gè)行業(yè)接入人工智能的第一步。NVIDIA GPU深度學(xué)習(xí)全球生態(tài)系統(tǒng)一直擴(kuò)展迅速。突破性的成果引發(fā)了為消費(fèi)者互聯(lián)網(wǎng)服務(wù)采用人工智能的競(jìng)賽——搜索、識(shí)別、推薦、翻譯等等。從阿里巴巴和亞馬遜到IBM和微軟的云服務(wù)提供商向大小型公司提供NVIDIA GPU深度學(xué)習(xí)平臺(tái)。全球最大的企業(yè)技術(shù)公司已經(jīng)基于NVIDIA GPU對(duì)服務(wù)器進(jìn)行配置。我們很高興在GTC之旅中發(fā)布改造各大行業(yè)的戰(zhàn)略部署：
人工智能交通：交通是人工智能可以改造的10萬億美元大型行業(yè)。自主汽車可以減少事故，提高貨車和出租車服務(wù)的生產(chǎn)力，以及實(shí)現(xiàn)新的移動(dòng)服務(wù)。我們宣布，百度和TomTom均選擇在自動(dòng)駕駛汽車內(nèi)采用NVIDIA DRIVE PX 2。我們正分別與兩家公司一起建立一個(gè)包含高清地圖、人工智能算法和人工智能超級(jí)計(jì)算機(jī)的開放式云端到汽車的自動(dòng)駕駛平臺(tái)。
駕駛是一種我們作為第二天性進(jìn)行的習(xí)得行動(dòng)。但這不可能通過電腦編程來完成。自主駕駛需要利用人工智能的方方面面——感知環(huán)境，推斷確定環(huán)境條件，規(guī)劃最佳行動(dòng)方案，以及不斷學(xué)習(xí)以提高對(duì)廣闊多元化世界的理解。廣泛的自主駕駛范圍需要一個(gè)開放式可擴(kuò)展架構(gòu)——從高速公路的自主巡航到駛向目的地的自主駕駛，到?jīng)]有駕駛員的完全自主駕駛。
NVIDIA DRIVE PX 2是一個(gè)可跨越整個(gè)自主駕駛?cè)斯ぶ悄芊秶目蓴U(kuò)展架構(gòu)。我們?cè)贕TC大會(huì)上推出針對(duì)高速公路自主駕駛而設(shè)計(jì)且具備連續(xù)定位和繪圖功能的DRIVE PX 2 AutoCruise。我們還發(fā)布了覆蓋自主駕駛各個(gè)方面——檢測(cè)、定位、規(guī)劃和行動(dòng)——的自動(dòng)駕駛汽車操作系統(tǒng)DriveWorks Alpha 1。
我們將所有功能集中到自動(dòng)駕駛汽車NVIDIA BB8內(nèi)。
NVIDIA致力于在視覺處理、人工智能和高性能計(jì)算的交叉點(diǎn)——處于智能和自主機(jī)器核心的獨(dú)特組合——方面進(jìn)行創(chuàng)新。我們首次創(chuàng)造出可以使自動(dòng)駕駛汽車和自主機(jī)器人成為可能的人工智能算法。然而，它們需要一個(gè)具成本效益的實(shí)時(shí)計(jì)算平臺(tái)。
我們?cè)贕TC大會(huì)上推出迄今最具野心的單芯片計(jì)算機(jī)Xavier——全球首個(gè)人工智能超級(jí)計(jì)算機(jī)芯片。Xavier擁有70億個(gè)晶體管——比最先進(jìn)的服務(wù)器級(jí)CPU更復(fù)雜。Xavier與今年初在CES上推出的DRIVE PX 2具有同等功率，在20瓦功率的條件下，具備每秒進(jìn)行20萬億次運(yùn)算的性能。正如《福布斯》所言，通過Xavier，NVIDIA在自動(dòng)駕駛汽車上加倍投入。
人工智能企業(yè)：在認(rèn)知計(jì)算領(lǐng)域發(fā)現(xiàn)2萬億美元商機(jī)的IBM宣布推出旨在為企業(yè)帶來人工智能的配置有NVIDIA Tesla P100的全新POWER8服務(wù)器。在軟件方面，SAP宣布其已經(jīng)收到首批NVIDIA DGX-1超級(jí)計(jì)算機(jī)中兩臺(tái)，正積極為其遍布190個(gè)國(guó)家的32萬個(gè)客戶制定機(jī)器學(xué)習(xí)企業(yè)解決方案。
人工智能城市：2020年，全球?qū)⒂?0億臺(tái)攝像機(jī)。全球監(jiān)視系統(tǒng)領(lǐng)導(dǎo)者?？低曊萌斯ぶ悄軒椭鷮?shí)現(xiàn)更安全的城市。它利用DGX-1進(jìn)行網(wǎng)絡(luò)訓(xùn)練，并基于16個(gè)Jetson TX1處理器，建立了一個(gè)名為“刀鋒”的突破性服務(wù)器。相比于配置了21塊CPU的同等性能服務(wù)器來說，刀鋒需要占用的空間僅為其1/20，所消耗的功率也僅有其1/10。
人工智能工廠：全球有20億臺(tái)工業(yè)機(jī)器人。日本是機(jī)器人創(chuàng)新的中心。我們?cè)贕TC大會(huì)上宣布，總部位于日本的工業(yè)機(jī)器人巨頭FANUC將在NVIDIA人工智能平臺(tái)上構(gòu)建完整的未來工廠。其深層神經(jīng)網(wǎng)絡(luò)將采用NVIDIA GPU進(jìn)行訓(xùn)練，裝有GPU的FANUC Fog單元將驅(qū)動(dòng)一組機(jī)器人，讓它們一起學(xué)習(xí)，而且每臺(tái)機(jī)器人將配備一個(gè)嵌入式GPU來執(zhí)行實(shí)時(shí)人工智能?！堵槭±砉W(xué)院科技評(píng)論雜志》在其文章《日本機(jī)器人大亨將智能嵌入機(jī)械手臂》中有相關(guān)描述。
各行業(yè)的下一階段：GPU深度學(xué)習(xí)正激發(fā)全球新一波初創(chuàng)公司成立——1500多間醫(yī)療保健、汽車、消費(fèi)網(wǎng)絡(luò)應(yīng)用程序等行業(yè)的初創(chuàng)公司。最近被授權(quán)在加利福尼亞州公路上測(cè)試的Drive.ai正通過深度學(xué)習(xí)全駕駛堆棧來應(yīng)對(duì)各種自動(dòng)駕駛挑戰(zhàn)?？偛课挥谌毡镜腃hainer框架開發(fā)商Preferred Networks正開發(fā)針對(duì)物聯(lián)網(wǎng)的深度學(xué)習(xí)解決方案?？偛课挥趥惗厍覟槭着鶧GX-1接收者之一的Benevolent.ai正利用深度學(xué)習(xí)，研發(fā)藥物來治療帕金森病、阿爾茨海默病和罕見癌癥等疾病。根據(jù)CB Insights，在第二季度，人工智能初創(chuàng)公司的資金超過10億美元，創(chuàng)下歷史新高。
初創(chuàng)公司的爆炸性增長(zhǎng)是人工智能跨行業(yè)發(fā)展的另一個(gè)指標(biāo)。正如《財(cái)富》所言，深度學(xué)習(xí)將引領(lǐng)美國(guó)企業(yè)轉(zhuǎn)型。
針對(duì)每一個(gè)人的人工智能
人工智能可以解決我們?cè)趲啄昵八坪蹼y以解決的問題。從現(xiàn)實(shí)世界的數(shù)據(jù)來看，計(jì)算機(jī)可以學(xué)習(xí)識(shí)別對(duì)手工制作的軟件、甚至人類而言過于復(fù)雜、龐大或精細(xì)的模式。有了GPU深度學(xué)習(xí)，該計(jì)算模型如今是可行的，可以用于應(yīng)對(duì)世界上最大規(guī)模行業(yè)的各種挑戰(zhàn)。自動(dòng)駕駛汽車將改造價(jià)值10萬億美元的運(yùn)輸業(yè)。在醫(yī)療保健方面，醫(yī)生將利用人工智能盡早檢測(cè)疾病，了解人類基因組，治療癌癥，或者從大量醫(yī)療數(shù)據(jù)和研究中學(xué)習(xí)，提供最佳治療建議。而且人工智能將迎來第四次工業(yè)革命——在蒸汽、大規(guī)模生產(chǎn)和自動(dòng)化革命之后——智能機(jī)器人將推動(dòng)新一波生產(chǎn)力提高浪潮，實(shí)現(xiàn)大規(guī)模消費(fèi)者定制。人工智能將觸及每一個(gè)人。人工智能時(shí)代已經(jīng)到來。