浪潮人工智能首席架構(gòu)師張清,是《MIC高性能計算編程指南》作者,開源深度學(xué)習(xí)計算框架Caffe-MPI設(shè)計者之一。并先后主導(dǎo)完成語音、圖像、安全等深度學(xué)習(xí)GPU項目,并傳統(tǒng)HPC、視頻大數(shù)據(jù)等方向多個CPU多核、GPU、MIC、FPGA計算項目。
本文節(jié)選自張清在鈦坦白的分享。以下根據(jù)張清在鈦坦白的分享實錄整理:
大家好,我是來自浪潮的張清,在分享之前我首先簡單的介紹一下浪潮在人工智能方面的工作。浪潮是先進(jìn)的人工智能計算系統(tǒng)與解決方案提供商,擁有從人工智能計算產(chǎn)品研發(fā)、計算系統(tǒng)建設(shè)、軟件設(shè)計、系統(tǒng)運(yùn)維服務(wù)能力,擁有完備的人工智能端到端解決方案、計算系統(tǒng)軟硬件產(chǎn)品和應(yīng)用服務(wù)體系,在廣泛應(yīng)用人工智能技術(shù)的互聯(lián)網(wǎng)領(lǐng)域,浪潮計算設(shè)備產(chǎn)品在中國大型互聯(lián)網(wǎng)市場占用率超過80%,成為中國人工智能第一品牌計算設(shè)備提供商。
AI的發(fā)展趨勢
人類已經(jīng)經(jīng)過了三次科技革命——蒸汽時代、電氣時代和信息時代,每次科技革命的發(fā)生都為社會帶來巨大的變革和進(jìn)步。AI時代已經(jīng)到來,它可能成為第四次科技革命。下面我們來看一下AI市場、行業(yè)應(yīng)用、技術(shù)的發(fā)展趨勢。
AI市場的發(fā)展趨勢
A市場正在蓬勃發(fā)展,我們從近五年人工智能的投資金額發(fā)現(xiàn)從2012年到2016年,年均增長率達(dá)到50%以上,截止到2016年,它的投資金額達(dá)到42.5億美元,AI近五年M&A和IPO的數(shù)量年均增長率為49.85%,2016年已達(dá)到68項,2020年AI整個的市場規(guī)模將達(dá)到480億美元。(數(shù)據(jù)來源:CB Insights)
AI行業(yè)應(yīng)用的發(fā)展趨勢
2011年,谷歌和微軟研究院的語音識別方向研究專家先后采用深度神經(jīng)網(wǎng)絡(luò)技術(shù)將語音識別的錯誤率降低20%~30%,這是長期以來語音識別研究領(lǐng)域取得的重大突破。2012年,深度神經(jīng)網(wǎng)絡(luò)在圖像識別應(yīng)用方面也獲得重大進(jìn)展,在ImageNet評測問題中將原來的錯誤率降低了9%,隨著AI在語音和圖像識別的巨大成功,互聯(lián)網(wǎng)行業(yè)越來越多的用戶開始應(yīng)用AI。從2015年開始,傳統(tǒng)行業(yè)越來越多的用戶也開始應(yīng)用AI,比如金融企業(yè)、醫(yī)療企業(yè)、汽車廠商和安防企業(yè)等。今年,我們也看到很多傳統(tǒng)科學(xué)計算用戶開始研究AI技術(shù),如氣象和石油勘探用戶,利用 AI技術(shù)來提高相關(guān)應(yīng)用的預(yù)測精度。
總的來說,AI行業(yè)應(yīng)用用戶已經(jīng)從目前最為火熱的互聯(lián)網(wǎng)行業(yè)用戶,逐步發(fā)展到傳統(tǒng)企業(yè)用戶和科學(xué)計算HPC用戶。
AI技術(shù)的發(fā)展趨勢
我們先看兩個例子,第一個是圖像識別方面的Imagenet比賽,2012年Imagenet比賽冠軍網(wǎng)絡(luò)模型是Alexnet,它只有8層,訓(xùn)練所需要的計算量是相對比較小的,每一張圖片只要1.4GFlop,所訓(xùn)練出來的模型的精度達(dá)到84%,也就是錯誤率為16%。到了2015年,經(jīng)過三年的發(fā)展,Imagenet比賽的冠軍網(wǎng)絡(luò)模型是微軟設(shè)計的Resnet,其變得更加復(fù)雜,模型的層數(shù)達(dá)到152層,層數(shù)是Alexnet的19倍,每一張圖片所需要計算量大大提高,達(dá)到22GFlop,但錯誤率下降為3.5%。
另一個例子更加驚人,是關(guān)于語音識別。百度設(shè)計的語音識別模型,2014年有2500萬的參數(shù),訓(xùn)練的數(shù)據(jù)量是7000小時的語料,8%的錯誤率。2015年的訓(xùn)練數(shù)據(jù)是此前的2倍,深度學(xué)習(xí)網(wǎng)絡(luò)是原來的4倍大,2倍的數(shù)據(jù)量,4倍的網(wǎng)絡(luò)復(fù)雜性,實現(xiàn)的錯誤率是5%,但是需要付出什么樣的代價?就是計算量的增長。
所以我們從這兩個例子可以看出,AI技術(shù)的發(fā)展趨勢是朝著大數(shù)據(jù)+大模型+大計算方向發(fā)展,采用更大的模型和數(shù)據(jù)會使訓(xùn)練出來的模型的精度大幅提高,但這需要更大的計算資源作為支撐。
AI面臨的挑戰(zhàn)及計算解決方案
AI主要面臨三個方面的挑戰(zhàn):
1.一是需要獲取足夠多的標(biāo)注的數(shù)據(jù)用于模型的訓(xùn)練;