張宇博士強(qiáng)調(diào)，在邊緣側(cè)趨向負(fù)載整合是物聯(lián)網(wǎng)演進(jìn)的一個(gè)必然趨勢(shì)。原來(lái)在不同設(shè)備上分立的負(fù)載會(huì)越來(lái)越多地通過(guò)虛擬化等技術(shù)，整合到一個(gè)單一的高性能的計(jì)算平臺(tái)上，來(lái)實(shí)現(xiàn)一個(gè)綜合的復(fù)雜的功能，各個(gè)功能子系統(tǒng)既能分享設(shè)備提供的計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)等資源，同時(shí)還能具有一定的獨(dú)立性，避免彼此的相互影響，從而可以簡(jiǎn)化系統(tǒng)架構(gòu)，降低系統(tǒng)總體。同時(shí)，負(fù)載整合實(shí)際上也為邊緣計(jì)算的實(shí)現(xiàn)以及為實(shí)施人工智能的應(yīng)用提供了條件。整合后的設(shè)備既是邊緣數(shù)據(jù)的匯聚節(jié)點(diǎn)，同時(shí)也是邊緣控制的中心，這為邊緣智能提供了處理所需的數(shù)據(jù)，同時(shí)也提供了控制的入口。因此英特爾認(rèn)為人工智能和負(fù)載整合的結(jié)合，會(huì)在今后的邊緣計(jì)算的系統(tǒng)里發(fā)生。
利用硬件優(yōu)勢(shì)，給用戶提供全面合適的解決方案
張宇博士指出，物聯(lián)網(wǎng)系統(tǒng)一定是一個(gè)邊緣協(xié)同的端到端系統(tǒng)，人工智能會(huì)在物聯(lián)網(wǎng)系統(tǒng)里廣泛應(yīng)用，不僅是在前端，也在后端。物聯(lián)網(wǎng)中不同的網(wǎng)源所需要的計(jì)算力需求不同，再加上人工智能部署，需要不同特性硬件平臺(tái)以及軟硬件協(xié)同優(yōu)化。英特爾提供了端到端的、業(yè)界領(lǐng)先的人工智能全棧解決方案，包括：涵蓋至強(qiáng)處理器、至強(qiáng)融核處理器、英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器和FPGA、網(wǎng)絡(luò)以及存儲(chǔ)技術(shù)等領(lǐng)先而完整的硬件平臺(tái)，以及多種軟件工具及函數(shù)庫(kù)，優(yōu)化開(kāi)源框架。值得一提的是，對(duì)于邊緣計(jì)算而言如何平衡功耗和計(jì)算力所面臨的一大挑戰(zhàn)，憑借Movidius領(lǐng)先的單瓦計(jì)算能力，英特爾可以為業(yè)界提供低功耗、高性能的邊緣計(jì)算解決方案。對(duì)于前端的攝像機(jī)來(lái)說(shuō)，對(duì)功耗要求嚴(yán)格，使用Movidius這樣的低功耗芯片更合適;對(duì)于設(shè)備偏向于邊緣域的連接相機(jī)的設(shè)備或者服務(wù)器服務(wù)中心運(yùn)行算法的，使用FPGA更適合。
目前針對(duì)人工智能應(yīng)用也涌現(xiàn)出AI芯片設(shè)計(jì)公司，AI芯片未來(lái)會(huì)是會(huì)怎樣的發(fā)展態(tài)勢(shì)?張宇認(rèn)為，“現(xiàn)實(shí)系統(tǒng)要解決的問(wèn)題不同，以及在系統(tǒng)里所處的位置不同，對(duì)硬件要求、計(jì)算要求也不一樣，用戶要根據(jù)不同的要求來(lái)選擇比較合適的硬件架構(gòu)。當(dāng)下的人工智能很多的應(yīng)用實(shí)際是圍繞著圖象處理，即使像AlphaGo，Alphago下圍棋也是把棋盤(pán)轉(zhuǎn)變成二維的圖像作為輸入，然后用神經(jīng)網(wǎng)絡(luò)分析得到最終結(jié)果，包括權(quán)重網(wǎng)絡(luò)、估值網(wǎng)絡(luò)等，最后得到下一步棋放在哪個(gè)位置贏面最大的結(jié)論。但這是不是代表了人工智能的未來(lái)?很難說(shuō)。原因在于以后用人腦或者用機(jī)器分析的問(wèn)題的種類(lèi)很多，有些可以歸結(jié)到圖像，有些不可以，如果歸結(jié)到圖像可以用卷積來(lái)做，如果不能歸結(jié)到圖像是不是有另外一個(gè)更有效的架構(gòu)?隨著對(duì)處理問(wèn)題的復(fù)雜度越來(lái)越高、處理問(wèn)題的種類(lèi)越來(lái)越多、對(duì)問(wèn)題的認(rèn)識(shí)越來(lái)越清晰，可能在今后會(huì)找到適于某種特定應(yīng)用、特定問(wèn)題的應(yīng)用架構(gòu)。”
有了邊緣計(jì)算和云計(jì)算，開(kāi)發(fā)者做設(shè)計(jì)的時(shí)候更關(guān)注如何界定邊緣計(jì)算和云計(jì)算?采用哪個(gè)更合適?英特爾認(rèn)為，我們有一個(gè)共性的技術(shù)需要理解和掌握，就是怎么樣使計(jì)算架構(gòu)變得更容易被軟件定義。不管是什么樣的業(yè)務(wù)類(lèi)型都可以更靈活的在云端、在邊緣側(cè)，甚至在終端節(jié)點(diǎn)上運(yùn)行。如果沒(méi)有軟件定義的靈活性，我要把工作負(fù)載從云端遷移到前端是非常困難的事情，從芯片廠商角度來(lái)說(shuō)我們要做一個(gè)這樣的考量。
網(wǎng)絡(luò)優(yōu)化是人工智能運(yùn)用于邊緣計(jì)算的關(guān)鍵
人工智能理論基礎(chǔ)尚不完備，這就造成目前很多人工智能很大一部分計(jì)算是冗余的，如果想將人工智能用到邊緣側(cè)，網(wǎng)絡(luò)優(yōu)化是一個(gè)關(guān)鍵的技術(shù)。英特爾的網(wǎng)絡(luò)優(yōu)化思路分三個(gè)方面：低比特、剪枝和參數(shù)量化。
所謂低比特，在傳統(tǒng)的深度學(xué)習(xí)領(lǐng)域，參數(shù)往往是用32比特的單精度浮點(diǎn)來(lái)進(jìn)行表述，但是我們看到，在很多應(yīng)用場(chǎng)景里，比如在安防領(lǐng)域、機(jī)器學(xué)習(xí)以及機(jī)器視覺(jué)領(lǐng)域，實(shí)際上精度要求沒(méi)有那么高，英特爾把整個(gè)參數(shù)的精度在不影響最終的識(shí)別率的情況下，從32比特的單精度浮點(diǎn)，轉(zhuǎn)變成16比特的半精，甚至于轉(zhuǎn)變成8比特的整精或者是2比特的整精。隨著比特?cái)?shù)量不斷地降低，存儲(chǔ)量和計(jì)算量都降低了，這樣就可以在原來(lái)相對(duì)計(jì)算能力有限的平臺(tái)上做更復(fù)雜的操作。
剪枝也類(lèi)似，如果把一個(gè)人工智能的網(wǎng)絡(luò)比喻成一個(gè)樹(shù)枝，這個(gè)樹(shù)的每個(gè)不同的分杈，實(shí)際上對(duì)應(yīng)的是不同的檢測(cè)特征。對(duì)于不同的應(yīng)用場(chǎng)景關(guān)注的特征不一樣，很可能這些處理和檢測(cè)特征對(duì)最終檢測(cè)是沒(méi)有效果的。對(duì)于沒(méi)有效果的分支，完全可以剪掉，剪枝能夠極大地降低計(jì)算。