GPU高性能計算程序設(shè)計與解決方案培訓(xùn)班 課程大綱 


一、 GPU高性能計算——并行計算基礎(chǔ) 1、并行計算的應(yīng)用場景和實(shí)際意義（戰(zhàn)略、經(jīng)濟(jì)和成本）；2、并行計算機(jī)體系結(jié)構(gòu)：處理器、內(nèi)存和互連網(wǎng)，常用的并行計算機(jī)系統(tǒng)；3、性能分析模型：如何測量并行性能和擴(kuò)展性；4、 CPU/GPU體系結(jié)構(gòu)對比介紹：流水線、多核、緩存、訪存、通信模型、分支預(yù)測等；5、 常用的高性能開發(fā)技術(shù)概述：5.1 OpenMP編程；5.2 Pthreads編程；5.3 MPI編程； 
上機(jī)實(shí)驗(yàn)：1、 求解π值 


二、GPU高性能計算——OpenACC編程基礎(chǔ)與優(yōu)化進(jìn)階 1、 OpenACC基礎(chǔ)：概念，與CUDA區(qū)別，編譯器，生態(tài)；2、 OpenACC開發(fā)環(huán)境搭建配置；3、 OpenACC四步開發(fā)流程：判斷并行性，并行化表達(dá)，顯式數(shù)據(jù)傳遞，優(yōu)化 3.1判斷并行性：Profile工具pgprof；3.2并行化表達(dá)：引導(dǎo)關(guān)鍵字Kernerls和Parallel Loop；3.3顯式管理數(shù)據(jù)的拷貝：引導(dǎo)關(guān)鍵字Data；3.4優(yōu)化：統(tǒng)一內(nèi)存管理，線程并行層級，collapse，tile 
OpenACC上機(jī)實(shí)操：1. Hellow world； 2．矢量點(diǎn)乘； 


三、 GPU高性能計算——CUDA編程基礎(chǔ)與優(yōu)化進(jìn)階 1、 CUDA基礎(chǔ)：API、數(shù)據(jù)并行、線程模型、存儲模型、控制、同步、并發(fā)和通信、加速比；2、 CUDA開發(fā)環(huán)境搭建和工具配置；3、 CUDA優(yōu)化進(jìn)階：線程組織調(diào)度，分支語句，訪存優(yōu)化，數(shù)據(jù)傳輸，原子操作；4、 GPU并行計算模式及案例分析： 分析調(diào)試：parallel nsight，visual profiler，cuda-gdb；5、 CUDA生態(tài)系統(tǒng)和相關(guān)專業(yè)領(lǐng)域軟件介紹； 
CUDA上機(jī)實(shí)操：1. Helloworld，向量加，cuda庫的使用（cuBLAS、cuFFT ）；2. 矩陣乘，直方圖，卷積，規(guī)約，前綴求和 ； 


四、 大規(guī)模并行開發(fā)：多GPU開發(fā) 1、 GPU異步編程，多GPU編程（混合OpenMP和MPI）及調(diào)試調(diào)優(yōu)工具；2、 OpenACC互操作性：OpenMP，MPI，CUDA； 
OpenACC上機(jī)實(shí)操：1、 Jacobi迭代，分形圖 
五、 GPU高性能計算——OpenCL編程基礎(chǔ) 1、 OpenCL：編程模型，存儲模型，生態(tài)；CUDA vs OpenCL； 
OpenCL上機(jī)實(shí)操：1、點(diǎn)乘； 


六、 GPU高性能計算——深度學(xué)習(xí) 1、 深度學(xué)習(xí)基礎(chǔ)介紹：神經(jīng)網(wǎng)絡(luò)，BP 方法，回歸，統(tǒng)計學(xué)習(xí)，Hessian矩陣，基礎(chǔ)數(shù)學(xué)等2、 常見的網(wǎng)絡(luò)模型和平臺框架：3、 深度學(xué)習(xí)GPU解決方案：3.1基于GPU的交互式深度學(xué)習(xí)訓(xùn)練平臺：DIGITS；3.2深度學(xué)習(xí)框架的GPU加速：TensorFlow，Caffe等；3.3 NVIDIA深度學(xué)習(xí)SDK：cuDNN，TensorRT，NCCL；3.4深度學(xué)習(xí)顯卡選擇； 
深度學(xué)習(xí)上機(jī)實(shí)操：1、 使用DIGITS進(jìn)行目標(biāo)識別檢測，信號處理；2、 Caffe，TensorFlow，Theano等通用深度學(xué)習(xí)框架的GPU加速庫cuDNN的使用；3、 深度學(xué)習(xí)前端推理引擎TensorRT的使用；4、 單機(jī)多卡的深度學(xué)習(xí)解決方案NCCL實(shí)驗(yàn)； 


七、GPU計算最新技術(shù)前沿 1、CUDA 9新特性介紹；2、Pascal/Volta顯卡架構(gòu)介紹； 

聯(lián)系人：林鳴
詳詢電話：17600460465