[導(dǎo)讀] 大腦非常神奇。只需要兩只耳朵和一些腦部周?chē)能浌?，就可以僅通過(guò)聲音線索準(zhǔn)確地在3D空間中定位一個(gè)物體?？梢月?tīng)聽(tīng)看周?chē)穆曇?。認(rèn)真的，停下來(lái)聽(tīng)聽(tīng)周?chē)穆曇?。即使那些音源完全不在我們的視線內(nèi)，應(yīng)該也可以大概知道音源的位置吧?這就是聲音的定位效果。這是一個(gè)非常厲害的能力，盡管大多數(shù)人都認(rèn)為這是理所當(dāng)然的，然而正是這種能力在生活的各個(gè)方面中幫助我們完成一系列活動(dòng)，比如安全地過(guò)馬路，不被兇狠的狗傷害，當(dāng)然也包括創(chuàng)造游戲的沉浸效果。
大腦非常神奇。只需要兩只耳朵和一些腦部周?chē)能浌?，就可以僅通過(guò)聲音線索準(zhǔn)確地在3D空間中定位一個(gè)物體。可以聽(tīng)聽(tīng)看周?chē)穆曇?。認(rèn)真的，停下來(lái)聽(tīng)聽(tīng)周?chē)穆曇簟＜词鼓切┮粼赐耆辉谖覀兊囊暰€內(nèi)，應(yīng)該也可以大概知道音源的位置吧?這就是聲音的定位效果。這是一個(gè)非常厲害的能力，盡管大多數(shù)人都認(rèn)為這是理所當(dāng)然的，然而正是這種能力在生活的各個(gè)方面中幫助我們完成一系列活動(dòng)，比如安全地過(guò)馬路，不被兇狠的狗傷害，當(dāng)然也包括創(chuàng)造游戲的沉浸效果。
讓我們來(lái)理一理
在現(xiàn)實(shí)生活中我們擁有五感(如果活在 M. Night Shyamalan 大導(dǎo)演電影里的話那你還會(huì)有第六種感官)。這五感分別是觸覺(jué)、味覺(jué)、嗅覺(jué)、視覺(jué)和聽(tīng)覺(jué);但是呢，在VR的游戲世界里，只有兩種感覺(jué)能被我們自由利用，這兩感就是視覺(jué)和聽(tīng)覺(jué)。
從某些角度說(shuō)呢，這樣反而比較好(比如僵尸游戲里啟用味覺(jué)，有人想試試嗎)，既然現(xiàn)在只有兩種感覺(jué)可以被利用，那制作一個(gè)真正的沉浸式游戲就意味著將這兩感運(yùn)用到極致。簡(jiǎn)單來(lái)說(shuō)就是需要高質(zhì)量的3D圖像和3D音效。
盡管圖形領(lǐng)域近幾年一直在持續(xù)發(fā)展提升，PC 端音效的發(fā)展史看上去似乎就顯得特別混亂，有層出不窮的新發(fā)明，也有停滯不前的時(shí)期，甚至也有徹徹底底的退步。然而，隨著 VR 產(chǎn)品的問(wèn)世和不斷發(fā)展，真正的3D音效似乎再一次崛起了。這一次他們從過(guò)去層出不窮的新發(fā)明中吸取了教訓(xùn)，VR 要將沉浸式音效體驗(yàn)推向一個(gè)前所未有的巔峰。
音效急需復(fù)蘇
3D音效病了。正確執(zhí)行的3D音效還是非常炫酷的，但是在近幾十年里，3D音效的整體質(zhì)量都不容樂(lè)觀。毫不夸張地說(shuō)，想要明白為什么 VR 能夠復(fù)興3D音效，必須了解3D音效究竟為什么需要復(fù)蘇。
3D音效利用的是空間坐標(biāo)軸(x,y,z軸)內(nèi)每個(gè)聲音和聽(tīng)者的坐標(biāo)位置，然而大多數(shù)現(xiàn)代游戲都將聲音界定為水平上擴(kuò)展，但是縱向上幾乎沒(méi)有高度和距離感。這就意味著我們界定的聲音對(duì)于聽(tīng)者而言就像是一個(gè)靜止的呼啦圈，僅僅能提供一種極弱的偽3D效果。
音頻發(fā)展史
從某些角度來(lái)看，音效已經(jīng)在過(guò)去幾十年中有了突飛猛進(jìn)的變化，尤其是從保真度和信噪比的角度來(lái)看。從托馬斯·愛(ài)迪生在1800 年代末期第一次通過(guò)留聲機(jī)回放了一段聲音以來(lái)，我們已經(jīng)在音頻領(lǐng)域發(fā)展了很多。然而，盡管在保真度和預(yù)錄方面一直在持續(xù)進(jìn)步，3D界的實(shí)時(shí)音效建模卻有些差強(qiáng)人意。
那么，在游戲之中創(chuàng)造出優(yōu)秀的3D音效到底有多難呢?為什么我的游戲里沒(méi)有3D音效呢?高保真音效的重現(xiàn)其實(shí)并不難，但是要重現(xiàn)一個(gè)3D空間中的動(dòng)態(tài)行為確實(shí)是一件很難的事情。
空間障礙
首先，我們先預(yù)錄一個(gè)音效作為樣本。它可以是僵尸的呻吟，可以是開(kāi)槍的聲音，也可以是你朋友在雪地里的腳步聲。無(wú)論這個(gè)音效是什么，它肯定具備一個(gè)音源和一個(gè)聽(tīng)者。
無(wú)論是音源還是聽(tīng)者，都需要在3D空間中占有一個(gè)位置，這個(gè)過(guò)程被稱(chēng)之為空間定位。本質(zhì)上來(lái)說(shuō)呢，這就意味著音源和聽(tīng)者都有一個(gè)完整、動(dòng)態(tài)的 xyz軸坐標(biāo)，從左到右，從上到下，從前到后。隨著他們位置的變化，預(yù)錄聲音樣本也必須隨著位置變化而變化。也有專(zhuān)門(mén)的術(shù)語(yǔ)來(lái)形容從左到右，從前到后的關(guān)系，叫方位角(azimuth)，而從上到下的關(guān)系則稱(chēng)為海拔(elevation)，此外還有距離。盡管空間定位對(duì)于聲音的沉浸效果而言非常重要，這也僅僅只是冰山一角。在聲音到達(dá)聽(tīng)者的位置之前，它需要在空間里沿著彎曲復(fù)雜的路徑里行進(jìn)一段距離才行。
就像光一樣，聲音實(shí)際上很少沿直線從點(diǎn)A到點(diǎn)B，取決于周邊環(huán)境，它們?cè)诖┧蟮倪^(guò)程中可能經(jīng)歷成千上萬(wàn)的路徑變化。光可以被反射，聲音也可以被反射，反射又可細(xì)分為早反射(early reflections)和遲反射(late reflection);也可以被吸收(或減弱);甚至可以被完全隔絕，如聲音封閉(sound occlusion)。在一個(gè)空間內(nèi)的聲音也可以產(chǎn)生回聲(盤(pán)繞的混響/ convoluted reverberations)，這些都取決于聲音在傳播過(guò)程中的路徑。將這些環(huán)境因素合在一起，就是人們常說(shuō)的聲音氛圍(audio ambiance)。