解讀專業篇! 簡要了解VR音頻相關技術

2023-08-02 23:25:49 1

    VR或3D音頻通常被稱作是空間化，空間音頻就好像聲音來源於3D空間中的特定位置。該技術對提供深度沉浸感十分關鍵，因為聲音會給我們提供重要的線索，讓我們知道自己在真實三維環境中的位置。如同定位技術一樣，空間化取決於兩個關鍵因素：方向和位置。

HRTF（頭相關變換函數）與定向空間化

    根據來源方向的不同，我們耳朵的幾何形狀和結構會相應地改變聲音。頭相關變換函數（HRTF）會以這些不同的效果為基礎，然後用於定位聲音。

如何記錄HRTF

    要採集HRTF，人們需要進入到消聲室中，戴上耳機，然後在每個可能的方向播放聲音，並通過耳機記錄那些聲音。把記錄到的聲音與原始聲音進行比較，從而計算出具體的HRTF數據。這是因為兩隻耳朵和可用樣本集需要在相當多的離散方向記錄聲音。當然，並不是每個人都具有相同的身體特徵，也不可能記錄每個人的HRTF，因此像微軟研究院和Oculus這樣的實驗室會使用適合大多數情況的通用參考集，特別是當與頭部追蹤相結合時的參考。

HRTF應用

    在準備好HRTF集之後，如果開發者知道自己想要聲音出現的位置或來源方向，他們就可以選擇適當的HRTF數據並將其應用於聲音之中。這是以所謂的「時域卷積」或「FFT/IFFT」形式進行實現。所以這些公司基本上會過濾音頻信號，讓聲音聽起來像是來自一個特定的方向。這聽起來好像很容易，但實際上成本十分昂貴，很難開發。

此外，必須要用到耳機，因為揚聲器陣列會讓事情變得更複雜。

頭部追蹤

    人們會通過頭部運動來識別和定位空間中的聲音。沒有這一點，我們在三維空間中定位聲音的能力將大大降低。當人們把頭轉向一邊時，開發者必須確保他們能夠在聽覺上反映出這種運動，否則，聲音會讓人感覺虛假，缺乏沉浸感。

    高端耳機已經可以追蹤人們的頭部方向，甚至在某些情況下能夠對其進行定位。因此，如果開發者在聲音包中加入頭部方向信息，那麼他們將能夠在三維空間中投射沉浸式聲音效果。

距離建模

    HRTF可以幫助公司識別聲音的方向，但卻不能幫助識別聲音的距離。人們會使用多種條件來確定或假定聲源的距離，而這些可以通過軟體進行模擬：

響度

    這可能是最簡單的一個，同時也是我們最可靠的提示。開發者可以根據用戶和聲源之間的距離來調低聲音的響度。

初始時間延遲

    這很難複製，它需要根據給定的一組幾何形狀及其特性來計算早期反射。這也非常昂貴，操作起來很複雜。

直接/混響聲

    任何打算以準確的方式為後期混響和反射進行建模的系統都會出現這樣的結果。而這些系統通常非常昂貴。

高頻衰減

    這是因為空氣吸收並不明顯，但這很容易通過簡單的低通濾波器以及通過調整斜率和截斷頻率來進行建模。高頻衰減不如其他距離線索那麼重要，但我們也不能忽視它的作用。■