丟包掩蔽裝置和方法以及音頻處理系統的製作方法

2023-12-08 23:09:01 2

丟包掩蔽裝置和方法以及音頻處理系統的製作方法
【專利摘要】本申請涉及丟包掩蔽裝置和方法以及音頻處理系統。根據一種實施方式，提供了丟包掩蔽裝置，用於掩蔽音頻包流中的包丟失，每個音頻包包括傳輸格式的至少一個音頻幀，音頻幀包括至少一個單聲道分量和至少一個空間分量。該丟包掩蔽裝置可以包括：第一掩蔽單元，用於針對丟失包中的丟失幀生成至少一個單聲道分量；以及第二掩蔽單元，用於針對所述丟失幀生成所述至少一個空間分量。根據該實施方式，在針對多通道空間或聲場編碼音頻信號的丟包掩蔽中可以儘可能避免空間畸變比如不正確的角度和發散度。
【專利說明】丟包掩蔽裝置和方法以及音頻處理系統

【技術領域】
[0001] 本申請總體上涉及音頻信號處理。本申請的實施方式涉及在包(分組)交換網絡上 的音頻傳輸過程中，由空間音頻包(分組)的丟失產生的畸變的掩蔽。更具體地，本申請的實 施方式涉及丟包掩蔽裝置、丟包掩蔽方法以及包括該丟包掩蔽裝置的音頻處理系統。

【背景技術】
[0002] 語音通信可能面對各種的質量問題。例如，如果語音通信是在包交換網絡中進行 的，由於在網絡中出現的延遲抖動或由於信道條件差比如（比如信號減弱或者WIFI幹擾)， 可能會丟失一些包。丟失的包產生喀噠聲或砰砰聲或者其他畸變，這顯著地降低了在接收 器側所感知的語音質量。為了應對包丟失的負面影響，已經提出過丟包掩蔽（PLC)算法，也 公知為消失巾貞掩蔽（frame erasure concealment)算法。這樣的算法通常在接收器側工作， 生成合成音頻信號以覆蓋接收的比特流中的失去的數據(消失部分)。這些算法主要是針對 時域或頻域中的單聲道信號提出的。基於掩蔽是在解碼之前還是解碼之後進行，可以將單 聲道PLC分為編碼域、解碼域或混合域方法。對多通道信號直接應用單聲道PLC可能導致 不希望有的畸變。例如，解碼域PLC可以在對每個聲道解碼之後對每個聲道單獨執行。這 樣的方法的一個缺點是：由於缺乏對跨聲道相關性的考慮，所以可以觀察到空間上失真的 畸變以及不穩定的信號強度。空間畸變比如不正確的角度和發散度可能顯著地降低空間或 聲場編碼音頻的感知質量。因此，需要有針對多通道空間音頻信號的PLC算法。


【發明內容】

[0003] 根據本申請的實施方式，提供了一種用於掩蔽音頻包流中的包丟失的丟包掩蔽裝 置，每個音頻包包括傳輸格式的至少一個音頻幀，該至少一個音頻幀包括至少一個單聲道 分量和至少一個空間分量，該丟包掩蔽裝置包括：第一掩蔽單元，用於針對丟失包中的丟失 幀生成至少一個單聲道分量；以及第二掩蔽單元，用於針對所述丟失幀生成至少一個空間 分量。
[0004] 上述丟包掩蔽裝置可以應用於中間裝置比如伺服器，例如音頻會議混合伺服器， 或由終端用戶使用的通信終端。
[0005] 本申請還提供了一種音頻處理系統，該系統包括包含上述丟包掩蔽裝置的伺服器 和/或包含上述丟包掩蔽裝置的通信終端。
[0006] 本申請的另一種實施方式提供了一種用於掩蔽音頻包流中的包丟失的丟包掩蔽 方法，每個音頻包包括傳輸格式的至少一個音頻幀，該至少一個音頻幀包括至少一個單聲 道分量和至少一個空間分量。該丟包掩蔽方法包括：針對丟失包中的丟失幀生成至少一個 單聲道分量；以及/或者針對所述丟失幀生成至少一個空間分量。
[0007] 本申請還提供了一種其上記錄有電腦程式指令的計算機可讀介質，當該指令由 處理器執行時，使所述處理器能夠執行上述丟包掩蔽方法。

【專利附圖】

【附圖說明】
[0008] 在附圖中以示例而非限制的方式來說明本發明，其中相似的附圖標記指代相似的 兀件，在附圖中：
[0009] 圖1是示意性地示出了可以應用本申請的實施方式的示例性語音通信系統的圖；
[0010] 圖2是示意性地示出了可以應用本申請的實施方式的另一種示例性語音通信系 統的圖；
[0011] 圖3是示出了根據本申請的一種實施方式的丟包掩蔽裝置的圖；
[0012] 圖4是示出了圖3中的丟包掩蔽裝置的特定示例的圖；
[0013] 圖5是示出了根據圖3的實施方式的變型的圖3中的第一掩蔽單元400的圖；
[0014] 圖6是示出了圖5中的丟包掩蔽裝置的變型的特定示例的圖；
[0015] 圖7是示出了根據圖3的實施方式的另一種變型的圖3中的第一掩蔽單元400的 圖；
[0016] 圖8是示出了圖7所示的變型的原理的圖；
[0017] 圖9A是示出了根據圖3中的實施方式的又一種變型的圖3中的第一掩蔽單元400 的圖；
[0018] 圖9B是示出了根據圖3中的實施方式的又一種變型的圖3中的第一掩蔽單元400 的圖；
[0019] 圖10是示出了圖9A中的丟包掩蔽裝置的變型的特定示例的圖；
[0020] 圖11是示出了根據本申請的另一種實施方式的通信終端中的第二變換器的圖；
[0021] 圖12至圖14是示出了根據本申請的實施方式的丟包掩蔽裝置的應用的圖；
[0022] 圖15是示出了用於實施本申請的實施方式的示例性系統的框圖；
[0023] 圖16至圖21是示出了根據本申請的實施方式及其一些變型的丟包掩蔽方法中的 單聲道分量的掩蔽的流程圖；
[0024] 圖22不出了不例聲場編碼系統的框圖；
[0025] 圖23a不出了不例聲場編碼器的框圖；
[0026] 圖23b不出了不例聲場解碼器的框圖；
[0027] 圖24a示出了用於對聲場信號進行編碼的示例方法的流程圖；以及
[0028] 圖24b示出了用於對聲場信號進行解碼的示例方法的流程圖。

【具體實施方式】
[0029] 下面參照附圖描述本發明的實施方式。應當指出，為了簡潔，在附圖和描述中省略 了與本領域的技術人員公知的但是對於理解本申請而言並非必需的部件和處理有關的表 示和描述。
[0030] 本領域的技術人員應當理解，本發明的各個方面可以實施為系統、設備(例如移動 電話、可攜式媒體播放器、個人計算機、伺服器、電視機機頂盒或數字錄像機或者任意其他 媒體播放器)、方法或者電腦程式產品。因此，本發明的各個方面可以採用硬體的實施方 式的形式、軟體的實施方式(包括固件、駐留軟體、微代碼等）的形式或者軟體方面與硬體方 面相結合的實施方式的形式，在本文中其可以總體上被稱為"電路"、"模塊"或"系統"。此 夕卜，本發明的各個方面可以採用包括在一個或更多個計算機可讀介質中的電腦程式產品 的形式，其中，計算機可讀介質上包括有計算機可讀程序代碼。
[0031] 可以利用一個或更多個計算機可讀介質的任意組合。計算機可讀介質可以是計算 機可讀信號介質或者計算機可讀存儲介質。計算機可讀存儲介質可以是例如但不限於電 子、磁、光學、電磁、紅外或半導體系統、裝置或設備、或者以上的任意適當的組合。計算機可 讀存儲介質的更具體的示例(非窮舉性的列舉）可以包括：具有一條或更多條導線的電氣連 接、可攜式計算機軟盤、硬碟、隨機存取存儲器（RAM)、只讀存儲器（ROM)、可擦除可編程只 讀存儲器（EPROM或快閃記憶體)、光纖、可攜式光碟只讀存儲器（CD-ROM)、光學存儲設備、磁性存 儲設備或者以上的任意適當組合。在本文獻的上下文中，計算機可讀存儲介質可以是能夠 包含或者存儲用於由指令執行系統、裝置或設備來使用或者與其結合使用的程序的任意有 形的介質。
[0032] 計算機可讀信號介質可以包括其中包括有計算機可讀程序代碼的傳播的數據信 號，該數據信號為基帶信號或者作為載波的一部分。這樣的傳播的信號可以採用各種形式， 包括但不限於電磁信號或光學信號或者其任意適當的組合。
[0033] 計算機可讀信號介質可以為不是計算機可讀存儲介質並且可以傳遞、傳播或傳輸 用於由指令執行系統、裝置或設備使用或者與其結合使用的程序的任意計算機可讀介質。 [0034] 包括在計算機可讀介質上的程序代碼可以使用任意適當的介質發送，介質包括但 不限於無線、有線線路、光纖光纜、射頻（RF)等或者以上的任意適當的組合。
[0035] 用於執行本發明的各個方面的操作的電腦程式代碼可以用一種或更多種編程 語目的任意組合來編寫，編程語目包括面向對象的編程語目比如Java、Smalltalk、C++等 以及傳統的過程程式語言比如"C"程式語言或類似的程式語言。程序代碼可以在用戶的計 算機上作為單獨軟體包整體執行，或者部分在用戶的計算機上執行且部分在遠程計算機上 執行，或者整體在遠程計算機或伺服器上執行。在後一種情形中，遠程計算機可以通過包括 區域網（LAN)或廣域網（WAN)的任意類型的網絡連接至用戶的計算機，或者可以連接到外 部計算機(例如通過使用網際網路服務提供商的網際網路）。
[0036] 下面參照根據本發明的實施方式的方法、裝置(系統）和電腦程式產品的流程圖 和/或框圖來描述本發明的各個方面。應當理解，流程圖和/或框圖的每個塊以及流程圖 和/或框圖中的塊的組合可以用電腦程式指令來實現。這些電腦程式指令可以被提供 給通用計算機、專用計算機或其他可編程數據處理裝置的處理器，以形成機器，使得通過計 算機或其他可編程數據處理裝置的處理器來執行的指令形成用於實現流程圖和/或框圖 的塊或多個塊中所指定的功能/行為的裝置。
[0037] 這些電腦程式指令還可以存儲在如下計算機可讀介質中：該計算機可讀介質可 以引導計算機、其他可編程數據處理裝置或其他設備以特定的方式工作，以使得存儲在計 算機可讀介質中的指令產生製品，該製品包括實現流程圖和/或框圖的塊或多個塊中所指 定的功能/行為的指令。
[0038] 電腦程式指令還可以加載到計算機、其他可編程數據處理裝置或其他設備上， 以使得在計算機、其他可編程裝置或其他設備上執行一系列運算步驟，從而產生計算機實 現的處理，以使得在計算機或其他可編程裝置上執行的指令提供用於實現流程圖和/或框 圖的塊或多個塊中所指定的功能/行為的處理。
[0039] 整體解決方案
[0040] 圖1是示意性地示出了可以應用本申請的實施方式的示例語音通信系統的圖。
[0041] 如圖1所示，用戶A操作通信終端A，用戶B操作通信終端B。在語音通信會話中， 用戶A和用戶B通過他們的通信終端A和B相互交談。通信終端A和B通過數據鏈路10 耦接。數據鏈路10可以實施為點對點連接或通信網絡。在用戶A和用戶B的任一側，對從 另一側傳輸的音頻包進行包丟失檢測（未示出）。如果檢測到包丟失，則可以執行丟包掩蔽 (PLC)來掩蔽包丟失以使得所再現的音頻信號聽起來更加完整並且具有較少的由包丟失引 起的畸變。
[0042] 圖2是示意性地示出了可以應用本申請的實施方式的另一種示例語音通信系統 的圖。在該示例中，可以在用戶之間進行語音會議。
[0043] 如圖2所示，用戶A操作通信終端A，用戶B操作通信終端B，用戶C操作通信終端 C。在語音會議會話中，用戶A、用戶B和用戶C通過他們的通信終端A、B和C彼此交談。圖 2所示的通信終端與圖1所示的通信終端的功能相同。但是，通信終端A、B和C通過公共 數據鏈路20或單獨的數據鏈路20耦接至伺服器。數據鏈路20可以實施為點對點連接或 通信網絡。在用戶A、用戶B和用戶C中任一側，對從另一側或另外兩側傳輸的音頻包進行 包丟失檢測(未示出）。如果檢測到包丟失，則可以執行丟包掩蔽（PLC)來掩蔽包丟失以使 得所再現的音頻信號聽起來更加完整並且具有較少的由包丟失引起的畸變。
[0044] 包丟失可以出現在從發起通信終端到伺服器再到目的通信終端的路徑上的任何 位置。因此，可替代地或者附加地，包丟失檢測(未示出)和PLC還可以在伺服器中進行。為 了在伺服器中進行包丟失檢測和PLC，可以對伺服器所接收的包進行解包（未示出）。然後， 在PLC之後，可以對進行了丟包被掩蔽的音頻信號再次進行打包(未示出）以將其傳輸至目 的通信終端。如果有兩個用戶同時進行交談(這可以使用語音活動檢測（VAD)技術來判斷)， 在將這兩個用戶的話音信號傳輸至目的通信終端以前，需要在混合器800中完成混合操作 以將兩個話音信號流混合成一個話音信號流。這可以在PLC之後但是在打包操作之前完 成。
[0045] 儘管在圖1B中示出了三個通信終端，但是在該系統中也可以合理地耦接有更多 個通信終端。
[0046] 本申請嘗試通過分別對通過向聲場信號應用適當的變換技術獲得的單聲道分量 和空間分量應用不同的掩蔽方法，來解決聲場信號的包丟失問題。具體地，本申請涉及當包 丟失發生時在空間音頻傳輸中構建人工信號。
[0047] 如圖3所示，在一種實施方式中，為了掩蔽音頻包流中的包丟失而提供了一種丟 包掩蔽（PLC)裝置，每個音頻包包括傳輸格式的至少一個音頻幀，該音頻幀包括至少一個單 聲道分量和至少一個空間分量。PLC裝置可以包括用於針對丟失包中的丟失幀生成至少一 個單聲道分量的第一掩蔽單兀400、和用於針對該丟失巾貞生成至少一個空間分量的第二掩 蔽單元600。所生成的至少一個單聲道分量和所生成的至少一個空間分量組成用於替換該 丟失幀的生成幀。
[0048] 如在現有技術中已知的，為了滿足傳輸的需要，音頻流已經被變換和存儲為幀結 構(可以稱其為"傳輸格式")，並且已經在發起通信終端中被打包成音頻包，然後由伺服器 或目的通信終端中的接收器1〇〇接收。為了執行PLC，可以設置第一解包單元200用於將 每個音頻包解包為包括至少一個單聲道分量和至少一個空間分量的至少一個幀，並且可以 設置包丟失檢測器300用於檢測流中的包丟失。可以將或可以不將包丟失檢測器300視為 PLC裝置的一部分。發起通信終端可以採用任何技術來將音頻流變換成任何合適的傳輸格 式。
[0049] 傳輸格式的一個示例可以採用自適應變換比如自適應正交變換來獲得，該自適應 變換可以生成多個單聲道分量和空間分量。例如，音頻幀可以是基於參數化特徵分解編碼 的參數化特徵信號，至少一個單聲道分量可以包括至少一個特徵通道分量（比如至少主要 特徵通道分量)，並且該至少一個空間分量包括至少一個空間參數。再例如，音頻幀可以通 過主成分分析（PCA)被分解，並且該至少一個單聲道分量可以包括至少一個基於主成分的 信號，該至少一個空間分量包括至少一個空間參數。
[0050] 從而，在發起通信終端中可以包括用於將輸入音頻信號變換成參數化特徵信號的 變換器。取決於輸入音頻信號的格式(該格式可以稱為"輸入格式")，可以用不同的技術來 實現該變換器。
[0051] 例如，輸入首頻/[目號可以是1?保真度立體聲響複製（Ambisonic) B格式彳目號， 並且對應的變換器可以對B格式信號執行自適應變換，比如KLT變換(卡洛南-洛伊 (Karhunen-LoSve)變換)，以獲得包括特徵通道分量(其還可以稱為旋轉音頻信號）和空間 參數的參數化特徵信號。通常，可以將LRS (左、右和環繞）信號或其他人工上混合信號轉 換成一階高保真度立體聲響複製格式（B格式)，即WXY聲場信號(其還可以是WXYZ聲場信 號，但是在使用LRS捕獲的語音通信中，僅考慮水平WXY)，並且自適應變換可以按信息重要 性降低的順序將聲場信號的所有3個通道W、X和Y聯合編碼為一組新的特徵通道分量(旋 轉音頻信號)Em (m=l，2,3)(即，E1、E2和E3,數字m可以更大或更小)。如果特徵信號的數 量為3,則通常通過3 X 3變換矩陣（比如協方差矩陣)進行的該變換可以由作為邊信息發送 的3個空間邊參數（d，(p和Θ )的集合來描述，以使得解碼器能夠應用逆變換來重建原始聲 場信號。注意，如果在傳輸中出現包丟失，則無論是特徵通道分量(旋轉音頻信號)還是空間 邊參數都不能由解碼器獲得。
[0052] 可替代地，可以將LRS信號直接變換成參數化特徵信號。
[0053] 可以將上述編碼結構稱為自適應變換編碼。但是，如上所提到的，可以使用包括 KLT在內的任何自適應變換，或使用任何其他方案來執行該編碼，包括從LRS信號到參數化 特徵信號的直接變換。本申請提供了將輸入音頻信號變換成參數化特徵信號的特定算法的 示例。詳情請參見本申請中的"音頻信號的正自適應變換和逆自適應變換"部分。
[0054] 在上面所討論的自適應變換編碼中，如果帶寬充足，則將所有的El、E2和E3編碼 在幀中並且打包在包流中，這稱為離散編碼。否則，如果帶寬有限，則可以考慮替代方法，鑑 於E1是原始聲場的感知上有意義/優化的單聲道表示，可以通過偽去相關信號的計算來重 建E2和E3。在實際的實施方式中，E1和E1的去相關版本的加權組合是優選的，而去相關 版本可以僅是E1的延遲拷貝，並且可以基於E1和E2的頻帶能量比以及E1和E3的頻帶能 量比來計算加權因子。可以將該方法稱為預測編碼。詳情請參見本申請中的"音頻信號的 正自適應變換和逆自適應變換"部分。
[0055] 這樣，在輸入音頻流中，每個幀包括單聲道分量的一組頻域係數(針對E1、E2和E3 的)，和可以稱為空間分量或空間參數的量化邊參數。如果應用預測編碼，則邊參數還可以 包括預測參數。當發生包丟失時，在離散編碼中，Em (m=l，2, 3)和空間參數兩者都在傳輸 過程中丟失；而在預測編碼中，丟失包導致了預測參數、空間參數和El的丟失。
[0056] 第一解包單元200的操作是發起通信終端中的打包單元的逆操作，此處省略其詳 細描述。
[0057] 在包丟失檢測器300中，可以採用任何現有的技術來檢測包丟失。通常的方法是 檢測由解包單元200從所接收的包中解包的包/幀的序列號，序列號的不連續表示所缺失 的序列號的包/幀的丟失。序列號一般是VoIP包格式比如實時傳輸協議（RTP)格式中的 強制欄位。注意，目前包一般包括一個幀(一般為20ms)，但是包也可以包括多於一個幀，或 者一個幀可以跨越若干個包。如果包丟失，則包中的所有幀都丟失。如果幀丟失，則一定是 一個或更多個丟失包的結果。因此通常基於幀來實施丟包掩蔽，即，PLC用於恢復由於丟失 包引起的丟失幀。因此，在本申請的上下文中，包丟失一般等同於幀丟失並且解決方案一般 是針對幀來描述，除非必須提到包，例如，用於強調丟失包中的丟失幀的數量。因此，在權利 要求中，"每個音頻包包括至少一個音頻幀"這樣的用語應當被解釋為覆蓋一個幀跨越多個 包的情形。相應地，"丟失包中的丟失幀"這樣的用語應當被解釋為覆蓋由於至少一個丟失 包導致的跨多個包的幀的至少部分丟失這樣的情形。
[0058] 在本申請中，提出了對單聲道分量和空間分量實施獨立的丟包掩蔽操作，因此分 別設置第一掩蔽單元400和第二掩蔽單元600。第一掩蔽單元400可以被配置成通過複製 相鄰幀中的對應單聲道分量來針對所述丟失幀生成至少一個單聲道分量。
[0059] 在本申請的上下文中，"相鄰幀"意味著當前幀(可以是丟失幀）之前或之後的幀， 可以是直接相鄰，或在中間插有其他(一個或更多個）幀。即，為了恢復丟失幀，可以使用未 來幀或歷史幀，並且一般可以使用直接相鄰的未來或歷史幀。可以將直接相鄰的歷史幀稱 為"上一幀"。在一種變型中，當複製對應的單聲道分量時，可以使用衰減因子。
[0060] 當丟失了至少兩個連續的幀時，第一掩蔽單元400可以被配置成針對較前或較後 的丟失幀分別複製(一個或更多個）歷史幀或(一個或更多個）未來幀。即，第一掩蔽單元可 以在有或沒有衰減因子的情況下通過複製相鄰歷史幀中的對應的單聲道分量來生成至少 一個較早丟失幀的至少一個單聲道分量，並且在有或沒有衰減因子的情況下通過複製相鄰 未來幀中的對應的單聲道分量來生成至少一個較晚丟失幀的至少一個單聲道分量。
[0061] 第二掩蔽單元600可以被配置成：通過平滑相鄰幀的至少一個空間分量的值，或 通過複製上一幀中對應的空間分量來針對所述丟失幀生成至少一個空間分量。
[0062] 在可以允許或容忍延遲的一些情形中，還可以使用未來幀來幫助確定丟失幀的空 間分量。例如，可以使用內插算法。即，第二掩蔽單元600可以被配置成：基於至少一個相 鄰歷史幀和至少一個相鄰未來幀中的對應的空間分量的值通過內插算法來針對所述丟失 中貞生成至少一個空間分量。
[0063] 當至少兩個包或至少兩個幀丟失時，可以基於內插算法來確定所有丟失幀的空間 分量。
[0064] 前已提及存在各種可能的輸入格式和傳輸格式。圖4示出了使用參數化特徵信號 作為傳輸格式的示例。如圖4所示，音頻信號被編碼為參數特徵信號並作為參數特徵信號 傳輸，參數特徵信號包括作為單聲道分量的特徵通道分量和作為空間分量的空間參數(關 於編碼側的細節，請參見"音頻信號的正自適應變換和逆自適應變換"部分)。具體地，在該 示例中，有三個特徵通道分量Em (m=l，2, 3)和對應的空間參數，比如發散度d (E1的方向 性)、方位角f (El的水平方向)和θ (在三維空間中E2和E3圍繞El的旋轉)。對於正常傳 輸的包，特徵通道分量和空間參數都正常地傳輸(在包內）；而對於丟失包/幀，特徵通道分 量和空間參數兩者都丟失，因而要執行PLC以生成新的特徵通道分量和空間參數來替代丟 失包/幀的特徵通道分量和空間參數。如果是在目的通信終端中，正常傳輸的或生成的特 徵通道分量和空間參數可以直接再現（比如再現為雙聲道聲音）或首先變換成適當的中間 輸出格式，中間輸出格式可以進行進一步的變換或直接再現。類似於輸入格式，中間輸出格 式可以是任何可用的格式，比如高保真度立體聲響複製B格式（WXY或WXYZ聲場信號)、LRS 或其他格式。中間輸出格式的音頻信號可以直接再現，或是可以進行進一步的變換以適應 再現設備。例如，可以通過逆自適應變換比如逆KLT (參見本公開中的"音頻信號的正自適 應變換和逆自適應變換"部分）將參數化特徵信號變換成WXY聲場信號，如果需要雙聲道重 放則進一步變換成雙聲道聲音信號。相應地，本申請的所述丟包掩蔽裝置可以包括第二逆 變換器，用以對音頻包(可能經過了 PLC)執行逆自適應變換，以獲得逆變換的聲場信號。
[0065] 在圖4中，第一掩蔽單元400 (圖3)可以使用傳統的單聲道PLC，比如前面所提到 的有或沒有衰減因子的情況下的複製，示出如下：
[0066]

【權利要求】
1. 一種用於掩蔽音頻包流中的包丟失的丟包掩蔽裝置，每個音頻包包括傳輸格式的至 少一個音頻巾貞，所述至少一個音頻巾貞包括至少一個單聲道分量和至少一個空間分量，所述 丟包掩蔽裝置包括： 第一掩蔽單元，用於針對丟失包中的丟失幀生成所述至少一個單聲道分量；以及 第二掩蔽單元，用於針對所述丟失幀生成所述至少一個空間分量。
2. 根據權利要求1所述的丟包掩蔽裝置，其中，所述第一掩蔽單元被配置成：通過在有 或沒有衰減因子的情況下複製相鄰幀中對應的單聲道分量，來針對所述丟失幀生成所述至 少一個單聲道分量。
3. 根據權利要求1所述的丟包掩蔽裝置，其中所述第一掩蔽單元包括： 第一變換器，用於將所述丟失幀之前的至少一個歷史幀中的所述至少一個單聲道分量 變換成時域信號； 時域掩蔽單元，用於針對所述時域信號掩蔽所述包丟失，產生丟包被掩蔽的時域信號； 以及 第一逆變換器，用於將所述丟包被掩蔽的時域信號變換成所述至少一個單聲道分量的 格式，產生與所述丟失幀中的所述至少一個單聲道分量對應的生成的單聲道分量。
4. 根據權利要求1至3中的任一項所述的丟包掩蔽裝置，其中每個音頻幀還包括至少 一個預測參數，所述至少一個預測參數用來基於所述幀中的所述至少一個單聲道分量來預 測所述幀的至少一個其他單聲道分量；以及 所述第一掩蔽單元包括： 主掩蔽單元，用於針對所述丟失幀生成所述至少一個單聲道分量，以及 第三掩蔽單元，用於針對所述丟失幀生成所述至少一個預測參數。
5. 根據權利要求4所述的丟包掩蔽裝置，還包括： 預測解碼器，用於基於所生成的一個單聲道分量，使用所生成的至少一個預測參數，來 針對所述丟失幀預測所述至少一個其他單聲道分量。
6. 根據權利要求1至3中的任一項所述的丟包掩蔽裝置，其中每個音頻幀包括至少兩 個單聲道分量並且所述第一掩蔽單元包括： 主掩蔽單元，用於針對所述丟失幀生成所述至少兩個單聲道分量之一， 預測參數計算器，用於使用歷史幀針對所述丟失幀計算至少一個預測參數，以及 預測解碼器，用於基於所生成的一個單聲道分量，使用所生成的至少一個預測參數，來 針對所述丟失幀預測所述至少兩個單聲道分量中的至少一個其他單聲道分量。
7. 根據權利要求6所述的丟包掩蔽裝置，其中所述第一掩蔽單元還包括： 第三掩蔽單元，如果在所述丟失幀的上一幀中包括至少一個預測參數，或是針對所述 上一幀生成/計算了至少一個預測參數，則所述第三掩蔽單元基於所述上一幀的所述至少 一個預測參數來針對所述丟失幀生成所述至少一個預測參數，並且其中 所述預測參數計算器被配置成：如果所述丟失幀的上一幀中沒有包含預測參數並且針 對所述上一幀沒有生成/計算預測參數，則使用前一幀針對所述丟失幀計算所述至少一個 預測參數，以及 所述預測解碼器被配置成：使用所計算或生成的至少一個預測參數，根據所生成的一 個單聲道分量，來針對所述丟失幀預測所述至少兩個單聲道分量的所述至少一個其他單聲 道分量。
8. 根據權利要求6所述的丟包掩蔽裝置，其中所述主掩蔽單元還被配置成生成所述至 少一個其他單聲道分量，並且所述第一掩蔽單元還包括調整單元，用於使用由所述主掩蔽 單元生成的所述至少一個其他單聲道分量來調整由所述預測解碼器預測的所述至少一個 其他單聲道分量。
9. 根據權利要求7所述的丟包掩蔽裝置，其中所述第三掩蔽單元被配置成以下述方式 來針對所述丟失幀生成所述至少一個預測參數：在有或沒有衰減因子的情況下複製所述上 一幀中的對應的預測參數，對相鄰幀的對應的預測參數的值進行平滑，或使用歷史幀和未 來幀中對應的預測參數的值進行內插針對所述丟失幀生成。
10. 根據權利要求6所述的丟包掩蔽裝置，其中所述預測參數計算器被配置成：基於所 述丟失幀的上一幀中與針對所述丟失幀所生成的一個單聲道分量對應的單聲道分量和所 述上一幀中與針對所述丟失幀要被預測的單聲道分量對應的單聲道分量，來計算針對所述 丟失幀的所述至少一個預測參數。
11. 根據權利要求10所述的丟包掩蔽裝置，其中所述預測參數計算器被配置成：針對 所述丟失幀計算所述至少一個預測參數，以使得所述上一幀中與針對所述丟失幀要被預測 的單聲道分量對應的單聲道分量與該對應的單聲道分量的相關分量之間的預測殘差的均 方誤差減小。
12. 根據權利要求10所述的丟包掩蔽裝置，其中所述至少一個預測參數包括能量調整 增益，並且所述預測參數計算器被配置成： 基於所述丟失幀的上一幀中與針對所述丟失幀所生成的一個單聲道分量對應的單聲 道分量來確定去相關信號； 確定所述去相關信號的能量的第二指標和所述丟失幀的上一幀中與針對所述丟失幀 所生成的一個單聲道分量對應的單聲道分量的能量的第一指標；以及 如果所述第二指標大於所述第一指標，則基於所述去相關信號來確定所述能量調整增
13. 根據權利要求1所述的丟包掩蔽裝置，其中所述第二掩蔽單元被配置成：通過對相 鄰幀的所述至少一個空間分量的值進行平滑來針對所述丟失幀生成所述至少一個空間分 量。
14. 根據權利要求1所述的丟包掩蔽裝置，其中所述第二掩蔽單元被配置成：基於至少 一個相鄰歷史幀和至少一個相鄰未來幀中對應的空間分量的值，通過內插算法來針對所述 丟失幀生成所述至少一個空間分量。
15. 根據權利要求1到14之一所述的丟包掩蔽裝置，其中，所述第一掩蔽單元被配置為 用第一掩蔽方法針對所述丟失幀生成所述至少一個單聲道分量，所述第二掩蔽單元被配置 為用第二掩蔽方法針對所述丟失幀生成所述至少一個空間分量，其中所述第一掩蔽方法與 所述第二掩蔽方法不同。
16. 根據權利要求1到15之一所述的丟包掩蔽裝置，還包括第二逆變換器，用於對音頻 包進行逆自適應變換，以獲得逆變換的聲場信號。
17. 根據權利要求16所述的丟包掩蔽裝置，其中，所述逆自適應變換包括逆卡洛南-洛 伊變換。
18. -種用於掩蔽音頻包流中的包丟失的丟包掩蔽方法，每個音頻包包括傳輸格式的 至少一個音頻幀，所述至少一個音頻幀包括至少一個單聲道分量和至少一個空間分量，所 述丟包掩蔽方法包括： 針對丟失包中的丟失幀生成所述至少一個單聲道分量；以及 針對所述丟失幀生成所述至少一個空間分量。
19. 根據權利要求18所述的丟包掩蔽方法，其中生成所述至少一個單聲道分量包括： 通過在有或沒有衰減因子的情況下複製相鄰幀中對應的單聲道分量來針對所述丟失幀生 成所述至少一個單聲道分量。
20. 根據權利要求18所述的丟包掩蔽方法，其中生成所述至少一個單聲道分量包括： 將所述丟失幀之前的至少一個歷史幀中的所述至少一個單聲道分量變換成時域信 號； 針對所述時域信號掩蔽所述包丟失，產生丟包被掩蔽的時域信號；以及 將所述丟包被掩蔽的時域信號變換成所述至少一個單聲道分量的格式，產生與所述丟 失幀中的所述至少一個單聲道分量對應的生成的單聲道分量。
21. 根據權利要求18至20中任一項所述的丟包掩蔽方法，其中每個音頻幀還包括至少 一個預測參數，所述預測參數用來基於所述幀中的所述至少一個單聲道分量來預測所述幀 的至少一個其他單聲道分量，以及 生成所述至少一個單聲道分量包括： 針對所述丟失幀生成所述至少一個單聲道分量，以及 針對所述丟失幀生成所述至少一個預測參數。
22. 根據權利要求21所述的丟包掩蔽方法，還包括： 基於所生成的一個單聲道分量，使用所生成的至少一個預測參數，來針對所述丟失幀 預測所述至少一個其他單聲道分量。
23. 根據權利要求18到20中任一項所述的丟包掩蔽方法，其中每個音頻幀包括至少兩 個單聲道分量，並且生成所述至少一個單聲道分量包括： 針對所述丟失幀生成所述至少兩個單聲道分量之一， 使用歷史幀來針對所述丟失幀計算至少一個預測參數，以及 基於所生成的一個單聲道分量，使用所生成的至少一個預測參數，來針對所述丟失幀 預測所述至少兩個單聲道分量中的至少一個其他單聲道分量。
24. 根據權利要求23所述的丟包掩蔽方法，其中生成所述至少一個單聲道分量還包 括： 如果在所述丟失幀的上一幀中包括至少一個預測參數，或針對所述上一幀已經生成/ 計算了至少一個預測參數，則基於所述上一幀的所述至少一個預測參數來針對所述丟失幀 生成所述至少一個預測參數，並且其中， 所述計算操作包括：當在所述丟失幀的上一幀中沒有包含預測參數並且針對所述上一 幀沒有生成/計算預測參數，則使用前一幀針對所述丟失幀計算所述至少一個預測參數， 以及 所述預測操作包括：使用所計算或生成的至少一個預測參數，根據所生成的一個單聲 道分量，來針對所述丟失幀預測所述至少兩個單聲道分量中的所述至少一個其他單聲道分 量。
25. 根據權利要求23所述的丟包掩蔽方法，還包括： 生成所述至少一個其他單聲道分量，以及 使用所生成的所述至少一個其他單聲道分量來調整由所述預測操作預測的所述至少 一個其他單聲道分量。
26. 根據權利要求24所述的丟包掩蔽方法，其中生成所述至少一個預測參數包括以下 述方式來針對所述丟失幀生成所述至少一個預測參數：在有或沒有衰減因子的情況下複製 所述上一幀中的對應的預測參數，對相鄰幀的對應的預測參數的值進行平滑，或使用歷史 幀和未來幀中對應的預測參數的值進行內插針對所述丟失幀生成。
27. 根據權利要求23所述的丟包掩蔽方法，其中所述計算包括：基於所述丟失幀的上 一幀中與針對所述丟失幀所生成的一個單聲道分量對應的單聲道分量和所述上一幀中的 與針對所述丟失幀要被預測的所述單聲道分量對應的單聲道分量，來計算針對所述丟失幀 的所述至少一個預測參數。
28. 根據權利要求27所述的丟包掩蔽方法，其中所述計算操作包括：針對所述丟失幀 計算所述至少一個預測參數，以使得所述上一幀中與針對所述丟失幀要被預測的單聲道分 量對應的單聲道分量與該對應的單聲道分量的相關分量之間的預測殘差的均方誤差減小。
29. 根據權利要求27所述的丟包掩蔽方法，其中所述至少一個預測參數包括能量調整 增益，並且所述計算操作包括： 基於所述丟失幀的上一幀中與針對所述丟失幀所生成的一個單聲道分量對應的單聲 道分量來確定去相關信號； 確定所述去相關信號的能量的第二指標和所述丟失幀的上一幀中與針對所述丟失幀 所生成的一個單聲道分量對應的單聲道分量的能量的第一指標；以及 如果所述第二指標大於所述第一指標，則基於所述去相關信號來確定所述能量調整增
30. 根據權利要求18所述的丟包掩蔽方法，其中生成所述至少一個空間分量包括：通 過對相鄰幀的所述至少一個空間分量的值進行平滑來針對所述丟失幀生成所述至少一個 空間分量。
31. 根據權利要求18所述的丟包掩蔽方法，其中生成所述至少一個空間分量包括：基 於至少一個相鄰歷史幀和至少一個相鄰未來幀中對應的空間分量的值通過內插算法來針 對所述丟失幀生成所述至少一個空間分量。
32. 根據權利要求18到31之一所述的丟包掩蔽方法，其中，用第一掩蔽方法針對所述 丟失幀生成所述至少一個單聲道分量，用第二掩蔽方法針對所述丟失幀生成所述至少一個 空間分量，其中所述第一掩蔽方法與所述第二掩蔽方法不同。
33. 根據權利要求18到32之一所述的丟包掩蔽方法，還包括對音頻包進行逆自適應變 換，以獲得逆變換的聲場信號。
34. 根據權利要求33所述的丟包掩蔽方法，其中，所述逆自適應變換包括逆卡洛南-洛 伊變換。
35. -種音頻處理系統，包括：包含根據權利要求1至17中任一項所述的丟包掩蔽裝 置的伺服器，和/或包含根據權利要求1至17中任一項所述的丟包掩蔽裝置的通信終端。
36. 根據權利要求35所述的音頻處理系統，還包括含有第二變換器的通信終端，該第 二變換器用於對輸入音頻信號執行自適應變換，以提取所述至少一個單聲道分量和所述至 少一個空間分量。
37. 根據權利要求36所述的音頻處理系統，其中，所述自適應變換包括卡洛南-洛伊變 換。
38. 根據權利要求36所述的音頻處理系統，其中所述第二變換器還包括： 自適應變換器，用於將所述輸入音頻信號的每一幀分解為所述至少一個單聲道分量， 所述至少一個單聲道分量通過變換矩陣與所述輸入音頻信號的所述幀相關聯； 平滑單元，用於平滑所述變換矩陣中每一個元素的值，得到當前幀的平滑後的變換矩 陣；以及 空間分量提取器，用於從所述平滑後的變換矩陣得到所述至少一個空間分量。
【文檔編號】G10L19/02GK104282309SQ201310282083
【公開日】2015年1月14日 申請日期:2013年7月5日 優先權日:2013年7月5日
【發明者】黃申, 孫學京, 海科·普爾哈根 申請人:杜比實驗室特許公司, 杜比國際公司