音頻流錯誤隱藏的方法、裝置和系統的製作方法

2023-05-05 02:08:46

專利名稱：音頻流錯誤隱藏的方法、裝置和系統的製作方法
技術領域：
本發明涉及實時音頻通信技術，特別涉及音頻流錯誤隱藏的方法、裝置 和系統。
背景技術：
人們很早就開始從事音頻分類研究，但對於不同的應用場景，音頻分類 的方法及分類的結果不盡相同。例如，1、在高級音響設備的噪音抑制中，常用調頻分析或貝葉斯分類器將音頻信號分類。2、為了更好地索引和檢索 網際網路上音頻資源，人們進行了基於內容的音頻分類和檢索研究。比較有代 表性的基於內容的音頻分類工作中詳細分析了音頻的區別性特徵，包括響度 (loudness)、基音(pitch)、諧度(harmonicity)等，並且設計了音頻的分類器。3、 音頻分類另外一種應用是服務於音頻一一特別是語音編碼器的語音激活檢 測器(VAD)，目的是用來檢測語音通信時是否有話音存在，對話音和非話 音分別採用不同的編碼方式，以達到在不降低通話質量的情況下節省話路資 源的作用。在實時音頻傳輸系統(如VoIP)中，網絡傳輸造成音質下降的原因主 要是時延、靜電幹擾和包丟失，其中，包丟失是音質下降的最主要原因。實 際通訊網絡總是存在著一定幹擾，因此存在一定的包丟失概率，儘管協議低 層有糾錯編碼，但只能解決包內誤碼，無法解決丟包問題。此外，由於實時 音頻業務有嚴格的延時限制，分組延遲超過一個極限也將被視為丟失。為了 能夠在一定丟包率情況下，仍然保證一定的通訊質量，很多編解碼算法中都 集成了錯誤隱藏技術，用來消除丟包的影響。圖1為音頻流錯誤隱藏的框圖。如圖1所示，壓縮音頻信號經過IP網絡或其他不可靠網絡的傳輸後，通常將接收到的音頻數據包存放在抖動緩存 器，該抖動緩衝器用於解決遲包、早包的重排序等功能，然後進行丟包、錯 包檢測。如果有丟包或錯包發生，系統將啟動錯誤隱藏進行丟包補償，否則 將正確接收音頻包解碼輸出。音頻實時傳輸中的丟包恢復技術按照處理階段可以劃分為兩個大類基於發送端的修復和基於接收端的修復。 *基於發送端的錯誤隱藏基於發送端的丟包恢復由發送端發起，並需要發送端和接收端協同進 行。常見的方法有，增加冗餘度、前向糾錯、優先級設置和分類處理等。1、 增加冗餘度增加數據的冗餘度可以提高系統的容錯能力，但是同 時增加了帶寬。2、 前向糾錯(FEC):該策略也依賴於在傳輸流附加可修復丟失數據 包的信息，利用塊或代數碼字生成能輔助糾錯的額外傳輸包，同樣需要增加 帶寬。3、 優先級設置方法這種技術需要網絡支持並按優先級傳輸分組，否 則無法實現，並且只能改善網絡擁塞造成的丟包概率。4、 分類處理方法在語音編碼中，為了在接收端更好地採用波形替換 技術，發送端可以根據語音信號的特性分類處理，比如3GPP2 VMR-WB 和ITU-T G.729.1將語音幀進一步描述為voiced, unvoiced, voiced transition, unvoiced transition, onset等類型，而解碼端接收到之後，利用其前一幀和後 一幀的語音幀類型，可以推測出丟幀的類型，解碼器得到丟幀類型後，可以 較好的恢復丟失幀的信息。*基於接收端的錯誤隱藏不需要發送端參與的接收端錯誤隱藏技術，本質上是對接收到的數據通 過一系列的方法來估計丟失的數據，並根據人的生理特點進行優化，基本上 是一種被動的修補，通常比較容易實現且不增加帶寬需求。基於接收端的錯 誤隱藏方法可分為三類1、 基於插入的策略這類技術包括拼接(Splicing)、靜音和嗓聲替代 等方法。拼接技術會擾亂媒體流的時序，效果也不好。靜音替代(用靜音幀 填充丟幀位置)的適用範圍非常有限，當數據包的丟失頻率很低(小於2%) 且缺口寬度小於4ms時，這種方法比較有效；當缺口寬度達40ms時，其 效果會讓人無法接受。與靜音替代相比，噪聲替代(用噪音幀填充丟幀位置) 可給人帶來更好的主觀聽覺感受，同時能改善語音信號的可分辨性。當採用 背景噪聲而不是靜音的時候，人腦能下意識地用正確的聲音來修補語音信號 中丟失的部分。插入方式與語音編碼無關，也與分組的編碼無關，只是對解 碼後丟失的語音進行處理。2、 基於插值的策略與插入技術相比，插值技術使得處理得到的聲音 能給人帶來相對更好的主觀感受。3、 基於重新生成的策略從丟失包周圍的信息提取解碼狀態，並由此 生成丟失包的替代包。這種方法的實現過程比較複雜，但會取得較好的結果。一般來說，基於發送端錯誤隱藏會增加網絡帶寬和計算複雜性，效果比 基於接收端的好，但是如果發送端錯誤隱藏獨立於接收端，也就是說與媒體 內容無關，那麼它將不能根據所丟幀的特性採取相應的錯誤隱藏策略(例如， 穩定語音幀與其前一幀非常相似，用幀複製策略就能取得很好的隱藏效果， 過渡幀則需要考慮前後幀的狀態才能確定隱藏策略)。接收端的技術簡單， 也能取得一定的隱藏效果，但如果隱藏策略與音頻編碼無關，也就是說，不 分析當前丟失幀和周圍音頻幀的內容特性，從而採取有針對性的錯誤隱藏策 略，可採用錯誤隱藏的策略將非常有限。目前在編碼端和接收端都考慮錯誤隱藏需求的音頻編碼標準越來越多， 有代表性的主要有兩類方法(1)編碼器在正式編碼前分析音頻幀特性，對不同特性的音頻幀採用 不同的編碼方法。例如，AMR-WB+根據音頻幀內容對信號幀分別採用 ACELP及TCX編碼，形成26種超幀(每四幀組成一個超幀)編碼模式。 編碼模式信息被用於錯誤隱藏，在某幀丟失的情況下，接收端根據超幀其餘3幀的編碼類型，推斷或估計出超幀的編碼模式，從而實現一定的錯誤隱藏 功能。(2 )根據語音幀的基音、頻語等特性將語音幀劃分為voiced, unvoiced, voiced transition, unvoiced transition, onset等類型。《列^口, 在最#斤的ITU-T G.729.1協議中，編碼器根據幀內容及其特性，將語音幀分為voiced, unvoiced, voiced transition, unvoiced transition, onset ( VMR腸WB也將i吾音幀戈'j分為這5 類)，在層2用2比特標示其類型，為進一步增強錯誤隱藏的準確性，G.729.1 還計算幀的相位和能量，分別在其下一幀的層3和層4傳送。解碼器會試圖 從已知的類別標識中(包括前幀的類別標識)恢復出丟幀的模式標識，從而根 據丟幀的類別模式，結合其相位和能量信息重構出音頻波形。對於第一類方法雖然AMR-WB+根據音頻幀特性分別採用ACELP、 TCX256、 TCX512和TCX1024四種模式編碼，分別用2, 2, 4， 8比特表示 編碼模式信息，並且在錯誤隱藏時利用編碼模式信息，推斷或估計出超幀(由4幀1024個採樣點組成)的編碼模式，從而實現一定的錯誤隱藏功能，但 是標示出的僅僅是音頻編碼的編碼模式，並不能根據音頻幀的內容採用策略 進行丟幀重構，因此不能實現高效的錯誤隱藏。對於第二類方法目前這類錯誤隱藏技術是針對語音幀設計的，在處理 其他類型的音頻幀時效果不好。對於音樂和自然聲音等的分類檢測、特別是 它們在丟包情況下，如何重構丟包信息，使得音頻通信也能夠容忍較高的丟 包率，目前尚沒有有效的方法。綜上所述，目前的音頻流錯誤隱藏技術尚不能實現對音頻幀的高效錯誤 隱藏，從而使得音頻通信過程中對於丟包率的要求無法降低。發明內容有鑑於此，本發明實施例提供音頻流錯誤隱藏的方法，能夠實現對音頻 流的高效錯誤隱藏。本發明實施例還提供音頻流錯誤隱藏的裝置和系統，應用該裝置和系
統，能夠實現對音頻流的高效錯誤隱藏。為實現上迷發明目的，採用如下的技術方案 一種音頻流錯誤隱藏的發送方法，其特徵在於，該方法包括a、 對發送的音頻幀按照內容進行分類，得到該音頻幀的類型信息；b、 將音頻幀的類型信息與該音頻幀的編碼結果封裝打包發送出去。 一種音頻流錯誤隱藏的接收方法，該方法包括a、 當發生丟幀時，對於丟失的音頻幀，確定其按照內容進行分類時得到的 該音頻幀的類型信息；b、 根據丟失的音頻幀的類型信息，採用相應的錯誤恢復策略進行音頻幀重構。一種音頻流錯誤隱藏的方法，該方法包括a、 對發送的音頻幀按照內容進行分類，得到該音頻幀的類型信息；b、 將音頻幀的類型信息與該音頻幀的編碼結果封裝打包發送給接收端；c、 當發生丟幀時，對於丟失的音頻幀，接收端確定其按照內容進行分類時 得到的該音頻幀的類型信息；d、 根據丟失的音頻幀的類型信息，採用相應的錯誤恢復策略進行音頻幀重構。一種音頻流錯誤隱藏的發射機，包括音頻編碼器模塊、幀封裝模塊和音頻 幀分類器模塊；所述音頻幀分類器模塊，用於對發送的音頻幀按照內容進行分類，得到該 音頻幀的類型信息，並將該類型信息發送給所述幀封裝模塊；所述幀封裝模塊，用於接收所述音頻幀分類器模塊發送的音頻幀的類型信 息和所述音頻編碼器模塊發送的音頻幀的編碼結果，將該音頻幀的類型信息和 音頻幀的編碼結果封裝打包發送出去。一種音頻流錯誤隱藏的接收機，該接收機包括幀類型判別模塊和錯誤隱藏 模塊，所述幀類型判別模塊，用於丟失的音頻幀按照內容進行分類時得到的該音
頻幀的類型信息，並將該類型信息發送給所速錯誤隱藏模塊；所述錯誤隱藏模塊，用於根據接收到的丟失的音頻幀的類型信息，採用相應的錯誤恢復策略進行音頻幀重構。一種音頻流錯誤隱藏系統，該系統包括發射機和接收才幾； 所述發射機，用於對發送的音頻幀按照內容進行分類，得到該音頻幀的類型信息，並將音頻幀的類型信息與該音頻幀的編碼結果封裝打包發送給所述接收機；所述接收機，用於在發生丟幀時，確定丟失的音頻幀按照內容進行分類 時得到的類型信息，並根據該類型信息，採用相應的錯誤恢復策略進行音頻 幀重構。由上述技術方案可見，本發明在發送端，根據音頻幀內容進行分類，並 將音頻幀的類型信息和音頻幀的編碼結果一同發送出去；在接收端，當發生 丟包時，根據丟失的音頻幀按照內容進行分類時得到的不同類型，採取相應 的錯誤隱藏策略重構音頻信號。可見，本發明所述的錯誤隱藏方式使得對丟 失幀的重構具有更強的針對性，能夠自適應地重構音頻幀，以達到更好的補 償效果，為收端用戶帶來更好的主觀聽覺感受，同時能改善音頻幀信號的可 分辨性，使得音頻通信能夠容忍更高的包丟失率。


圖1為音頻流錯誤隱藏框圖。圖2為本發明中音頻流錯誤隱藏的方法總體流程圖。圖3為本發明中音頻流錯誤隱藏的系統總體結構圖。圖4為本發明中音頻流錯誤隱藏的發射機總體結構圖。圖5為本發明中音頻流錯誤隱藏的接收機總體結構圖。圖6為本發明實施例中音頻流錯誤隱藏的發送方法具體流程圖。圖7為本發明實施例中對音頻幀分類的示意圖。圖8為本發明實施例中音頻流錯誤隱藏的接收方法具體流程圖。 困9為本發明實施例中音頻流錯誤隱藏的發射機具體結構圖。 圖10為本發明實施例中音頻流錯誤隱藏的接收機具體結構圖。
具體實施方式
為使本發明的目的、技術手段和優點更加清楚明白，以下結合附圖並舉 實施例，說明本發明的具體實施方式
。本發明的基本思想是根據音頻幀內容進行分類，並在發生丟包情況下， 根據丟失的音頻幀的不同類型，採取相應的錯誤隱藏策略重構音頻信號。圖2為本發明中音頻流錯誤隱藏的方法總體流程圖。如圖2所示，該方 法包括步驟201,對發送的音頻幀按照內容進行分類，得到該音頻幀的類型信息。 步驟202，將音頻幀的類型信息與該音頻幀的編碼結果封裝打包發送出去。 步驟203,當發生丟幀時，對於丟失的音頻幀，確定其按照內容進行分類時得到的該音頻幀的類型信息；步驟204，根據丟失的音頻幀的類型信息，採用相應的錯誤恢復策略進行音頻幀重構。其中，步驟201 -202構成了音頻流錯誤隱藏的發送方法總體流程；步 驟203 ~ 204構成了音頻流錯誤隱藏的接收方法總體流程。圖3為本發明中音頻流錯誤隱藏的系統總體結構圖。如圖3所示，該系 統包括發射機301和接收機302。在該系統中，發射機301，用於對發送的 音頻幀按照內容進行分類，得到該音頻幀的類型信息，並將音頻幀的類型信 息與該音頻幀的編碼結果封裝打包發送給接收機302;接收機302，用於在 發生丟幀時，確定丟失的音頻幀按照內容進行分類時得到的類型信息，並根 據該類型信息，採用相應的錯誤恢復策略進行音頻幀重構。該系統中的發射 機和接收機可以分別採用下面圖4和圖5所示的發射機400和接收機500的 具體結構。圖4為本發明中音頻流錯誤隱藏的發射機總體結構圖。如圖4所示，該
發射機400包括音頻編碼器模塊410、音頻幀分類器模塊420和幀封裝模塊 430。在該發射機400中，音頻編碼器模塊410，用於將發送的音頻幀進行編 碼，並將編碼結果發送給幀封裝模塊430。音頻幀分類器，用於對發送的音 頻幀按照內容進行分類，得到該音頻幀的類型信息，並將該類型信息發送給 幀封裝模塊430。幀封裝模塊430，用於接收音頻編碼器模塊410發送的音 頻幀的編碼結果和音頻幀分類器模塊420發送的音頻幀的類型信息，將該音 頻幀的類型信息和音頻幀的編碼結果封裝打包發送出去。在音頻編碼器410 中對音頻幀進行編碼時，可以根據音頻幀分類器發送的該音頻幀的類型信 息，對音頻幀採用不同的編碼方式，或者直接對所有的編碼幀採用相同的編 碼方式。與發射機相應地，圖5為本發明中音頻流錯誤隱藏的接收機總體結構 圖。該接收機包括幀類型判別模塊510和錯誤隱藏模塊520。在該接收機中，幀類型判別模塊510，用於丟失的音頻幀按照內容進行 分類時得到的該音頻幀的類型信息，並將該類型信息發送給錯誤隱藏模塊 520。錯誤隱藏模塊520，用於根據接收到的丟失的音頻幀的類型信息，採 用相應的錯誤恢復策略進行音頻幀重構。由上述可見，本發明在發送端對音頻幀按內容進行分類得到音頻幀的類 型信息發送給接收端，接收端在發生丟幀時，根據丟失的音頻幀的類型信息， 採用不同的錯誤恢復策略進行音頻幀重構，以高效進行錯誤隱藏。以上是對本發明的方法、裝置和系統的總體概述，下面通過具體實施例 來進一步對本發明進行詳細的闡述。圖6為本發明實施例中音頻流錯誤隱藏的方法具體流程圖。如圖6所示， 該方法包才舌步驟601，將音頻信號分成等間隔的音頻幀。本步驟中，音頻幀的幀長根據編碼協議而定。步驟602，對音頻幀的內容及特性進行分析，得到音頻幀的類型信息。 本步驟中，將音頻幀分為語音信號幀、噪音信號幀、靜音信號幀、樂音 信號幀等類型，然後還可以再對每種類型進一步細分，比如，語音信號幀還可進一步分為voiced, unvoiced, voiced transition, unvoiced transition, onset等 類型，樂音信號幀可以簡單地根據信號的穩定特性分為穩定樂音幀(steady )、 過渡樂音幀(transition)等類型。步驟603，對發送的音頻幀進行編碼壓縮。本步驟中，可以對整個音頻信號採用同樣的編碼方法，或者也可以根據音頻幀的類型不同，採用不同的編碼方法。步驟604，將音頻幀的類型和編碼壓縮的結果封裝打包，並發送出去。 本步驟中，在封裝打包時，音頻幀的類型信息可以在本幀或下一幀的幀頭標:iK出來。至此，本實施例中音頻流錯誤隱藏的發送流程結束。在上述流程中，步驟602中進行音頻幀分類時，可以採用圖7所示的方 法進行。參見圖7，首先利用VAD檢測該音頻幀是否為噪聲信號幀。若是 噪聲信號幀，則對該音頻幀進行頻語能量分析，若是非噪聲信號幀，則對該 音頻幀進行頻語穩定性分析。根據頻譜能量分析的結果，將該音頻幀劃分為靜音信號幀和噪音信號 幀，然後可以進一步對該靜音信號幀或噪音信號幀做細化的分類，得到該音 頻幀的類型信息。根據頻譜穩定性分析的結果，將該音頻幀劃分為語音信號幀和樂音信號 幀，然後可以進一步對該語音信號幀或樂音信號幀做細化的分類，如對於語 音4言號幀可以細4匕為voiced, unvoiced, voiced transition等，對於樂音信號幀 可以細化為穩定樂音幀、過渡樂音幀等。與上述發送方法中對音頻幀進行的分類，在接收端，本實施例中釆用圖 8所示的方法進行接收。如圖8所示，該接收方法包括步驟801，對音頻信號進行丟幀檢測，若發生丟幀，則執行步驟804及 其後續步驟，否則執行步驟802及其後續步驟。 本步驟中，根據音頻幀中攜帶的幀序號判定是否出現音頻幀的丟失。 步驟802,對音頻幀的類型進行檢測並記錄。當發生丟幀時，可以利用本步驟中記錄的音頻幀類型確定丟失的音頻幀 的類型信息。步驟803,對音頻幀進行解碼，並輸出解碼結果，結束本流程。本步驟中，根據發送端對音頻幀的編碼方法，採用相應的解碼方法進行 解碼。步驟804,確定丟失的音頻幀按照內容進行分類時得到的類型信息。本步驟中，若音頻幀的類型信息是攜帶在本音頻幀中傳送，則接收端提 取歷史數據，根據正確接收幀的類型信息推斷當前丟失幀的類型；若音頻幀 的類型信息是攜帶在其他正確接收音頻幀中傳送的，則接收端直接在相應正 確接收音頻幀中提取當前丟失幀的類型信息即可。步驟805,根據丟失的音頻幀的類型，自適應地採用相應的錯誤恢復策 略重構音頻幀，並輸出重構的結果，結束本流程。本步驟中，可以根據丟失的音頻幀的類型，選用針對該類型最合適的錯 誤恢復策略重構音頻幀。如，穩定語音幀與其前一幀非常相似，用幀複製策 略就能取得很好的隱藏效果，過渡幀則需要考慮前後幀的狀態來確定隱藏策 略等。至此，音頻流錯誤隱藏的接收方法結束。在本實施例的發送方法中，對音頻幀進行分類時採用的是圖7所示的方 式進行分類，當然也可以採用其他基於內容的音頻幀分類方式，只要能夠達 到對音頻幀根據內容分類的目的即可。由上述可見，發送端和接收端相配合，就能夠利用對音頻幀的分類，來 高效實現錯誤隱藏，大大提高實時音頻通信對於丟包率的容忍度。上述為本實施例中提供的音頻流錯誤隱藏的發送和接收方法的具體實 施方式。由該兩種實施方式相互配合，即可以構成本發明中音頻流錯誤隱藏 的方法具體實施方式
。另外，本實施例還提供了相應的音頻流錯誤隱藏的發 射機和接收機的具體實施方式
。圖9為本發明實施例中音頻流錯誤隱藏的發射機具體結構圖。如圖9所 示，該發射機900包括音頻編碼器模塊910、音頻幀分類器模塊920、幀 封裝模塊930和音頻幀劃分模塊940。在該發射機900中，音頻幀劃分模塊940，用於根據不同的編碼協議， 將音頻信號劃分為等間隔的音頻幀，並將音頻幀發送給音頻編碼器模塊910 和音頻幀分類器模塊920。音頻編碼器模塊910，用於對音頻幀進行編碼，並將編碼結果發送給幀 封裝模塊930。音頻幀分類器模塊920,用於對音頻幀按照內容進行分類， 其具體分類方式可以採用圖7所示的方式，並將音頻幀的類型信息發送給幀 封裝模塊930。幀封裝模塊930，用於接收音頻編碼器模塊910發送的音頻幀編碼結果 和音頻幀分類器模塊920發送的音頻幀類型信息，並將類型信息和音頻幀的 編碼結果封裝打包，並發送出去。在進行封裝打包時，可以將音頻幀的類型 信息封裝在本音頻幀或下一音頻幀中，具體可以位於幀頭的部分。在音頻編碼器910中對音頻幀進行編碼時，可以根據音頻幀分類器發送 的該音頻幀的類型信息，對音頻幀採用不同的編碼方式，或者直接對所有的 編碼幀釆用相同的編碼方式。圖IO為本發明實施例中音頻流錯誤隱藏的接收機具體結構圖。如圖10 所示，該接收機1000包括幀類型判別模塊1010、錯誤隱藏模塊1020、差錯 檢測模塊1030和音頻解碼器模塊1040。其中，幀類型判別模塊1010包括 判別子模塊1011和存儲子模塊1012;錯誤隱藏模塊1020包括策略判決子 模塊1021和錯誤隱藏子模塊1022。在該接收機1000中，差錯檢測模塊1030，用於從信道上接收音頻幀， 將接收到的音頻幀發送給幀類型判別模塊1010中的判別子模塊1011,並檢 測是否出現丟幀，若出現丟幀，則通知幀類型判別模塊IOIO中的判別子模 塊1011。 在幀類型判別模塊1010中，在確定音頻幀按照內容進行分類得到的類 型時，若音頻幀的類型信息在正確接收到的音頻幀中攜帶，則直接將該類型信息提取出來存儲到存儲子模塊1012中；若音頻幀的類型信息在丟失的音 頻幀中攜帶，則根據前後幀的類型推斷該丟失的音頻幀按照內容進行分類時 得到的類型信息。在錯誤隱藏模塊1020中，策略判決子模塊1021，用於接收判別子模塊 1011發送的丟失幀的類型信息，並根據該類型信息，判定採用的錯誤恢復 策略，並將結果發送給錯誤隱藏子模塊1022。錯誤隱藏子模塊1022，用於 根據策略判決子模塊1021發送的錯誤恢復策略判決結果，對丟失的音頻幀 進行重構。音頻幀解碼器模塊1040，用於對接收到的音頻幀進行解碼，並輸出解 碼結果。在本實施例的發射機900中，音頻幀分類器模塊920採用的是圖7的方 式對音頻幀進行分類，當然也可以採用其他基於內容的音頻幀分類方式，這 裡就不再贅述。在接收機1000中，將幀類型判決模塊1010細化為判決子模 塊1011和存儲子模塊1012,分別進行幀類型的判決和存儲；錯誤隱藏模塊 1020細化為策略判決子模塊1021和錯誤隱藏子模塊1022,分別進行策略判 決和錯誤隱藏。其中，錯誤隱藏子模塊1022還可以進一步劃分為多種不同 類型的錯誤隱藏單元，如噪音錯誤隱藏單元、話音錯誤隱藏單元等，用於處 理不同類型的音頻幀的錯誤隱藏。本發明音頻流錯誤隱藏系統的實施方式可以為利用上述圖9和圖10 所示的發射機900和接收機1000作為音頻流錯誤隱藏系統中發射機和接收 機的具體實施方式
，並且，將發射機900中幀封裝模塊930輸出的音頻幀發 送給接收機1000中的差錯檢測模塊1030。這樣便可以構成本發明的音頻流 錯誤隱藏系統的一種實施方式。由上述本發明方法、裝置和系統的具體實施方式
可見，採用本發明的技 術方案，使得對丟失幀的重構具有更強的針對性，能夠自適應地重構音頻幀，
以達到更好的補償效果，為收端用戶帶來更好的主觀聽覺感受，同時能改善 音頻幀信號的可分辨性，使得音頻通信能夠容忍更高的包丟失率。以上僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍。 凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應 包含在本發明的保護範圍之內。
權利要求
1、一種音頻流錯誤隱藏的發送方法，其特徵在於，該方法包括a、對發送的音頻幀按照內容進行分類，得到該音頻幀的類型信息；b、將音頻幀的類型信息與該音頻幀的編碼結果封裝打包發送出去。
2、 根據權利要求1所述的方法，其特徵在於，步驟a中所述對發送的音頻 幀按照內容進行分類包括al、利用語音激活檢測器VAD檢測音頻幀是否為噪聲信號幀，若是，則執 行步驟a2,否則執行步驟a3;a2、對噪聲信號幀進行頻鐠能量分析，確定該音頻幀為靜音信號幀或噪音 信號幀；a3、對非噪聲信號幀進行頻傳穩定性分析，確定該音頻幀為語音信號幀或 樂音信號幀。
3、 根據權利要求2所述的方法，其特徵在於，對所述靜音信號幀、噪音信 號幀、語音信號幀或樂音信號幀作進一步細緻劃分。
4、 根據權利要求1所述的方法，其特徵在於，所述將音頻幀的類型信息與 該音頻幀的編碼結果封裝打包為將音頻幀的類型信息打包到音頻幀的幀頭中。
5、 根據權利要求4所述的方法，其特徵在於，所述音頻幀的幀頭為音頻 幀的類型信息所代表的音頻幀的幀頭或音頻幀的類型信息所代表的音頻幀的下 一幀的幀頭。
6、 根據權利要求1所述的方法，其特徵在於，所述音頻幀的編碼結果為 所有音頻幀採用相同的編碼方法得到的編碼結果，或者，根據音頻幀的類型不 同，採用不同的編碼方法得到的編碼結果。
7、 一種音頻流錯誤隱藏的接收方法，其特徵在於，該方法包括a、 當發生丟幀時，對於丟失的音頻幀，確定其按照內容進行分類時得到的 該音頻幀的類型信息；b、 根據丟失的音頻幀的類型信息，採用相應的錯誤恢復策略進行音頻幀重 構。
8、 根據權利要求7所述的接收方法，其特徵在於，步驟a所述確定其按照 內容進行分類時得到的該音頻幀的類型信息為當丟失的音頻幀的類型信息位於正確接收的音頻幀中時，直接從該正確接 收的音頻幀中提取丟失的音頻幀的類型信息；當丟失的音頻幀的類型信息位於該丟失的音頻幀中時，根據正確接收幀的 類型信息推斷丟失的音頻幀的類型信息。
9、 根據權利要求7或8所述的接收方法，其特徵在於，在步驟a前進一步 包括對接收到的音頻信號檢測是否有丟幀，若是，則執行步驟a及其後續步 驟，否則，對正確接收的音頻幀進行解碼，提取該幀中攜帶的音頻幀的類型信 息並存儲。
10、 一種音頻流錯誤隱藏的方法，其特徵在於，該方法包括a、 對發送的音頻幀按照內容進行分類，得到該音頻幀的類型信息；b、 將音頻幀的類型信息與該音頻幀的編碼結果封裝打包發送給接收端；c、 當發生丟幀時，對於丟失的音頻幀，接收端確定其按照內容進行分類時 得到的該音頻幀的類型信息；d、 根據丟失的音頻幀的類型信息，採用相應的錯誤恢復策略進行音頻幀重構。
11、 根據權利要求IO所迷的方法，其特徵在於，步驟a中所述對發送的音 頻幀按照內容進行分類包括al、利用語音激活檢測器VAD檢測音頻幀是否為噪聲信號幀，若是，則執 行步驟a2,否則執行步驟a3;a2、對噪聲信號幀進行頻譜能量分析，確定該音頻幀為靜音信號幀或噪音 信號幀；a3、對非噪聲信號幀進行頻譜穩定性分析，確定該音頻幀為語音信號幀或 樂音信號幀。
12、 才艮據權利要求IO所述的方法，其特徵在於，步驟b中所述將音頻幀的 類型信息與該音頻幀的編碼結果封裝打包為將音頻幀的類型信息打包到音頻 幀的幀頭中。
13、 根據權利要求12所述的方法，其特徵在於，所述音頻幀的幀頭為音 頻幀的類型信息所代表的音頻幀的幀頭或音頻幀的類型信息所代表的音頻幀的 下一幀的幀頭。
14、 根據權利要求IO所述的方法，其特徵在於，步驟c中所述確定其按照 內容進行分類時得到的該音頻幀的類型信息為當丟失的音頻幀的類型信息位於正確接收的音頻幀中時，直接從該正確接 收的音頻幀中提取丟失的音頻幀的類型信息；當丟失的音頻幀的類型信息位於該丟失的音頻幀中時，根據正確接收幀的 類型信息推斷丟失的音頻幀的類型信息。
15、 根據權利要求10到14中任意一項所述的方法，其特徵在於，在步驟 b和c之間進一步包括對接收到的音頻信號檢測是否有丟幀，若是，則執行 步驟c及其後續步驟，否則，對正確接收的音頻幀進行解碼，提取該幀中攜帶 的音頻幀的類型信息並存儲。
16、 一種音頻流錯誤隱藏的發射機，包括音頻編碼器模塊和幀封裝模塊， 其特徵在於，該發射機還包括音頻幀分類器模塊；所述音頻幀分類器模塊，用於對發送的音頻幀按照內容進行分類，得到該 音頻幀的類型信息，並將該類型信息發送給所述幀封裝模塊；所迷幀封裝模塊，用於接收所述音頻幀分類器模塊發送的音頻幀的類型信 息和所述音頻編碼器模塊發送的音頻幀的編碼結果，將該音頻幀的類型信息和音頻幀的編碼結果封裝打包發送出去。
17、 一種音頻流錯誤隱藏的接收機，其特徵在於，該接收機包括幀類型判 別模塊和錯誤隱藏模塊，所述幀類型判別模塊，用於確定丟失的音頻幀按照內容進行分類時得到的 該音頻幀的類型信息，並將該類型信息發送給所述錯誤隱藏模塊；所述錯誤隱藏模塊，用於根據接收到的丟失的音頻幀的類型信息，採用相應的錯誤恢復策略進行音頻幀重構。
18、 根據權利要求17所述的接收機，其特徵在於，該接收機進一步包括差 錯檢測模塊和音頻解碼器模塊，所述差錯檢測模塊，用於從信道上接收音頻幀，將接收到的音頻幀發送給 所述幀類型判別模塊，並檢測是否出現丟幀，若出現丟幀，則通知所述幀類型判別模塊；所述幀類型判別模塊，進一步用於將音頻幀轉發給所述音頻幀解碼器模塊； 所述音頻幀解碼器模塊，用於對音頻幀進行解碼。
19、 根據權利要求18所述的接收機，其特徵在於，所述幀類型判別模塊包括判別子模塊和存儲子模塊，所述判別子模塊，用於確定丟失的音頻幀按照內容進行分類時得到的該音 頻幀的類型信息，並將該類型信息發送給所述存儲子模塊，還用於在接收到所 述差錯檢測模塊發送的丟幀通知後，將該丟失幀的類型信息發送給所述錯誤隱 藏模塊，並將接收到的音頻幀轉發給所述音頻幀解碼器模塊；所述存儲子模塊，用於保存音頻幀的類型信息。
20、 根據權利要求18或19所述的接收機，其特徵在於，所述錯誤隱藏模 塊包括策略判決子模塊和錯誤隱藏子模塊，所述策略判決子模塊，用於接收所述幀類型判別模塊發送的丟失幀的類 型信息，並根據該類型信息，判定採用的錯誤恢復策略，並將結果發送給所 述錯誤隱藏子模塊；所述錯誤隱藏子模塊，用於根據所述策略判決子模塊發送的錯誤恢復策 略判決結果，對丟失的音頻幀進行重構。
21、 一種音頻流錯誤隱藏系統，其特徵在於，該系統包括發射機和接收機；所述發射機，用於對發送的音頻幀按照內容進行分類，得到該音頻幀的類 型信息，並將音頻幀的類型信息與該音頻幀的編碼結果封裝打包發送給所述接 收機；所述接收機，用於在發生丟幀時，確定丟失的音頻幀按照內容進行分類時 得到的類型信息，並根據該類型信息，採用相應的錯誤恢復策略進行音頻幀重 構。
22、 根據權利要求21所述的系統，其特徵在於，所述發射機包括音頻編碼 器模塊、幀封裝模塊和音頻幀分類器模塊，所述接收機包括幀類型判別模塊和 錯誤隱藏模塊；所述音頻幀分類器模塊，用於對發送的音頻幀按照內容進行分類，得到該 音頻幀的類型信息，並將該類型信息發送給所述幀封裝模塊；所述幀封裝模塊，用於接收所述音頻幀分類器模塊發送的音頻幀的類型信 息和所述音頻編碼器^^莫塊發送的音頻幀的編碼結果，將該音頻幀的類型信息和 音頻幀的編碼結果封裝打包發送出去；所述幀類型判別模塊，用於確定丟失的音頻幀按照內容進行分類時得到的 該音頻幀的類型信息，並將該類型信息發送給所述錯誤隱藏模塊；所述錯誤隱藏模塊，用於根據接收到的丟失的音頻幀的類型信息，採用相 應的錯誤恢復策略進行音頻幀重構。
23、 根據權利要求22所述的系統，其特徵在於，所述接收機進一步包括差 錯檢測模塊和音頻解碼器模塊，所述差錯檢測模塊，用於從信道上接收音頻幀，將接收到的音頻幀發送給 所述幀類型判別模塊，並檢測是否出現丟幀，若出現丟幀，則通知所述幀類型 判別模塊；所述幀類型判別模塊，進一步用於將音頻幀轉發給所述音頻幀解碼器模塊； 所述音頻幀解碼器模塊，用於對音頻幀進行解碼； 所述幀封裝模塊，用於將該音頻幀的類型信息和音頻幀的編碼結果封裝打 包發送給所述差錯檢測模塊。
24、 根據權利要求22或23所述的接收機，其特徵在於，所述錯誤隱藏模 塊包括策略判決子模塊和錯誤隱藏子模塊，所述策略判決子模塊，用於接收所述幀類型判別模塊發送的丟失幀的類 型信息，並根據該類型信息，判定採用的錯誤恢復策略，並將結杲發送給所述錯誤隱藏子模塊；所述錯誤隱藏子模塊，用於根據所述策略判決子模塊發送的錯誤恢復策 略判決結果，對丟失的音頻幀進行重構。
全文摘要
本發明公開了一種音頻流錯誤隱藏的方法，該方法包括a.對發送的音頻幀按照內容進行分類，得到該音頻幀的類型信息；b.將音頻幀的類型信息與該音頻幀的編碼結果封裝打包發送出去；c.當發生丟幀時，對於丟失的音頻幀，確定其按照內容進行分類時得到的該音頻幀的類型信息；d.根據丟失的音頻幀的類型信息，採用相應的錯誤恢復策略進行音頻幀重構。本發明所述的錯誤隱藏方式使得對丟失幀的重構具有更強的針對性，能夠自適應地重構音頻幀，以達到更好的補償效果。本發明還公開了一種音頻流錯誤隱藏的發送、接收方法。本發明又公開了音頻流錯誤隱藏的發射機、接收機和系統。
文檔編號G10L19/00GK101155140SQ20061015969
公開日2008年4月2日 申請日期2006年10月1日 優先權日2006年10月1日
發明者萬華林, 軍 張, 喆 王 申請人:華為技術有限公司