用於防止語音幀內的信息流失的系統與方法

2023-07-24 08:04:46

專利名稱：用於防止語音幀內的信息流失的系統與方法
技術領域：
本發明的系統及方法涉及通信及無線相關技術。明確地說，本發明的系統及方法涉及用於防止語音幀內的信息流失的系統及方法。
背景技術：
數字話音通信已在電路交換式網絡上執行。電路交換式網絡是其中物理路徑是在呼叫的持續時間期間建立於兩個終端之間的網絡。在電路交換式應用中，發射終端在所述物理路徑上將含有話音信息的包的序列發送到接收終端。所述接收終端使用所述包中所含的所述話音信息來合成語音。數字話音通信已開始在包交換式網絡上執行。包交換網絡為其中包是基於目的地地址而經由所述網絡來路由的網絡。關於包交換式通信，路由器個別地為每一包確定路徑， 從而沿著任何可用路徑向下發送包以到達其目的地。因此，所述包並不在相同時間或以相同次序到達接收終端。去抖動緩衝器可用於所述接收終端中以按次序放回所述包，且以連續循序方式將所述包播放出來。在一些情況下，包在從發射終端到接收終端的運輸途中流失。流失的包可使經合成的語音的質量降級。因而，可通過提供用於防止語音幀內的信息流失的系統及方法來實現益處。

發明內容


圖1為說明傳輸媒體上的發射終端及接收終端的實例的框圖；圖2為說明發射終端的另一配置的框圖；圖3為說明前向錯誤校正(FEC)模塊的一種配置的框圖；圖4為說明關鍵幀識別模塊的一種配置的框圖；圖5為說明FEC模式選擇算法的一個實例的框圖
圖6為說明信道狀態反饋模塊的一種配置的；圖7為說明動態速率控制模塊的一個實例的框圖；圖8為說明接收終端的一種配置的框圖；圖9為說明用於網際網路協議話音(VoIP)的前向錯誤校正(FEC)的方法的一個實例的流程圖；圖10說明對應於圖9中所展示的方法的裝置加功能塊；圖11說明可用於無線通信裝置中的各種組件；及圖12為根據所揭示系統及方法的一個實例的基站的框圖。
具體實施例方式
6
話音應用可在包交換式網絡中實施。舉例來說，話音應用可在網際網路協議話音 (VoIP)網絡中實施。具有話音信息的包可在所述網絡上從第一裝置發射到第二裝置。然而，所述包中的一些可能在所述包的發射期間流失。舉例來說，多個包的流失(有時稱為突發性包流失)可能是接收裝置處的所感知語音質量降級的原因。在一種配置中，包可包括一個或一個以上幀。為了減輕VoIP網絡中的包流失所造成的所感知語音質量的降級，存在兩種類型的解決方案。第一種解決方案可為基於接收器的包流失隱匿(PLC)方法。PLC方法可為用以遮蔽包流失在VoIP通信中的影響的技術。舉例來說，可實施PLC方法以創建代替在發射期間流失的包的替代包。PLC方法可嘗試創建與曾流失的包儘可能類似的包。基於接收器的PLC可不需要任何額外資源或來自發送器的幫助來產生所述替代包。然而，當重要語音幀流失時，PLC方法不能有效地遮蔽包流失的影響。第二種解決方案可為基於發送器的包流失恢復(packet loss resilient)方案。 此方案的實例可為前向錯誤校正(FEC)方法。所述FEC方法可包括隨每一包發送某一額外數據。所述額外數據可用以復原數據在發射期間的流失所造成的錯誤。舉例來說，FEC方案可發射冗餘語音幀。換句話說，通過發送器發射語音幀的一個以上複本(通常為兩個)。 這兩個幀可被稱為主複本及冗餘複本。儘管基於發送器的包流失恢復方案可改進經解碼語音的感知質量，但這些方案也可使在語音的發射期間所使用的帶寬增加。傳統的FEC方案還可使端對端延遲增加，這是實時交談無法容忍的。舉例來說，常規的基於發送器的方案在兩個不同時間周期將同一語音幀發送兩次。這至少可使數據速率加倍。一些常規方案可將低位率編解碼器用於冗餘複本，以降低數據速率。然而，低位率編解碼器的使用可使編碼器處的複雜性增加。另外，一些常規方案可將同一低位率編解碼器用於幀的主複本及幀的冗餘複本兩者。雖然這可降低編碼器處的複雜性且降低數據速率，但基線語音質量(即，無幀流失時的語音質量)被極大地降低。此外，常規的基於發送器的方案在假定至少一個幀間隔的額外延遲的情況下操作。本發明的系統及方法提供一種源及信道控制的FEC方案以獲得語音質量、延遲及數據速率之間的最佳折衷。在一種配置中，此FEC方案中未引入額外延遲。可實現語音質量在中等數據速率增加下的高質量改進。下文所描述的FEC方案還可在任何目標數據速率下操作。在一個實例中，可基於發射信道的條件以及外部控制來自適應地調整所述FEC方案及目標數據速率。所提出的FEC方案還可與舊式通信裝置(例如，舊式手持機)兼容。揭示一種用於防止語音信號內的信息流失的方法。所述方法可包括選擇待編碼的第一語音幀。所述方法還可包括基於第二語音幀及一個或一個以上鄰近語音幀內的信息來確定所述第二語音幀是否為關鍵語音幀。所述方法還可包括在所述第二語音幀為關鍵語音幀的情況下創建所述第二語音幀的經編碼版本的至少一部分。所述方法還可包括發射所述第一語音幀及所述第二語音幀的所述經編碼版本的至少一部分。揭示一種用於防止語音信號內的信息流失的無線裝置。所述無線裝置可包括關鍵幀識別模塊，其經配置以使用第二語音幀及一個或一個以上鄰近語音幀內的信息來確定所述第二語音幀是否為關鍵語音幀。所述無線裝置還可包括前向錯誤校正(FEC)模塊，其經配置以在所述第二語音幀為關鍵語音幀的情況下根據選定前向錯誤校正模式來創建所述第二語音幀的經編碼版本的至少一部分。所述無線裝置還可包括發射器，其經配置以發射第一語音幀及所述第二語音幀的所述經編碼版本的至少一部分。揭示一種用於防止語音信號內的信息流失的設備。所述設備可包括用於選擇待編碼的第一語音幀的裝置。所述設備還可包括用於基於第二語音幀及一個或一個以上鄰近語音幀內的信息來確定所述第二語音幀是否為關鍵語音幀的裝置。所述設備還可包括用於在所述第二語音幀為關鍵語音幀的情況下根據選定前向錯誤校正模式來創建所述第二語音幀的經編碼版本的至少一部分的裝置。所述設備可進一步包括用於發射所述第一語音幀及所述第二語音幀的所述經編碼版本的至少一部分的裝置。揭示一種用於防止語音信號內的信息流失的電腦程式產品。所述電腦程式產品可包括上面具有指令的計算機可讀媒體。所述指令可包括用於選擇待編碼的第一語音幀的代碼。所述指令還可包括用於基於第二語音幀及一個或一個以上鄰近語音幀內的信息來確定所述第二語音幀是否為關鍵語音幀的代碼。所述指令可進一步包括用於在所述第二語音幀為關鍵語音幀的情況下根據選定前向錯誤校正模式來創建所述第二語音幀的經編碼版本的至少一部分的代碼。所述指令還可包括用於發射所述第一語音幀及所述第二語音幀的所述經編碼版本的至少一部分的代碼。圖1為說明傳輸媒體114上的發射終端102及接收終端104的實例的框圖100。 發射終端102及接收終端104可為能夠支持話音通信的任何裝置，包括電話、計算機、音頻廣播及接收設備、視頻會議設備等。在一種配置中，發射終端102及接收終端104可利用例如碼分多址(CDMA)能力的無線多址技術來實施。CDMA是基於擴頻通信的調製及多址方案。發射終端102可包括話音編碼器106，且接收終端104可包括話音解碼器108。話音編碼器106可用以通過基於人類語音產生模型提取參數來壓縮來自第一用戶接口 110的語音。發射器112可用以跨越傳輸媒體114發射包括這些參數的包。傳輸媒體114可為基於包的網絡(例如，網際網路或企業內部網絡)或任何其它傳輸媒體。位於傳輸媒體114的另一端處的接收器116可用以接收所述包。話音解碼器108可使用所述包中的所述參數來合成語音。所合成的語音可提供到接收終端104上的第二用戶接口 118。儘管未圖示，但可在發射器112及接收器116兩者中執行各種信號處理功能，例如包括循環冗餘檢驗(CRC) 功能的卷積編碼、交錯、數字調製、擴頻處理等。通信的每一方均可進行發射以及接收。每一終端可包括話音編碼器及解碼器。所述話音編碼器及解碼器可為單獨裝置或可集成到稱為「聲碼器」的單個裝置中。在以下詳細描述中，將描述終端102、104，其具有在傳輸媒體114的一端的話音編碼器106和在另一端的話音解碼器108。在發射終端102的至少一種配置中，語音可以幀形式從第一用戶接口 110輸入到話音編碼器106，且每一幀被進一步分割成若干個子幀。可在正執行某一塊處理的地方使用這些任意幀邊界。然而，如果實施的是連續處理而不是塊處理，那麼可不將語音樣本分割成若干個幀(及子幀)。在所描述實例中，跨越傳輸媒體114發射的每一包可視特定應用及總設計約束而包括一個或一個以上幀。話音編碼器106可為可變速率或固定速率編碼器。可變速率編碼器可視語音內容而在幀間於多個編碼器模式之間動態地切換。話音解碼器108也可在幀間於對應的解碼器模式之間動態地切換。可為每一幀選擇特定模式以實現在維持接收終端104處的可接受信號再現時可獲得的最低位率。
在一種配置中，接收器終端104還可將信道狀態信息120反饋到發射終端102。在一個實例中，接收終端104收集來自發射終端102的與用以發射包的信道的質量有關的信息。接收終端104可使用所收集到的信息來估計所述信道的質量。此估計可接著作為信道狀態信息120反饋到發射終端102。發射終端102可使用信道狀態信息120來調適與基於發送器的包流失恢復方案(即，FEC方案)相關聯的一個或一個以上功能。關於基於接收到的信道狀態信息120而調適FEC方案的細節將在下文中較全面地描述。話音編碼器106及解碼器108可使用線性預測解碼(LPC)。在LPC編碼的情況下， 語音可由語音源(聲帶)模型化，所述語音源的特徵在於其強度及音高。來自聲帶的語音穿過聲道(喉嚨及嘴)，聲道的特徵在於其共振，其被稱為「共振峰(formant)」。所述LPC 話音編碼器可通過估計共振峰、從語音去除共振峰的影響及估計殘餘語音的強度及音高來分析語音。接收端處的LPC話音解碼器可通過逆轉所述過程來合成語音。明確地說，所述 LPC話音解碼器可使用殘餘語音來創建語音源、使用共振峰來創建濾波器(其表示聲道)， 且使所述語音源穿過所述濾波器以合成所述語音。圖2為說明LPC話音編碼器206的實例的框圖。LPC話音編碼器206可包括LPC 模塊202，其估計來自當前或第N個語音幀216中的語音的共振峰。基本解決方法可為差等式，其將幀中的每一語音樣本表達為先前語音樣本的線性組合(語音樣本的短期關係)。 所述差等式的係數表徵共振峰。可將所述LPC係數222應用於逆向濾波器214，所述逆向濾波器可從語音去除共振峰的影響。殘餘語音可與LPC係數一起經由傳輸媒體而發射，使得可在接收端處重構語音。在LPC話音編碼器206的至少一種配置中，通過變換模塊204將 LPC係數變換成線譜對(LSP)。可變換所述係數以實現較好的發射及數學操縱效率。其它壓縮技術可用以通過消除冗餘材料而使表示語音所需的信息動態地減少。這可通過利用存在通過人的聲帶的周期性振動產生的特定基本頻率的事實來實現。這些基本頻率常常被稱為「音高」。音高可由「自適應碼簿參數」量化，所述自適應碼簿參數包括(1) 以語音樣本的數目為單位的「延遲」，其最大化語音片段的自相關函數，及(2) 「自適應碼簿增益」218。自適應碼簿增益可在子幀基礎上測量(218)語音的長期周期性的強壯程度。可在將殘餘語音發射到接收終端之前從殘餘語音減去(210)這些長期周期性。來自減法器210的殘餘語音可以任何數目種方式進一步編碼。舉例來說，可使用碼簿212，其為將參數指派給最典型的語音殘餘信號的表。在操作中，將來自減法器210的殘餘語音與碼簿212中的所有條目進行比較。選擇針對具有最密切匹配的條目的參數。固定碼簿參數包括「固定碼簿索引」及「固定碼簿增益」。固定碼簿係數含有幀的新信息(能量)。所述新信息基本上為幀之間的差異的經編碼表示。所述固定碼簿增益表示接收終端 104中的話音解碼器108在將所述新信息(固定碼簿係數)應用於語音的當前子幀時應使用的增益。音高估計器208還可用以產生稱作「差量延遲」或「D延遲」的額外自適應碼簿參數。D延遲為當前幀與先前幀之間的測得延遲的差。然而，D延遲具有有限範圍，且可在所述兩個幀之間的延遲的差溢出的情況下設定為零。此參數不可供接收終端104中的話音解碼器108用以合成語音。實情為，將所述參數用於計算流失或毀壞的幀的語音樣本的音高。在一種配置中，編碼器206還可包括FEC模塊220。FEC模塊220可接收第K個語音幀215，其中K小於或等於N。如果出現在第K個語音幀215之前的一個或一個以上經編碼幀217及/或出現在第K個語音幀215之後的一個或一個以上經編碼幀217在FEC模塊 220分析第K個語音幀215時存在，那麼FEC模塊220還可接收這些經編碼幀217。FEC模塊220可分析第K個語音幀215。FEC模塊220可確定第K個語音幀215是否為關鍵幀。基於包括於由FEC模塊220接收的第K個語音幀215及在第K個語音幀215 之前及/或之後出現的一個或一個以上經編碼幀217中的信息，可將經分析的第K個語音幀215視為關鍵幀。如果確定第K個語音幀215為關鍵幀，那麼FEC模塊220還可確定用以實施將「保護」第K個語音幀215的過程。用以保護關鍵幀的過程可包括創建所述關鍵幀的冗餘複本。所述關鍵幀的所述冗餘複本可包括所述關鍵幀的所述參數中的一些或全部。FEC模塊220可在第K個語音幀215 為關鍵幀且可能在發射到接收終端104期間流失的情況下確定保護第K個語音幀215。關於FEC模塊220的更多細節將在下文加以描述。圖3為說明FEC模塊320的一種配置的框圖。FEC模塊320可包括一個或一個以上額外模塊，其用以分析語音幀、確定所述語音幀是否為關鍵幀，且通過創建所述語音幀的冗餘複本來保護所述語音幀。所述待覆制的幀在本文中可稱為主幀。可通過複製所述主幀的所述參數中的一些或全部而產生所述冗餘複本，或可通過使用不同於用以編碼所述主幀的解碼方法的解碼方法來編碼所述主幀而產生所述冗餘複本。通常，此解碼方法具有低於所述主幀的速率。在一個實例中，FEC模塊320包括關鍵幀識別(ID)模塊302 (關於圖4而論述)、 部分幀保護模塊304 (關於圖5而論述)、全幀保護模塊306 (關於圖5而論述)、FEC模式選擇算法308 (關於圖5而論述)、信道狀態反饋模塊310 (關於圖6而論述)及動態速率控制模塊312 (關於圖7而論述)。關鍵幀ID模塊302可確定語音幀是否為關鍵幀。在一種配置中，此模塊302可用以在包流失條件下識別最重要的幀。圖4為說明關鍵幀識別模塊402的一種配置的框圖。模塊402可通過分析幀的性質430以及鄰近幀性質432來確定幀是否為關鍵幀。關鍵幀可為在流失時可造成顯著質量降級的幀。舉例來說，如果一些重要參數從先前幀到當前幀極大地變化(大於某一預定閾值)，那麼當前幀可為關鍵幀，因為當前幀可能不易從先前幀預測。另外，關鍵幀ID模塊 402可基於所述幀及鄰近幀的語音模式434來確定語音幀是否為關鍵幀。所述關鍵幀確定還可基於所述幀及鄰近幀的解碼類型435。舉例來說，語音模式434可指示每個幀的特性。 語音幀解碼類型可指示用以編碼當前幀的編碼過程。語音幀解碼類型的實例可包含碼激勵的線性預測(CELP)、噪聲激勵的線性預測(NELP)、原型音高周期(PPP)等。語音模式的實例可包括有聲、無聲、靜寂、暫時、有聲起始等。舉例來說，關鍵CELP幀可比關鍵NELP幀更為關鍵，而話音起始幀可比穩定有聲幀更為關鍵。在一種配置中，關鍵幀識別模塊402可能不需要任何額外編碼延遲來確定語音幀是否為關鍵幀。關鍵幀識別模塊不僅可確定幀是否為關鍵幀，而且可確定幀的關鍵性等級。此確定可基於語音幀及其鄰近幀的參數、特性、解碼類型及模式。不同的關鍵幀可具有不同的關鍵性等級。舉例來說，對於兩個關鍵幀A及B，如果緊跟在A之後的幀可從A高度地預測，且緊跟在B之後的幀並不十分依賴於B，那麼A可比B更為關鍵，因為流失A可導致一個以上幀的質量降級。返回圖3，FEC模塊320還可包括FEC模式選擇算法308。選擇算法308可選擇將在確定幀為關鍵幀時實施的保護模式。所述保護模式可指示關鍵幀的將被複製到所述關鍵幀的冗餘複本中的參數的數量。保護模式的實例可包括完全保護模式及一個或一個以上部分保護模式。舉例來說，部分保護模式可保護僅一個參數集合或多個參數集合。在一個實例中，所述完全保護模式可由全幀保護模塊306實施。所述完全保護模式可指示複製關鍵幀中的每個參數，且將其包括於所述幀的冗餘複本中。在一種配置中，部分保護模式可由部分幀保護模塊304實施。所述部分保護模式可指示僅複製關鍵幀的所述參數的一部分，且將其包括於所述關鍵幀的冗餘複本中。所述部分保護模式還可指示所述幀正通過低速率編碼方法進行編碼。如圖5中所說明，FEC模式選擇算法508可選擇部分幀保護模塊504或全幀保護模塊506來實施選定保護模式。完全保護模式及部分保護模式可有效地利用可用帶寬，且提供與舊式通信裝置的向後兼容性。在一種配置中，當選擇了完全保護模式時，可停用部分保護模式。FEC模式選擇算法508可基於發射信道的物理性質來選擇實施哪一保護模式， 所述發射信道用以將包從發射終端102發射到接收終端104。選擇使用哪一模式還可基於幀的特性。如果僅參數的子集在先前幀與當前幀之間極大地改變，那麼僅參數的此子集需要受到保護。在此情況下，如果幀流失發生，那麼可從先前幀預測未受保護的其它參數。另夕卜，FEC模式選擇算法508可基於發射終端102所支持的保護模式來選擇保護模式。返回圖3，FEC模塊320還可包括信道狀態反饋模塊310。如圖6中所展示，信道狀態反饋模塊610可接收信道狀態信息620。如先前所描述，可在接收終端104處收集並估計信道狀態信息620。可將信道狀態信息620發射回到發射終端102。在一種配置中，信道狀態反饋模塊620分析接收到的信道狀態信息620。信息620可指示用於發射終端102與接收終端104之間的發射的信道的質量。反饋模塊610可分析所述信道的質量且將結果提供到FEC模式選擇算法308。基於所述信道的質量(由信道狀態反饋模塊610提供)，選擇算法308可自適應地改變選定保護模式。換句話說，當所述信道的質量惡化時，FEC模式選擇算法308可選擇部分保護模式，以便降低將關鍵幀的冗餘複本發送到接收終端104所需的數據速率。隨著信道的質量增加，FEC模式選擇算法308可調適並選擇完全保護模式。在完全保護模式的情況下，複製關鍵幀的每一參數且將其包括於所述幀的冗餘複本中。信道質量的增加可指示可實現較高的數據速率。在一種配置中，信道狀態反饋模塊610還可包括偏移計算器622。在一個實例中， 偏移計算器622確定FEC偏移的值。偏移可為幀的主複本的發射時間與所述幀的冗餘複本的發射時間之間的間隔。換句話說，偏移計算器622可確定何時將關鍵幀的冗餘複本發射到接收終端104。通常，包交換式網絡中的包流失是突發性的，且突髮長度在不同網絡條件下可為不同的。因此，使用動態調整的偏移可得到較佳的錯誤保護性能。可使用由所述接收器發送的信道狀態信息來估計最佳偏移。返回圖3，FEC模塊320可進一步包括動態速率控制模塊312。速率控制模塊312 可決定用於每一幀的最終保護模式以便滿足目標數據速率。如圖7中所說明，動態速率控制模塊712可基於從信道狀態反饋模塊710接收到的信道狀態信息120及指定目標數據速率734來決定最終保護模式。為了確定最終保護模式，速率控制模塊712可實施兩個步驟以接近預定目標速率。在第一步驟中，可確定兩個鄰近操作點。操作點可為數據速率。可選擇這兩個鄰近操作點，使得目標數據速率734的值介於所述兩個操作點的值之間。在一種配置中，操作點可為基於語音幀錯誤恢復性質的預定義保護決策。如果第一操作點具有高於第二操作點的數據速率，那麼與第一操作點相關聯的保護決策的性能在包流失條件下可優於與第二操作點相關聯的保護決策。在第二步驟中，在由第一步驟中的兩個鄰近操作點界定的保護決策的範圍內，動態速率控制模塊712可自適應地調整所述保護決策以滿足目標數據速率734。在一種配置中，可提供兩種動態控制算法，例如，隨機速率控制算法730及確定性速率控制算法732。隨機速率控制算法730可使用隨機算法來決定每一幀的保護決策。可配置所述隨機算法，使得平均數據速率接近目標數據速率734。或者，所述確定性速率控制算法可通過確定性方式來決定每一幀的保護決策。可為每個幀計算平均速率。如果平均速率大於目標速率，那麼可將較低數據速率保護或無保護用於當前幀；否則，可將較高數據速率保護用於當前幀。當前幀的保護決策還可由第一步驟中的所述兩個鄰近操作點所界定的保護決策的範圍來限制。 目標數據速率734可基於容量需求在外部指定。或者，目標數據速率734可基於信道狀態信息120的反饋在內部指定。圖8為接收終端804的框圖。在此配置中，VoIP客戶端830包括去抖動緩衝器 802。接收終端804還可包括話音解碼器808。解碼器808可包括語音產生器832。話音解碼器808可實施為聲碼器的部分、獨立實體，或分布於接收終端804內的一個或一個以上實體上。話音解碼器808可實施為硬體、固件、軟體或其任何組合。舉例來說，話音解碼器 808可用微處理器、數位訊號處理器(DSP)、可編程邏輯、專用硬體或任何其它基於硬體及/ 或軟體的處理實體來實施。將就話音解碼器808的功能性在下文對話音解碼器808進行描述。話音解碼器的實施方式可取決於特定應用及強加於整個系統的設計約束。去抖動緩衝器802可為消除由包到達時間的變化所造成的抖動的硬體裝置或軟體進程，包到達時間的變化是歸因於網絡擁塞、時序漂移及路由改變。去抖動緩衝器802可接收話音包中的語音幀842。另外，去抖動緩衝器802可延遲新到達的包，使得先前到達的包可以正確次序被連續地提供到語音產生器832，從而形成幾乎沒有音頻失真的順暢連接。 去抖動緩衝器802可為固定或自適應的。固定去抖動緩衝器可將固定延遲引入到所述包。 另一方面，自適應去抖動緩衝器可適應網絡延遲的改變。去抖動緩衝器802可將語音幀提供到解碼器808。如果所述去抖動緩衝器未接收到幀的主複本，那麼在未使用FEC的情況下可造成幀流失。當使用FEC且當前待播放幀的主複本流失時，去抖動緩衝器可檢查所述緩衝器中是否存在所述幀的冗餘複本。如果存在當前幀的冗餘複本，那麼可解碼所述冗餘複本以產生語音樣本。所述冗餘複本可為全幀或部分幀。另外，去抖動緩衝器802可經修改而以不同方式處理主幀(即，原始關鍵幀)及冗餘幀(即，原始關鍵幀中的一些或全部的複本)。緩衝器802可以不同方式處理這兩個幀， 使得與實施FEC模塊220的功能相關聯的平均延遲不大於不實施FEC模塊220的功能時的平均延遲。可將幀的冗餘複本從去抖動緩衝器802傳遞到部分幀解碼模塊850，所述冗餘複本包括主複本的參數中的一些(即，部分)。如先前所提到，可通過發射終端102執行各種信號處理功能，例如包括循環冗餘校驗(CRC)功能的卷積編碼、交錯、數字調製及擴頻處理。可將從去抖動緩衝器802釋放的語音幀842提供到語音產生器832，以產生合成語音844。語音產生器832可包括若干功能以便產生合成語音844。可使用此項技術中已知的將語音解碼為合成語音的任何方法。在所展示的實施例中，所述語音產生器可使用CELP 解碼方法，其中逆向碼簿(inverse codebook)812可使用固定碼簿參數838。舉例來說，逆向碼簿812可用以將固定碼簿係數轉換成殘餘語音，且將固定碼簿增益應用於所述殘餘語音。可將音高信息添加(818)回到所述殘餘語音中。所述音高信息可由音高解碼器814從 「延遲」計算。音高解碼器814可為產生語音樣本的先前幀的信息的存儲器。自適應碼簿參數836(例如自適應碼簿增益)可在被添加(818)到所述殘餘語音之前由音高解碼器814 應用於每一子幀中的存儲器信息。所述殘餘語音可使用線譜對834(例如，來自逆變換822 的LPC係數)經過濾波器820，以將共振峰添加到語音。可接著將原始合成語音從濾波器 820提供到後濾波器824。後濾波器824可為音頻帶中的數字濾波器，其可平滑語音且減少帶外分量。或者且非限制地，語音產生器832可使用NELP或PPP全幀解碼方法。圖9為說明用於VoIP的前向錯誤校正(FEC)的方法900的一個實例的流程圖。方法900可由發射終端102實施。在於發射終端102與接收終端104之間建立VoIP呼叫期間，可選擇(902)適當的FEC模式(例如，完全保護模式或部分保護模式)。可基於物理髮射信道及對發射終端102及接收終端104的支持來選擇模式。還可確定目標數據速率。在一個實例中，根據容量需求確定(904)目標數據速率。還可確定FEC偏移值。在一個實例中，所述FEC偏移值是預定的。在另一實例中，可基於信道條件自適應地調整所述FEC偏移值。可選擇(906)待編碼的語音幀，幀N。接著可分析(906)第K個語音幀(K彡N)， 且可進行關於所述第K個語音幀是否為關鍵幀的確定(908)。選擇哪一幀來分析(906)可取決於FEC偏移。舉例來說，如果FEC偏移為2，那麼可分析第N-2個幀。在一種配置中， 在VoIP呼叫期間，對於每個經編碼幀，發射終端102內的編碼器106可決定第K個語音幀是否應受到保護(即，第K個語音幀是否為關鍵幀)。編碼器106還可基於目標數據速率、 確定908的結果及選定FEC模式來確定將如何保護第K個語音幀。在一種配置中，可基於從接收終端104反饋的信道狀態信息120在運行時期間調整目標數據速率及FEC偏移值。如果第K個語音幀並非關鍵幀，那麼僅將經編碼的語音幀N發射(914)到所述接收終端。如果確定(908)第K個語音幀為關鍵幀，那麼可創建(910)第K個語音幀的冗餘複本。第K個語音幀的冗餘複本的創建可基於選定FEC模式。舉例來說，所述冗餘複本可視選定FEC模式是完全保護模式抑或部分保護模式而用包括於關鍵的第K個語音幀中的所述參數中的一些或全部來創建。或者，可使用另一解碼方法來創建冗餘複本，所述另一解碼方法可具有比用於主複本的解碼方法低的速率。在一種配置中，可將主複本(即，當前語音幀N)及關鍵的第K個語音幀的冗餘複本包化為實時協議(RTP)包，且發射(912、914)到接收終端104。在另一配置中，雖然同時產生幀的主複本及第K個語音幀的冗餘複本，但可將所述複本個別地組裝成兩個不同的 RTP包，且發射到接收終端。使用哪種格式的決策可基於兩個終端的能力。如果每一終端支持兩種格式，那麼使用引起較低數據速率的格式。在接收器側處，語音幀可存儲在自適應去抖動緩衝器802中。如先前所提到，可設計去抖動緩衝器802，使得語音幀的平均延遲不大於未利用FEC技術的平均延遲。可以適當次序將所述幀從去抖動緩衝器802發送到解碼器 108。如果語音幀為具有主複本的參數中的一些參數的冗餘複本，那麼使用部分幀解碼模塊 850。上文所描述的源及信道控制的FEC方案可減少僅引起數據速率的中等增加時的包流失的數目及流失的突發性。關鍵幀識別及部分幀保護模式可確保語音感知質量與數據速率之間的良好折衷。對所述去抖動緩衝器的修改可不引入額外的端對端延遲。動態速率控制模塊312可允許上文所描述的FEC方案以任何指定數據速率進行，使得操作者可基於容量需求來決定數據速率。最後，通過FEC模式選擇算法308進行的FEC模式選擇可基於物理信道性質及手持機(例如，發射終端102及接收終端104)的能力來決定是否使用部分幀保護模式。上文所描述的FEC方案可不浪費可用帶寬，且可與舊式通信裝置向後兼容。如果具有FEC功能性的終端與舊式終端(其僅能解碼全幀)通信，那麼可停用部分幀保護，使得舊式手持機可受益於FEC冗餘。如果將部分幀發送到舊式終端，那麼所述舊式終端可能由於不能理解所述部分幀的格式而忽略所述部分幀，從而潛在地造成可用帶寬的浪費。上文所描述的圖9的方法可由對應於圖10中所說明的裝置加功能塊的各種硬體及/或軟體組件及/或模塊來執行。換句話說，圖9中所說明的塊902到914對應於圖10 中所說明的裝置加功能塊1002到1014。圖11說明可用於無線裝置1102中的各種組件。無線裝置1102為可經配置以實施本文中所描述的各種方法的裝置的實例。無線裝置1102可為遠程臺、接入終端、手機、個人數字助理(PDA)、蜂窩式電話等。無線裝置1102可包括處理器1104，所述處理器控制無線裝置1102的操作。處理器1104還可稱為中央處理單元(CPU)。可包括只讀存儲器(ROM)及隨機存取存儲器(RAM) 兩者的存儲器1106將指令及數據提供到處理器1104。存儲器1106的一部分還可包括非易失性隨機存取存儲器(NVRAM)。處理器1104通常基於存儲在存儲器1106內的程序指令來執行邏輯及算術運算。存儲器1106中的所述指令可執行以實施本文中所描述的方法。無線裝置1102還可包括外殼1108，所述外殼可包括發射器1110及接收器1112以允許數據在無線裝置1102與遠程位置之間的發射及接收。發射器1110與接收器1112可組合成收發器1114。天線1116可附接到外殼1108且電耦合到收發器1114。無線裝置1102 還可包括(未圖示)多個發射器、多個接收器、多個收發器及/或多個天線。無線裝置1102還可包括信號檢測器1118，所述信號檢測器可用以檢測並量化由收發器1114接收的信號的電平。信號檢測器1118可將此些信號檢測為總能量、每偽噪聲 (PN)碼片的導頻能量、功率譜密度及其它信號。無線裝置1102還可包括數位訊號處理器 (DSP) 1120以用於處理信號。無線裝置1102的各種組件可通過總線系統1122耦合在一起，除數據總線外，總線系統1122還可包括電力總線、控制信號總線及狀態信號總線。然而，為清楚起見，在圖11 中將各種總線說明為總線系統1122。圖12為根據所揭示系統及方法的一個實例的基站1208的框圖。基站1208的不同實施方案的實例包括(但不限於)演進型節點B (eNB)、基站控制器、基站收發器、接入路由器等。基站1208包括收發器1220，收發器1220包括發射器1210及接收器1212。收發器1220可耦合到天線1218。基站1208進一步包括數位訊號處理器(DSP) 1214、通用處理器1202、存儲器1204及通信接口 1206。基站1208的各種組件可包括於外殼1222內。處理器1202可控制基站1208的操作。處理器1202還可稱為CPU。可包括只讀存儲器(ROM)及隨機存取存儲器(RAM)兩者的存儲器1204將指令及數據提供到處理器1202。 存儲器1204的一部分還可包括非易失性隨機存取存儲器(NVRAM)。存儲器1204可包括能夠存儲電子信息的任何電子組件，且可體現為R0M、RAM、磁碟存儲媒體、光學存儲媒體、快閃記憶體、處理器1202所包括的板上存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可裝卸盤、CD-ROM等。存儲器1204可存儲程序指令及其它類型的數據。所述程序指令可由處理器1202執行以實施本文中所揭示的所述方法中的一些或全部。根據所揭示的系統及方法，天線1218可接收已從附近通信裝置1102發射的反向鏈路信號。天線1218將這些接收到的信號提供到對所述信號進行濾波及放大的收發器 1220。將所述信號從收發器1220提供到DSP 1214且提供到通用處理器1202以進行解調、 解碼、進一步濾波等。基站1208的各種組件是通過總線系統1226耦合在一起，除數據總線外，總線系統 1226還可包括電力總線、控制信號總線及狀態信號總線。然而，為清楚起見，在圖12中將各種總線說明為總線系統1226。在本文中使用時，術語「確定」涵蓋各種各樣的動作，且因此，「確定」可包括推算、 計算、處理、導出、調查、查找(例如，在表中、資料庫中或另一數據結構中查找)、查明等。並且，「確定」可包括接收(例如，接收信息)、存取(例如，存取存儲器中的數據)等。並且， 「確定，，可包括解析、選擇、選取、建立等。除非另有明確規定，否則短語「基於」不表示「僅基於」。換句話說，短語「基於」描述「僅基於」及「至少基於」兩者。結合本發明而描述的各種說明性邏輯塊、模塊及電路可通過以下各項來實施或執行經設計以執行本文中所描述的功能的通用處理器、數位訊號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列信號(FPGA)或其它可編程邏輯裝置、離散門或電晶體邏輯、 離散硬體組件，或其任何組合。通用處理器可為微處理器，但在替代方案中，處理器可為任何市售的處理器、控制器、微控制器或狀態機。處理器還可實施為計算裝置的組合，例如， DSP與微處理器的組合、多個微處理器的組合、結合DSP核心的一個或一個以上微處理器， 或任何其它此類配置。結合本發明而描述的方法或算法的步驟可直接體現於硬體中、由處理器執行的軟體模塊中或硬體與軟體模塊的組合中。軟體模塊可駐留於此項技術中已知的任何形式的存儲媒體中。可使用的存儲媒體的一些實例包括RAM存儲器、快閃記憶體、ROM存儲器、EPROM 存儲器、EEPROM存儲器、寄存器、硬碟、可裝卸盤、⑶-ROM等。軟體模塊可包含單個指令或許多指令，且可分布於若干個不同碼段上、分布於不同程序之中及跨越多個存儲媒體而分布。 存儲媒體可耦合到處理器，使得處理器可從存儲媒體讀取信息及將信息寫入到存儲媒體。 在替代方案中，存儲媒體可與處理器成一體式。本文中所揭示的方法包含用於實現所描述方法的一個或一個以上步驟或動作。所述方法的步驟及/或動作可彼此互換，而不脫離所附權利要求書的範圍。換句話說，除非指定步驟或動作的特定次序，否則可修改特定步驟及/或動作的次序及/或使用而不脫離所附權利要求書的範圍。所描述功能可以硬體、軟體、固件或其任何組合來實施。如果以軟體實施，那麼所述功能可作為一個或一個以上指令而存儲在計算機可讀媒體上。計算機可讀媒體可為可由計算機存取的任何可用媒體。作為實例而非限制，計算機可讀媒體可包含RAM、ROM、EEPROM、 CD-ROM或其它光碟存儲裝置、磁碟存儲裝置或其它磁性存儲裝置，或可用以運載或存儲呈指令或數據結構形式的所要程序代碼且可由計算機存取的任何其它媒體。在本文中使用時，磁碟及光碟包括壓縮光碟(CD)、雷射光碟、光學光碟、數字多功能光碟(DVD)、軟性磁碟及BlU-ray_ 光碟，其中磁碟通常以磁性方式再現數據，而光碟用雷射以光學方式再現數據。軟體或指令還可經由傳輸媒體來傳輸。舉例來說，如果使用同軸電纜、光纖纜線、 雙絞線、數字訂戶線(DSL)或例如紅外線、無線電及微波等無線技術從網站、伺服器或其它遠程源傳輸軟體，那麼同軸電纜、光纖纜線、雙絞線、DSL或例如紅外線、無線電及微波等無線技術包括於傳輸媒體的定義中。另外，應了解，用於執行本文中所描述的方法及技術(例如，由圖9到圖10所說明的方法及技術)的模塊及/或其它適當裝置可在適用時由移動裝置及/或基站下載及/ 或以其它方式獲得。舉例來說，此裝置可耦合到伺服器，以促進用於執行本文中所描述的方法的裝置的傳送。或者，本文中所描述的各種方法可經由存儲裝置(例如，隨機存取存儲器 (RAM)、只讀存儲器(ROM)、例如壓縮光碟(CD)或軟性磁碟等物理存儲媒體等)提供，使得移動裝置及/或基站可在將存儲裝置耦合或提供到所述裝置後即刻獲得各種方法。此外，可利用用於將本文中所描述的方法及技術提供到裝置的任何其它合適技術。將理解，所附權利要求書不限於上文所說明的精確配置及組件。可在不脫離所附權利要求書的範圍的情況下，對本文中所描述的系統、方法及設備的布置、操作及細節做出各種修改、改變及變化。
權利要求
1.一種用於防止語音信號內的信息流失的方法，其包含選擇待編碼的第一語音幀；基於第二語音幀及一個或一個以上鄰近語音幀內的信息來確定所述第二語音幀是否為關鍵語音幀；在所述第二語音幀為關鍵語音幀的情況下創建所述第二語音幀的經編碼版本的至少一部分；及發射所述第一語音幀及所述第二語音幀的所述經編碼版本的所述至少一部分。
2.根據權利要求1所述的方法，其進一步包含確定目標數據速率；及根據所述所確定的目標數據速率來選擇前向錯誤校正FEC模式。
3.根據權利要求1所述的方法，其中所述第二語音幀的所述經編碼版本的所述至少一部分等同於所述第二語音幀。
4.根據權利要求2所述的方法，其中所述前向錯誤校正FEC模式包含完全保護模式。
5.根據權利要求2所述的方法，其中所述前向錯誤校正FEC模式包含多個部分保護模式中的一者。
6.根據權利要求1所述的方法，其中所述第二語音幀的所述經編碼版本的所述至少一部分包括所述第二語音幀內的所述信息的子集。
7.根據權利要求6所述的方法，其中使用位率低於用以編碼所述第二語音幀的位率的編碼類型來建構所述第二語音幀的所述經編碼版本的所述至少一部分。
8.根據權利要求1所述的方法，其進一步包含確定偏移值，所述偏移值指示何時發射所述第二語音幀的所述經編碼版本的所述至少一部分。
9.根據權利要求1所述的方法，其中確定所述第二語音幀是否為關鍵幀進一步包含分析所述第二語音幀及一個或一個以上鄰近語音幀的性質。
10.根據權利要求1所述的方法，其中確定所述第二語音幀是否為關鍵語音幀進一步基於用以編碼所述第二語音幀的語音模式。
11.根據權利要求10所述的方法，其中所述語音幀的所述語音模式為有聲、無聲、暫時、穩定有聲或有聲起始。
12.根據權利要求1所述的方法，其中確定所述第二語音幀是否為關鍵語音幀進一步基於用以編碼所述第二語音幀的語音解碼類型。
13.根據權利要求12所述的方法，其中所述語音解碼類型包含碼激勵的線性預測 CELP、噪聲激勵的線性預測NELP或原型音高周期PPP。
14.根據權利要求5所述的方法，其進一步包含在選擇完全保護模式的情況下停用所述部分保護模式。
15.根據權利要求2所述的方法，其進一步包含基於用以發射所述第一語音幀及所述第二語音幀的所述經編碼版本的所述至少一部分的信道的信道狀態信息來調整所述目標數據速率。
16.根據權利要求1所述的方法，其中存在在所述第二語音幀的發射時間與所述第二語音幀的所述經編碼版本的所述至少一部分的發射時間之間測量到的偏移。
17.根據權利要求16所述的方法，其中使用用以發射語音幀的信道的信道狀態信息來估計所述偏移，且其中可動態地調整所述偏移。
18.根據權利要求2所述的方法，其中所述確定目標數據速率是基於容量需求。
19.根據權利要求2所述的方法，其中所述確定目標數據速率是基於信道狀態信息的反饋。
20.根據權利要求2所述的方法，其中所述選擇前向錯誤校正FEC模式包含確定所述第二語音幀的關鍵性等級；確定高於所述目標數據速率的第一操作數據速率；確定低於所述目標數據速率的第二操作數據速率；及選擇FEC模式以滿足所述目標數據速率。
21.根據權利要求2所述的方法，其中隨機地選擇所述前向錯誤校正FEC模式，使得實施所述模式的語音幀的數據速率的平均值接近所述目標數據速率。
22.根據權利要求2所述的方法，其中選擇所述前向錯誤校正FEC模式，使得實施所述模式的所述語音幀的所述數據速率接近所述目標數據速率。
23.根據權利要求1所述的方法，其中確定所述第二語音幀是否關鍵包含計算所述第二語音幀與一個或一個以上鄰近語音幀之間的差，其中如果所述差大於預定閾值，那麼所述第二語音幀是關鍵的。
24.根據權利要求10所述的方法，其中確定所述第二語音幀是否關鍵是基於所述第二幀的所述語音模式。
25.根據權利要求1所述的方法，其中基於所述關鍵第二語音幀及鄰近語音幀的參數、 特性、解碼類型及模式來確定關鍵語音幀的關鍵性。
26.根.據權利要求1所述的方法，其進一步包含將所述第一語音幀及所述第二語音幀的所述經編碼版本的所述至少一部分組裝成一個或一個以上實時協議RTP包。
27.根據權利要求26所述的方法，其中所述一個或一個以上RTP包的格式是基於發射終端及接收終端的能力。
28.根據權利要求5所述的方法，其中所述對部分保護模式的選擇是基於帶寬可用性、 所述目標數據速率以及所述第一語音幀、所述第二語音幀及鄰近語音幀的特性。
29.一種用於防止語音信號內的信息流失的無線裝置，其包含關鍵幀識別模塊，其經配置以使用第二語音幀及一個或一個以上鄰近語音幀內的信息來確定所述第二語音幀是否為關鍵語音幀；前向錯誤校正FEC模塊，其經配置以在所述第二語音幀為關鍵語音幀的情況下根據選定前向錯誤校正模式來創建所述第二語音幀的經編碼版本的至少一部分；及發射器，其經配置以發射第一語音幀及所述第二語音幀的所述經編碼版本的所述至少一部分。
30.根據權利要求29所述的無線裝置，其進一步包含目標數據速率；及速率控制模塊，其經配置以根據所述目標數據速率來選擇所述前向錯誤校正模式。
31.根據權利要求30所述的無線裝置，其中所述前向錯誤校正FEC模塊經配置以根據所述選定前向錯誤校正模式來創建所述第二語音幀的所述經編碼版本的所述至少一部分。
32.根據權利要求30所述的無線裝置，其中所述前向錯誤校正FEC模式包含完全保護模式。
33.根據權利要求29所述的無線裝置，其中所述第二語音幀的所述經編碼版本的所述至少一部分等同於所述第二語音幀。
34.根據權利要求30所述的無線裝置，其中所述前向錯誤校正FEC模式包含多個部分保護模式中的一者。
35.根據權利要求29所述的無線裝置，其中所述第二語音幀的所述經編碼版本的所述至少一部分包括所述第二語音幀內的所述信息的子集。
36.根據權利要求29所述的無線裝置，其中所述第二語音幀的所述經編碼版本的所述至少一部分是使用位率低於用於編碼所述第二語音幀的位率的編碼類型來建構。
37.根據權利要求29所述的無線裝置，其中所述無線裝置為手持機。
38.根據權利要求29所述的無線裝置，其中所述無線裝置為基站。
39.根據權利要求29所述的無線裝置，其中存在在所述第二語音幀的發射時間與所述第二語音幀的所述經編碼版本的所述至少一部分的發射時間之間測量到的偏移。
40.根據權利要求39所述的無線裝置，其中所述偏移是使用用以發射語音幀的信道的信道狀態信息來估計，且其中所述偏移可動態地調整。
41.根據權利要求30所述的無線裝置，其中所述目標數據速率是基於容量需求來確定。
42.根據權利要求30所述的無線裝置，其中所述目標數據速率是基於信道狀態信息的反饋來確定。
43.根據權利要求30所述的無線裝置，其中所述速率控制模塊經進一步配置以確定所述第二語音幀的關鍵性等級；確定高於所述目標數據速率的第一操作數據速率；確定低於所述目標數據速率的第二操作數據速率；且選擇前向錯誤校正FEC模式以滿足所述目標數據速率。
44.根據權利要求30所述的無線裝置，其中所述前向錯誤校正FEC模式是隨機地選擇， 以使得實施所述模式的語音幀的數據速率的平均值接近所述目標數據速率。
45.根據權利要求30所述的無線裝置，其中所述前向錯誤校正FEC模式經選擇以使得實施所述模式的所述語音幀的數據速率接近所述目標數據速率。
46.根據權利要求29所述的無線裝置，其中確定所述第二語音幀是否關鍵包含計算所述第二語音幀與一個或一個以上鄰近語音幀之間的差，其中如果所述差大於預定閾值，那麼所述第二語音幀是關鍵的。
47.根據權利要求29所述的無線裝置，其中確定所述第二語音幀是否關鍵是基於所述第二語音幀的語音模式。
48.根據權利要求47所述的無線裝置，其中所述語音幀的所述語音模式為有聲、無聲、 暫時、穩定有聲或有聲起始。
49.根據權利要求29所述的無線裝置，其中關鍵的第二語音幀的關鍵性是基於所述關鍵的第二語音幀及鄰近語音幀的參數、特性、解碼類型及模式來確定。
50.根據權利要求29所述的無線裝置，其中所述第一語音幀及所述第二語音幀的所述經編碼版本的所述至少一部分被組裝成一個或一個以上實時協議RTP包。
51.根據權利要求50所述的無線裝置，其中所述一個或一個以上RTP包的格式是基於發射終端及接收終端的能力。
52.根據權利要求34所述的無線裝置，其中所述對部分保護模式的選擇是基於帶寬可用性、所述目標數據速率及所述第一語音幀、所述第二語音幀及鄰近語音幀的特性。
53.根據權利要求29所述的無線裝置，其進一步包含去抖動緩衝器，所述去抖動緩衝器經修改而以不同方式處理語音幀及所述語音幀的一些或全部的複本。
54.一種用於防止語音信號內的信息流失的設備，其包含用於選擇待編碼的第一語音幀的裝置；用於基於第二語音幀及一個或一個以上鄰近語音幀內的信息來確定所述第二語音幀是否為關鍵語音幀的裝置；用於在所述第二語音幀為關鍵語音幀的情況下根據選定前向錯誤校正FEC模式來創建所述第二語音幀的經編碼版本的至少一部分的裝置；及用於發射所述第一語音幀及所述第二語音幀的所述經編碼版本的所述至少一部分的裝置ο
55.一種用於防止語音信號內的信息流失的電腦程式產品，所述電腦程式產品包含上面具有指令的計算機可讀媒體，所述指令包含用於選擇待編碼的第一語音幀的代碼；用於基於第二語音幀及一個或一個以上鄰近語音幀內的信息來確定所述第二語音幀是否為關鍵語音幀的代碼；用於在所述第二語音幀為關鍵語音幀的情況下根據選定前向錯誤校正FEC模式來創建所述第二語音幀的經編碼版本的至少一部分的代碼；及用於發射所述第一語音幀及所述第二語音幀的所述經編碼版本的所述至少一部分的代碼。
全文摘要
本發明描述一種用於防止語音幀內的信息流失的方法。選擇待編碼的第一語音幀。基於第二語音幀及一個或一個以上鄰近語音幀內的信息進行關於所述第二語音幀是否為關鍵語音幀的確定。在所述第二語音幀為關鍵語音幀的情況下根據選定前向錯誤校正FEC模式來創建所述第二語音幀的經編碼版本的至少一部分。發射所述第一語音幀及所述第二語音幀的所述經編碼版本的所述至少一部分。
文檔編號H04L1/00GK102461040SQ201080024701
公開日2012年5月16日 申請日期2010年6月3日 優先權日2009年6月4日
發明者丹尼爾·J·辛德爾, 方正, 阿南塔帕德瑪納班·阿拉桑尼帕萊·坎迪哈代 申請人:高通股份有限公司