一種在網絡上傳輸ip語音包的丟包恢復方法

2023-06-10 19:54:01 3

專利名稱：一種在網絡上傳輸ip語音包的丟包恢復方法
技術領域：
本發明涉及一種網絡傳輸技術，更確切地說是涉及一種在網絡傳輸中，對丟失的或延遲未到的採用脈衝編碼調製(PCM，簡稱脈碼調製)類編碼的IP語音包，進行恢復的方法。
PCM類編碼，包括脈衝編碼調製(PCM)及自適應差分脈衝編碼調製(ADPCM)等，都屬于波形編碼，具有編碼算法簡單、語音或音樂失真較小、語音或音樂質量較高的優點，是目前公眾業務電話網(PSTN)主要採用的編碼技術之一。而隨著網際網路、公共數據網帶寬的日益增加，在IP(國際網際網路協議或網際網路協議)電話業務中也已逐漸採用PCM類編碼進行語音或音樂信號的編碼傳輸。
IP電話業務不同於傳統的電路交換，它是基於分組交換進行傳輸的，PCM類語音編碼數據先按一定的時間段被分割成幀，再將一幀或多幀語音打成一個IP語音包在網絡上傳輸，打包時按時間順序為每個IP語音包插入一序列號標記。由於網絡的業務流量是不斷變化的，特別是發生網絡阻塞時，常會造成IP包的丟失，接收端根據插入在IP語音包中的序列號標記是很容易判斷出是否發生了丟包，此外，每個IP包到達接收端的路由也不是固定不變的，這就造成各IP語音包在到達接收端的時間也是變化的，即產生延時抖動，當在預定的時間內，某IP語音包還未到達時也認為發生了丟包。儘管可以在接收端採用緩衝的方式來防止這種延時抖動，並且也能取得比較好的效果，減少了丟包，但是，從總體上說仍不能完全解決丟包問題。
在當前的網絡傳輸技術中，雖然可以檢查出丟包，但對於丟失的PCM類編碼IP語音包，基本不做補救或恢復處理，因此造成語音質量下降，特別是在網絡的業務流量變化劇烈時，丟包更為頻繁，使語音質量大大惡化。
本發明的目的是通過設計一種在網絡上傳輸IP語音包的丟包恢復方法，即一種對於採用PCM類編碼、在網際網路或公共數據網上傳輸IP語音包時的丟包進行恢復處理的方法，克服因丟包造成的語音質量下降問題，保證語音或音樂的網絡傳輸質量。
本發明的目的是這樣實現的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於包括以下步驟A.接收端檢查當前的IP語音包是否到達，接收端在檢查出當前的IP語音包沒有到達時，進一步檢查下一個IP語音包是否到達；B.接收端檢查當前的IP語音包是否到達，在檢查出下一個IP語音包已經到達時，利用波形插值法恢復當前的IP語音包，在檢查出下一個IP語音包沒有到達時，利用線性預測法恢復當前的IP語音包，並對恢復的當前IP語音包作脈衝編碼調製(PCM)解碼輸出。
還包括步驟C.在檢查出當前的IP語音包已經到達時，檢查上一個IP語音包是否是經線性預測法恢復得到的；D.在檢查出上一個IP語音包是經線性預測法恢復得到的時，對當前的IP語音包作平滑濾波，使當前的IP語音包與上一個IP語音包的相位保持同步；E.在檢查出上一個IP語音包是未經線性預測法恢復得到的時，對當前的IP語音包直接作脈衝編碼調製(PCM)解碼輸出。
所述的步驟A中，在接收端檢查出當前的IP語音包已經到達時，直接對當前的IP語音包作脈衝編碼調製(PCM)解碼輸出。
所述的步驟B中，在檢查出當前的IP語音包沒有到達和在檢查下一個IP語音包是否到達前，對上一個IP語音包的語音性質作是否是清音、靜音或濁音的判斷，在上一個IP語音包的語音性質是清音、靜音時，則重複上一個IP語音包作為當前的IP語音包並使當前的IP語音包與上一個IP語音包相位同步，在上一個IP語音包的語音性質是濁音時，則繼續執行步驟B。
所述的判斷上一個IP語音包的語音性質是通過估計短時能量或短時平均幅度或短時過零率實現的。
所述的步驟B中，在檢查出下一個IP語音包已經到達時，是根據上一個IP語音包和下一個IP語音包，通過波形插值法恢復當前的IP語音包。
所述的波形插值法包括通過分別估計出上一個IP語音包與下一個IP語音包的基音周期，得到當前IP語音包的語音基音個數；根據上一個與下一個IP語音包的基音周期和當前IP語音包的語音基音個數，通過插值得到當前IP語音包的基音周期；分別從上一個IP語音包與下一個IP語音包中提取一個完整的基音；利用從上一個IP語音包與下一個IP語音包中提取的基音和當前IP語音包的語音基音個數及基音周期，對當前IP包的基音進行線性插值，獲得當前IP包各個基音中各點的相位及幅度。
所述的對當前IP包的基音進行線性插值，還包括先對上一個IP語音包與下一個IP語音包的基音作線性插值，在上一個IP語音包與下一個IP語音包基音的每兩個點間插入三個點。
所述的估計基音周期包括短時自相關方法和短時平均幅度差方法。
所述的步驟B中，在檢查出下一個IP語音包沒有到達時，是根據上一個IP語音包，通過線性預測法恢復當前的IP語音包。
所述的線性預測法包括將上一個IP語音包的數據分成兩個子幀，分別估計出每個子幀的基音周期；根據第一子幀的基音周期和第二子幀的基音周期求出當前IP語音包的語音基音個數；預測當前IP語音包的語音基音周期；分別從第一子幀與第二子幀數據中提取一個完整的基音；利用從第一子幀與第二子幀中提取的基音和當前IP語音包的語音基音個數及基音周期，對當前IP語音包的基音進行線性插值，獲得當前IP語音包各個基音中各點的相位及幅度。
所述的預測當前IP語音包的語音基音周期是2倍的第二子幀的基音周期與第一子幀的基音周期的差值。
所述的對當前IP包的基音進行線性插值，還包括先對第一子幀和第二子幀的基音周期作線性插值，在第一子幀和第二子幀基音周期的每兩個點間插入三個點。
本發明的脈碼調製類編碼在IP應用中的丟包處理方法，是在網絡的業務流量變化比較劇烈時，由於阻塞或到達接收端的路由變化，造成PCM類IP語音包丟失或在一定時間內延遲未到(也認定是丟包)，而採用波形插值或線性預測方法恢復丟失或延遲未到的IP語音包。
本發明方法充分利用了語音的幀間相關性，當有IP語音包丟失時，根據其上的一個IP語音包和其下的一個IP語音包的數據，對該IP語音包作最大限度的恢復，以達到改善IP電話業務通話質量的效果。具體方法是在上一個IP語音包和下一個IP語音包都存在時，採用波形插值法恢復生成丟失的當前IP語音包；在只有上一個IP語音包時，採用線性預測法恢復生成丟失的當前IP語音包。
下面結合實施例及附圖進一步說明本發明的方法。
本發明的方法可以應用於目前國際網際網路(INTERNET)上公用網或專用網的IP語音或音樂傳送，也可以用於未來移動通信中基於IP的核心網上語音或音樂的傳送。
實施例針對的是一個採用PCM類編碼在網絡上傳輸語音時的丟包恢復處理方法。


圖1是PCM類IP語音丟包恢復處理的原理流程2是PCM類IP語音丟包恢復處理的一具體流程圖參見圖1，圖中示出PCM類IP語音包丟包恢復處理的基本操作流程。
步驟11，採用PCM類編碼的IP語音包輸入接收端，供PCM類解碼輸出，在解碼輸出前，首先檢查當前的IP語音包是否到達，如果判斷出當前的IP語音包已經到達時執行步驟15，否則執行步驟12；
步驟12，檢查下一個IP語音包是否到達，如果判斷出下一個IP語音包已經到達時執行步驟13，否則執行步驟14；步驟13，在判斷出下一個IP語音包已經到達時，則根據上一個IP語音包和下一個IP語音包並通過波形插值法得到當前丟失的IP語音包數據；步驟14，在判斷出下一個IP語音包也未到達時，則根據上一個IP語音包並通過線性預測法得到當前丟失的IP語音包數據；步驟15，在判斷出當前的IP語音包已經到達時，則進一步檢查上一個IP語音包數據是否是通過線性預測法得到的，若不是通過線性預測法得到的，則直接執行步驟17，若是通過線性預測法得到的，則執行步驟16；步驟16，如果判斷出當前的IP語音包已經到達且判斷出上一個IP語音包數據是通過線性預測法得到的，則需要對當前IP語音包的語音數據做平滑濾波，使當前IP語音包的數據與上一個IP語音包數據的相位同步；步驟17，對經步驟13、14、15、16操作後的當前IP語音包數據做PCM類解碼輸出。
通過本發明方法對當前的丟失或延遲未到(在預定的時間內未到則認定為丟失)的PCM類編碼的IP語音包做波形插值或線性預測，來恢復該丟失的IP語音包，可以大大改善由於丟包引起的語音質量下降問題。
其恢復處理的基本思想是如果上一個IP語音包和下一個IP語音包的數據都存在時，採用波形插值的方法生成當前的IP語音包數據；如果只有上一個IP語音包數據時，則採用線性預測的方法估計當前的IP語音包數據。
參見圖2，圖中示出PCM類IP語音丟包恢復處理的具體操作流程。
步驟201，採用PCM類編碼的IP語音包輸入接收端，供PCM類解碼輸出，首先檢查當前的IP語音包是否到達，如果判斷出當前的IP語音包已經到達時執行步驟202，否則執行步驟203；
步驟202，在當前的IP語音包已經到達時，直接對當前的IP語音包數據做PCM類解碼輸出；步驟203，若當前的IP語音包沒有到達，即發生了丟包，則判斷上一個IP語音包的語音性質，對於清音或靜音，則執行步驟204，對於濁音則執行步驟205，區別清音、靜音和濁音，可以通過估計短時能量、短時平均幅度和短時過零率的方法來實現(如何判斷清音/濁音/靜音是現有的成熟技術，且不是本發明的目的所在，故不在此贅述)。
步驟204，在判斷出上一個IP語音包數據是清音或靜音時，只需簡單地重複上一個語音包數據作為當前丟失的IP語音包數據，並使當前的IP語音包數據與上一個IP語音包數據相位同步；步驟205，在判斷出上一個IP語音包數據是濁音時，檢查下一個IP語音包是否到達，如果檢查出下一個IP語音包已經到達時執行步驟210，否則執行步驟206；步驟210，在檢查出下一個IP語音包數據已經收到，則通過波形插值法恢復當前丟失的IP語音包數據，首先估計出上一個IP語音包的基音周期為Ta，下一個IP語音包的基音周期為Tb，估計基音周期可採用短時自相關和短時平均幅度差的方法進行，再根據公式(1)求出當前丟失IP語音包的語音基音個數n(小數)，其中Tip是一個IP語音包的語音長度，n=TipTa+Tb2---(1)]]>步驟211，通過公式(2)經插值得到當前丟失IP語音包的相應基音周期Ti，其中i＝1，2，...，[n]+1，[n]表示對n取整數；Ti=Ta+(Tb-Ta)in---(2)]]>
步驟212，對當前丟失的IP語音包進行線性插值，首先分別從上一個和下一個IP語音包數據中提取一個完整的且相位一致的基音周期，即Ta、Tb；再對當前丟失IP語音包的[n]+1個基音進行插值，即當前丟失的IP語音包的第i個基音的第j個點是由上一個IP語音包基音周期Ta中第k個點和下一個IP語音包基音周期Tb中第m個點線形插值得到，插值時其相位應滿足以下關係(3)式D(i,j)Ti=D(a,k)Ta=D(b,m)Tb---(3)]]>其中，D(i，j)是當前丟失IP語音包中第i個基音的第j個點距離初始相位的時間，D(a，k)是上一個IP語音包基音周期的第k個點距離初始相位的時間，D(b，m)是下一個IP語音包基音周期的第m個點距離初始相位的時間，因為語音數據是離散的，K和m應取最接近的點，初始相位時間選擇每一個基音周期中第一個點作為參考點時的相位。為了提高計算精度，在對當前丟失的IP語音包進行線性插值時，可先對上一個IP語音包和下一個IP語音包的基音做線性插值，如在每兩個點間再插入三個點，即由原來的1點變成4點，此時精度能提高4倍。插值時當前丟失IP語音包第i個基音第j個點的幅度按關係(4)式求出A(i,j)=A(a,k)+[A(b,m)-A(a,k)]in---(4)]]>步驟206，當檢查出下一個IP語音包沒有到達時，則根據上一個IP語音包並通過線性預測法得到當前丟失的IP語音包數據，首先將上一個IP語音包的語音數據分成兩個子幀，即第一子幀與第二子幀；步驟207，分別對每個子幀估計其基音周期，估計基音周期可採用短時自相關和短時平均幅度差的方法進行，如第一子幀語音數據的基音周期為Ta，第二子幀語音數據的基音周期為Tb，則通過公式(5)求出當前丟失IP語音包的語音基音個數n(小數)，其中Tip是一個IP語音包的語音長度n=Tip2Tb-Ta---(5)]]>步驟208，根據公式(6)預測當前丟失IP語音包的基音周期TcTc＝2Tb-Ta……(6)步驟209，對當前丟失的IP語音包進行線性插值，首先分別對第一子幀和第二子幀語音數據提取一個完整的且相位一致的基音周期，即Ta、Tb，再線性預測周期為Tc的基音，對當前丟失IP語音包的[n]+1個基音進行外推插值，即當前丟失的IP語音包的第i個基音的第j個點是由第一子幀基音周期Ta中第k個點和第二子幀基音周期Tb的第m個點經線形外推得到，線性外推時其相位應滿足以下關係(7)式D(i,j)Ti=D(a,k)Ta=D(b,m)Tb---(7)]]>其中，D(i，j)是當前丟失IP語音包中第i個基音的第j個點距離初始相位的時間，D(a，k)是第一子幀基音的第k個點距離初始相位的時間，D(b，m)是第二子幀基音周期的第m個點距離初始相位的時間。因為語音數據是離散的，K和m應取最接近的點，初始相位時間選擇每一個基音周期中第一個點作為參考點時的相位。為了提高計算精度，在對當前丟失的IP語音包進行線性插值時，可先對第一子幀和第二子幀的基音做線性插值，在每兩個點間再插入三個點，即由原來的1點變成4點，此時精度能提高4倍。線性外推時當前丟失IP語音包第i個基音第j個點的幅度按關係(8)式求出A(i,j)=A(a,k)+[A(b,m)-A(a,k)]in---(8)]]>最後，對基音周期為Tc的基音進行重複就得到丟失的當前IP語音包的語音數據，再通過對相位進行調整，以保證當前IP語音包的數據與上一個IP語音包數據的相位同步。
步驟213，對經步驟212、209、204操作後的當前丟失的IP語音包數據做PCM類解碼輸出。
本發明的方法是一種在網絡上傳輸IP語音包的丟包恢復方法，也是一種脈碼調製類編碼在IP應用中的丟包處理方法。採用PCM類編碼、按IP包格式在網際網路或公共數據網上傳輸語音或音樂數據，當接收端發生丟失當前IP語音包的情況時，根據其上、下IP包的接收狀況，選擇波形插值法或線性預測法來恢復該丟失的當前IP語音包，從而解決因丟包而引起的語音或音樂的傳輸質量變劣問題，大大改善所接收的語音或音樂信號的質量。
權利要求
1.一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於包括以下步驟A.接收端檢查當前的IP語音包是否到達，在檢查出當前的IP語音包沒有到達時，進一步檢查下一個IP語音包是否到達；B.在檢查出下一個IP語音包已經到達時，利用波形插值法恢復當前的IP語音包，在檢查出下一個IP語音包沒有到達時，利用線性預測法恢復當前的IP語音包，並對恢復的當前IP語音包作脈衝編碼調製(PCM)解碼輸出。
2.根據權利要求1所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於還包括步驟C.在檢查出當前的IP語音包已經到達時，檢查上一個IP語音包是否是經線性預測法恢復得到的；D.在檢查出上一個IP語音包是經線性預測法恢復得到的時，對當前的IP語音包作平滑濾波，使當前的IP語音包與上一個IP語音包的相位保持同步；E.在檢查出上一個IP語音包是未經線性預測法恢復得到的時，對當前的IP語音包直接作脈衝編碼調製(PCM)解碼輸出。
3.根據權利要求1所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的步驟A中，在接收端檢查出當前的IP語音包已經到達時，直接對當前的IP語音包作脈衝編碼調製(PCM)解碼輸出。
4.根據權利要求1所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的步驟B中，在檢查出當前的IP語音包沒有到達和在檢查下一個IP語音包是否到達前，對上一個IP語音包的語音性質作是否是清音、靜音或濁音的判斷，在上一個IP語音包的語音性質是清音、靜音時，則重複上一個IP語音包作為當前的IP語音包並使當前的IP語音包與上一個IP語音包相位同步，在上一個IP語音包的語音性質是濁音時，則繼續執行步驟B。
5.根據權利要求4所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的判斷上一個IP語音包的語音性質是通過估計短時能量或短時平均幅度或短時過零率實現的。
6.根據權利要求1所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的步驟B中，在檢查出下一個IP語音包已經到達時，是根據上一個IP語音包和下一個IP語音包，通過波形插值法恢復當前的IP語音包。
7.根據權利要求1或6所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的波形插值法包括通過分別估計出上一個IP語音包與下一個IP語音包的基音周期，得到當前IP語音包的語音基音個數；根據上一個與下一個IP語音包的基音周期和當前IP語音包的語音基音個數，通過插值得到當前IP語音包的基音周期；分別從上一個IP語音包與下一個IP語音包中提取一個完整的基音；利用從上一個IP語音包與下一個IP語音包中提取的基音和當前IP語音包的語音基音個數及基音周期，對當前IP包的基音進行線性插值，獲得當前IP包各個基音中各點的相位及幅度。
8.根據權利要求7所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的對當前IP包的基音進行線性插值，還包括先對上一個IP語音包與下一個IP語音包的基音作線性插值，在上一個IP語音包與下一個IP語音包基音的每兩個點間插入三個點。
9.根據權利要求7所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的估計基音周期包括短時自相關方法和短時平均幅度差方法。
10.根據權利要求1所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的步驟B中，在檢查出下一個IP語音包沒有到達時，是根據上一個IP語音包，通過線性預測法恢復當前的IP語音包。
11.根據權利要求1或10所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的線性預測法包括將上一個IP語音包的數據分成兩個子幀，分別估計出每個子幀的基音周期；根據第一子幀的基音周期和第二子幀的基音周期求出當前IP語音包的語音基音個數；預測當前IP語音包的語音基音周期；分別從第一子幀與第二子幀數據中提取一個完整的基音；利用從第一子幀與第二子幀中提取的基音和當前IP語音包的語音基音個數及基音周期，對當前IP語音包的基音進行線性插值，獲得當前IP語音包各個基音中各點的相位及幅度。
12.根據權利要求11所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的預測當前IP語音包的語音基音周期是2倍的第二子幀的基音周期與第一子幀的基音周期的差值。
13.根據權利要求11所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的對當前IP包的基音進行線性插值，還包括先對第一子幀和第二子幀的基音周期作線性插值，在第一子幀和第二子幀基音周期的每兩個點間插入三個點。
14.根據權利要求11所述的一種在網絡上傳輸IP語音包的丟包恢復方法，其特徵在於所述的估計基音周期包括短時自相關方法和短時平均幅度差方法。
全文摘要
本發明涉及一種在網絡上傳輸IP語音包的丟包恢復方法，是採用PCM類編碼在網際網路或公共數據網上傳輸語音時，對網絡傳輸中的丟包進行恢復的方法。接收端發生當前IP語音包丟包或延遲未到時，在上一個和下一個IP語音包都存在的情況下，採用波形插值法恢復生成丟失的當前IP語音包；在只有上一個IP語音包存在時，採用線性預測法恢復生成丟失的當前IP語音包；對恢復的當前IP語音包作解碼輸出。實現改善IP電話業務通話質量的效果。
文檔編號H04B14/04GK1445941SQ0012959
公開日2003年10月1日 申請日期2000年9月30日 優先權日2000年9月30日
發明者孫亞民, 霍其增, 潘勝昔 申請人:華為技術有限公司