一種嵌入式多媒體播放系統的音視頻同步方法

2023-10-11 02:20:54 2

一種嵌入式多媒體播放系統的音視頻同步方法
【專利摘要】本發明提供一種嵌入式多媒體播放系統的音視頻同步方法，其特徵在於：包括如下步驟：步驟1.接收音視頻數據流，並解碼，步驟2.解碼後的音視頻幀流入顯示緩衝區或插隊緩衝區，解碼後的音頻幀進入音頻緩衝區；對於按正常順序解碼後的視頻幀進入顯示緩衝區，對於前一分組解碼晚於後一分組解碼的前一分組視頻幀進入插隊緩衝區；步驟3.同步播放：本發明具有的優點和積極效果是：本發明應用於軌道交通行業PIS系統中，完成多媒體信息從操作控制中心（OCC）下發並傳輸至車上，最終實現音視頻同步展現給乘客的功能，提高乘客乘坐地鐵車輛時的用戶體驗度。
【專利說明】一種嵌入式多媒體播放系統的音視頻同步方法
【技術領域】
[0001]本發明屬於通信領域，尤其是涉及一種嵌入式多媒體播放系統的音視頻同步方法。
【背景技術】
[0002]由於網絡的不可靠性和傳輸時延等因素，實時數據通信過程中經常會遇到諸如分組丟失、亂序、抖動、重複等一系列問題。為了能在網絡中有效地傳輸實時數據，IETF (Internet Engineering Task Force, Internet 工程任務組)開發了 RTP(Real-timeTransport Protocol,實時傳輸協議)。RTP為交互式音頻、視頻等具有實時特性的數據提供端到端的傳送服務，包括兩個關係密切的協議RTP和RTCP (Real-timeTransport ControlProtocol,實時傳輸控制協議)。
[0003]RTP是用於Internet上針對多媒體數據流的一種傳輸協議，但RTP本身並不能為按順序傳送數據包提供可靠的傳送機制，也不提供流量控制或擁塞控制，它依靠RTCP提供這些服務。RTCP和RTP —起提供流量控制和擁塞控制服務。伺服器利用RTCP信息動態地改變傳輸速率，甚至改變有效載荷類型。RTP和RTCP配合使用，它們能以有效的反饋和最小的開銷使傳輸效率最佳化，因而特別適合傳送網上的實時數據。
[0004]現有技術中，傳統的PIS系統中，多媒體信息的傳輸和發布是通過模擬或者半數位化的方式實現的，隨著網絡技術和計算機技術的發展，現有技術已無法滿足用戶對高清視頻方面的要求。

【發明內容】

[0005]本發明要解決的問題是提供一種嵌入式多媒體播放系統的音視頻同步方法。
[0006]為解決上述技術問題，本發明採用的技術方案是:
[0007]一種嵌入式多媒體播放系統的音視頻同步方法，包括如下步驟:
[0008]步驟1.接收音視頻數據流，並解碼:
[0009]啟動接收RTP音視頻包的線程，接收RTP包，之後對其進行解析，解析其攜帶的數據類型，即RTP音頻包或RTP視頻包，若是RTP音頻包進入音頻接收緩衝區，後發送到音頻解碼器進行解碼；若是RTP視頻包進入排隊緩衝區，首先對RTP視頻包進行解碼前的排序處理，後發送到視頻解碼器進行解碼；
[0010]視頻幀剛進入排隊緩衝區內的處理過程:
[0011]RTP包直接進入排隊緩衝區，開始進行排隊解碼，首先根據RTP視頻包所攜帶的分組號，從後到前先找到該分組其他包的位置，然後在該分組內，利用自身攜帶的序列號在該組內從大到小，開始逐個比較來快速確定自己在該分組的位置；
[0012]RTP視頻幀解碼過程中:
[0013]在第i分組即將解碼完成時，判斷第i+Ι分組是否有完整I幀:
[0014]若是，進行解碼即可；[0015]若否，將該分組移至緩衝區，之後判斷第i+2分組是否有I幀:
[0016]若有進行解碼，即將解碼完成時，判斷是否在播放第i+2分組數據；若是則丟棄第i+Ι分組，若否則啟動第i+Ι分組解碼；
[0017]若無將第i+2分組移到緩衝區，後判斷是否接收到第i+Ι分組的視頻幀:
[0018]若有則將第i+Ι分組移出緩衝區進行解碼；
[0019]若無繼續進行判斷第i+3分組是否有I幀:
[0020]若無丟棄緩衝區中的第i+Ι分組；
[0021]若有進行解碼，後根據顯示緩衝區的反饋判斷是否播放第i+3分組:
[0022]若播放，則丟棄第i+Ι分組和第i+2分組；
[0023]若不播放，則返回判斷第i+Ι分組是否有完整I幀，循環判斷。
[0024]步驟2.解碼後的音視頻幀流入顯示緩衝區或插隊緩衝區:
[0025]解碼後的音頻幀進入音頻緩衝區；
[0026]對於按正常順序解碼後的視頻幀進入顯示緩衝區，對於前一分組解碼晚於後一分組解碼的前一分組視頻幀進入插隊緩衝區。
[0027]步驟3.同步播放:
[0028]音頻緩衝區內的音頻幀進行連續播放；
[0029]顯示緩衝區內的視頻幀進行順序播放，插隊緩衝區的視頻幀進行插隊播發；
[0030]其中視頻幀的播放時間是利用NTP和RTP時間戳計算出當前視頻幀對應音頻幀播放的時間而得到的，判斷當前緩衝區的最前面一幀的時間標記與Time土 Λ關係，其中Time土 Λ表示允許視頻巾貞進行播放的時間範圍:
[0031]若當前緩衝區的最前面一幀的時間標記在Time土 Λ範圍內，則正常播放；
[0032]若當前緩衝區的最前面一幀的時間標記小於Time- Δ,(幀來晚了)丟棄該視頻幀；
[0033]若當前緩衝區的最前面一幀的時間標記大於Time+ Δ,(幀來早了)重複播放一次前一幀，之後再次比較，進行判斷:
[0034](I)若時間標記在Time土 Λ範圍內，則正常播放；
[0035](2)若仍大於則轉到抖動緩衝區，向前尋找下幀，直到前一幀總共重播3次，抖動緩衝區已有3巾貞,最後一次比較；若時間標記在Time土 Λ範圍內，貝U正常播放；
[0036]否則切換到以視頻為標準，一次性調整音頻，之後重新切換回到以音頻為標準。
[0037]步驟4.顯示緩衝區將信息反饋給視頻解碼器。
[0038]進一步的，在步驟I中，對於剛收到的RTP包若是這個分組的第一個包，首先判斷自己的幀類型:
[0039]若不是I幀，直接根據分組號的大小確定自己的分組位置，在比較過程中，發現沒有和自己一樣的分組號，則移到第一個開闢新的排隊塊區；
[0040]若是I巾貞，找到自己分組的塊排隊區，進行是否有I幀判斷，若該塊區有已有I幀，則這個包自動丟棄；否則是一般情況，正常處理即可。
[0041]進一步的，在步驟2中，顯示緩衝區和插隊緩衝區的初始值大小根據視頻壓縮格式進行動態調整。
[0042]進一步的，在步驟3中，採取對接收到的音頻幀採用基於播放時限的同步方法，用接收端緩存的音頻幀來補償網絡的時延抖動，通過顯示緩衝區來實現語音回放。
[0043]本發明具有的優點和積極效果是:本發明應用於軌道交通行業PIS系統中，完成多媒體信息從操作控制中心(OCC)下發並傳輸至車上，最終實現音視頻同步展現給乘客的功能，提高乘客乘坐地鐵車輛時的用戶體驗度。
【專利附圖】

【附圖說明】
[0044]圖1是本發明的結構示意圖；
[0045]圖2是本發明的視頻幀剛進入排隊緩衝區的處理流程圖；
[0046]圖3是本發明的視頻幀解碼處理流程圖；
[0047]圖4是本發明的顯示緩衝區內的視頻幀處理流程圖。
【具體實施方式】
[0048]如圖1至4所示:
[0049]本發明一種嵌入式多媒體播放系統的音視頻同步方法，包括如下步驟:
[0050]步驟1.接收音視頻數據流，排序後解碼:
[0051]啟動接收RTP音視頻包的線程，接收RTP包，之後對其進行解析，解析其攜帶的數據類型，即RTP音頻包或RTP視頻包，若是RTP音頻包進入音頻接收緩衝區，後發送到音頻解碼器進行解碼；若是RTP視頻包進入排隊緩衝區，首先對RTP視頻包進行解碼前的排序處理，後發送到視頻解碼器進行解碼；
[0052]如圖2所示，為視頻幀剛進去排隊緩衝區內的處理過程:
[0053]RTP視頻包直接進入排隊緩衝區，首先根據RTP視頻包所攜帶的分組號，進行判斷，
[0054]若沒有和自己一樣的分組號則開闢一個新組塊；
[0055]若有從後到前先找到該分組其他包的位置，然後在該分組內，利用自身攜帶的序列號在該組內從大到小，開始逐個比較來快速確定自己在該分組的位置；之後在判斷是否為I幀，否的話，進行組內比較確定組內位置；
[0056]是為I幀的話，則判斷該塊區是否已有I幀，是的話則丟棄此幀，若不是則進行組內比較確定組內位置。
[0057]如圖3所示，RTP視頻幀解碼過程中:
[0058]在第i分組即將解碼完成時，判斷第i+Ι分組是否有完整I幀:
[0059]若是，進行解碼即可；
[0060]若否，將該分組移至緩衝區，之後判斷第i+2分組是否有I幀:
[0061]若有進行解碼，即將解碼完成時，判斷是否在播放第i+2分組數據；若是則丟棄第i+Ι分組，若否則啟動第i+Ι分組解碼；
[0062]若無將第i+2分組移到緩衝區，後判斷是否接收到第i+Ι分組的視頻幀:
[0063]若有則將第i+Ι分組移出緩衝區進行解碼；
[0064]若無繼續進行判斷第i+3分組是否有I幀:
[0065]若無丟棄緩衝區中的第i+Ι分組；
[0066]若有進行解碼，後根據顯示緩衝區的反饋判斷是否播放第i+3分組:[0067]若播放，則丟棄第i+Ι分組和第i+2分組；
[0068]若不播放，則返回判斷第i+Ι分組是否有完整I幀，循環判斷。
[0069]步驟2.解碼後的音視頻幀流入顯示緩衝區或插隊緩衝區:
[0070]解碼後的音頻幀進入顯示緩衝區；
[0071]對於按正常順序解碼後的視頻幀進入顯示緩衝區，對於前一分組解碼晚於後一分組解碼的前一分組視頻幀進入插隊緩衝區；
[0072]步驟3.同步播放:
[0073]顯示緩衝區內的音頻幀進行連續播放；
[0074]顯示緩衝區內的視頻幀進行順序播放，插隊緩衝區的視頻幀進行插隊播發；
[0075]其中視頻幀的播放時間是利用NTP和RTP時間戳計算出當前視頻幀對應音頻幀播放的時間而得到的，判斷當前緩衝區的最前面一幀的時間標記與Time土 Λ關係，其中Time土 Λ表示允許視頻巾貞進行播放的時間範圍，如圖4所示:
[0076]若當前緩衝區的最前面一幀的時間標記在Time土 Λ範圍內，則正常播放；
[0077]若當前緩衝區的最前面一幀的時間標記小於Time- Δ,(幀來晚了)丟棄該視頻幀；
[0078]若當前緩衝區的最前面一幀的時間標記大於Time+ Δ,(幀來早了)重複播放一次前一幀，之後再次比較，進行判斷:
[0079](I)若時間標記在Time土 Λ範圍內，則正常播放；
[0080](2)若仍大於則轉到抖動緩衝區，向前尋找下幀，直到前一幀總共重播3次，抖動緩衝區已有3巾貞,最後一次比較；若時間標記在Time土 Λ範圍內，貝U正常播放；
[0081]否則切換到以視頻為標準，一次性調整音頻，之後重新切換回到以音頻為標準；
[0082]步驟4.顯示緩衝區將信息反饋給視頻解碼器。
[0083]在步驟I中，對於一些特殊情況做以下處理:
[0084]對於剛到的RTP包若是這個分組的第一個包，首先判斷自己的幀類型:
[0085]若不是I幀，直接根據分組號的大小確定自己的分組位置，在比較過程中，發現沒有和自己一樣的分組號，則移到第一個開闢新的排隊塊區；
[0086]若是I巾貞，找到自己分組的塊排隊區，進行是否有I幀判斷，若該塊區有已有I幀，則這個包自動丟棄；否則是一般情況，正常處理即可。
[0087]在步驟2中，顯示緩衝區和插隊緩衝區初始值大小根據視頻編碼格式動態可調，顯示緩衝區為一個正常範圍大小，即可以存放12幀視頻幀大小的顯示隊列，上限為15幀，下限為3幀，當小於3或大於15幀時，表示下溢或上溢；
[0088]由於顯示緩衝區更多地要考慮到音視頻的同步問題，對音頻進行連續播放，通過對視頻處理來達到與音頻數據的同步；
[0089]具體是採取對接收到的語音媒體採用基於播放時限的同步方法，用接收端緩存的語音媒體流來補償網絡的時延抖動，通過顯示緩衝區的設計來實現回放。
[0090]以上對本發明的一個實施例進行了詳細說明，但所述內容僅為本發明的較佳實施例，不能被認為用於限定本發明的實施範圍。凡依本發明申請範圍所作的均等變化與改進等，均應仍歸屬於本發明的專利涵蓋範圍之內。
【權利要求】
1.一種嵌入式多媒體播放系統的音視頻同步方法，其特徵在於:包括如下步驟: 步驟1.接收音視頻數據流，並解碼: 啟動接收RTP音視頻包的線程，接收RTP包，之後對其進行解析，解析其攜帶的數據類型，即RTP音頻包或RTP視頻包，若是RTP音頻包進入音頻接收緩衝區，後發送到音頻解碼器進行解碼；若是RTP視頻包進入排隊緩衝區，首先對RTP視頻包進行解碼前的排序處理，後發送到視頻解碼器進行解碼； 視頻幀剛進入排隊緩衝區內的處理過程: RTP包直接進入排隊解碼區，開始進行排隊解碼，首先根據RTP視頻包所攜帶的分組號，從後到前先找到該分組其他包的位置，然後在該分組內，利用自身攜帶的序列號在該組內從大到小，開始逐個比較來快速確定自己在該分組的位置； 在RTP視頻幀解碼過程中: 在第i分組即將解碼完成時，判斷第i+Ι分組是否有完整I幀: 若是，進行解碼即可； 若否，將該分組移至緩衝區，之後判斷第i+2分組是否有I幀: 若有進行解碼，即將解碼完成時，判斷是否在播放第i+2分組數據；若是則丟棄第i+1分組，若否則啟動第i+Ι分組解碼； 若無將第i+2分組移 到緩衝區，後判斷是否接收到第i+Ι分組的視頻幀: 若有則將第i+Ι分組移出緩衝區進行解碼； 若無繼續進行判斷第i+3分組是否有I幀: 若無丟棄緩衝區中的第i+Ι分組； 若有進行解碼，後根據顯示緩衝區的反饋判斷是否播放第i+3分組: 若播放，則丟棄第i+Ι分組和第i+2分組； 若不播放，則返回判斷第i+Ι分組是否有完整I幀，循環判斷； 步驟2.解碼後的音視頻幀流入顯示緩衝區或插隊緩衝區: 解碼後的音頻幀進入音頻緩衝區； 對於按正常順序解碼後的視頻幀進入顯示緩衝區，對於前一分組解碼晚於後一分組解碼的前一分組視頻幀進入插隊緩衝區； 步驟3.同步播放: 音頻緩衝區內的音頻幀進行連續播放； 顯示緩衝區內的視頻幀進行順序播放，插隊緩衝區的視頻幀進行插隊播發； 其中視頻幀的播放時間是利用NTP和RTP時間戳計算出當前視頻幀對應音頻幀播放的時間而得到的，判斷當前緩衝區的最前面一幀的時間標記與Time土 Λ關係，其中Time土 Λ表不允許視頻幀進行播放的時間範圍: 若當前緩衝區的最前面一幀的時間標記在Time土 Λ範圍內，則正常播放； 若當前緩衝區的最前面一幀的時間標記小於Time- Λ，則丟棄該視頻幀； 若當前緩衝區的最前面一幀的時間標記大於Time+ Λ,則重複播放一次前一幀,之後再次比較，進行判斷: (1)若時間標記在Time±厶範圍內，則正常播放； (2)若仍大於則轉到抖動緩衝區，向前尋找下幀，直到前一幀總共重播3次，抖動緩衝區已有3幀,最後一次比較；若時間標記在Time土 Λ範圍內，貝U正常播放； 否則切換到以視頻為標準，一次性調整音頻，之後重新切換回到以音頻為標準； 步驟4.顯示緩衝區將信息反饋給視頻解碼器。
2.根據權利要求1所述的嵌入式多媒體播放系統的音視頻同步方法，其特徵在於:在步驟I中，對於剛到的RTP包若是這個分組的第一個包，首先判斷自己的幀類型: 若不是I幀，直接根據分組號的大小確定自己的分組位置，在比較過程中，發現沒有和自己一樣的分組號，則移到第一個開闢新的排隊塊區； 若是I幀，找到自己分組的塊排隊區，進行是否有I幀判斷，若該塊區有已有I幀，則這個包自動丟棄；否則是一般情況，正常處理即可。
3.根據權利要求1所述的嵌入式多媒體播放系統的音視頻同步方法，其特徵在於:在步驟2中，顯示緩衝區和插隊緩衝區的初始值大小根據視頻壓縮格式進行動態可調。
4.根據權利要求1所述的嵌入式多媒體播放系統的音視頻同步方法，其特徵在於:在步驟3中，採取對接收到的音頻幀採用基於播放時限的同步方法，用接收端緩存的音頻幀來補償網絡的時延抖動 ，通過顯示緩衝區來實現回放。
【文檔編號】H04N21/6437GK103607664SQ201310603239
【公開日】2014年2月26日 申請日期:2013年11月22日 優先權日:2013年11月22日
【發明者】張濤 申請人:天津市北海通信技術有限公司