一種多路音視頻同時播放時處理音視頻同步的方法
2023-05-21 01:13:06
專利名稱：一種多路音視頻同時播放時處理音視頻同步的方法
技術領域：
本發明屬於計算機多媒體技術領域，涉及經過網絡傳輸後對多路音視頻處理的方法，具體是一種多路音視頻同時播放時處理音視頻同步的方法。
背景技術：
隨著當今網際網路寬帶技術和多媒體信息技術的飛速發展，網絡多媒體應用已經成為internet應用的重要內容。特別是網絡視頻會議中，由於涉及到多人之間的交互行為， 需要對多路音視頻同時進行播放。此時每一路音視頻都需要同步，否則無法做到「唇音同步」的效果，影響溝通的流暢性。傳統的音視頻同步技術是將音視頻包各標記一個時間戳， 在播放時根據該時間戳來進行同步。這種方式只能工作於一路音頻和一路視頻的情況，在多路音頻和多路視頻的情況下無法正常工作，不能滿足視頻會議這類多人溝通應用對多路音視頻同時進行同步的要求。
發明內容
本發明的目的是針對現有技術的不足，提供了一種基於音頻播放驅動的多路視頻同步方法。本發明方法的具體步驟為
步驟(1).每個用戶分別獲取各自的音視頻數據並將音頻和視頻各自壓縮；將採集的音頻數據以10 120毫秒為單位分割成音頻數據單元，將每個音頻數據單元壓縮成音頻壓縮包，每個音頻壓縮包標記採集時刻的客戶端機器時間戳；將視頻數據中的每一幀壓縮成視頻壓縮包，每個視頻壓縮包標記採集時刻的客戶端機器時間戳；將每個音頻壓縮包和每個視頻壓縮包發送給伺服器；
每個用戶分別獲取各自的音視頻數據的方法包括通過設備採集和從媒體文件中獲取； 如通過設備採集，則所述的時間戳為採集的時刻；如從媒體文件中獲取，媒體文件播放或解壓組件會為數據設置時間戳，該時間戳為相對媒體文件開始的時刻，轉換為以當前計算機時刻為標準的時間戳。步驟O).伺服器將接收到的每個用戶的音頻壓縮包解壓後混音，然後在混音結果中記錄所有參與混音的音頻壓縮包對應的時間戳，壓縮成混音壓縮包，發送給客戶端；視頻壓縮包直接發送給客戶端。N個用戶U1、U2、…、UN，每個用戶有一路音頻，共有N路音頻，分別為A1、A2、…、 AN ；伺服器需要混音出N+1路音頻，分別是
第0路.包含了所有音頻，記為M0、 第1路.除Al外其他所有音頻，記為Ml、
第2路.除A2外其他所有音頻，記為M2、 * * *、
第N路.除AN外其他所有音頻，記為麗。
生成的每路音頻都需要將其對應的N或N-I路源音頻的時間戳寫入這路音頻中， 該音頻包將會有N或N-I個時間戳，以及這些時間戳所對應的源音頻。生成這N+1路音頻後，將MO發送給所有沒有發送音頻的用戶，Ml發送給U1，M2發送給U2，以此類推，發送給每個用戶的音頻內容都不包含該用戶的音頻。步驟(3).每個客戶端接收到混音壓縮包和視頻壓縮包後，將混音壓縮包解壓後順序播放，然後根據音頻驅動視頻的原則，顯示對應視頻壓縮包中的視頻幀。每個客戶端接收到的內容為一路混音壓縮包和伺服器轉發的N路視頻壓縮包；播放時通過音頻驅動視頻進行，即每播放一個音頻壓縮包，記錄該音頻壓縮包中包含的所有時間戳(U，A)···;播放X用戶的視頻時，取出該路視頻待播放的一幀對應的視頻時間戳(UX， VX)，同時取出最近播放過的音頻幀的同一用戶的時間戳(UX，AX)，對VX和AX進行比較，若 VX大於等於AX，則表示視頻內容已經在音頻內容之後了，可以播放，而若VX小於AX，根據音頻驅動視頻原則，表示這個視頻幀還沒有到播放的時刻，因此需要等待下一次的播放判斷來決定是否可以播放。本發明方法以音頻時間戳為紐帶，將多路視頻與音頻同步，達到所有視頻均能夠與音頻「唇音同步」的效果。本發明方法中音頻在伺服器混音時，並不使用單一的時間戳來標記一個音頻混音壓縮包，而是將參與這個音頻混音壓縮包的多路音頻的時間戳都保存起來，作為音頻混音壓縮包的時間戳，這樣就完整地保存了所有音頻和視頻之間的同步關係。
具體實施例方式一種多路音視頻同時播放時處理音視頻同步的方法，具體步驟為
步驟(1).每個用戶分別獲取各自的音視頻數據並將音頻和視頻各自壓縮；將採集的音頻數據以10 120毫秒為單位分割成音頻數據單元，將每個音頻數據單元壓縮成音頻壓縮包，每個音頻壓縮包標記採集時刻的客戶端機器時間戳；將視頻數據中的每一幀壓縮成視頻壓縮包，每個視頻壓縮包標記採集時刻的客戶端機器時間戳；將每個音頻壓縮包和每個視頻壓縮包發送給伺服器。每個用戶分別獲取各自的音視頻數據的方法包括通過設備採集和從媒體文件中獲取；如通過設備採集，則所述的時間戳為採集的時刻；如從媒體文件中獲取，媒體文件播放或解壓組件會為數據設置時間戳，該時間戳為相對媒體文件開始的時刻，轉換為以當前計算機時刻為標準的時間戳。視頻處理則是將輸入的視頻以幀為單位，使用視頻編碼器壓縮後，根據網絡情況， 切割成適宜傳輸的大小(一般為400 1400個字節)，和該視頻幀的時間戳一起發送給伺服器。為方便接收端排序以及判斷是否在傳輸過程中有丟包現象，音視頻包均帶有序列號。序列號為2位元組遞增，超過最大值後從0重新開始。為提高帶寬較差時的用戶體驗，音視頻數據使用不同的連接來發送，這樣當帶寬不夠時，音頻連接由於數據相對視頻連接比較少，容易得到保障。而我們交互的主要手段是通過音頻，視頻一般來說是輔助手段，這樣做可以讓音頻比較流暢，減少對用戶的影響。步驟O).伺服器將接收到的每個用戶的音頻壓縮包解壓後混音，然後在混音結果中記錄所有參與混音的音頻壓縮包對應的時間戳，壓縮成混音壓縮包，發送給客戶端；視頻壓縮包直接發送給客戶端。
N個用戶U1、U2、…、UN，每個用戶有一路音頻，共有N路音頻，分別為Al、A2、…、 AN ；伺服器需要混音出N+1路音頻，分別是
第0路.包含了所有音頻，記為M0、 第1路.除Al外其他所有音頻，記為Ml、
第2路.除A2外其他所有音頻，記為M2、 * * *、
第N路.除AN外其他所有音頻，記為麗。生成的每路音頻都需要將其對應的N或N-I路源音頻的時間戳寫入這路音頻中， 該音頻包將會有N或N-I個時間戳，以及這些時間戳所對應的源音頻。例如MO將會包含 (Ul, Al) (U2，A2)…(UN，AN)，Ml 將會包含(U2，A2) (U3, A3)…(UN，AN)。生成這N+1路音頻後，將MO發送給所有沒有發送音頻的用戶，Ml發送給U1，M2發送給U2，以此類推，發送給每個用戶的音頻內容都不包含該用戶的音頻，即避免在該用戶喇叭中產生回聲。步驟(3).每個客戶端接收到混音壓縮包和視頻壓縮包後，將混音壓縮包解壓後順序播放，然後根據音頻驅動視頻的原則，顯示對應視頻壓縮包中的視頻幀。每個客戶端接收到的內容為一路混音壓縮包和伺服器轉發的N路視頻壓縮包；播放時通過音頻驅動視頻進行，即每播放一個音頻壓縮包，記錄該音頻壓縮包中包含的所有時間戳(U，A)···;播放X用戶的視頻時，取出該路視頻待播放的一幀對應的視頻時間戳(UX， VX),同時取出最近播放過的音頻幀的同一用戶的時間戳(UX，ΑΧ)，對VX和AX進行比較，若 VX大於等於ΑΧ，則表示視頻內容已經在音頻內容之後了，可以播放，而若VX小於ΑΧ，根據音頻驅動視頻原則，表示這個視頻幀還沒有到播放的時刻，因此需要等待下一次的播放判斷來決定是否可以播放。網絡傳輸的不確定性比較強，主要表現有以下幾點數據包亂序和接收延時的不確定性。通過TCP發送數據時，不同連接發出的數據在接收時可能會與發送的順序不同，通過UDP發送數據時，不同的數據包到達的順序也是不能保證的，這是數據包的亂序特性。無論使用TCP還是UDP，發出的數據包到達對方計算機所消耗的時間都是不確定的，會隨著網絡傳輸質量狀況而變化，一般可能在1毫秒到500毫秒內波動，網絡差的時候甚至有可能達到數秒鐘。由於以上兩個特性，需要對接收到的音視頻數據分別進行排序和緩衝處理。排序的依據是數據包中的序列號，緩衝的時間將根據網絡延遲決定。網絡延遲越小，表示網絡狀況越好，那麼可以適當減少緩衝的音頻數據，來獲取更好的實時性。網絡延遲越大，表示網絡狀況越差，那麼我們將暫停播放，直到緩衝的音頻數據時長等於網絡延時的時長，這樣雖然犧牲了實時性，但是提高了播放的流暢度，減少播放的時候由於緩衝過短，數據被播放完後沒有數據可用造成的一卡一卡的現象。
權利要求
1. 一種多路音視頻同時播放時處理音視頻同步的方法，其特徵在於該方法的具體步驟是步驟(1).每個用戶分別獲取各自的音視頻數據並將音頻和視頻各自壓縮；將採集的音頻數據以10 120毫秒為單位分割成音頻數據單元，將每個音頻數據單元壓縮成音頻壓縮包，每個音頻壓縮包標記採集時刻的客戶端機器時間戳；將視頻數據中的每一幀壓縮成視頻壓縮包，每個視頻壓縮包標記採集時刻的客戶端機器時間戳；將每個音頻壓縮包和每個視頻壓縮包發送給伺服器；每個用戶分別獲取各自的音視頻數據的方法包括通過設備採集和從媒體文件中獲取； 如通過設備採集，則所述的時間戳為採集的時刻；如從媒體文件中獲取，媒體文件播放或解壓組件會為數據設置時間戳，該時間戳為相對媒體文件開始的時刻，轉換為以當前計算機時刻為標準的時間戳；步驟O).伺服器將接收到的每個用戶的音頻壓縮包解壓後混音，然後在混音結果中記錄所有參與混音的音頻壓縮包對應的時間戳，壓縮成混音壓縮包，發送給客戶端；視頻壓縮包直接發送給客戶端；N個用戶U1、U2、…、UN，每個用戶有一路音頻，共有N路音頻，分別為A1、A2、…、AN; 伺服器需要混音出N+1路音頻，分別是 第0路.包含了所有音頻，記為M0、 第1路.除Al外其他所有音頻，記為Ml、 第2路.除A2外其他所有音頻，記為M2、第N路.除AN外其他所有音頻，記為麗；生成的每路音頻都需要將其對應的N或N-I路源音頻的時間戳寫入這路音頻中，該音頻包將會有N或N-I個時間戳，以及這些時間戳所對應的源音頻；生成這N+1路音頻後，將MO發送給所有沒有發送音頻的用戶，Ml發送給U1，M2發送給 U2，以此類推，發送給每個用戶的音頻內容都不包含該用戶的音頻；步驟(3).每個客戶端接收到混音壓縮包和視頻壓縮包後，將混音壓縮包解壓後順序播放，然後根據音頻驅動視頻的原則，顯示對應視頻壓縮包中的視頻幀；每個客戶端接收到的內容為一路混音壓縮包和伺服器轉發的N路視頻壓縮包；播放時通過音頻驅動視頻進行，即每播放一個音頻壓縮包，記錄該音頻壓縮包中包含的所有時間戳(U，A);播放X用戶的視頻時，取出該路視頻待播放的一幀對應的視頻時間戳(UX，VX)，同時取出最近播放過的音頻幀的同一用戶的時間戳(UX，AX)，對VX和AX進行比較，若VX大於等於AX，則表示視頻內容已經在音頻內容之後了，可以播放，而若VX小於AX，根據音頻驅動視頻原則，表示這個視頻幀還沒有到播放的時刻，等待下一次的播放判斷來決定是否可以播放。
全文摘要
本發明涉及一種多路音視頻同時播放時處理音視頻同步的方法。傳統的音視頻同步技術不能滿足多人溝通應用對多路音視頻同時進行同步的要求。本發明方法中每個用戶分別獲取各自的音、視頻數據並壓縮成音、視頻壓縮包，每個音、視頻壓縮包標記時間戳，發送給伺服器；伺服器將接收到的每個用戶的音頻壓縮包解壓後混音，在混音結果中記錄所有參與混音的音頻壓縮包對應的時間戳，壓縮成混音壓縮包，發送給客戶端，視頻壓縮包直接發送給客戶端；每個客戶端接收到混音壓縮包和視頻壓縮包後，將混音壓縮包解壓後順序播放，然後根據音頻驅動視頻的原則，顯示對應視頻壓縮包中的視頻幀。本發明方法能夠完整地保存所有音頻和視頻之間的同步關係。
文檔編號H04N7/52GK102364952SQ20111032716
公開日2012年2月29日 申請日期2011年10月25日 優先權日2011年10月25日
發明者李群巍, 胡開荊 申請人:浙江萬朋網絡技術有限公司