一種多通道音視頻同步播放處理方法
2023-06-21 09:34:01
一種多通道音視頻同步播放處理方法
【專利摘要】本發明涉及視頻監控領域，提供一種可快速處理多通道音視頻流、實現多通道音視頻同步播放控制的多通道音視頻同步播放處理方法，包括以下步驟：建立以共同的參考時間戳T為相對起點的時間戳標記軸T1-Tn秒；建立由雙向幀鍊表與數據流緩存隊列構成的幀通道處理視頻通道數據；建立由雙向幀鍊表與數據流緩存隊列構成的幀通道處理音頻通道數據；多通道音視頻同步播放控制，計算所有幀通道相對起始播放時間T1和結束時間Tn，調整所有幀通道參考時間和幀編號，填充空幀，使每個幀通道的數據從同一個參考時間時間點T1開始到參考時間Tn結束，當所有幀通道中的當前幀均有數據時即可播放當前幀，並移動到下一個幀等待播放，依此控制逐幀同步播放。
【專利說明】一種多通道音視頻同步播放處理方法
【技術領域】
[0001] 本發明涉及視頻監控領域，特別涉及一種多通道音視頻同步播放處理方法。
【背景技術】
[0002] 目前，在傳統遠程車載視頻終端中，音頻採集和視頻採集是由不同的硬體設備完 成的，因此音頻數據和視頻數據在存儲和傳輸上是分離的。這就要求監控中心進行視頻監 控展現時必須進行音視頻播放的同步控制。現有技術使用的方法是給每個視頻和音頻數據 包打上時間戳，通過時間戳匹控制音視頻的播放時間和播放速度，實現時間上的同步。這種 方法是最常用的方法，在單通道視頻和音頻的情況下，完全能夠滿足日常需要。但是隨著無 線網絡帶寬和傳輸速率的不斷升級，以及人們對車輛運輸安全意識的不斷提高，一輛車動 輒4路，甚至8路、16路音視頻通道。通過多路攝像頭和音頻的同步播放，實現對車輛周圍 環境多個視野角度的同步實時視頻監控和視頻錄像回放成為了最基本的要求。但是由於每 路音視頻通道的工作狀態、數據採集時間間隔、網絡傳輸延遲等因素影響，導致音視頻時間 分布各異，可以說從數據源頭上音視頻數據就是不同步的。對此，簡單基於時間戳實現的音 視頻同步控制方法，隨著通道數的增加，不僅實現複雜，而且難度也越來越高，同時性能和 播放效果也差強人意，更不用說實現多通道音視頻同步快進快退和同步跳轉播放這些難度 更大的功能了。因而如何實現多通道音視頻不同步數據源的同步播放是現有技術急需解決 的難題。
【發明內容】
[0003] 因此，針對上述的問題，本發明提出一種結構簡單、可快速處理多通道音視頻流、 實現多通道音視頻的同步播放控制、技術成本不受音視頻通道數量的影響、播放效果好、具 有良好的可擴展性以及有效減少後續的研發和維護成本的多通道音視頻同步播放處理方 法。
[0004] 為解決此技術問題，本發明採取以下方案：一種多通道音視頻同步播放處理方法， 多通道音視頻數據同步處理包括以下步驟：
[0005] (1)、設定各個音頻、視頻通道對應的音頻、視頻數據基於同一個參考時鐘的時間 戳T標記軸T 1-Tn秒，η為自然數；
[0006] (2)、一個以上視頻通道數據處理，其處理包括，a、為每個視頻通道建立一個基於 時間戳T標記軸T 1-Tn秒排列的雙向幀鍊表T1' -Tn'，n為自然數，該雙向幀鍊表T1' -Tn' 的每一個結點V代表相對起始時間第Tn秒時間周期的結點，每個結點V根據每秒視頻 幀率F等量分割成F個幀A-fV，F為自然數，每個結點V內的每個幀f F包含幀地址A、幀 長度L、幀編號N和關鍵幀編號K，幀地址A表示當前幀在視頻數據流緩存隊列中的偏移地 址；幀長度L表示當前幀的大小；幀編號N表示幀在當前雙向幀鍊表中的唯一編號，即從第 1秒V的第一個幀從1開始累加；關鍵幀編號K表示當前幀之前距離當前幀最近的一 個關鍵幀的幀編號；根據雙向幀鍊表中的幀編號N建立視頻數據流緩存隊列A-f；，該視頻 數據流緩存隊列fi-f;用於緩存連續的視頻數據裸流；b、將各個視頻通道接收的視頻數據 流分別接收、逐幀解析並將各視頻幀數據存儲至各個視頻數據流緩存隊列frf;中，同時將 存儲在視頻數據流緩存隊列fi-f；中的視頻幀數據根據時間戳將視頻幀數據的幀地址A、幀 長度L、幀編號N和關鍵幀編號K映射至對應時間戳的雙向幀鍊表的對應幀結構，即對接收 到的視頻流數據進行逐幀解析，每解出一個視頻幀數據，則按照如下步驟進行處理：①、將 視頻幀數據保存到對應視頻流數據緩存隊列fi-f；中，同時記錄該視頻幀數據的偏移地址A 和幀長度L，並累加當前幀編號N ;②、如果該視頻幀數據是關鍵幀則更新最新關鍵幀編號 K為當前幀編號N ;③、根據每一視頻幀數據的時間戳T映射並保存到雙向幀鍊表對應幀結 構，填充屬性值幀地址A、幀長度L、幀編號N和關鍵幀編號K ;
[0007] (3)、一個以上音頻通道數據處理，其處理包括，a、為每個音頻通道建立一個基於 時間戳T標記軸T 1-Tn秒排列的雙向幀鍊表T1" -Tn"，η為自然數，該雙向幀鍊表T1" -Tn" 的每一個結點Tn"代表相對起始時間第Tn秒時間周期的結點，每個結點T n"根據每秒視頻 幀率F等量分割成F個幀f/ -f/，F為自然數，每個結點Tn"內的每個幀f/包含幀地址 、幀長度L'、幀編號N'和關鍵幀編號Γ，幀地址A'表示當前幀在音頻數據流緩存隊 列中的偏移地址；幀長度U表示當前幀的大小；幀編號K表示幀在當前雙向幀鍊表中的 唯一編號，即從第1秒的第一個幀從1開始累加；關鍵幀編號Γ表示當前幀之前距離當前 幀最近的一個關鍵幀的幀編號；根據雙向幀鍊表中的幀編號N'建立音頻數據流緩存隊列 f/ -f/，該音頻數據流緩存隊列f/ -f/用於緩存連續的音頻數據裸流；b、根據音頻採 樣頻率P Hz、採樣值B bit、採樣周期T毫秒和視頻幀率F fps，通過公式：
【權利要求】
1. 一種多通道音視頻同步播放處理方法，其特徵在於：多通道音視頻數據同步處理包 括以下步驟： (1) 、設定各個音頻、視頻通道對應的音頻、視頻數據基於同一個參考時鐘的時間戳T 標記軸T1-Tn秒，η為自然數； (2) 、一個以上視頻通道數據處理，其處理包括，a、為每個視頻通道建立一個基於時間 戳T標記軸T1-T n秒排列的雙向幀鍊表T1' -Tn'，η為自然數，該雙向幀鍊表T1' -Tn'的 每一個結點V代表相對起始時間第Tn秒時間周期的結點，每個結點V根據每秒視頻幀 率F等量分割成F個幀A-fV，F為自然數，每個結點V內的每個幀f F包含幀地址Α、幀長 度L、幀編號N和關鍵幀編號K，幀地址A表示當前幀在視頻數據流緩存隊列中的偏移地址； 幀長度L表示當前幀的大小；幀編號N表示幀在當前雙向幀鍊表中的唯一編號，即從第1秒 V的第一個幀從1開始累加；關鍵幀編號K表示當前幀之前距離當前幀最近的一個關 鍵幀的幀編號；根據雙向幀鍊表中的幀編號N建立視頻數據流緩存隊列A-f；，該視頻數據 流緩存隊列fi-f；用於緩存連續的視頻數據裸流；b、將各個視頻通道接收的視頻數據流分 別接收、逐幀解析並將各視頻幀數據存儲至各個視頻數據流緩存隊列fi-f N中，同時將存儲 在視頻數據流緩存隊列fi-f；中的視頻幀數據根據時間戳將視頻幀數據的幀地址A、幀長度 L、幀編號N和關鍵幀編號K映射至對應時間戳的雙向幀鍊表的對應幀結構，即對接收到的 視頻流數據進行逐幀解析，每解出一個視頻幀數據，則按照如下步驟進行處理：①、將視頻 幀數據保存到對應視頻流數據緩存隊列A-f；中，同時記錄該視頻幀數據的偏移地址A和幀 長度L，並累加當前幀編號N ;②、如果該視頻幀數據是關鍵幀則更新最新關鍵幀編號K為當 前幀編號N ;③、根據每一視頻幀數據的時間戳T映射並保存到雙向幀鍊表對應幀結構，填 充屬性值幀地址A、幀長度L、幀編號N和關鍵幀編號K ; (3) 、一個以上音頻通道數據處理，其處理包括，a、為每個音頻通道建立一個基於時間 戳T標記軸T1-T n秒排列的雙向幀鍊表T1" -Tn"，η為自然數，該雙向幀鍊表T1" -Tn"的 每一個結點Tn"代表相對起始時間第Tn秒時間周期的結點，每個結點T n"根據每秒視頻幀 率F等量分割成F個幀f/ -f/，F為自然數，每個結點Tn"內的每個幀f/包含幀地址 、幀長度L'、幀編號N'和關鍵幀編號Γ，幀地址A'表示當前幀在音頻數據流緩存隊 列中的偏移地址；幀長度U表示當前幀的大小；幀編號K表示幀在當前雙向幀鍊表中的 唯一編號，即從第1秒的第一個幀從1開始累加；關鍵幀編號Γ表示當前幀之前距離當前 幀最近的一個關鍵幀的幀編號；根據雙向幀鍊表中的幀編號N'建立音頻數據流緩存隊列 f/ -f/，該音頻數據流緩存隊列f/ -f/用於緩存連續的音頻數據裸流；b、根據音頻採 樣頻率P Hz、採樣值Bbit、採樣周期T毫秒和視頻幀率F fps，通過公式計 Γ*8 F 算出音頻幀固定值L Byte ;c、接收並解碼音頻流數據進行處理，按照上一步b中計算出的 音頻幀大小L對解碼後的音頻流數據進行等量分割，每次取L長度的音頻流數據為一個音 頻幀，並按照如下步驟進行處理：①、將音頻幀數據保存到音頻數據流緩存隊列中，記錄偏 移地址A'和幀長度L'，並累加當前幀編號N';②、根據每一音頻幀數據的時間戳T映射 並保存到雙向幀鍊表對應幀結構，填充屬性值幀地址A'、幀長度L'、幀編號N'和關鍵幀 編號K'，其中音頻幀的關鍵幀編號Γ等同自身幀編號N'; (4) 、多通道音視頻同步播放控制，定義各個音頻、視頻通道上的雙向幀鍊表與數據流 緩存隊列構成的一個幀通道，從而基於時間戳標記軸與各個幀通道進行同步播放控制，同 步控制步驟：a、計算所有幀通道的相對起始參考時間，通過構建各個幀通道得出每個幀通 道的起始參考時間TK，定義所有幀通道中最小起始參考時間T k為所有幀通道的最大相對起 始播放時間TK_MIN ;b、以上一步啊中得出的Tmin作為公有參考時間，調整所有幀通道的參考 時間和幀編號，在每個幀通道的雙向幀鍊表的頭部依次填充T K*F-TK_MIN*F個空幀，保證每個 幀通道的數據從同一個時間點開始播放，之後對各個幀通道的所有幀編號N通過調整公式 N = N+Tk*F-Tk_min*F進行調整；c、實現同步播放控制，即當所有幀通道中的當前幀均有數據 時即可開始同步播放，當某個幀通道數據已經接受完畢但其他通道還有數據時，則播放到 大於該幀通道最大幀編號的幀時，對該幀通道後續默認填充空幀，以保證其他幀通道的幀 正常播放，同時保證所有幀通道的長度相等。
2. 根據權利要求1所述的一種多通道音視頻同步播放處理方法，其特徵在於：步驟（2) 和（3)中時間戳T與雙向幀鍊表的映射規則如下：如果是該視頻或音頻通道收到的第一視 頻或音頻幀數據，則將該視頻或音頻幀數據對應到T 1中的，同時記錄該視頻或音頻通道 的初始參考時間Tk ;否則，根據公式 T = t-TK (單位：秒）計算出該視頻或音頻幀數據在t秒時時間戳T對應映射的雙向幀 鍊表結點Tt，在Tt中按照時間戳T先後順序依次填充到雙向鍊表幀結點Tt的f中，如果雙 向鍊表幀結點T t中的f已佔滿，則順延到下一個雙向鍊表幀結點Tt+1中。
3. 根據權利要求1所述的一種多通道音視頻同步播放處理方法，其特徵在於：所述步 驟（4)中實現同步播放控制時，可設定緩衝等待時間進行緩衝，即當開始播放或者播放到 某一個幀時發現其中某個幀通道的該幀為空時，可等待該通道緩衝一部分幀後繼續同步播 放。
4. 根據權利要求1所述的一種多通道音視頻同步播放處理方法，其特徵在於：所述雙 向幀鍊表可進行結點的雙向遍歷。
5. 根據權利要求1所述的一種多通道音視頻同步播放處理方法，其特徵在於：所述多 通道音視頻數據可以是多個音頻通道或多個視頻通道或多個音頻通道和多個視頻通道結 合的任一種。
6. 根據權利要求1所述的一種多通道音視頻同步播放處理方法，其特徵在於：所述步 驟（4)中，當某個幀通道對應的時間戳內沒有數據時，填充空幀，保證各個幀通道之間長度 相等。
7. 根據權利要求1所述的一種多通道音視頻同步播放處理方法，其特徵在於：所述步 驟（4)中，所述所有幀通道中的當前幀均有數據時是指當前幀編號對應的位置有幀數據， 其中的幀數據是指真實的音視頻幀數據或者空幀。
8. 根據權利要求1所述的一種多通道音視頻同步播放處理方法，其特徵在於：所述步 驟（4)中對於空幀的播放處理是，重複播放離空幀最近的前一個非空幀數據，直到下一個 非空幀數據。
9. 根據權利要求1所述的一種多通道音視頻同步播放處理方法，其特徵在於：所述視 頻數據流緩存隊列緩存的是解碼前的視頻幀數據，所述音頻數據流緩存隊列緩存的是解碼 後的音頻數據流。
【文檔編號】H04N21/8547GK104378675SQ201410741040
【公開日】2015年2月25日 申請日期:2014年12月8日 優先權日:2014年12月8日
【發明者】王國清, 林文山, 陳輝, 夏歡 申請人:廈門雅迅網絡股份有限公司