一種多線程的音視頻同步控制方法及系統的製作方法
2023-05-01 13:26:21
專利名稱：一種多線程的音視頻同步控制方法及系統的製作方法
技術領域：
本發明屬於數字音視頻技術領域，涉及一種多線程的音視頻同步控制方法及系統。
背景技術：
目前流行的視頻編解碼標準，例如MPEG-1、MPEG-2、MPEG-4、H.26x等都是採用傳統的混合編碼結構，該結構採用時間和空間的預測、變換、量化和熵編碼方法，將視頻幀編碼為不同的幀類型:幀內預測幀(I幀)、幀間預測幀(P幀)和雙向預測幀(B幀)，這必將導致視頻解碼速度因視頻內容而有所不同，而視頻的播放幀率是固定的，從而導致了視頻解碼速度與顯示速度不匹配等問題，而且音頻和視頻是分開編碼和傳輸，而在播放時要求同步輸出，如果不採用比較好的控制方法，很容易導致音視頻輸出不同步的現象。解決這個問題的方法，現有技術一般是採用較大的緩衝區來緩衝編碼數據和編碼後的圖像和音頻幀。由於圖像內容的不確定性又給緩衝區大小的確定帶來了困難，緩衝區太小則數據溢出，緩衝區太大又造成內存空間的浪費。
發明內容
為了解決現有技術所存在的以上問題，本發明的目的在於提供了一種多線程的音視頻同步控制方法，所述方法採用作業系統信號量、條件變量、系統層定義的節目參考時鐘PCR(Program Clock Reference)和顯不時間戮PTS(Presentation Time Stamp),從而使得音視頻在同一的本地系統時鐘STC (System Time clock)的參考下按照PTS時刻嚴格輸出，從而實現了音視頻同步播放。本發明的另一 目的在於提供一種多線程的音視頻同步控制系統。本發明的目的通過以下技術方案實現:一種多線程的音視頻同步控制方法，包括以下步驟:步驟1、創建五個線程，分別是解復用線程、音頻解碼線程、視頻解碼線程、音頻同步輸出線程和視頻同步輸出線程；步驟2、啟動解復用線程完成對系統層的傳輸流或節目流的解復用處理，將傳輸流或節目流拆分成音頻基本流、視頻基本流以及時間信息；然後將音頻基本流插入音頻基本流隊列尾部，將視頻基本流插入視頻基本流隊列尾部，激活解碼線程；若音頻基本流隊列或視頻基本流隊列溢出則解復用線程掛起等待；步驟3、啟動音頻解碼線程和視頻解碼線程分別解碼音頻基本流隊列和視頻基本流隊列中的比特流，並將時間信息和解碼後的音頻數據和圖像數據，分別插入音頻輸出隊列尾部和視頻輸出隊列尾部，激活音頻輸出線程或視頻輸出線程；若音頻輸出隊列或視頻輸出隊列溢出則解碼線程掛起等待；步驟4、啟動音頻同步輸出線程和視頻同步輸出線程，根據解碼後的時間戳與本地系統時鐘的差值，選擇符合輸出時間的數據進行輸出；並根據視頻與音頻的時間戳的差值，對視頻播放進行重複與跳幀處理，從而使得音視頻同步輸出。在上述控制方法中，步驟2所述激活解碼線程通過對信號量進行P操作完成。在上述控制方法中，步驟3所述激活音頻輸出線程或視頻輸出線程通過激活條件變量完成。在上述控制方法中，步驟3所述的音頻解碼過程如下:(a)音頻解碼線程阻塞於音頻信號量，在解復用線程激活信號量後開始解碼；(b)對音頻基本流隊列頭的音頻基本流進行解碼；(C)將解碼後一幀音頻數據插入音頻輸出隊列尾部，並激活音頻輸出條件變量；
(d)將音頻基本流隊列中的時間戳值保存在音頻輸出隊列對應節點中；所述音頻輸出隊列通過該隊列的長度判斷其是否溢出，若音頻輸出隊列溢出則音頻解碼線程掛起等待；步驟3所述的視頻解碼過程如下:(a)視頻解碼線程阻塞於視頻信號量，在解復用線程激活信號量後開始解碼；(b)對視頻基本流隊列頭的視頻基本流進行解碼；(c)將解碼後的一幀圖像數據插入視頻輸出隊列尾部，並激活視頻輸出條件變量；(d)將視頻基本流隊列中的時間戳值保存在視頻輸出隊列對應節點中；所述視頻輸出隊列通過該隊列的長度判斷其是否溢出，若視頻輸出隊列溢出則視頻解碼線程掛起等待。在上述控制方法中，步驟4所述的音頻輸出過程如下:(a)音頻輸出線程阻塞於音頻輸出條件變量；(b)在音頻解碼線程激活條件變量後，計算當前時刻的本地系統時鐘；
(c)查找音頻輸出隊列中時間戳值與本地系統時鐘值最接近的隊列節點，將該隊列節點的音頻數據輸出；步驟4所述的視頻輸出過程如下:(a)視頻輸出線程阻塞於視頻輸出條件變量；(b)在視頻解碼線程激活條件變量後，計算當前時刻的本地系統時鐘；(c)查找視頻輸出隊列中時間戳值與本地系統時鐘值最接近的隊列節點，計算視頻時間戳值與音頻時間戳值的差值，如果視頻時間戳值大於音頻時間戳值，則重複顯示該隊列節點中的圖像，如果視頻時間戳值小於音頻時間戳值，則跳過該隊列節點。 在上述控制方法中，步驟2與步驟3線程間的同步處理採用的是信號量機制，通過對信號的PV操作協調解復用線程與解碼線程間的同步。在上述控制方法中，步驟3與步驟4線程間的同步處理採用的是條件變量，通過激活條件變量協調解碼線程與輸出線程間的同步。本發明的另一目的採用如下技術方案實現:一種多線程的音視頻同步控制系統，包括解復用模塊、音頻解碼器、視頻解碼器、音頻同步輸出模塊、視頻同步輸出模塊、用於保存首頻基本流的首頻基本流隊列、用於保存視頻基本流的視頻基本流隊列、用於保存解碼後的音頻數據的音頻輸出隊列、用於保存解碼後的視頻數據的視頻輸出隊列；其中解復用模塊用於對系統層的傳輸流或節目流進行解復用，將其拆分成音頻基本流和視頻基本流後分別插入音頻基本流隊列和視頻基本流隊列，並獲取相應的時間戳；音頻解碼器和視頻解碼器分別對音頻基本流隊列和視頻基本流隊列中的數據進行解碼，將解碼後的音頻數據和視頻數據分別插入音頻輸出隊列和視頻輸出隊列；音頻輸出模塊、視頻輸出模塊根據解碼後數據的時間戳與本地系統時鐘的差值，選擇符合輸出時間的數據進行輸出，並根據視頻與音頻的時間戳的差值，對視頻播放進行重複與跳幀處理。本發明由於採用了上述技術方案，不僅有效地實現了音視頻的同步輸出，而且不需要緩衝大量的視頻編碼數據和音頻圖像數據，從而很大程度地降低了對系統資源的使用，適合於嵌入式平臺 ；此外軟體架構採用並行處理，運行效率高，實現複雜度低。
圖1是本發明的多線程控制流程 圖2是本發明的系統框圖。
具體實施例方式下面結合實施例及附圖對本發明作進一步詳細的描述，但本發明的實施方式不限於此。本發明多線程的音視頻同步控制方法是基於嵌入式Linux作業系統的平臺開發與實現的，由作業系統對音視頻傳輸流或節目流進行多線程的並行處理，其具體實施過程如圖1所示，包括下述步驟:
步驟1、創建五個線程，分別是解復用線程、音頻解碼線程、視頻解碼線程、音頻同步輸出線程和視頻同步輸出線程。步驟2、啟動解復用線程完成對系統層的傳輸流或節目流的解復用處理，將傳輸流或節目流拆分成音頻基本流、視頻基本流以及時間信息；然後將音頻基本流插入音頻基本流隊列尾部，將視頻基本流插入視頻基本流隊列尾部，激活解碼線程；若音頻基本流隊列或視頻基本流隊列溢出則解復用線程掛起等待。對於傳輸流，本步驟所述的音頻基本流和視頻基本流是通過PID值(進程標識符)區分的，首先解析PID值為0x00的數據包，從該數據包中的節目關聯表PAT獲得各個節目的節目映射表PMT的PID值，解碼某個節目則解析該節目對應的節目映射表，從而獲得該節目中音頻基本流的PID值以及視頻基本流的PID值，然後接收相應PID值的數據包，將數據重組成PES (Packetized Elementary Streams,帶有包頭的基本碼流)分組後插入基本流隊列。對於節目流，則是通過各個PES數據分組中的Stream ID (流標識符)標誌位區分音頻和視頻基本流。本步驟所述的時間信息是指PES分組中的時間戳PTS與節目參考時鐘PCR，將解析得到的PTS值保存在相應的隊列節點中。解復用線程在將一整個PES分組的基本流插入基本流隊列後，對信號量進行P操作(即對信號量申請資源)來激活解碼線程；所述音頻基本流隊列或視頻基本流隊列通過該隊列的長度判斷其是否溢出，若溢出則解復用線程掛起等待。步驟3、啟動音頻解碼線程和視頻解碼線程分別解碼音頻基本流隊列和視頻基本流隊列中的比特流，並將時間信息和解碼後的音頻數據和圖像數據，分別插入音頻輸出隊列尾部和視頻輸出隊列尾部，激活音頻輸出線程或視頻輸出線程，若音頻輸出隊列或視頻輸出隊列溢出則解碼線程掛起等待。其中解碼後的音頻數據為PCM數據(Pulse CodeModulation,脈衝調製編碼數據)。本步驟所述的音頻解碼過程如下:(a)音頻解碼線程阻塞於音頻信號量，在解復用線程激活信號量後開始解碼；(b)對音頻基本流隊列頭的音頻基本流進行解碼；(c)將解碼後一幀音頻PCM數據插入音頻輸出隊列尾部，並激活音頻輸出條件變量；(d)將音頻基本流隊列中的時間戳PTS值保存在音頻輸出隊列對應節點中；所述音頻輸出隊列通過該隊列的長度判斷其是否溢出，若音頻輸出隊列溢出則音頻解碼線程掛起等待。
本步驟所述的視頻解碼過程如下:(a)視頻解碼線程阻塞於音頻信號量，在解復用線程激活信號量後開始解碼；(b)對視頻基本流隊列頭的視頻基本流進行解碼；(C)將解碼後的一幀圖像數據插入視頻輸出隊列尾部，並激活視頻輸出條件變量；(d)將視頻基本流隊列中的時間戳PTS值保存在視頻輸出隊列對應節點中；所述視頻輸出隊列通過該隊列的長度判斷其是否溢出，若視頻輸出隊列溢出則視頻解碼線程掛起等待。步驟4、啟動音頻同步輸出線程和視頻同步輸出線程，根據解碼後的時間戳與本地系統時鐘的差值，選擇符合輸出時間的數據進行輸出；並根據視頻與音頻的時間戳的差值，對視頻播放進行重複與跳幀處理，從而使得音視頻同步輸出。本步驟所述的音頻輸出過程由以下步驟實現:(a)音頻輸出線程阻塞於音頻輸出條件變量；(b)在音頻解碼線程激活條件變量後，計算當前時刻的本地系統時鐘STC ； (C)查找音頻輸出隊列中時間戳PTS值與STC值最接近的隊列節點，將該隊列節點的音頻PCM數據輸出。
本步驟所述的視頻輸出過程由以下步驟實現:(a)視頻輸出線程阻塞於視頻輸出條件變量；(b)在視頻解碼線程激活條件變量後，計算當前時刻的本地系統時鐘STC ； (c)查找視頻輸出隊列中PTS值與STC值最接近的隊列節點，計算視頻PTS與音頻PTS的差值，如果視頻PTS值大於音頻PTS值，則重複顯示該隊列節點中的圖像，如果視頻PTS值小於音頻PTS值，則跳過該隊列節點。步驟2與步驟3線程間的同步處理採用的是信號量機制，通過對信號的PV操作協調解復用線程與解碼線程間的同步，其中PV操作由p操作(即信號量加一)和V操作(即信號量減一，若信號量為零則掛起線程)組成。步驟2和步驟3緩衝基本流數據與解碼後的數據採用的是隊列，在隊列尾插入數據，在隊列頭對數據進行解碼。步驟3與步驟4線程間的同步處理採用的是條件變量，即通過激活條件變量來激活相應的輸出線程。
本發明採用多線程的音視頻同步控制系統來實現上述控制方法。如圖2所示，本發明控制系統包括解復用模塊、音頻解碼器、視頻解碼器、音頻同步輸出模塊、視頻同步輸出模塊、用於保存音頻基本流的音頻基本流隊列、用於保存視頻基本流的視頻基本流隊列、用於保存解碼後的音頻數據的音頻輸出隊列、用於保存解碼後的視頻數據的視頻輸出隊列，其中解復用模塊用於對系統層的傳輸流或節目流進行解復用，將其拆分成音頻基本流和視頻基本流後分別插入音頻基本流隊列和視頻基本流隊列，並獲取相應的時間戳；音頻解碼器和視頻解碼器分別對音頻基本流隊列和視頻基本流隊列中的數據進行解碼，將解碼後的音頻數據和視頻數據分別插入音頻輸出隊列和視頻輸出隊列；音頻輸出模塊、視頻輸出模塊根據解碼後數據的時間戳與本地系統時鐘的差值，選擇符合輸出時間的數據進行輸出，並根據視頻與音頻的時間戳的差值，對視頻播放進行重複與跳幀處理，從而使得音視頻同步輸出。其中解碼後的音頻數據為PCM數據。上述實施例為本發明較佳的實施方式，但本發明的實施方式並不受上述實施例的限制，其他的任何未背離本發明的精神實質與原理下所作的改變、修飾、替代、組合、簡化，均應為等效的置換方式，都包含在本發明的保護範圍之內。
權利要求
1.一種多線程的音視頻同步控制方法，其特徵在於包括以下步驟:步驟1、創建五個線程，分別是解復用線程、音頻解碼線程、視頻解碼線程、音頻同步輸出線程和視頻同步輸出線程； 步驟2、啟動解復用線程完成對系統層的傳輸流或節目流的解復用處理，將傳輸流或節目流拆分成音頻基本流、視頻基本流以及時間信息；然後將音頻基本流插入音頻基本流隊列尾部，將視頻基本流插入視頻基本流隊列尾部，激活解碼線程；若音頻基本流隊列或視頻基本流隊列溢出則解復用線程掛起等待； 步驟3、啟動音頻解碼線程和視頻解碼線程分別解碼音頻基本流隊列和視頻基本流隊列中的比特流，並將時間信息和解碼後的音頻數據和圖像數據，分別插入音頻輸出隊列尾部和視頻輸出隊列尾部，激活音頻輸出線程或視頻輸出線程；若音頻輸出隊列或視頻輸出隊列溢出則解碼線程掛起等待； 步驟4、啟動音頻同步輸出線程和視頻同步輸出線程，根據解碼後的時間戳與本地系統時鐘的差值，選擇符合輸出時間的數據進行輸出；並根據視頻與音頻的時間戳的差值，對視頻播放進行重複與跳幀處理，從而使得音視頻同步輸出。
2.如權利要求1所述的多線程的音視頻同步控制方法，其特徵在於:步驟2所述時間信息包括時間戳。
3.如權利要求1所述的多線程的音視頻同步控制方法，其特徵在於:步驟2所述激活解碼線程通過對信號量進行P操作完成。
4.如權利要求1所述的多線程的音視頻同步控制方法，其特徵在於:步驟3所述激活音頻輸出線程或視頻輸出線程通過激活條件變量完成。
5.如權利要求1所述的多線程的音視頻同步控制方法，其特徵在於: 步驟3所述的音頻解碼過程如下:(a)音頻解碼線程阻塞於音頻信號量，在解復用線程激活信號量後開始解碼；(b)對音頻基本流隊列頭的音頻基本流進行解碼；(c)將解碼後一幀音頻數據插入音頻輸出隊列尾部，並激活音頻輸出條件變量；(d)將音頻基本流隊列中的時間戳值保存在音頻輸出隊列對應節點中；所述音頻輸出隊列通過該隊列的長度判斷其是否溢出，若音頻輸出隊列溢出則音頻解碼線程掛起等待； 步驟3所述的視頻解碼過程如下:(a)視頻解碼線程阻塞於視頻信號量，在解復用線程激活信號量後開始解碼；(b)對視頻基本流隊列頭的視頻基本流進行解碼；(c)將解碼後的一幀圖像數據插入視頻輸出隊列尾部，並激活視頻輸出條件變量；(d)將視頻基本流隊列中的時間戳值保存在視頻輸出隊列對應節點中；所述視頻輸出隊列通過該隊列的長度判斷其是否溢出，若視頻輸出隊列溢出則視頻解碼線程掛起等待。
6.如權利要求1所述的多線程的音視頻同步控制方法，其特徵在於:步驟4所述的音頻輸出過程如下:(a)音頻輸出線程阻塞於音頻輸出條件變量；(b)在音頻解碼線程激活條件變量後，計算當前時刻的本地系統時鐘；(C)查找音頻輸出隊列中時間戳值與本地系統時鐘值最接近的隊列節點，將該隊列節點的音頻數據輸出； 步驟4所述的視頻輸出過程如下:(a)視頻輸出線程阻塞於視頻輸出條件變量；(b)在視頻解碼線程激活條件變量後，計算當前時刻的本地系統時鐘；(C)查找視頻輸出隊列中時間戳值與本地系統時鐘值最接近的隊列節點，計算視頻時間戳值與音頻時間戳值的差值，如果視頻時間戳值大於音頻時間戳值，則重複顯示該隊列節點中的圖像，如果視頻時間戳值小於音頻時間戳值，則跳過該隊列節點。
7.如權利要求1所述的多線程的音視頻同步控制方法，其特徵在於:步驟2與步驟3線程間的同步處理採用的是信號量機制，通過對信號的PV操作協調解復用線程與解碼線程間的同步。
8.如權利要求1所述的多線程的音視頻同步控制方法，其特徵在於:步驟3與步驟4線程間的同步處理採用的是條件變量，通過激活條件變量協調解碼線程與輸出線程間的同止/J/ o
9.一種多線程的音視頻同步控制系統，其特徵在於:包括解復用模塊、音頻解碼器、視頻解碼器、音頻同步輸出模塊、視頻同步輸出模塊、用於保存音頻基本流的音頻基本流隊列、用於保存視頻基本流的視頻基本流隊列、用於保存解碼後的音頻數據的音頻輸出隊列、用於保存解碼後的視頻數據的視頻輸出隊列；其中解復用模塊用於對系統層的傳輸流或節目流進行解復用，將其拆分成首頻基本流和視頻基本流後分別插入首頻基本流隊列和視頻基本流隊列，並獲取相應的時間戳；音頻解碼器和視頻解碼器分別對音頻基本流隊列和視頻基本流隊列中的數據進行解碼，將解碼後的音頻數據和視頻數據分別插入音頻輸出隊列和視頻輸出隊列；音頻輸出模塊、視頻輸出模塊根據解碼後數據的時間戳與本地系統時鐘的差值，選擇符合輸出時間的數據進行輸出，並根據視頻與音頻的時間戳的差值，對視頻播放進行重複與跳幀處理。
10.如權利要求9所述的多線程的音視頻同步控制系統，其特徵在於:所述解碼後的音頻數據為脈衝調製編碼·數據。
全文摘要
本發明涉及多線程的音視頻同步控制方法及系統，其方法包括創建解復用線程、音視頻解碼線程、音視頻同步輸出線程；啟動解復用線程完成對傳輸流或節目流的解復用處理，將音、視頻基本流分別插入音、視頻基本流隊列尾部，激活解碼線程；啟動音、視頻解碼線程分別解碼音、視頻基本流隊列中的比特流，並將時間信息和解碼後的音頻數據和圖像數據，分別插入音、視頻輸出隊列；根據解碼後的時間戳與本地系統時鐘的差值，啟動音、視頻同步輸出線程，選擇符合輸出時間的數據進行輸出；根據視頻與音頻的時間戳差值，對視頻播放進行重複與跳幀處理，使音視頻同步輸出。本發明不需大量內存空間來緩衝數據，運行效率高，實現複雜度低，適用於嵌入式作業系統。
文檔編號H04N21/439GK103237255SQ20131014422
公開日2013年8月7日 申請日期2013年4月24日 優先權日2013年4月24日
發明者陳勇, 王衛東, 吳少校, 喬崇, 祁雲嵩, 徐釗, 孟凡偉 申請人:南京龍淵微電子科技有限公司