視頻通信系統的幀率調節方法
2023-09-12 17:35:25
專利名稱：視頻通信系統的幀率調節方法
技術領域：
本發明涉及視頻通信系統，尤其涉及視頻通信系統中幀頻調節方法。
背景技術：
隨著網絡技術及視頻技術的發展，視頻通信系統得到了迅猛發展。如將視頻通信系統應用於多視頻會議和視頻點播(或交互式電視)等業務中，以提供視頻會議、視頻電話、遠程教學和遠程醫療等各種服務。
在視頻通信系統中，至少包括若干視頻通信終端及連接所述視頻通信終端的網絡。在可視通信過程中，其中一視頻通信終端為視頻圖像數據的發送端，通常存在至少一視頻通信終端為該視頻圖像數據的接收端。對於發送端而言，主要是將視頻圖像數據進行壓縮、編碼並組織碼流後發送。對於接收端而言，主要是接收到的碼流進行解碼、解壓縮後還原成視頻圖像，以達到視頻回放的效果。
在上述視頻通信過程中，視頻圖像的壓縮率決定了視頻圖像的失真率。視頻回放的幀率決定了視頻中物體運動的連續性。並且，由上述兩個方面共同決定觀看視頻的視覺感受的好壞程度。然而，在特定的信道帶寬條件下，獲得較高的視頻幀率與較低的視頻圖像壓縮率是相互矛盾的。即，在一定的信道條件下，若接收端想獲得較佳的視覺效果，則發送端採用的視頻圖像壓縮率低，同時視頻幀率也低；若接收端要求快速獲得視頻圖像，則發送端需採用較高的視頻幀率，視頻圖像採用較高的壓縮率進行壓縮和編碼。
但是，目前多數的視頻通信系統中，發送端並未考慮到接收端對視頻質量的要求，通常採用單一的視頻幀率和壓縮率處理視頻，組織碼流發送給接收端。這樣做有時無法滿足接收端用戶的需求。比如，發送端採用的視頻幀率較低，而接收端的用戶希望能獲得更快速視頻圖像，這樣就無法滿足接收端用戶的需求，而且也過多的佔用了發送端處理器的處理時間，浪費了網絡資源。再比如，發送端採用的視頻頻率較高，而接收端用戶更加偏愛較高的視頻圖像質量，這樣也無法滿足接收端用戶的需求，進而可能需要發送端重新進行壓縮、編碼、組織碼流等處理，由此造成資源浪費。
發明內容
本發明的目的在於提供一種視頻通信系統的頻率調節方法，視頻通信的發送端能夠針對接收端用戶對視頻幀率的要求，以相應的視頻幀率組織碼流，以解決現有技術中發送端決定視頻幀率和壓縮率處理視頻，難以滿足接收端用戶的需求，進而造成資源浪費的技術問題。
為解決上述問題，本發明公開了一種視頻通信系統的幀率調節方法，所述視頻通信系統包括進行視頻圖像數據傳輸的發送端和接收端，包括(1)在所述接收端和發送端分別設定相同的若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式，所述量化方式為圖像編碼過程中採用的預先設定的位平面層數進行量化編碼/解碼；(2)接收端將本終端要求的幀率模式預先發送至發送端；(3)發送端根據接收到的幀率模式，對視頻圖像按照所述幀率模式對應量化方式進行編碼後組織成碼流發送至所述接收端，以便接收端接收碼流，並還原出視頻圖像。
步驟(1)中設置的幀率模式包括清晰模式和流暢模式，其中所述清晰模式對應的視頻圖像的量化方式為在圖像編碼過程中以最大位平面層數進行量化編碼；所述流暢模式對應的視頻圖像的量化方式為根據發送端處理器每秒鐘能夠處理的最大視頻圖像幀率確定的圖像編碼過程中的位平面層數進行量化編碼。
步驟(2)進一步包括所述接收端先將用戶選擇的幀率模式寫入控制命令字，然後將所述控制命令字發送至發送端。
步驟(3)發送端對視頻圖像按照所述幀率模式對應量化方式進行編碼進一步包括將視頻圖像先進行小波變換；並對變換化的小波係數預先設定的位平面層數進行SPIHT量化編碼，從而得到二進位符號流。
所述根據處理器每秒鐘能夠處理的最大視頻圖像幀率確定的位平面層數具體為確定處理器每秒鐘能夠處理的最大視頻圖像幀數為最大幀數；根據所述最大幀率和信道當前帶寬計算每幀圖像編碼的碼流長度；根據所述碼流長度來選擇編碼的位平面層數。
步驟(1)中設置的幀率模式包括平衡模式，所述平衡模式對應的視頻圖像的量化方式為按照當前幀率和信道當前帶寬計算每幀圖像可編碼最大碼流長度，進而確定位平面層數，根據所述確定的位平面層數進行量化編碼。
若選擇平衡模式，則視頻圖像編碼時根據預先確定的位平面層數進行SPIHT編碼。
步驟(3)中還包括所述接收端將根據接收到的碼流和發送端視頻圖像的量化方式對應的方式進行解碼，還原視頻圖像。
與現有技術相比，本發明具有以下優點本發明中的視頻通信終端預先設置若干幀率模式，針對每種幀率模式採用不同的量化編碼方式。在視頻通信過程中，接收端將本端需要的視頻幀率要求預先發送至發送端，發送端則根據接收端的需求，對視頻圖像進行壓縮編碼。不僅滿足了用戶對視頻幀率的要求，而且也充分的利用了信道帶寬，提高了資源利用率，由此避免了下述兩種情況的發生(1)發送端採用的視頻幀率較低，而接收端的用戶更希望獲得高幀率的視頻圖像，由此造成不僅無法滿足接收端用戶的需求，而且降低了發送端的處理器的處理效率，浪費了網絡資源。(2)發送端採用的視頻頻率較高，圖像畫質相對較低，而接收端用戶希望接收到較高畫質的視頻圖像，由此造成無法滿足用戶的需求，進而可能使得發送端重新進行壓縮、編碼、組織碼流等處理，由此造成資源浪費。
圖1為視頻通信系統的原理結構示意圖；圖2為本發明視頻通信系統的幀率調節方法的流程圖；圖3為採用幀率調節的一次通信的流程示意圖；圖4為發送端的視頻壓縮過程的流程示意圖。
具體實施例方式
以下結合附圖，具體說明本發明。
請參閱圖1，視頻通信系統的原理結構示意圖。所述視頻通信系統包括若干視頻通信終端，所述視頻通信終端通過網絡11或其他通信通道建立傳輸連接。為了更好地說明本發明的幀率調節方法，本發明以一個可視通信過程為例。即，視頻通信終端至少包括接收視頻圖像數據的視頻通信終端12(簡稱為接收端)和發送視頻圖像數據的視頻通信終端13(簡稱為發送端)。在實際的通信過程中，經常存在雙向通信，即接收端也做為另一次通信的發送端，而發送端是該次通信的接收端。但是，每一次通信過程幀率調節方法是相同的，因此本發明是以一個通信過程為例來說明本發明的幀率調節方法。
請參閱圖2，本發明視頻通信系統的幀率調節方法流程圖。該方法包括以下步驟S110在所有視頻通信終端上設定相同的若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式，所述量化方式為圖像編碼過程中採用的預先設定的位平面層數進行量化編碼/解碼；
S120接收端將本終端要求的幀率模式預先發送至發送端；S130發送端根據接收到的幀率模式，對視頻圖像按照所述幀率模式對應量化方式進行編碼後，組織碼流發送至所述接收端。
從上述步驟可知，發送端在進行視頻編碼時，預先獲知接收端發送的幀率要求，然後選擇對應的量化方式進行編碼，使得接收端能夠接收到滿足本端用戶預先設定的幀率要求的碼流。
在步驟S110中，接收端和發送端需要預先設定若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式。所述幀率模式即為用戶期望收到的視頻圖像的幀率要求，針對用戶不同的幀率要求設定不同的幀率模式。在本發明可以設置兩種幀率模式清晰模式和流暢模式，其中所述清晰模式為用戶希望收到最佳的圖像質量，則發送端需要以最小的量化誤差進行視頻圖像的編程，使得接收端的用戶獲得最佳的圖像質量。因此對應的視頻圖像的量化方式可以是發送端在圖像編碼過程中以最大位平面層數進行量化編碼，而接收端採用同樣的平面層數進行解碼；所述流暢模式是以視頻編解碼處理器的運算能力(每秒鐘能夠編解碼圖像的最大幀率)為標準選擇量化級數進行視頻編碼，接收端採用相同的量化級數進行視頻解碼。所述流暢模式能夠獲得當前信道帶寬條件下最高的幀率，即最大限度地利用處理器資源，進而使得接收端較快獲得視頻圖像。流暢模式對應的視頻圖像的量化方式為根據發送端處理器每秒鐘能夠處理的最大視頻圖像幀率確定的圖像編碼過程中的位平面數進行量化編碼。
由上可知，清晰模式能使得接收端獲得最佳的圖像質量，流暢模式能使得接收端最快獲得視頻圖像。在背景技術已闡明信道帶寬受限的情況下，獲得較高的視頻幀率與低的視頻圖像壓縮率是相互矛盾的。為此，可以在清晰模式和流暢模式之間還可以設置若干模式。該些模式的視頻幀率是界於清晰模式和流暢模式之間的，同時圖像質量也是界於清晰模式和流暢模式之間的。在本實施例中設置一平衡模式。所述平衡模式對應的視頻圖像的量化方式為按照當前幀率和信道當前帶寬計算每幀圖像編碼碼流長度，進而確定位平面層數，根據所述確定的位平面層數進行量化編碼。需要重申的是，本發明並非局限於上述公開的兩種幀率模式或三種幀率模式，首先設置的幀率模式的個數不受兩種和三種的限制，其次，劃分幀率模式的方式是不受限制。它可以在視頻幀率界於清晰模式和流暢模式之間劃分更多的幀率模式並設定對應的視頻圖像的量化方式。另外，設置的幀率模式也並非一定要包含清晰模式和流暢模式。發送端和接收端可以根據具體情況進行設定。
以下就以發送端和接收端設定三種幀率模式為例，並且以視頻壓縮編碼採用基於小波變換、SPIHT編碼的壓縮方式來具體說明幀率調節過程。請參閱圖3，其為採用幀率調節的一次通信的流程示意圖。
S210每一次需要發送端發送視頻圖像數據至接收端時，發送端預先將本終端要求的幀率模式發送至發送端。比如，接收端可以先將用戶選擇的幀率模式寫入控制命令字，然後通過所述控制命令字發送至發送端。
S220發送端接收到所述控制命令字，從中獲得幀率模式，然後找到對應的量化方式，並對視頻圖像進行壓縮後發送至接收端。
以下以圖4為例，具體說明發送端的視頻壓縮過程。
首先進行步驟S310將視頻圖像的每一幀進行格式轉換，轉換成YUV三個分量，並進行小波變換。小波變換圖像編碼過程為使用一組濾波器族對原始圖像序列進行濾波處理。首先將圖像中每行像素用低通濾波器和高通濾波器進行濾波，對濾波器的輸出結果進行隔點採樣，得到中間圖像L和H。L是原始圖像經過低通濾波器，並在水平方向隔點採樣；H是原始圖像經過高通濾波器，並在水平方向隔點採樣。接下來，對這兩個新產生的圖像的每一列像素進行低通(Ly)和高通(Hy)濾波。並且進行隔點採樣。得到四個子圖像(LL、LH、HL、HH)。這四個子圖像包含了原始圖像的全部信息，但是通過上述的濾波分解，每個子圖像包含的信息重要程度各不相同。對LL子圖像繼續施加上述操作，又將得到四個子圖像。
然後進行步驟S320，對變換化的小波係數進行SPIHT量化編碼，從而得到二進位符號流。用SPIHT算法對變換後的小波係數進行量化編碼，從而得到二進位符號流。圖像信息的損失(稱為量化誤差)主要發生在SPIHT量化編碼階段。分層樹集合分割排序SPIHT(Set Partitioning in Hierarchical Trees)的編碼量化算法，利用小波變換的係數分布特性，對小波係數進行逐次逼近的量化，量化過程中採用一個門限序列T0，T1，……TN-1，來依次確定量化門限值，其中，2T0＞＝|Xmax|，Xmax是小波變換係數中的最大絕對值，門限序列值以2的倍數依次遞減。兩個門限區間之內的量化區間稱作一個位平面。所述SPIHT編碼的位平面數是指從最大量化門限開始，依次遞減量化門限對小波係數進行量化的次數。例如，對位平面數為「5」進行SPIHT量化時，首先以T0為量化門限值進行第一層位平面的量化；然後再以T1為量化門限進行第二層位平面的量化；……量化過程一直進行到第五層位平面，即量化門限取到T4。由此可知，五層位平面的量化門限依次為T0、T1、T2、T3、T4。通常，視頻通信終端預先設置最大位平面層數。
若接收到的幀率模式是清晰模式，則以最大位平面層數進行SPIHT編碼後得到二進位符號流；若是流暢模式，則以根據處理器每秒鐘能夠處理的最大視頻圖像幀率確定的位平面層數進行SPIHT編碼後得到二進位符號流；若選擇平衡模式，則視頻圖像編碼時根據預先確定的位平面層數進行SPIHT編碼。
事實上，在設置清晰模式、流暢模式和平衡模式時，通常設置好對應的視頻圖像的量化方式。在本實施例中，設置好對應的視頻圖像的量化方式是指設置各模式對應的編解碼過程的位平面層數。其中清晰模式將本端支持的最大位平面層數作為在本模式下編解碼過程的位平面層數；
流暢模式是根據以上步驟確定在本模式下編解碼過程的位平面層數(a)確定處理器每秒鐘能夠處理的最大視頻圖像幀數為最大幀數；(b)根據所述最大幀率和信道當前帶寬計算每幀圖像可以編碼的最大碼流長度；(c)根據所述編碼最大碼流長度來選擇SPIHT編碼的位平面層數。
以下舉個應用例，說明上述(a)(b)(c)三個步驟具體是如何確定位平面層數。
步驟(a)對一幀圖像進行編碼，在圖像編碼算法、圖像解析度確定的情況下，處理器所需的計算指令數是可以確定的。因此，當處理器主頻也確定時，可以通過圖像編碼源程序估算出編碼時間，也可以通過在程序中設置硬體定時器來測量處理器編碼一幀圖像的耗時。
「流暢模式」下，幀頻(Hz)＝1÷編碼一幀圖像耗時；步驟(b)視頻通信的連接建立過程中，通信雙方的modem通過協商檢測信道狀況，返回信道當前帶寬。
每幀圖像可以編碼的最大碼流長度(bits)＝信道當前帶寬(bits/s)÷幀頻(Hz)步驟(c)圖像編碼算法可以通過改變圖像編碼的量化級數來調整一幀圖像的編碼碼流長度。因此，執行完成(a)、(b)步驟之後，即確定了滿足幀頻和信道帶寬條件下的圖像編碼最大碼流長度，根據「編碼最大碼流長度」，調整圖像編碼的量化級數(SPHIT算法中的位平面數)，使得圖像編碼碼流長度滿足要求。
所述平衡模式是按照當前幀率和信道當前帶寬計算每幀圖像編碼碼流長度，進而確定位平面層數。
「平衡模式」是在圖像質量和圖像幀頻之間採取的一種折中的方案。平衡模式下的編碼最大碼流長度的確定也需要兩個參數信道當前帶寬(bits/s)和幀頻(Hz)。
「平衡模式」的「幀頻」小於「流暢模式」，幀頻的具體值地確定首先需要根據編碼圖像質量做出主觀和客觀兩方面的評估。
圖像質量的主觀評估需要不同的觀察者對圖像質量做評估，「平衡模式」下，圖像質量應當使評估者感覺較為滿意。客觀評估需要對圖像的信噪比(PSNR)進行統計，本系統規定不低於20dB。
通過主觀和客觀兩方面的評估，可以定義「平衡模式」下的幀頻。
「清晰模式」下的編碼最大碼流長度的確定較為簡單，直接根據SPIHT量化編碼的最高位平面數對圖像進行量化編碼。用這種情況下的編碼碼流解碼重構的圖像質量最佳。
最後進行步驟S330經SPIHT編碼後的二進位符號流按照碼流格式組織成碼流發送至接收端。
S230所述接收端將接收到的碼流根據和發送端視頻圖像的量化方式對應的解碼方式進行解碼，還原視頻圖像。即接收端根據選擇的幀率模式對應的位平面層數進行解碼。
選擇的幀率模式若是清晰模式，則採用最大位平面層數解碼後進行小波變換，以便還原成視頻圖像；選擇的幀率模式若是流暢模式，則採用預先根據處理器能夠處理最大視頻圖像幀數設定的位平面層數解碼後進行小波變換，以便還原成視頻圖像；選擇的幀率模式若是平衡模式，則採用預先設定的位平面層數解碼後進行小波變換，以便還原成視頻圖像。
以上公開的僅為本發明的幾個具體實施例，但本發明並非局限於此，任何本領域人員能思之的變化都應落在本發明的保護範圍內。
權利要求
1.一種視頻通信系統的幀率調節方法，所述視頻通信系統包括進行視頻圖像數據傳輸的發送端和接收端，其特徵在於，包括(1)在所述接收端和發送端分別設定相同的若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式，所述量化方式為圖像編碼過程中採用的預先設定的位平面層數進行量化編碼/解碼；(2)接收端將本終端要求的幀率模式預先發送至發送端；(3)發送端根據接收到的幀率模式，對視頻圖像按照所述幀率模式對應量化方式進行編碼後組織成碼流發送至所述接收端，以便接收端接收碼流，並還原出視頻圖像。
2.如權利要求1所述的視頻通信系統的幀率調節方法，其特徵在於，步驟(1)中設置的幀率模式包括清晰模式和流暢模式，其中所述清晰模式對應的視頻圖像的量化方式為在圖像編碼過程中以最大位平面層數進行量化編碼；所述流暢模式對應的視頻圖像的量化方式為根據發送端處理器每秒鐘能夠處理的最大視頻圖像幀率確定的圖像編碼過程中的位平面層數進行量化編碼。
3.如權利要求1或2所述的視頻通信系統的幀率調節方法，其特徵在於，步驟(2)進一步包括所述接收端先將用戶選擇的幀率模式寫入控制命令字，然後將所述控制命令字發送至發送端。
4.如權利要求1或2所述的視頻通信系統的幀率調節方法，其特徵在於，步驟(3)發送端對視頻圖像按照所述幀率模式對應量化方式進行編碼進一步包括將視頻圖像先進行小波變換；並對變換化的小波係數預先設定的位平面層數進行SPIHT量化編碼，從而得到二進位符號流。
5.如權利要求2或4所述的視頻通信系統的幀率調節方法，其特徵在於，所述根據處理器每秒鐘能夠處理的最大視頻圖像幀率確定的位平面層數具體為確定處理器每秒鐘能夠處理的最大視頻圖像幀數為最大幀數；根據所述最大幀率和信道當前帶寬計算每幀圖像編碼的碼流長度；根據所述碼流長度來選擇編碼的位平面層數。
6.如權利要求2或4所述的視頻通信系統的幀率調節方法，其特徵在於，步驟(1)中設置的幀率模式包括平衡模式，所述平衡模式對應的視頻圖像的量化方式為按照當前幀率和信道當前帶寬計算每幀圖像可編碼最大碼流長度，進而確定位平面層數，根據所述確定的位平面層數進行量化編碼。
7.如權利要求6所述的視頻通信系統的幀率調節方法，其特徵在於，包括若選擇平衡模式，則視頻圖像編碼時根據預先確定的位平面層數進行SPIHT編碼。
8.如權利要求2或6所述的視頻通信系統的幀率調節方法，其特徵在於，步驟(3)中還包括所述接收端將根據接收到的碼流和發送端視頻圖像的量化方式對應的方式進行解碼，還原視頻圖像。
全文摘要
本發明公開了一種視頻通信系統的幀率調節方法，視頻通信系統包括進行視頻圖像數據傳輸的發送端和接收端，包括(1)在接收端和發送端分別設定相同的若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式；(2)接收端將本終端要求的幀率模式預先發送至發送端；(3)發送端根據接收到的幀率模式，對視頻圖像按照所述幀率模式對應量化方式進行編碼後組織成碼流發送至所述接收端，以便接收端接收碼流，並還原出視頻圖像。本發明進行通信的視頻通信終端通過預先設置若干幀率模式及對應的量化方式，然後接收端預先將本端需要的幀率要求預先發送至發送端，使得發送端根據接收端的需求壓縮視頻圖像，不僅滿足用戶需求，而且也提高了資源利用率。
文檔編號H04N7/24GK1633177SQ20041008233
公開日2005年6月29日 申請日期2004年12月31日 優先權日2004年12月31日
發明者陳小敬, 龐潼川, 宗煒 申請人:大唐微電子技術有限公司