利用動態背景幀的視頻編碼方法
2023-05-13 05:54:36
專利名稱：利用動態背景幀的視頻編碼方法
技術領域：
本發明屬於數字視頻壓縮編碼技術領域，特別涉及幀間預測視頻編碼方法。
技術背景視頻信號由於信息量大，傳輸網絡帶寬要求高，給傳輸和存儲都帶來了很 大的不便，因此實際應用中往往需要進行編碼壓縮。視頻數據鄰近幀間的景物 內容常常變化較小，即存在著一定的相關性。運動估計就是利用圖像間的這種 相關性，消除其中的冗餘信息，實現數據的壓縮。在視頻監控或視頻會議等應用中，攝像機的視場大多是固定不變的，有些 攝像機(如帶雲臺鏡頭控制的攝像頭)有時會改變視場，但大部分時間其視場仍是 固定不變的。因此這類視頻序列通常具有一個顯著的特徵畫面上會有長間靜 止不動的景物，如路面、建築物等，稱之為背景區，運動物體如車輛、行人等 只是在視頻序列中以小段時間在背景圖像上經過。在光照條件良好的情況下， 在背景區可利用前一幀獲得對當前幀的準確預測，從而大幅提高視頻編碼效率。 但在夜間或光照不足時，或攝像機質量較差時，視頻序列圖像中的噪聲往往幅 度較大，這些噪聲帶來的幹擾，將使得編碼過程中幀間預測變得不準確，如運 動估計不準確，匹配塊之間的誤差變大，從而使得視頻數據不能得到有效的壓 縮，因此大幅增加了壓縮後視頻流的碼率，這對數字錄像和視頻傳輸都是很不 利的。本發明就是針對這種情況，給出一種利用動態背景幀的視頻編碼方法， 提高了壓縮編碼效率，同時改善了解碼重建圖像的質量，並且降低了運動估計 的複雜度。發明內容本發明主要解決噪聲幹擾較大並具有不變背景區的視頻圖像的壓縮率不高問題，本發明特別適合光照不足的視頻監控場合。本方法是在傳統編碼方法的 基礎上，在運動估計過程中增加了一種新的參考幀——動態背景幀，背景幀是 根據重建圖像動態生成的，並被不斷更新。通過將當前宏塊與背景幀相應宏塊 的匹配誤差與某一閾值比較，選擇當前幀間預測幀宏塊是否選用背景幀相應宏 塊作預測。該閾值是利用噪聲的估計值確定的。為了確保圖像質量，在視頻圖 像上噪聲較小時，若小於一給定閾值，則自動關閉將背景幀作為參考幀這一功 能。這種方法與傳統編碼方法相比提高了運動估計的準確性，有效地提高了編 碼效率，降低了編碼複雜度。本發明提出的利用動態背景幀的視頻編碼方法，主要包括了背景幀的動態 生成及更新方法、運用背景幀的幀間預測方法和噪聲估計方法三項技術。 幀間預測是視頻編碼的一項關鍵技術，本發明中幀間預測方法如下1) 在幀間預測過程中，當前宏塊首先與背景幀相應宏塊計算匹配誤差，然後將匹配誤差與所選取的閾值TH1進行比較，若匹配誤差未超過該閾值TH1， 則採用背景幀相應宏塊作為當前宏塊的預測，否則，採用其他參考幀進行幀間 預測。2) 運動搜索結束後，若當前塊與其他參考幀進行幀間預測的最佳匹配塊的 匹配誤差仍比其與背景幀相應宏塊的匹配誤差大，且未達到採用I宏塊編碼要 求，則採用背景幀相應宏塊作為對當前宏塊的估計，否則採用搜索到的最佳匹 配塊進行預測或採用I宏塊編碼。3) 上述步驟l)中的閾值TH1是根據隨機噪聲的估計值動態確定的，TH1 隨著隨機噪聲的估計值的增大而增大。4) 在幀間預測過程中，利用對隨機噪聲的估計值和幀間預測誤差，確定是 否將當前宏塊作為跳過宏塊或I宏塊。在視頻編碼運動估計過程中，本發明利用對圖像中的噪聲的估計確定用於 背景幀選擇的閾值TH1，進而選擇參考宏塊，並且也利用圖像中的噪聲估計和 幀間預測誤差來動態確定是否將當前宏塊作為跳過宏塊或I宏塊的控制。本發明
中噪聲估計方法包括以下幾個方面1) 將圖像中噪聲看成是零均值高斯隨機噪聲，構造一個噪聲統計矩陣，矩 陣的每個元素對應圖像上的一個宏塊的隨機噪聲的估計值，並任意設定一個初 值。2) 若採用背景幀進行預測，或採用其他參考幀進行幀間預測運動搜索後運 動矢量小於預設值TH2，且不是I宏塊，則利用預測誤差直接計算隨機噪聲的估 計值；否則保留原值不變。3) 上述隨機噪聲的估計值可用預測誤差平方和進行估計，但為了簡化計算， 可用預測誤差絕對值之和(SAD)進行估計。本發明中的背景幀是動態生成及更新的，具體生成方法如下1) 若當前幀為I幀，則將當前幀的重建幀作為背景幀，或用其取代己有背景幀。2) 幀間預測時若當前宏塊採用背景幀作為參考宏塊進行預測，則用當前宏塊重建數據與已有背景幀對應宏塊數據的加權平均更新背景幀相應宏塊。3) 幀間預測時若當前宏塊不用背景幀預測，而用其它參考幀預測，且運動 矢量小於預設值TH2，則用當前幀重建宏塊和其預測塊的對應像素平均值更新 背景幀的相應宏塊。4) 幀間預測時若當前宏塊的運動搜索結果為運動矢量較大，或當前宏塊為 I宏塊，則背景幀相應宏塊不更新。本發明的有益效果是在圖像噪聲很小時，屬於背景的宏塊很容易在前一幀上找到匹配，但在圖 像噪聲較大時，不容易找到匹配，預測誤差也大幅增加。本發明引入具有降噪 作用的背景幀後，提高了運動估計的準確性，降低了預測誤差，提高了編碼效 率，並且降低了編碼的複雜度。本發明中背景幀可在視頻解碼器中重建生成，從而不需要傳輸背景幀的額 外數據。
本發明中，每當I幀出現時，背景幀重新生成，這保證了視頻檢索的要求， 可以對視頻流進行快進、快倒和隨機訪問在背景區域，由於景物不變，採用 加權平均的方法更新背景幀宏塊，可起到噪聲平滑作用，這有利於減小預測誤 差，也有利於提高解碼圖像的質量。在運動物體移動到背景區域時，由於很多 情況為當前宏塊的運動矢量較大或者會採用I宏塊編碼，背景幀不會被更新，保 護了原有背景幀數據，這使得背景在當前塊重現時容易找到匹配，從而有利於 降低碼率。由於背景幀具有幀間平滑作用， 一定程度上濾除了噪聲，使當前幀宏塊更 能與之匹配，減小了預測誤差。如果輸入圖像已進行空間域濾波(2維濾波)， 則與背景幀結合後相當於進行了 3維濾波，從而提高了圖像質量。由於幀間預測時不需要對背景幀進行運動搜索，算法複雜度不高，而且當 前宏塊在背景幀上找到匹配後，不需要再進行運動搜索，這一定程度上可降低 算法複雜度。本發明引入噪聲估計，可根據噪聲情況動態調整閾值TH1，從而針對噪聲 情況採用不同的編碼策略。在光照條件很好時，由於噪聲很小，可自動關閉背 景幀，從而提高圖像清晰度。本發明中採用SAD進行噪聲估計，大大降低了噪 聲估計的複雜度。由於本發明中已對圖像的隨機噪聲進行了估計，利用該噪聲估計值，還能 確定對圖像噪聲濾波的策略，每個宏塊可採用不同的濾波器，濾波器的參數還 可根據噪聲估計值動態調整，從而能改善圖像質量。
圖1為本發明的利用動態背景幀的視頻編碼方法總流程圖； 圖2為本發明圖1中的宏塊編碼流程圖。
具體實施例方式
本發明提出的利用動態背景幀的視頻編碼方法，結合附圖詳細說明如下 本發明的利用動態背景幀的視頻編碼方法過程如圖1和2所示，是在傳統 編碼方法的基礎上，在幀間預測過程中採用了一種新的參考幀——背景幀，從 而降低了圖像的幀間預測誤差，並結合了幀間濾波，提高了圖像質量。利用動態背景幀的視頻編碼方法總流程如圖l所示，具體實現步驟如下1) 開始，將噪聲統計矩陣初始化為一設定值；對輸入一幀圖像，開始編碼。2) 如果是I幀則採用幀內編碼方法完成當前幀的編碼，並用其重建幀更換 背景幀，轉至步驟4)，否則是幀間編碼幀(包括P幀和B幀)，則進行步驟3)。 由於第一幀總是I幀，將其重建幀作為背景幀。3) 逐一讀入該幀圖像中的各宏塊，調用圖2所示宏塊編碼流程對各宏塊進 行編碼，直至完成所有宏塊的編碼。4) 若還有圖像需要編碼，則重新輸入一幀圖像，轉第2)步，否則編碼結束。上述算法中的宏塊編碼流程如圖2所示，具體步驟如下1) 宏塊編碼開始，讀入幀間預測幀中的一個宏塊，計算該宏塊中的像素點 與背景幀對應宏塊的像素點之間的匹配誤差。2) 將此匹配誤差與設定閾值TH1進行比較，如果匹配誤差小於閾值TH1， 說明當前幀的該圖像塊與背景幀中匹配圖像塊相關性比較大，採用背景幀宏塊 對當前宏塊進行預測，轉5);否則該圖像塊採用其他參考幀進行幀間預測，在 其它參考幀上進行運動搜索，包括亞像素搜索，找到最佳預測，計算其匹配誤 差。3) 運動搜索結束後，根據最小匹配誤差、背景幀宏塊匹配誤差和隨機噪聲 估計值，判斷當前宏塊是否採用幀內編碼，若是，則當前宏塊為I宏塊，進行幀 內宏塊編碼，轉6);否則，若當前塊與搜索到的最佳匹配塊的匹配誤差比其與 背景幀相應宏塊的匹配誤差大，則採用背景幀宏塊對當前宏塊進行預測，轉5)。4) 採用搜索到的最佳匹配塊對當前宏塊數據進行編碼，若其運動矢量小於
設定閾值TH2，則進行背景幀更新，即用當前宏塊的重建值替換背景幀對應宏 塊值，並計算隨機噪聲估計值，用隨機噪聲估計值更新噪聲統計矩陣，轉6)。5) 採用背景幀相應宏塊作為對當前宏塊的預測，對當前宏塊數據進行編碼，並用當前宏塊重建值與背景幀宏塊值的加權平均更新背景幀宏塊，同時計算隨 機噪聲估計值，用新的隨機噪聲估計值更新噪聲矩陣。6) 當前宏塊編碼結束。上述算法過程中當前宏塊與參考幀宏塊的匹配誤差可以用誤差絕對差值之和(SAD)計算，如式(1)，也可用其它常用匹配誤差計算方法，如採用均方 誤差、誤差平方和。""-S玄l/"力—6"力l (1)其中宏塊大小為H /(x，力為當前幀圖像宏塊中的像素值，60,少)為背景幀圖像宏塊中的像素值。上述算法中將圖像中的隨機噪聲看成是零均值高斯隨機噪聲，噪聲統計矩陣的元素是噪聲的均方差或對應均方差的統計量。均方差的計算如式(2〉所示。 MMS鄰,乂) = 、 ; f f [乂 (x,力—, (x + /，少+ 乂)]2 (2)式中,(A力為當前幀宏塊像素值，/m& + z',y +力是參考幀最佳匹配塊 像素值，或背景幀宏塊像素值。在,—1("/,少+力為背景幀宏塊像素值時，i=0， j=0。但為了簡化計算，可用當前幀宏塊與參考幀宏塊的誤差絕對值的平均值 (MAD)進行估計，如(3)式所示，M4D"力=+ $ I] |乂 (x,力—,"+ ! j +力|(3 )或直接用當前幀宏塊與參考幀宏塊的誤差絕對值之和進行估計。
實施例本實施例建立在視頻編碼系統基礎上，算法具體實現過程如下1) 開始，將噪聲統計矩陣所有初始化為0 65535間的一個任意值，如取全 部元素的初值為5000;對輸入一幀圖像，開始編碼。2) 如果是I幀則採用幀內編碼方法完成當前幀的編碼，並用其重建幀更換 背景幀，轉至步驟4)，否則是幀間編碼幀(包括P幀和B幀)，則進行步驟3)。 由於第一幀總是I幀，將其重建幀作為背景幀。3) 逐一讀入該幀圖像中的各宏塊，調用圖2所示宏塊編碼流程對各宏塊進 行編碼，直至完成所有宏塊的編碼。4) 若還有圖像需要編碼，則重新輸入一幀圖像，轉第2)步，否則編碼結束。 上述過程中的宏塊編碼流程如圖2所示，具體步驟如下1) 宏塊編碼開始，讀入幀間預測幀中的一個宏塊，計算該宏塊中的像素點 與背景幀對應宏塊的像素點之間的匹配誤差，即計算SAD值。2) 將此匹配誤差與設定閾值TH1進行比較，如果匹配誤差小於閾值TH1， 說明當前幀的該圖像塊與背景幀中匹配圖像塊相關性比較大，採用背景幀宏塊 對當前宏塊進行預測，轉5);否則該圖像塊採用其他參考幀進行幀間預測，在 其它參考幀上進行運動搜索，包括亞像素搜索，找到最佳預測，計算其匹配誤 差。3) 運動搜索結束後，根據最小匹配誤差、背景幀宏塊匹配誤差和隨機噪聲 估計值，判斷當前宏塊是否採用幀內編碼，若是，則當前宏塊為I宏塊，進行幀內宏塊編碼，轉6);否則，若當前塊與搜索到的最佳匹配塊的匹配誤差比其與背景幀相應宏塊的匹配誤差大，則採用背景幀宏塊對當前宏塊進行預測，轉5)。4) 採用搜索到的最佳匹配塊對當前宏塊數據進行編碼，若其運動矢量小於 設定閾值1112=0.5，則進行背景幀更新，即用當前宏塊的重建值替換背景幀對應 宏塊值，並將其SAD作為隨機噪聲估計值，用隨機噪聲估計值更新噪聲統計矩 陣，轉6)。5) 採用背景幀相應宏塊作為對當前宏塊的預測，對當前宏塊數據進行編碼， 並用當前宏塊重建值與背景幀宏塊值的加權平均更新背景幀宏塊，當前幀像素的權值取1/8或1/4，對應背景幀像素的權值取7/8或3/4。同時用當前宏塊與背 景幀宏塊的SAD作為隨機噪聲估計值，用新的隨機噪聲估計值更新噪聲矩陣。6) 當前宏塊編碼結束。上述算法中TH1確定與噪聲估計值有關，本實施例中取噪聲估計值一定倍 數，也可以用其它單調遞增函數。最後，還需要指出的是，本發明不限於上述實施方式。本領域的普通技術 人員能從本發明公開的內容直接導出或聯想到的所有變形，均應認為是本發明 的保護範圍。
權利要求
1.一種利用動態背景幀的視頻編碼方法，其特徵在於，將背景幀作為視頻編碼的一種參考幀，所述背景幀利用重建圖像動態生成，並且被不斷動態更新，在幀間預測編碼時，與當前宏塊對應的背景幀宏塊可作為對當前宏塊的一種預測；同時對視頻圖像噪聲進行估計。
2. 如權利要求1所述的利用動態背景幀的視頻編碼方法，其特徵在於，幀 間預測過程包括以下步驟1) 在幀間預測過程中，當前宏塊首先與背景幀相應宏塊計算匹配誤差，然 後將匹配誤差與閾值TH1進行比較，若比較結果未超過該閾值TH1，則採用背 景幀相應宏塊作為當前宏塊的預測，否則，採用其他參考幀進行幀間預測,；2) 運動搜索結束後，若用其他參考幀進行幀間預測的最佳匹配塊的匹配誤 差仍比其與背景幀相應塊的匹配誤差大，且未達到採用I宏塊編碼要求，則釆用 背景幀相應宏塊作為對當前宏塊的估計，否則採用搜索到的最佳匹配塊進行預 測或採用I宏塊編碼。
3. 如權利要求2所述的利用動態背景幀的視頻編碼方法，其特徵在於，其 中的閾值TH1是根據隨機噪聲的估計值動態確定的，閾值TH1隨該估計值增大 而增大。
4. 如權利要求1或2或3所述的利用動態背景幀的視頻編碼方法，其特徵在於，隨機噪聲估計過程如下1) 將圖像上噪聲看成是零均值高斯隨機噪聲，構造一個噪聲統計矩陣，矩陣的每個元素對應圖像上一個宏塊的隨機噪聲的估計值，並設定一個任意初值；2) 若當前宏塊採用背景幀進行預測，或採用其他參考幀進行預測運動矢量 小於預設值TH2，且不是I宏塊，則利用預測誤差直接計算隨機噪聲的估計值; 否則保留原值不變。
5. 如權利要求4所述的利用動態背景幀的視頻編碼方法，其特徵在於，隨 機噪聲的估計值用預測誤差平方和進行計算，或用預測誤差絕對值之和(SAD) 進行計算。
6. 如權利要求1或2或3所述的利用動態背景幀的視頻編碼方法，其特徵 在於，背景幀的動態生成和更新過程如下-1) 若當前幀為I幀，則將當前幀的重建幀作為背景幀，或用其取代己有背 景幀；2) 幀間預測時若當前宏塊為採用背景幀對應宏塊作為參考宏塊進行預測， 則用當前宏塊重建數據與已有背景幀對應宏塊數據的加權平均更新背景幀相應 宏塊；3) 幀間預測時若當前宏塊的運動搜索結果為不用背景幀預測，且運動矢量 小於TH2，則用當前重建宏塊和其預測塊的對應像素平均值更新背景幀的相應 宏塊；4) 幀間預測時若當前宏塊的運動搜索結果為運動矢量大於TH2，或當前宏 塊為I宏塊，則背景幀相應宏塊不更新。
7. 如權利要求4所述的利用動態背景幀的視頻編碼方法，其特徵在於，根 據估計到的隨機噪聲的均方差，可以選擇強弱不同的濾波係數來對當前幀圖像 進行濾波。
全文摘要
本發明公開了一種動態背景幀產生、更新及利用該背景幀作為參考幀的視頻編碼方法，該方法適用於具有較長時間背景不變的視頻信號壓縮編碼，特別適用於光照不足情況下視頻監控的應用。在夜間等光照不足的視頻監控場景中，視頻序列中靜止的背景受較大的噪聲幹擾，降低了視頻編碼中幀間預測的準確性。本發明引進了動態背景幀作為視頻編碼的一種參考幀，該背景幀利用重建圖像生成，並濾除了部分噪聲。本發明採用了噪聲估計技術，將其應用在視頻編碼過程中。在對當前宏塊進行幀間預測編碼時，可根據預測精度和噪聲強度選擇採用背景幀預測或一般的運動估計算法。本發明可提高編碼效率，減少重建圖像背景區域的噪聲，並可減少運動估計時間。
文檔編號H04N7/26GK101127912SQ20071007111
公開日2008年2月20日 申請日期2007年9月14日 優先權日2007年9月14日
發明者唐慧明, 張玉潔, 露 虞 申請人:浙江大學