新四季網

利用動態背景幀的視頻編碼方法

2023-05-13 05:54:36 1

專利名稱:利用動態背景幀的視頻編碼方法
技術領域:
本發明屬於數字視頻壓縮編碼技術領域,特別涉及幀間預測視頻編碼方法。
技術背景視頻信號由於信息量大,傳輸網絡帶寬要求高,給傳輸和存儲都帶來了很 大的不便,因此實際應用中往往需要進行編碼壓縮。視頻數據鄰近幀間的景物 內容常常變化較小,即存在著一定的相關性。運動估計就是利用圖像間的這種 相關性,消除其中的冗餘信息,實現數據的壓縮。在視頻監控或視頻會議等應用中,攝像機的視場大多是固定不變的,有些 攝像機(如帶雲臺鏡頭控制的攝像頭)有時會改變視場,但大部分時間其視場仍是 固定不變的。因此這類視頻序列通常具有一個顯著的特徵畫面上會有長間靜 止不動的景物,如路面、建築物等,稱之為背景區,運動物體如車輛、行人等 只是在視頻序列中以小段時間在背景圖像上經過。在光照條件良好的情況下, 在背景區可利用前一幀獲得對當前幀的準確預測,從而大幅提高視頻編碼效率。 但在夜間或光照不足時,或攝像機質量較差時,視頻序列圖像中的噪聲往往幅 度較大,這些噪聲帶來的幹擾,將使得編碼過程中幀間預測變得不準確,如運 動估計不準確,匹配塊之間的誤差變大,從而使得視頻數據不能得到有效的壓 縮,因此大幅增加了壓縮後視頻流的碼率,這對數字錄像和視頻傳輸都是很不 利的。本發明就是針對這種情況,給出一種利用動態背景幀的視頻編碼方法, 提高了壓縮編碼效率,同時改善了解碼重建圖像的質量,並且降低了運動估計 的複雜度。發明內容本發明主要解決噪聲幹擾較大並具有不變背景區的視頻圖像的壓縮率不高問題,本發明特別適合光照不足的視頻監控場合。本方法是在傳統編碼方法的 基礎上,在運動估計過程中增加了一種新的參考幀——動態背景幀,背景幀是 根據重建圖像動態生成的,並被不斷更新。通過將當前宏塊與背景幀相應宏塊 的匹配誤差與某一閾值比較,選擇當前幀間預測幀宏塊是否選用背景幀相應宏 塊作預測。該閾值是利用噪聲的估計值確定的。為了確保圖像質量,在視頻圖 像上噪聲較小時,若小於一給定閾值,則自動關閉將背景幀作為參考幀這一功 能。這種方法與傳統編碼方法相比提高了運動估計的準確性,有效地提高了編 碼效率,降低了編碼複雜度。本發明提出的利用動態背景幀的視頻編碼方法,主要包括了背景幀的動態 生成及更新方法、運用背景幀的幀間預測方法和噪聲估計方法三項技術。 幀間預測是視頻編碼的一項關鍵技術,本發明中幀間預測方法如下1) 在幀間預測過程中,當前宏塊首先與背景幀相應宏塊計算匹配誤差,然後將匹配誤差與所選取的閾值TH1進行比較,若匹配誤差未超過該閾值TH1, 則採用背景幀相應宏塊作為當前宏塊的預測,否則,採用其他參考幀進行幀間 預測。2) 運動搜索結束後,若當前塊與其他參考幀進行幀間預測的最佳匹配塊的 匹配誤差仍比其與背景幀相應宏塊的匹配誤差大,且未達到採用I宏塊編碼要 求,則採用背景幀相應宏塊作為對當前宏塊的估計,否則採用搜索到的最佳匹 配塊進行預測或採用I宏塊編碼。3) 上述步驟l)中的閾值TH1是根據隨機噪聲的估計值動態確定的,TH1 隨著隨機噪聲的估計值的增大而增大。4) 在幀間預測過程中,利用對隨機噪聲的估計值和幀間預測誤差,確定是 否將當前宏塊作為跳過宏塊或I宏塊。在視頻編碼運動估計過程中,本發明利用對圖像中的噪聲的估計確定用於 背景幀選擇的閾值TH1,進而選擇參考宏塊,並且也利用圖像中的噪聲估計和 幀間預測誤差來動態確定是否將當前宏塊作為跳過宏塊或I宏塊的控制。本發明
中噪聲估計方法包括以下幾個方面1) 將圖像中噪聲看成是零均值高斯隨機噪聲,構造一個噪聲統計矩陣,矩 陣的每個元素對應圖像上的一個宏塊的隨機噪聲的估計值,並任意設定一個初 值。2) 若採用背景幀進行預測,或採用其他參考幀進行幀間預測運動搜索後運 動矢量小於預設值TH2,且不是I宏塊,則利用預測誤差直接計算隨機噪聲的估 計值;否則保留原值不變。3) 上述隨機噪聲的估計值可用預測誤差平方和進行估計,但為了簡化計算, 可用預測誤差絕對值之和(SAD)進行估計。本發明中的背景幀是動態生成及更新的,具體生成方法如下1) 若當前幀為I幀,則將當前幀的重建幀作為背景幀,或用其取代己有背景幀。2) 幀間預測時若當前宏塊採用背景幀作為參考宏塊進行預測,則用當前宏塊重建數據與已有背景幀對應宏塊數據的加權平均更新背景幀相應宏塊。3) 幀間預測時若當前宏塊不用背景幀預測,而用其它參考幀預測,且運動 矢量小於預設值TH2,則用當前幀重建宏塊和其預測塊的對應像素平均值更新 背景幀的相應宏塊。4) 幀間預測時若當前宏塊的運動搜索結果為運動矢量較大,或當前宏塊為 I宏塊,則背景幀相應宏塊不更新。本發明的有益效果是在圖像噪聲很小時,屬於背景的宏塊很容易在前一幀上找到匹配,但在圖 像噪聲較大時,不容易找到匹配,預測誤差也大幅增加。本發明引入具有降噪 作用的背景幀後,提高了運動估計的準確性,降低了預測誤差,提高了編碼效 率,並且降低了編碼的複雜度。本發明中背景幀可在視頻解碼器中重建生成,從而不需要傳輸背景幀的額 外數據。
本發明中,每當I幀出現時,背景幀重新生成,這保證了視頻檢索的要求, 可以對視頻流進行快進、快倒和隨機訪問在背景區域,由於景物不變,採用 加權平均的方法更新背景幀宏塊,可起到噪聲平滑作用,這有利於減小預測誤 差,也有利於提高解碼圖像的質量。在運動物體移動到背景區域時,由於很多 情況為當前宏塊的運動矢量較大或者會採用I宏塊編碼,背景幀不會被更新,保 護了原有背景幀數據,這使得背景在當前塊重現時容易找到匹配,從而有利於 降低碼率。由於背景幀具有幀間平滑作用, 一定程度上濾除了噪聲,使當前幀宏塊更 能與之匹配,減小了預測誤差。如果輸入圖像已進行空間域濾波(2維濾波), 則與背景幀結合後相當於進行了 3維濾波,從而提高了圖像質量。由於幀間預測時不需要對背景幀進行運動搜索,算法複雜度不高,而且當 前宏塊在背景幀上找到匹配後,不需要再進行運動搜索,這一定程度上可降低 算法複雜度。本發明引入噪聲估計,可根據噪聲情況動態調整閾值TH1,從而針對噪聲 情況採用不同的編碼策略。在光照條件很好時,由於噪聲很小,可自動關閉背 景幀,從而提高圖像清晰度。本發明中採用SAD進行噪聲估計,大大降低了噪 聲估計的複雜度。由於本發明中已對圖像的隨機噪聲進行了估計,利用該噪聲估計值,還能 確定對圖像噪聲濾波的策略,每個宏塊可採用不同的濾波器,濾波器的參數還 可根據噪聲估計值動態調整,從而能改善圖像質量。


圖1為本發明的利用動態背景幀的視頻編碼方法總流程圖; 圖2為本發明圖1中的宏塊編碼流程圖。
具體實施例方式
本發明提出的利用動態背景幀的視頻編碼方法,結合附圖詳細說明如下 本發明的利用動態背景幀的視頻編碼方法過程如圖1和2所示,是在傳統 編碼方法的基礎上,在幀間預測過程中採用了一種新的參考幀——背景幀,從 而降低了圖像的幀間預測誤差,並結合了幀間濾波,提高了圖像質量。利用動態背景幀的視頻編碼方法總流程如圖l所示,具體實現步驟如下1) 開始,將噪聲統計矩陣初始化為一設定值;對輸入一幀圖像,開始編碼。2) 如果是I幀則採用幀內編碼方法完成當前幀的編碼,並用其重建幀更換 背景幀,轉至步驟4),否則是幀間編碼幀(包括P幀和B幀),則進行步驟3)。 由於第一幀總是I幀,將其重建幀作為背景幀。3) 逐一讀入該幀圖像中的各宏塊,調用圖2所示宏塊編碼流程對各宏塊進 行編碼,直至完成所有宏塊的編碼。4) 若還有圖像需要編碼,則重新輸入一幀圖像,轉第2)步,否則編碼結束。上述算法中的宏塊編碼流程如圖2所示,具體步驟如下1) 宏塊編碼開始,讀入幀間預測幀中的一個宏塊,計算該宏塊中的像素點 與背景幀對應宏塊的像素點之間的匹配誤差。2) 將此匹配誤差與設定閾值TH1進行比較,如果匹配誤差小於閾值TH1, 說明當前幀的該圖像塊與背景幀中匹配圖像塊相關性比較大,採用背景幀宏塊 對當前宏塊進行預測,轉5);否則該圖像塊採用其他參考幀進行幀間預測,在 其它參考幀上進行運動搜索,包括亞像素搜索,找到最佳預測,計算其匹配誤 差。3) 運動搜索結束後,根據最小匹配誤差、背景幀宏塊匹配誤差和隨機噪聲 估計值,判斷當前宏塊是否採用幀內編碼,若是,則當前宏塊為I宏塊,進行幀 內宏塊編碼,轉6);否則,若當前塊與搜索到的最佳匹配塊的匹配誤差比其與 背景幀相應宏塊的匹配誤差大,則採用背景幀宏塊對當前宏塊進行預測,轉5)。4) 採用搜索到的最佳匹配塊對當前宏塊數據進行編碼,若其運動矢量小於
設定閾值TH2,則進行背景幀更新,即用當前宏塊的重建值替換背景幀對應宏 塊值,並計算隨機噪聲估計值,用隨機噪聲估計值更新噪聲統計矩陣,轉6)。5) 採用背景幀相應宏塊作為對當前宏塊的預測,對當前宏塊數據進行編碼,並用當前宏塊重建值與背景幀宏塊值的加權平均更新背景幀宏塊,同時計算隨 機噪聲估計值,用新的隨機噪聲估計值更新噪聲矩陣。6) 當前宏塊編碼結束。上述算法過程中當前宏塊與參考幀宏塊的匹配誤差可以用誤差絕對差值之和(SAD)計算,如式(1),也可用其它常用匹配誤差計算方法,如採用均方 誤差、誤差平方和。""-S玄l/"力—6"力l (1)其中宏塊大小為H /(x,力為當前幀圖像宏塊中的像素值,60,少)為背景幀圖像宏塊中的像素值。上述算法中將圖像中的隨機噪聲看成是零均值高斯隨機噪聲,噪聲統計矩陣的元素是噪聲的均方差或對應均方差的統計量。均方差的計算如式(2〉所示。 MMS鄰,乂) = 、 ; f f [乂 (x,力—, (x + /,少+ 乂)]2 (2)式中,(A力為當前幀宏塊像素值,/m& + z',y +力是參考幀最佳匹配塊 像素值,或背景幀宏塊像素值。在,—1("/,少+力為背景幀宏塊像素值時,i=0, j=0。但為了簡化計算,可用當前幀宏塊與參考幀宏塊的誤差絕對值的平均值 (MAD)進行估計,如(3)式所示,M4D"力=+ $ I] |乂 (x,力—,"+ ! j +力|(3 )或直接用當前幀宏塊與參考幀宏塊的誤差絕對值之和進行估計。
實施例本實施例建立在視頻編碼系統基礎上,算法具體實現過程如下1) 開始,將噪聲統計矩陣所有初始化為0 65535間的一個任意值,如取全 部元素的初值為5000;對輸入一幀圖像,開始編碼。2) 如果是I幀則採用幀內編碼方法完成當前幀的編碼,並用其重建幀更換 背景幀,轉至步驟4),否則是幀間編碼幀(包括P幀和B幀),則進行步驟3)。 由於第一幀總是I幀,將其重建幀作為背景幀。3) 逐一讀入該幀圖像中的各宏塊,調用圖2所示宏塊編碼流程對各宏塊進 行編碼,直至完成所有宏塊的編碼。4) 若還有圖像需要編碼,則重新輸入一幀圖像,轉第2)步,否則編碼結束。 上述過程中的宏塊編碼流程如圖2所示,具體步驟如下1) 宏塊編碼開始,讀入幀間預測幀中的一個宏塊,計算該宏塊中的像素點 與背景幀對應宏塊的像素點之間的匹配誤差,即計算SAD值。2) 將此匹配誤差與設定閾值TH1進行比較,如果匹配誤差小於閾值TH1, 說明當前幀的該圖像塊與背景幀中匹配圖像塊相關性比較大,採用背景幀宏塊 對當前宏塊進行預測,轉5);否則該圖像塊採用其他參考幀進行幀間預測,在 其它參考幀上進行運動搜索,包括亞像素搜索,找到最佳預測,計算其匹配誤 差。3) 運動搜索結束後,根據最小匹配誤差、背景幀宏塊匹配誤差和隨機噪聲 估計值,判斷當前宏塊是否採用幀內編碼,若是,則當前宏塊為I宏塊,進行幀內宏塊編碼,轉6);否則,若當前塊與搜索到的最佳匹配塊的匹配誤差比其與背景幀相應宏塊的匹配誤差大,則採用背景幀宏塊對當前宏塊進行預測,轉5)。4) 採用搜索到的最佳匹配塊對當前宏塊數據進行編碼,若其運動矢量小於 設定閾值1112=0.5,則進行背景幀更新,即用當前宏塊的重建值替換背景幀對應 宏塊值,並將其SAD作為隨機噪聲估計值,用隨機噪聲估計值更新噪聲統計矩 陣,轉6)。5) 採用背景幀相應宏塊作為對當前宏塊的預測,對當前宏塊數據進行編碼, 並用當前宏塊重建值與背景幀宏塊值的加權平均更新背景幀宏塊,當前幀像素的權值取1/8或1/4,對應背景幀像素的權值取7/8或3/4。同時用當前宏塊與背 景幀宏塊的SAD作為隨機噪聲估計值,用新的隨機噪聲估計值更新噪聲矩陣。6) 當前宏塊編碼結束。上述算法中TH1確定與噪聲估計值有關,本實施例中取噪聲估計值一定倍 數,也可以用其它單調遞增函數。最後,還需要指出的是,本發明不限於上述實施方式。本領域的普通技術 人員能從本發明公開的內容直接導出或聯想到的所有變形,均應認為是本發明 的保護範圍。
權利要求
1.一種利用動態背景幀的視頻編碼方法,其特徵在於,將背景幀作為視頻編碼的一種參考幀,所述背景幀利用重建圖像動態生成,並且被不斷動態更新,在幀間預測編碼時,與當前宏塊對應的背景幀宏塊可作為對當前宏塊的一種預測;同時對視頻圖像噪聲進行估計。
2. 如權利要求1所述的利用動態背景幀的視頻編碼方法,其特徵在於,幀 間預測過程包括以下步驟1) 在幀間預測過程中,當前宏塊首先與背景幀相應宏塊計算匹配誤差,然 後將匹配誤差與閾值TH1進行比較,若比較結果未超過該閾值TH1,則採用背 景幀相應宏塊作為當前宏塊的預測,否則,採用其他參考幀進行幀間預測,;2) 運動搜索結束後,若用其他參考幀進行幀間預測的最佳匹配塊的匹配誤 差仍比其與背景幀相應塊的匹配誤差大,且未達到採用I宏塊編碼要求,則釆用 背景幀相應宏塊作為對當前宏塊的估計,否則採用搜索到的最佳匹配塊進行預 測或採用I宏塊編碼。
3. 如權利要求2所述的利用動態背景幀的視頻編碼方法,其特徵在於,其 中的閾值TH1是根據隨機噪聲的估計值動態確定的,閾值TH1隨該估計值增大 而增大。
4. 如權利要求1或2或3所述的利用動態背景幀的視頻編碼方法,其特徵在於,隨機噪聲估計過程如下1) 將圖像上噪聲看成是零均值高斯隨機噪聲,構造一個噪聲統計矩陣,矩陣的每個元素對應圖像上一個宏塊的隨機噪聲的估計值,並設定一個任意初值;2) 若當前宏塊採用背景幀進行預測,或採用其他參考幀進行預測運動矢量 小於預設值TH2,且不是I宏塊,則利用預測誤差直接計算隨機噪聲的估計值; 否則保留原值不變。
5. 如權利要求4所述的利用動態背景幀的視頻編碼方法,其特徵在於,隨 機噪聲的估計值用預測誤差平方和進行計算,或用預測誤差絕對值之和(SAD) 進行計算。
6. 如權利要求1或2或3所述的利用動態背景幀的視頻編碼方法,其特徵 在於,背景幀的動態生成和更新過程如下-1) 若當前幀為I幀,則將當前幀的重建幀作為背景幀,或用其取代己有背 景幀;2) 幀間預測時若當前宏塊為採用背景幀對應宏塊作為參考宏塊進行預測, 則用當前宏塊重建數據與已有背景幀對應宏塊數據的加權平均更新背景幀相應 宏塊;3) 幀間預測時若當前宏塊的運動搜索結果為不用背景幀預測,且運動矢量 小於TH2,則用當前重建宏塊和其預測塊的對應像素平均值更新背景幀的相應 宏塊;4) 幀間預測時若當前宏塊的運動搜索結果為運動矢量大於TH2,或當前宏 塊為I宏塊,則背景幀相應宏塊不更新。
7. 如權利要求4所述的利用動態背景幀的視頻編碼方法,其特徵在於,根 據估計到的隨機噪聲的均方差,可以選擇強弱不同的濾波係數來對當前幀圖像 進行濾波。
全文摘要
本發明公開了一種動態背景幀產生、更新及利用該背景幀作為參考幀的視頻編碼方法,該方法適用於具有較長時間背景不變的視頻信號壓縮編碼,特別適用於光照不足情況下視頻監控的應用。在夜間等光照不足的視頻監控場景中,視頻序列中靜止的背景受較大的噪聲幹擾,降低了視頻編碼中幀間預測的準確性。本發明引進了動態背景幀作為視頻編碼的一種參考幀,該背景幀利用重建圖像生成,並濾除了部分噪聲。本發明採用了噪聲估計技術,將其應用在視頻編碼過程中。在對當前宏塊進行幀間預測編碼時,可根據預測精度和噪聲強度選擇採用背景幀預測或一般的運動估計算法。本發明可提高編碼效率,減少重建圖像背景區域的噪聲,並可減少運動估計時間。
文檔編號H04N7/26GK101127912SQ20071007111
公開日2008年2月20日 申請日期2007年9月14日 優先權日2007年9月14日
發明者唐慧明, 張玉潔, 露 虞 申請人:浙江大學

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀