視頻幀率轉換中的插值幀獲取方法及其裝置的製作方法

2023-05-05 16:52:11

專利名稱：視頻幀率轉換中的插值幀獲取方法及其裝置的製作方法
技術領域：
本發明涉及視頻處理領域，特別涉及視頻處理領域中的視頻幀率轉換技術。
背景技術：
近年來，IXD顯示器的應用越加廣泛，但其缺陷是在顯示動態畫面時存在「拖尾」現 象，造成動態物體解析度下降。其主要原因是IXD的保持顯示特性由於IXD的每一個像素 在一幀時間內一直保持其亮度，持續作用於觀看者的雙眼，而人的雙眼又具有視覺惰性，當 IXD的畫面切換到下一幀時，人眼仍暫留有上一幀畫面的內容，從而產生「拖尾」現象。目前解決「拖尾」現象較為常見的方法是提升幀頻，即在原始相鄰兩幀之間插入一 幀或多幀，這樣，每個像素的發光時間縮短，相應地也就縮短了一幀圖像對人眼的持續作用 時間，減弱了人眼的視覺暫留，提高了動態解析度。幀率轉換中插值幀獲取的方法主要包括兩類，第一類是不考慮圖像中物體的運 動，非運動補償的方法，如幀複製或幀平均。幀複製是指新插入的幀直接複製前一幀數據。 幀平均是指新插入的幀使用前後兩幀的平均值。這種方法實現簡單，但在物體運動區域，會 存在模糊現象；第二類是考慮物體的運動，運動補償的方法，利用線性或非線性插值來完成 插值幀。由於考慮了運動信息，因而具有較好的圖像質量，然而運動估計容易產生錯誤，所 以準確的運動估計，運動補償算法直接影響了幀率轉換的性能。具體地說，目前主要有以下幾種實現插幀的方法(1)直接拷貝原始幀，或者採用兩幀的均值。然而，該方法由於不進行運動估計，會 造成插值幀運動模糊，因此幀率轉換效果差。(2)直接從解碼信息中獲得運動向量(Motion Vector，簡稱「MV」)信息，利用或修 正此MV，然後使用重疊塊運動補償(Overlapped BlockMotion Compensation，簡稱「0BMC」) 等方法進行插值。分為以下步驟步驟一，獲取MV 如果當前幀是P幀，直接從碼流信息中獲取MV。如果當前幀是I幀，取前一幀獲取的MV ；如果當前宏塊是I宏塊，取周圍不為I宏 塊的MV。步驟二，對MV進行分類使用絕對差值和(Sum of AbsoluteDifference，簡稱 「SAD」)的方法對MV進行分類，如果小於特定閾值T，則合理，作為插值幀的MV ；如果大於特 定閾值Τ，則不合理，需要使用周圍宏塊的MV，選取周圍宏塊MV的原則為最小SAD。然而，該方法應用不靈活，必須需要解碼MV信息。而且準確度不高，插值幀容易出 現瑕疵(因為對於不合理的MV，需要使用周圍宏塊的MV，但周圍宏塊有可能沒有合理的MV ； 另外，即使SAD足夠小，也不一定是合理MV，會出現「背景取代物體」的錯誤)。(3)單邊運動估計計算前向MV，或者後向MV，然後再進行插幀。然而，該方法在映射到插值幀MV時，有「空洞」或者「重疊」現象，並且此現象較難 解決。(4)雙邊運動估計，即以插值幀作為中心對稱點，對稱搜索MV，然後進行插幀，這樣可以保證插值幀MV不會出現「空洞」或者「重疊」現象。可以求出更加準確的運動向量， 獲得更好質量的插值幀。但由於插值幀的不存在性，雙邊運動估計也會產生錯誤，其中最突 出的就是「背景取代物體」錯誤；並且隨著高清視頻的普及，雙邊運動估計的運算量也進一 步增大。

發明內容
本發明的目的在於提供一種視頻幀率轉換中的插值幀獲取方法及其裝置，以有效 減少「背景取代物體」錯誤，並且避免巨大的運算量。為解決上述技術問題，本發明的實施方式提供了一種視頻幀率轉換中的插值幀獲 取方法，包含以下步驟將待求的插值幀劃分成L個大塊，對每一個大塊，執行以下步驟根據輸入視頻的當前幀和前一幀，對大塊進行雙邊運動向量估計，得到大塊的運
動向量；將大塊分解為P個插值小塊，以該大塊的運動向量為預測值，對分解該大塊後得 到的各插值小塊進行雙邊運動向量估計，得到各插值小塊的運動向量；在求得整幀的插值小塊的運動向量後，根據得到的整幀的插值小塊的運動向量進 行插值，得到待求的插值幀；其中，L、P均為自然數。本發明的實施方式還提供了一種視頻幀率轉換中的插值幀獲取裝置，包含大塊劃分模塊，用於將待求的插值幀劃分成L個大塊；大塊運動向量估計模塊，用於對每一個大塊，根據輸入視頻的當前幀和前一幀，對 大塊進行雙邊運動向量估計，得到大塊的運動向量；大塊分解模塊，用於將每一個大塊分解為P個插值小塊；插值小塊運動向量估計模塊，用於以插值小塊所屬的大塊的運動向量為預測值， 對各插值小塊進行雙邊運動向量估計，得到各插值小塊的運動向量；插值模塊，用於在插值小塊運動向量估計模塊求得整幀的插值小塊的運動向量 後，根據得到的整幀的插值小塊的運動向量進行插值，得到待求的插值幀；其中，L、P均為自然數。本發明實施方式與現有技術相比，主要區別及其效果在於將待求的插值幀劃分成若干個大塊，首先對大塊進行雙邊運動向量估計，然後將 大塊分解為若干插值小塊，以大塊的運動向量為預測值，進行插值小塊的雙邊運動向量估 計。在得到整幀的插值小塊的運動向量後，然後根據插值小塊的MV進行插值，最終得到插 值幀。通過分級估計出需要插值塊的運動向量，可以提高插值塊的運動向量準確度，更好地 減少「背景取代物體」錯誤，從而保證插值幀圖像質量高，視覺效果更好。而且，基於分級搜 索，會帶來更小的運算量，適合實時處理高清視頻。進一步地，對大塊進行雙邊運動向量估計時，在大塊的搜索範圍內，對稱地在當前 幀和前一幀中進行大塊匹配計算，並將計算到的最匹配的大塊的運動向量作為所求的大塊 的運動向量。其中，大塊的搜索範圍通過以下方式確定判斷在大塊周圍的插值小塊的運動 向量的均值是否小於第一閾值Tl，如果小於Tl，則選用第一搜索範圍Sl ；如果大於或等於Tl，則選用第二搜索範圍S2。對插值小塊進行雙邊運動向量估計時，在插值小塊的搜索範圍 內，對稱地在當前幀和前一幀中進行插值小塊匹配計算，並將計算到的最匹配的插值小塊 的運動向量作為所求的插值小塊的運動向量。其中，插值小塊的搜索範圍通過以下方式確 定如果周圍的插值小塊運動向量的均值，與待求運動向量的插值小塊所屬大塊的運動向 量的差值小於第二閾值T2，則選用第三搜索範圍S3 ；如果大於或等於T2，則選用第四搜索 範圍S4。通過動態改變搜索範圍的方式，通過利用周圍已計算的插值小塊的運動向量，來動 態選擇當前塊的搜索範圍，可以在正確的搜索範圍內搜索最優運動向量，避免錯誤，提高圖 像質量，提高視覺效果。而且，動態調節搜索範圍，對於相對靜止的大塊運動估計，和預測值 較準的插值小塊運動估計，都會分配較小的搜索範圍，從而減少運算量，縮短運算時間。進一步地，採用快速搜索方式進行大塊匹配計算和插值小塊匹配計算，能進一步 減少運算量，縮短運算時間。進一步地，在分級雙邊運動估計中，大塊塊匹配使用SASD準則，不但減少計算量， 而且減少噪聲幹擾；在插值小塊塊匹配使用SAD準則，能增加準確性。有利於圖像質量，有 利於減少實時處理高清視頻。


圖1是根據本發明第--實施方式的視頻幀率轉換中的插值幀獲取方法流程圖2是根據本發明第二二實施方式中的雙邊運動估計示意圖3是根據本發明第二二實施方式中的SASD分塊方式示意圖4是根據本發明第二二實施方式中的大塊和周圍的插值小塊的位置關係示意圖5是根據本發明第二二實施方式中進行分級雙邊運動估計的步驟細化流程圖6是根據本發明第二二實施方式中的3 * 3運動向量濾波示意圖7是根據本發明第二二實施方式中的採用OBMC插值的示意 圖。圖8是根據本發明第ΞΞ實施方式的視頻幀率轉換中的插值幀獲取裝置結構示意
具體實施例方式在以下的敘述中，為了使讀者更好地理解本申請而提出了許多技術細節。但是，本 領域的普通技術人員可以理解，即使沒有這些技術細節和基於以下各實施方式的種種變化 和修改，也可以實現本申請各權利要求所要求保護的技術方案。為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明的實施 方式作進一步地詳細描述。本發明第一實施方式涉及一種視頻幀率轉換中的插值幀獲取方法，具體流程如圖 1所示。在步驟110中，進行分級雙邊運動估計，估計出需要的插值小塊的MV。具體地說， 將待求的插值幀劃分成L個大塊(L為自然數)，例如大塊的尺寸為64女64像素，那麼IOM 女768的圖像就可以分成16女12個大塊。對每一個大塊進行以下操作根據輸入視頻的當前幀和前一幀，對大塊進行雙邊運動向量估計，得到大塊的運 動向量(MV_Large)。
將大塊分解為P個插值小塊(P為自然數)，以該大塊的運動向量為預測值，對分 解該大塊後得到的各插值小塊進行雙邊運動向量估計，得到各插值小塊的運動向量(MV_ Small)ο在求得整幀的插值小塊的MV後，進入步驟120，對整幀的插值小塊的運動向量的 正確性進行檢測，對錯誤的插值小塊的運動向量進行修正。接著，在步驟130中，判斷錯誤的插值小塊的運動向量的個數是否小於預設門限 值，如果小於該預設門限值，則進入步驟140，根據得到的插值小塊的運動向量，進行插值； 如果大於或等於該預設門限值，則進入步驟150，直接進行幀複製，將得到的複製幀作為待 求的插值幀輸出。在本實施方式中，通過分級估計出需要插值塊的運動向量，可以提高插值塊的運 動向量準確度，更好地減少「背景取代物體」錯誤，從而保證插值幀圖像質量高，視覺效果更 好。而且，基於分級搜索，會帶來更小的運算量，適合實時處理高清視頻。本發明第二實施方式涉及一種視頻幀率轉換中的插值幀獲取方法。第二實施方式 在第一實施方式的基礎上進行了改進，主要改進之處在於本實施方式中不僅採用分級的 方式進行雙邊運動估計，而且在運動向量估計時，動態的改變搜索範圍，以進一步提高圖像 質量，提高視覺效果，同時進一步減少運算量，縮短運算時間。另外，本實施方式也在第一實 施方式的基礎上，進行了細節上的補充。具體地說，在本實施方式中，在步驟110中，通過以下方式，根據輸入視頻的當前 幀和前一幀，對插值幀的某大塊進行雙邊運動向量估計在大塊的搜索範圍內，以大塊坐標為中心，對稱地在當前幀f (η)和前一幀f (η-1) 中進行大塊匹配計算，採用的塊匹配準則是絕對子塊差值和(Sum ofAbsolute Sub-block Differences，簡稱「SASD」)，如圖2所示。並將計算到的最匹配的大塊的運動向量作為所 求的大塊的運動向量。該SASD的求法如下先將大塊劃分成若干求和小塊，例如將64 ^ 64的大塊分成2 ^ 2個求和小 塊，那麼每個求和小塊的尺寸為32女32像素，然後求出每個求和小塊的像素和(Sum of Sub-Block，簡稱「SSB」)如圖3所示。假設所分的小塊寬為w，高為h，小塊左上角在圖像f 中的坐標為(m, η)，那麼SSB的計算如公式(1)
權利要求
1.一種視頻幀率轉換中的插值幀獲取方法，其特徵在於，包含以下步驟 將待求的插值幀劃分成L個大塊，對每一個所述大塊，執行以下步驟根據輸入視頻的當前幀和前一幀，對所述大塊進行雙邊運動向量估計，得到所述大塊 的運動向量；將所述大塊分解為P個插值小塊，以該大塊的運動向量為預測值，對分解該大塊後得 到的各插值小塊進行雙邊運動向量估計，得到各插值小塊的運動向量；在求得整幀的插值小塊的運動向量後，根據得到的整幀的插值小塊的運動向量進行插 值，得到所述待求的插值幀； 其中，所述L、P均為自然數。
2.根據權利要求1所述的視頻幀率轉換中的插值幀獲取方法，其特徵在於，所述根據 輸入視頻的當前幀和前一幀，對所述大塊進行雙邊運動向量估計的步驟中，包含以下子步 驟在大塊的搜索範圍內，對稱地在所述當前幀和前一幀中進行大塊匹配計算，並將計算 到的最匹配的大塊的運動向量作為所求的大塊的運動向量； 其中，所述大塊的搜索範圍通過以下方式確定判斷在大塊周圍的插值小塊的運動向量的均值是否小於第一閾值Tl，如果小於所述 Tl，則選用第一搜索範圍Sl ；如果大於或等於所述Tl，則選用第二搜索範圍S2 ；所述對分解該大塊後得到的各插值小塊進行雙邊運動向量估計的步驟中，包含以下子 步驟在插值小塊的搜索範圍內，對稱地在所述當前幀和前一幀中進行插值小塊匹配計算， 並將計算到的最匹配的插值小塊的運動向量作為所求的插值小塊的運動向量； 其中，所述插值小塊的搜索範圍通過以下方式確定如果周圍的插值小塊的運動向量的均值，與待求運動向量的插值小塊所屬大塊的運動 向量的差值小於第二閾值T2，則選用第三搜索範圍S3 ；如果大於或等於所述T2，則選用第 四搜索範圍S4 ；其中，所述Si、S2、S3、S4預先設定。
3.根據權利要求2所述的視頻幀率轉換中的插值幀獲取方法，其特徵在於，所述在大 塊的搜索範圍內，對稱地在所述當前幀和前一幀中進行大塊匹配計算時，採用快速搜索方 式進行所述大塊匹配計算；所述在插值小塊的搜索範圍內，對稱地在所述當前幀和前一幀中進行插值小塊匹配計 算時，採用快速搜索方式進行所述插值小塊匹配計算。
4.根據權利要求2所述的視頻幀率轉換中的插值幀獲取方法，其特徵在於，在進行所 述大塊匹配計算時，採用的塊匹配準則為絕對子塊差值和SASD，計算到的最匹配的大塊的 運動向量即為在所述大塊的搜索範圍內最小SASD所對應的運動向量；其中，所述SASD通過以下方式計算得到將大塊劃分為A * B個求和小塊，求出每個求和小塊的像素和SSB ； 根據以下公式計算(mvx，mvy)下的所述SASD A-I B-ISASD(mK ,) = Σ Σ\SSBn-i (χ0 + mvx+i*w,y0+ mvy + j*h)-SSBn (x0 - mvx +i*w,y0- mvy + j*h)/=O _/=0其中，SSBlri表示在前一幀中大塊的求和小塊的像素和，SSBn表示在當前幀中大塊的求 和小塊的像素和，^表示待求運動向量的大塊在圖像中的橫坐標，％表示待求運動向量的 大塊在圖像中的縱坐標，w表示求和小塊的寬，h表示求和小塊的高，mvx和mvy為在所述大 塊的搜索範圍內的向量取值。
5.根據權利要求4所述的視頻幀率轉換中的插值幀獲取方法，其特徵在於，在將所述 大塊分解為P個插值小塊的步驟之後，以該大塊的運動向量為預測值，對分解該大塊後得 到的各插值小塊進行雙邊運動向量估計的步驟之前，還包含以下步驟判斷在大塊的搜索範圍內的最小SASD是否小於第三閾值T3，如果小於所述T3，則分解 該大塊後得到的P個插值小塊的運動向量均為求得的該大塊的運動向量；如果大於或等於 所述T3，則再進入所述以該大塊的運動向量為預測值，對分解該大塊後得到的各插值小塊 進行雙邊運動向量估計的步驟。
6.根據權利要求2所述的視頻幀率轉換中的插值幀獲取方法，其特徵在於，在進行所 述插值小塊匹配計算時，採用的塊匹配準則為絕對差值和SAD，計算到的最匹配的插值小塊 的運動向量即為在所述插值小塊的搜索範圍內最小SAD所對應的運動向量。
7.根據權利要求1至6中任一項所述的視頻幀率轉換中的插值幀獲取方法，其特徵在 於，在求得整幀的插值小塊的運動向量後，還包含以下步驟對所述整幀的插值小塊的運動向量的正確性進行檢測，對錯誤的插值小塊的運動向量 進行修正；判斷錯誤的插值小塊的運動向量的個數是否小於預設門限值，如果小於所述預設門限 值，則再進入所述根據得到的整幀的插值小塊的運動向量，進行插值的步驟；如果大於或等 於所述預設門限值，則直接進行幀複製，將得到的複製幀作為所述待求的插值幀。
8.一種視頻幀率轉換中的插值幀獲取裝置，其特徵在於，包含大塊劃分模塊，用於將待求的插值幀劃分成L個大塊；大塊運動向量估計模塊，用於對每一個所述大塊，根據輸入視頻的當前幀和前一幀，對 所述大塊進行雙邊運動向量估計，得到所述大塊的運動向量；大塊分解模塊，用於將每一個所述大塊分解為P個插值小塊；插值小塊運動向量估計模塊，用於以插值小塊所屬的大塊的運動向量為預測值，對各 插值小塊進行雙邊運動向量估計，得到各插值小塊的運動向量；插值模塊，用於在所述插值小塊運動向量估計模塊求得整幀的插值小塊的運動向量 後，根據得到的整幀的插值小塊的運動向量進行插值，得到所述待求的插值幀；其中，所述L、P均為自然數。
9.根據權利要求8所述的視頻幀率轉換中的插值幀獲取裝置，其特徵在於，所述大塊 運動向量估計模塊在進行雙邊運動向量估計時，在大塊的搜索範圍內，對稱地在所述當前 幀和前一幀中進行大塊匹配計算，並將計算到的最匹配的大塊的運動向量作為所求的大塊 的運動向量；所述視頻幀率轉換中的插值幀獲取裝置還包含大塊搜索範圍動態獲取模塊，用於判斷 在大塊周圍的插值小塊的運動向量的均值是否小於第一閾值Tl，並在小於所述Tl時，選用 第一搜索範圍Sl作為該大塊的搜索範圍；在大於或等於所述Tl時，選用第二搜索範圍S2 作為該大塊的搜索範圍；插值小塊運動向量估計模塊在進行雙邊運動向量估計時，在插值小塊的搜索範圍內， 對稱地在所述當前幀和前一幀中進行插值小塊匹配計算，並將計算到的最匹配的插值小塊 的運動向量作為所求的插值小塊的運動向量；所述視頻幀率轉換中的插值幀獲取裝置還包含插值小塊搜索範圍動態獲取模塊，用於 判斷在待求運動向量的插值小塊周圍的插值小塊的運動向量的均值，與待求運動向量的插 值小塊所屬大塊的運動向量的差值是否小於第二閾值T2，並在小於所述T2時，選用第三搜 索範圍S3作為待求運動向量的插值小塊的搜索範圍；在大於或等於所述T2時，選用第四搜 索範圍S4作為待求運動向量的插值小塊的搜索範圍；其中，所述Si、S2、S3、S4預先設定。
10.根據權利要求9所述的視頻幀率轉換中的插值幀獲取裝置，其特徵在於，所述大塊 運動向量估計模塊在大塊的搜索範圍內，對稱地在所述當前幀和前一幀中進行大塊匹配計 算時，採用快速搜索方式進行所述大塊匹配計算；所述插值小塊運動向量估計模塊在插值小塊的搜索範圍內，對稱地在所述當前幀和前 一幀中進行插值小塊匹配計算時，採用快速搜索方式進行所述插值小塊匹配計算。
11.根據權利要求9所述的視頻幀率轉換中的插值幀獲取裝置，其特徵在於，所述大 塊運動向量估計模塊在進行所述大塊匹配計算時，採用的塊匹配準則為絕對子塊差值和 SASD，計算到的最匹配的大塊的運動向量即為在所述大塊的搜索範圍內最小SASD所對應 的運動向量；所述大塊運動向量估計模塊包含以下子模塊求和小塊劃分子模塊，用於將大塊劃分為A * B個求和小塊；像素求和子模塊，用於求出每個求和小塊的像素和SSB ；SASD計算子模塊，用於根據以下公式計算(mVx，mVy)下的所述SASD A-I B-ISASDimv ,) = Σ Σ 1^-1 (χο + mvx +i*w,y0+ mvy + j*h)~ SSBn (x0 - mvx + i*w,y0-mVy +j*h)/=O ；=其中，SSB 表示在前一幀中大塊的求和小塊的像素和，SSBn表示在當前幀中大塊的 求和小塊的像素和，^表示待求運動向量的大塊在圖像中的橫坐標，％表示待求運動向量 的大塊在圖像中的縱坐標，w表示求和小塊的寬，h表示求和小塊的高，mvx和mvy為在所述 大塊的搜索範圍內的向量取值。
12.根據權利要求11所述的視頻幀率轉換中的插值幀獲取裝置，其特徵在於，所述視 頻幀率轉換中的插值幀獲取裝置還包含賦值判斷模塊，用於判斷待求運動向量的大塊的搜索範圍內的最小SASD是否小於第 三閾值T3，並在判定小於所述T3時，直接將求得的該大塊的運動向量賦值給分解該大塊後 得到的各插值小塊的運動向量；並在大於或等於所述T3時，觸發所述插值小塊運動向量估 計模塊。
13.根據權利要求9所述的視頻幀率轉換中的插值幀獲取裝置，其特徵在於，所述插值 小塊運動向量估計模塊在進行所述插值小塊匹配計算時，採用的塊匹配準則為絕對差值和 SAD，計算到的最匹配的插值小塊的運動向量即為在所述插值小塊的搜索範圍內最小SAD 所對應的運動向量。
14.根據權利要求8至13中任一項所述的視頻幀率轉換中的插值幀獲取裝置，其特徵在於，所述視頻幀率轉換中的插值幀獲取裝置還包含插值小塊運動向量修正模塊，用於對所述插值小塊運動向量估計模塊求得的整幀的插 值小塊的運動向量的正確性進行檢測，對錯誤的插值小塊的運動向量進行修正；插值決定模塊，用於判斷錯誤的插值小塊的運動向量的個數是否小於預設門限值，並 在判定小於所述預設門限值時，觸發所述插值模塊；在判定大於或等於所述預設門限值時， 觸發用於直接進行幀複製的複製模塊，將得到的複製幀作為所述待求的插值幀。
全文摘要
本發明涉及視頻處理領域，公開了一種視頻幀率轉換中的插值幀獲取方法及其裝置。本發明中，將待求的插值幀劃分成若干個大塊，首先對大塊進行雙邊運動向量估計，然後將大塊分解為若干插值小塊，以大塊的運動向量為預測值，進行插值小塊的雙邊運動向量估計。在得到整幀的插值小塊的運動向量後，根據插值小塊的運動向量進行插值，最終得到插值幀。通過分級估計出需要插值塊的運動向量，可以提高插值塊的運動向量準確度，更好地減少「背景取代物體」錯誤，從而保證插值幀圖像質量高，視覺效果更好。而且，基於分級搜索，會帶來更小的運算量，適合實時處理高清視頻。
文檔編號H04N7/46GK102123283SQ20111005801
公開日2011年7月13日 申請日期2011年3月11日 優先權日2011年3月11日
發明者俞海, 查林, 賈永華, 黃崇基 申請人:杭州海康威視軟體有限公司