區塊比對方法

2023-10-08 16:53:24

專利名稱：區塊比對方法
技術領域：
本發明涉及ー種區塊比對方法，尤其指ー種通過遮罩區域設定來濾除不同物體的幹擾而能正確估測運動向量的區塊比對方法。
背景技術：
運動估測(Motion Estimation)是視頻圖像壓縮處理中ー項重要的技術，其目的在於減少不同時間中的各幀間的多餘信息。一般來說，由於視頻圖像是ー連串圖片連續播放的結果，主要原理系通過兩張相鄰圖片的細微變化，使人們有視覺暫留的反應而產生動畫的效果。而且，相鄰的兩張圖片通常會有類似的關聯，彼此應該皆存在有一部分幾乎或甚至完全沒有變化。在此情況下，儲存圖像信息時，沒有變化的部份就不需要儲存，僅需將先 前的圖像圖片加以修改即可。簡言之，在視頻圖像編解碼過程中，只需記錄先前幀的信息，而後續的幀可通過移動過程中所記錄下的信息來進行重建，如此ー來，將可以不需儲存所有幀圖像的信息，而達到有效地減少傳輸的信息量，並符合圖像壓縮的效果。而運動估測技術便是要找出運動過程中所記錄下的信息，例如運動向量(Motion Vector),以便將變化的部份作補償，來得到後續的圖像。區塊比對(Block Matching)方法是處理運動估測中最常被應用的方法之一，區塊比對方法通過將某一幀圖像切割成多個不重迭的區塊，並尋找不同時間中各區塊間最相似的部分，來取得各區塊的運動向量。一般來說，對於每一區塊而言，有可能會同時包含有多個物體在其中，例如當區塊系位處於多個物體的交界處。請參考圖1，圖I為現有技術於同一區塊中存在不同物體時的示意圖。如圖I所示，圖像I被切割成n個區塊。在時間Tl吋，區塊MBX僅包含物體0bj_A的圖像，而在時間T2吋，區塊MBX除了物體0bj_A的圖像之夕卜，還包含有另ー物體0bj_B的圖像。對於區塊MBX來說，通常會參考對應於物體0bj_A的運動向量mv_A與對應於物體0b j_B的運動向量mv_B來計算相對應的運動向量。在此情況下，由於同一區塊中同時摻雜著不同(或差異很大)的運動情況，則所偵測到的運動向量結果將容易發生錯誤，而無法準確表示實際圖像中物體的運動方向，甚至造成明顯的錯誤。

發明內容
本發明的目的在於利用遮罩區域的設定來濾除不同物體的幹擾，以進行運動向量的估測，如此一來，將能準確地獲得物體的運動向量，以解決上述的問題。為達成上述目的，依據本發明之實施例，本發明揭露ー種區塊比對方法，用於估測一幀圖像中的一估測區塊，包含有比較該估測區塊與對應於一第一物體的至少ー參考區塊以獲得複數個像素差異值；根據該複數個像素差異值，判斷出該估測區塊中對應於該第一物體的ー遮罩區域與對應於該第二物體的ー計算區域；以及對該計算區域中進行一區塊比對運算，以決定該第二物體的一運動向量作為該估測區塊的該運動向量。


圖I為現有技術於同一區塊中存在不同物體時的示意圖。圖2為本發明實施例一區塊比對流程的示意圖。圖3與圖4分別為物體運動運作時的示意圖。圖5為第4圖中幀圖像的圖像區塊的區塊配置的示意圖。其中，附圖標記說明如下20流程 200,202,204,206,208步驟bj_A、0bj_B 物體C計算區域F、F1、F2 幀圖像M屏蔽區域MBl MBn 區塊mv_A、mv_B 運動向量
具體實施例方式請參考圖2，圖2為本發明實施例一區塊比對流程20的示意圖。區塊比對流程20是應用於估測一幀圖像中的一估測區塊的運動向量。流程20包含以下步驟步驟200:開始。步驟202 :比較該估測區塊與對應於一第一物體的一參考區塊以獲得複數個像素
差異值。步驟204 :根據該複數個像素差異值，判斷出該估測區塊中對應於該第一物體的ー遮罩區域，以及對應於ー第二物體的ー計算區域步驟206 :對該計算區域進行一區塊比對運算，以決定該第二物體的一運動向量作為該估測區塊的該運動向量步驟208:結束。依據流程20，由於運動估測主要是於圖像編碼流程中尋找出解碼時所需要的運動向量，因此，在處理運動估測的過程中，會對所輸入的圖像幀進行區塊比對以尋找出較為相像的圖像區塊，進而據以取得相對應的運動向量值。在步驟202中，可基於先前幀中已取得的信息，而於後續進行相對應的區塊比對運算，以判斷不同時間的圖像幀之間的差異狀況。舉例來說，請參考圖3與圖4，圖3與圖4分別為物體運動運作時的示意圖。其中幀圖像Fl與F2各具有n個圖像區塊，且幀圖像Fl與F2分別為輸入視頻圖像中前、後兩張的幀圖像。若第一物體0bj_A為ー靜止的背景圖像，第二物體0bj_B為可移動的ー球體，則如圖3所示，於幀圖像Fl的圖像區塊MBl中只單純有第一物體Ob j_A的圖像；而如圖4所示，於幀圖像F2中，第二物體0bj_B已移動至圖像區塊MBl附近，並且有部分球體面積系位於圖像區塊MBl的範圍內。亦即，在幀圖像F2中，圖像區塊MBl同時跨越了兩個物體圖像，而位處於第一物體0bj_A與第二物體0bj_B的交界處。因此，在步驟202中，系根據對應於第一物體Ob j_A的ー參考區塊，計算所估測區塊中的每ー像素與一參考區塊中的相對應像素的像素差異值。舉例來說，若圖4中的幀圖像F2為當前正進行運動估測的畫面，且幀圖像F2的圖像區塊MBl為待計算運動向量的估測區塊，那麼則可安排圖3的幀圖像Fl中的圖像區塊MBl作為參考區塊。接下來，可基於此參考區塊(即幀圖像Fl中的圖像區塊MBl)，來比較估測區塊(即幀圖像F2的圖像區塊MBl)的每ー像素的像素值與參考區塊(即幀圖像Fl中的圖像區塊MBl)中相對應像素的像素值，來得到兩區塊間的像素差異值。易言之，像素差異值的大小可代表所估測區塊中各像素與參考區塊間各像素的差異程度。於步驟202的不同實施例中，所述像素差異值可為ー亮度差異值或一彩度差異值。更明確言之，可以將幀圖像F2的圖像區塊MBl的每ー像素的亮度(或彩度)值與幀圖像Fl中的圖像區塊MBl中相對應像素的亮度(或彩度)值，進行相減運算，之後所得出來的差值，即分別為幀圖像F2的圖像區塊MBl的相對應像素的像素差異值。於計算出像素差異值之後，接下來，可進行步驟204，以根據所計算出的像素差異值，將對應於第一物體Ob j_A的像素區域設定為ー遮罩區域M,並將對應於第二物體Ob j_B的像素區域設定為ー計算區域C。由於在步驟202中所計算出的像素差異值的大小能夠反 應出所估測區塊中各像素與參考區塊間各像素的差異程度，且參考區塊是從先前幀圖像中的圖像區塊所選出，因此對於估測區塊中的每ー像素而言，當像素差異值較小吋，即代表此像素位置所顯示的物體與參考區塊所顯示的物體應為同一物體。反之，當像素差異值較大吋，則表示此像素位置所顯示的物體系與參考區塊所顯示的物體應為不同物體。如此ー來，可將估測區塊中整體差異程度較大的一區域判斷為第一物體0bj_A的像素區域，也就是遮罩區域M。反之，可將估測區塊中整體差異程度較小的一區域判斷為第二物體Obj_B的像素區域，也就是計算區域C。於步驟204的一特定實施例中，可根據所計算出的像素差異值，分析估測區塊中各像素的像素差異值的相似性分布，以尋找是否存在有至少一區域當中所有像素的像素差異值彼此相近，所找到的至少一區域於以下稱為高相似性區域，並且分別可被判斷為遮罩區域M與該計算區域C當中之一者。更具體而言，若估測區塊中存在有至少ー個以上相鄰像素的像素差異值皆小於第ー臨限值時，則可將該些相鄰像素所形成的區域設定為遮罩區域M。反之，當估測區塊中存在有至少ー個以上相鄰像素的像素差異值皆大於第二臨限值時，則可將該些相鄰像素所形成的區域設定為計算區域C。第二臨限值較佳為等於第一臨限值，然亦可不等於第一臨限值。舉例來說，請參考圖5，圖5為圖4中幀圖像F2的圖像區塊MBl的區塊配置的示意圖。如圖5所示，由於系以幀圖像Fl中的圖像區塊MBl作為參考區塊，因此，第一物體Obj_A所在的區域，當中各像素的像素差異值皆較小(譬如皆小於第一臨限值)，所以可將此區域設定為遮罩區域M，而第二物體0bj_B所在的區域，當中各像素的像素差異值皆較大(譬如皆大於第二臨限值)，所以可將此區域設定為計算區域C。接著，在步驟206中，可単獨對計算區域C中進行一區塊比對運算，以決定ー第二物體的一運動向量。為了能在當前幀圖像中順利在物體交界處準確地取得另ー物體(圖3與圖4中的第二物體0bj_B)的運動向量，再加上與參考區塊有關的圖像物體(圖3與圖4中的第一物體0bj_A)的運動向量也早已於前次運算中正確取得，因此可以將估測區塊中的遮罩區域M忽略不計算，而只對計算區域C內的像素進行運算。換句話說，通過遮罩區域M的設定，能夠過濾掉可能會影響第二物體Obj_B的運動向量判斷的幹擾因素(在此即為第一物體0bj_A的圖像)，結果能夠取得第二物體0bj_B的正確運動向量。
已有各種不同的運動向量的計算方法可供採用以進行步驟206。舉例而言，可對計算區域C中的姆一像素進行一絕對誤差運算(sum of absolute difference, SAD)、一均方誤差運算(mean square error,MSE)或一平均絕對誤差運算(mean absolute error,MAE),以決定第二物體的運動向量。綜合上述，通過步驟202計算估測區塊與參考區塊彼此相對應像素的像素差異值，再通過步驟204依據像素差異值將遮罩區域M與計算區域C判斷出來，最後在步驟206中，僅需以計算區域C內的像素為基準來計算估測區塊中的第二物體的運動向量，能夠有效屏除第一物體0bj_A所產生的幹擾影響，並準確求得第二物體0bj_B的運動向量。值得注意的是，圖3與圖4所示的實施例系以兩個物體交界處的圖像區塊為例，但不以此為限，可類推至具有2個以上的物體的交界處的圖像區塊的其它實施例中，在此不再贅述。此外，圖像區塊的大小不拘，端視系統設計或實際需求而定，例如各圖像區塊可為一 16X 16,32X32個像素範圍的區塊，但不以為限。此外，亦須注意的是，於圖3與圖4所示的實施例中，於步驟202中選定參考區塊以計算像素差異值時，系將參考區塊安排為前ー張幀圖像中位於相同位置的區塊。然而，本發明不限於此。參考區塊可以是安排為前幾張幀圖像中位於相同或相近位置的區塊，亦即有複數個參考區塊。在此情況下，譬如可安排將此複數個參考區塊對應像素的像素值平均值，與估測區塊的對應像素值比較，以得到上述像素差異值。此外，亦須注意的是，圖3與圖4所示的實施例中，於步驟204中，可利用種種不同的方式來判斷遮罩區域M與計算區域C。舉例而言，於上述範例說明中，則必須對遮罩區域M與計算區域C兩者皆進行判斷，當各區域的像素差異值的要求皆滿足時才能決定出遮罩區域M與計算區域C。然而，於其它ー些實施例中，可僅針對當中一者進行判斷即可。更具體言之，可僅針對遮罩區域M來進行判斷，譬如是滿足相鄰像素的像素差異值皆小於第二臨限值的要求，並將圖像區塊MBl剩下的區域全歸為計算區域C以進行運動向量的計算。或是相反地，只針對計算區域C來判斷，譬如是滿足相鄰像素的像素差異值皆大於第一臨限值的要求，剩下的區域全歸為遮罩區域M而須予以排除。此外，能夠將估測區塊中相較參考區塊整體差異程度較大的一區域判斷為遮罩區域M，及/或將整體差異程度較小的一區域判斷為計算區域C的其它方法，亦都可以採用。綜上所述，在幀圖像中的物體交界處，上述實施例通過將一目標物體遮蔽，不列入估測另一目標物體的運動向量的考慮依據，因此能濾除兩物體間的幹擾影響，進而準確獲得另一目標物體的運動向量。 以上所述僅為本發明的優選實施例，凡依本發明權利要求所做的均等變化與修飾，皆應屬本發明的涵蓋範圍。
權利要求
1.ー種區塊比對方法，用於估測一幀圖像中的一估測區塊的一運動向量，其特徵在幹，該區塊比對方法包含 比較該估測區塊與對應於一第一物體的至少ー參考區塊以獲得複數個像素差異值； 根據該複數個像素差異值，判斷出該估測區塊中對應於該第一物體的ー遮罩區域與對應於ー第二物體的ー計算區域；以及 對該計算區域進行一區塊比對運算，以決定該第二物體的一運動向量作為該估測區塊的該運動向量。
2.如權利要求I所述的區塊比對方法，其特徵在於，該至少ー參考區塊分別為前一或多個幀圖像中的ー圖像區塊。
3.如權利要求I所述的區塊比對方法，其特徵在於，該複數個像素差異值是該估測區塊的複數個像素與該至少一參考區塊的相對應像素間的像素差異值。
4.如權利要求I所述的區塊比對方法，其特徵在於，該複數個像素差異值系亮度差異值或彩度差異值。
5.如權利要求I所述的區塊比對方法，其特徵在於，根據該複數個像素差異值，判斷出該估測區塊中對應於該第一物體的該遮罩區域與對應於該第二物體的該計算區域的步驟包含有 分析該估測區塊的像素差異值的相似性分布以獲得至少一高相似性區域； 將該至少一高相似性區域分別判斷為該遮罩區域或該計算區域。
6.如權利要求5所述的區塊比對方法，其特徵在幹，該至少一高相似性區域當中每ー者內的所有像素的像素差異值系皆小於ー第一臨限值或皆大於第二臨限值。
7.如權利要求6所述的區塊比對方法，其特徵在幹，將至少一高相似性區域分別判斷為該遮罩區域與該計算區域當中之一者系包括下列步驟當中至少之ー者 將像素差異值皆小於第一臨限值的該高相似性區域判斷為該遮罩區域；以及 將像素差異值皆大於第二臨限值的該高相似性區域判斷為該計算區域。
8.如權利要求I所述的區塊比對方法，其特徵在幹，該區塊比對運算系包含有對該計算區域中的每ー像素進行ー絕對誤差和運算、一均方誤差計算或一平均絕對誤差運算。
全文摘要
本發明公開了一種區塊比對方法，用於估測一幀圖像中的一估測區塊的一運動向量，包含有比較該估測區塊與對應於一第一物體的至少一參考區塊以獲得複數個像素差異值；根據該複數個像素差異值，判斷出該估測區塊中對應於該第一物體的一遮罩區域與對應於一第二物體的一計算區域；以及對該計算區域進行一區塊比對運算，以決定該第二物體的一運動向量作為該估測區塊的該運動向量。
文檔編號H04N5/14GK102654916SQ20111005234
公開日2012年9月5日 申請日期2011年3月4日 優先權日2011年3月4日
發明者劉玉書, 胡毓宗, 謝萬熹, 陳翠琴 申請人:聯詠科技股份有限公司