通過考慮閉塞估算像素組的運動矢量的製作方法
2023-08-04 00:35:31 1
專利名稱：通過考慮閉塞估算像素組的運動矢量的製作方法
技術領域：
本發明涉及一種估算輸入圖像的像素組運動矢量的方法。
本發明進一步涉及一種用於估算輸入圖像的像素組運動矢量的運動估算單元。
本發明進一步涉及一個圖像處理裝置，其包括-用於接收表示待處理圖像的信號的接收設備；-這樣的一個運動估算單元；和-一個運動補償圖像處理單元。
在開始段落中所描述的方法的實例可從美國專利6,011,596中獲知。該專利描述了在假定前景物體覆蓋背景物體的情況下，前景物體在背景物體前運動的情景。由於運動，前景物體連續地覆蓋和暴露背景。表示該情景的圖像包括三種類型的區域覆蓋區域、暴露區域和未覆蓋區域。這意味著在隨後圖像中一部分圖像被覆蓋，在隨後的圖像中一部分圖像被暴露以及在隨後的圖像中其餘部分仍表示相同的物體。在三個圖像的序列中，在中心圖像中可見的所有圖像，應當處於前面的圖像、隨後的圖像或兩種圖像中。
為了產生可用於基本限定輸入圖像中全部運動的一組運動矢量，第一組運動矢量由比較前面的圖像和隨後的圖像得出。隨後合併這些組以產生用於指定(assignment)給輸入圖像的矢量組。一旦得出運動矢量組，其就被指定(assign)給輸入圖像，在此可投射這些矢量組以產生所需輸出圖像。這些運動矢量指定給一些區域，也就是，圖像的象素組。
上述專利的方法相對複雜並需要相對多的存儲器。除此之外，其還不耐用。選擇兩組運動矢量的決定應當以這些組運動矢量的相應匹配誤差為基礎。因此，這種藉助前面的圖像計算的反向運動矢量的匹配誤差，必須與藉助隨後的圖像計算的前進運動的匹配誤差相比較。需要匹配誤差的暫時存儲器。
本發明的一個目的提供一種開始段落中所描述並相對簡單的方法。
本發明的目的由估算輸入圖像像素組的運動矢量的方法而實現，所述方法包括
-計算適用於輸入圖像的閉塞圖(occlusion map)的閉塞(occlusion)檢測步驟，其中所述閉塞圖指示輸入圖像的像素組對應如下類型區域的哪一區域覆蓋區域、暴露區域或未覆蓋區域；-基於所述輸入圖像和輸入圖像前面的圖像估算像素組的第一運動矢量的第一中間估算步驟；-基於輸入圖像和輸入圖像隨後的圖像估算像素組的第二運動矢量的第二中間運動估算步驟；以及-指定步驟，基於閉塞圖，指定一個最終運動矢量為運動矢量，其中所述最終運動矢量由第一運動矢量或第二運動矢量得出。
優選地，像素組對應像素塊。本發明的一個重要方面是閉塞圖的使用。結果是，設計的執行本發明的方法的運動估算單元相對簡單。事實上，標準運動估算單元可用於實行第一和第二中間的運動估算步驟。對於標準運動估算單元，其意指用於設計成基於成對圖像的像素值比較來估算運動矢量的運動估算單元。標準運動估算單元可以是從下面論文中獲知的運動估算單元1993年10月，視頻技術電路和系統的IEEE學報(IEEE Transactions on circuits and systems for videotechnology)vol.3，no.5，第368-379頁的G.de haan等人的論文「使用三D循環檢查區匹配的實際運動估算(True-Motion Estimation with 3-DRecursive Search Block Matching」。通過標準運動估算單元計算的運動矢量場，也就是，中間運動矢量場，可包含由覆蓋和/或暴露引起的錯誤的運動矢量。藉助根據本發明的方法，這些中間運動矢量場被合併成一個最終運動矢量場。或換句話說，所述對應覆蓋或暴露區域的錯誤運動矢量基本上被消除。因此，由標準運動估算單元確定的運動矢量場，藉助後處理被改進。使用標準運動估算單元的優勢是相對少的存儲器需求。典型地，僅在存儲器中同時保存兩個圖像的像素。
使用閉塞圖的優勢是需要相對少的存儲器。在現有技術的方法中，匹配誤差被用於控制運動矢量的選擇。為了存儲匹配誤差，例如絕對差值的和，需要相對多的存儲器。匹配誤差的使用是現有技術的方法為什麼相對不實用的一個原因。
如上所述，首先計算兩個中間運動矢量場並隨後將其合併。應注意到，僅對於這些運動矢量場之一，必須為需要運動矢量的圖像的全部像素組計算運動矢量。其他的中間運動矢量場可能是未完成的(incomplete)。這意指，僅為位於覆蓋或暴露區域內的像素組計算運動矢量。由此，實現計算機資源消耗的降低。
在根據本發明方法的實施例中，所述最終運動矢量從下面得出-如果像素組的區域類型對應覆蓋區域，則由第一運動矢量得出所述最終運動矢量；和-如果像素組的區域類型對應暴露區域，則由第二運動矢量得出所述最終運動矢量。
如果像素組的區域類型對應未覆蓋區域，那麼最終運動矢量無論由第一運動矢量或第二運動矢量得出，都沒有任何區別。可進行任意的選擇。所述得出意指-最終運動矢量直接對應中間運動矢量，即，第一運動矢量或第二運動矢量；或-最終運動矢量長度對應中間運動矢量的長度，但其方向相反。
在根據本發明的方法實施例中，基於運動矢量場計算所述閉塞圖。基於運動矢量場計算閉塞圖的方法，在名稱為「圖像信號中問題區域位置」、公開號為WO 0011863的專利申請中進行了描述。在所述的專利申請中，藉助比較一個運動矢量場的相鄰運動矢量來確定閉塞圖。假定如果相鄰運動矢量基本相同，也就是，如果相鄰運動矢量之間的絕對差低於預定閾值，那麼所述運動矢量對應的像素組位於未覆蓋區域內。然而，如果一個運動矢量實質上大於相鄰運動矢量，則假定所述組像素位於覆蓋區域或暴露區域內。相鄰運動矢量的方向確定所述兩種區域類型為哪一區域類型。這種閉塞檢測方法的優勢是其耐用性(robustness)。其優於現有技術，也就是，基於匹配誤差的US6011596中所使用的方法。
在根據本發明基於運動矢量場計算的閉塞圖的方法實例中，運動矢量場與所述輸入圖像相關。基於考慮中的圖像的運動矢量場的閉塞圖，非常可能是最佳的閉塞圖。
在根據本發明基於運動矢量場計算的閉塞圖的方法實例中，運動矢量場與所述前面的圖像相關。該方法的優勢是，其能實現根據本發明的簡單構造的運動估算單元。
圖像處理的修改及其變化，可與所述方法和運動估算單元的修改和變化相對應。所述圖像處理裝置可包括附加部件，例如，用於顯示已處理圖像的顯示裝置。所述運動補償圖像處理單元可支持一種或多種以下類型的圖像處理-視頻壓縮，也就是，例如，根據MPEG標準進行的編碼或解碼。
-去隔行掃描(de-interlacing)隔行掃描是常見的視頻廣播方法，用於交替地傳送奇數或偶數圖像行。去隔行掃描試圖恢復全垂直解析度，也就是，對於每個圖像可以同時得到奇數行和偶數行；-上變換(up-conversion)由一系列原始輸入圖像計算一更大系列的輸出圖像。輸出圖像暫時地位於兩個原始輸入圖像之間；以及-時間噪聲減低(temporal noise reduction)。這也包括空間處理，其導致空間-時間噪聲減低。根據本發明的圖像處理裝置和方法的運動估算單元的這些及其他方面，將根據下面描述的實施過程(implementations)和實施例以及參照附圖變得顯而易見和得到說明，其中附
圖1示意性地示出根據本發明的方法的構思；附圖2示意性地示出運動估算單元的一個實施例；附圖3示意性地示出與重新定時器(re-timer)單元結合的運動估算單元的一個實施例；附圖4示意性地示出圖像處理裝置的一個實施例。
所有附圖中，相同的參考標記具有相同的含義。
附圖1示意性地示出根據本發明的方法的構思。附圖1示出三個連續圖像102-106，其表示了在固定背景前球從右邊移至左邊的情景。由箭頭110表示移動的方向。基於這三個連續圖像102-106，估算兩個運動矢量場112和114。運動矢量場112基於圖像104和圖像106。運動矢量場114基於圖像104和圖像102。它們可用運動估算單元算出，所述運動估算單元可以是從下面論文中獲知的運動估算單元1993年10月，視頻技術電路和系統的IEEE學報(IEEE Transactions on circuits andsystems for video technology)，vol. 3，no.5，第368-379頁的G.de haan等人的論文「使用三D循環檢查區匹配的實際運動估算(True-MotionEstimation with 3-D Recursive Search Block Matching」。該兩個運動矢量場122和114的大部分運動矢量等於零。它們對應於非移動背景。這些運動矢量稱作背景運動矢量。運動矢量場112和114的其他運動矢量對應於球108的移動。後者的這些運動矢量分別位於區域113和115中。這些運動矢量稱作前景運動矢量。然而，一些指定的運動矢量不正確區域113和115的太大。這是由覆蓋或暴露而引起分別是，在一個圖像中可見的背景物體在下一個圖像中看不見或者在一個圖像中可見的背景物體在前面的圖像中看不見。對於這些情況，不可能直接計算適當的運動矢量。
所述目的是要計算與圖像104相匹配的運動矢量場124。這意味著，將前景運動矢量指定給對應球108的像素，而背景運動矢量指定給另外的像素。前者像素位於區域126，而後者像素位於區域128。附圖1也包含閉塞圖(occlusion map)116。所述閉塞圖116為元素矩陣，用這些元素表出圖像104的各個像素對應以下區域類型的哪一個覆蓋區域118、暴露區域122或未覆蓋區域120。這種閉塞圖可根據名稱為「圖像信號中的問題區域位置」、公開號為WO0011863的專利申請中所說明的方法予以計算。應注意到，所述閉塞圖不必與實際閉塞部件(occluded part)嚴格匹配。但是，優選地，閉塞圖的覆蓋區域和暴露區域等於或大於實際覆蓋或暴露的區域。
根據本發明的估算運動矢量方法如下。假定運動矢量場112和114包括像素塊的運動矢量。現在，需要確定運動矢量場124的適當運動矢量。對於運動矢量場124的每個像素塊，執行以下步驟-對於像素塊通過閉塞圖116確定區域類型。
-基於以下檢驗，為該像素塊指定適當的運動矢量*如果區域類型對應「覆蓋」，則從運動矢量場114選擇運動矢量。而該運動矢量意指屬於考慮中的像素塊的運動矢量。
*如果區域類型對應「暴露」，則從運動矢量場112中選擇運動矢量。而該運動矢量意指屬於考慮中的像素塊的運動矢量。
*如果區域類型對應「覆蓋」，則從運動矢量場112中選擇運動矢量。注意到，從運動矢量場114中選擇運動矢量產生相同結果。
附圖2示意性地示出根據本發明的運動估算單元200的一個實施例。所述運動估算單元200包括-中間運動估算單元202，用於基於圖像104和圖像104前面的圖像102估算第一矢量場114以及基於圖像104和隨後的圖像106估算第二運動矢量場；和-指定單元204，基於像素組的區域類型，將最終運動矢量指定為運動矢量，所述最終運動矢量由第一運動矢量或第二運動矢量得出；以及
-基於運動矢量場計算閉塞圖116的閉塞檢測單元206。或者通過連接器214由中間運動估算單元202，或通過連接器212由指定單元204提供運動矢量場。
在輸入連接器208處提供圖像。該運動估算單元200在輸出連接器210處提供運動矢量。該運動估算單元的操作與結合附圖1所描述的方法對應。
附圖3示意性地示出與重新定時器單元302結合的運動估算單元300的一個實施例。指定單元204的輸出信號能直接用於，例如MPEG補償。在上變換的情況下，對於要插入圖像需要運動矢量。這意味著，圖像並不存在於提供給運動估算單元的原始系列圖像中，但圖像能基於該原始系列圖像來計算。所述運動估算單元300包括一種重新定時器單元302，重新定時器單元302設計成對這些新的圖像估算運動矢量。用於重新定時的可行方法是以一個運動矢量場的投射運動矢量為基礎，隨後定標運動矢量。該定標取決於原始圖像和新圖像之間的時間間隔差。
另一種方法是以兩個連續運動矢量場為基礎。在該方法中，彼此減去相應的運動矢量。如果這些輸入運動矢量之間的差值低於預定閾值，那麼將要計算的運動矢量以兩個輸入運動矢量的平均值為基礎。如果所述閾值超出預定閾值，那麼根據其中包括將要插入的圖像的暫時位置選擇兩個輸入運動矢量中的特定的一個。所要計算的運動矢量以該輸入運動矢量為基礎。這種選擇可藉助閉塞圖116予以控制。附圖4示意性地示出圖像處理裝置400的組成部分，所述裝置包括-接收裝置402，用於在完成某些處理之後接收表示將要被顯示的圖像的信號。該信號可以是通過天線或電纜接收的廣播信號，但也可以是來自存儲裝置的信號，存儲裝置例如為VCR(盒式磁帶錄像機)或數位化視頻光碟(DVD)。在輸入連接器410提供該信號。
-結合附圖2和3所描述的運動估算單元404；-運動補償圖像處理單元406；和-顯示設備408或顯示已處理的圖像。這種顯示設備408可以是任意的顯示設備。
所述運動補償圖像處理單元406需要作為其輸入信號的圖像和運動矢量。
應注意到，上述實施例描述了本發明，而不是限制本發明，而且本領域技術人員在不脫離所附權利要求的範圍的情況下，能夠設計可替換的實施例。在所述權利要求中，置於括號內的任意參考標記不應認為限制權利要求。詞語「包括」並不排除未列於權利要求中的部件和步驟的存在。在部件之間的詞語「一個」或「一種」，並不排出多個這樣部件的存在。本發明可藉助包括幾個不同部件的硬體和適當的可編程計算機予以實現。在列舉了幾個部件的產品權利要求中，可以由硬體的之一和相同項可以實施幾個這些部件。
權利要求
1.一種估算輸入圖像(104)的像素組的運動矢量的方法，其包括-計算適用於輸入圖像(104)的閉塞圖(116)的閉塞檢測步驟，其所述閉塞圖(116)指示輸入圖像(104)的像素組對應以下區域類型的哪一區域覆蓋區域、暴露區域或未覆蓋區域；-第一中間運動估算步驟，基於所述輸入圖像(104)和輸入圖像(104)前面的圖像(102)估算對於像素組的第一運動矢量；-第二中間運動估算步驟，基於輸入圖像(104)和輸入圖像(104)隨後的圖像(106)估算對於像素組的第二運動矢量；以及-指定步驟，基於閉塞圖(116)指定最終運動矢量為運動矢量，其中最終運動矢量由第一運動矢量或第二運動矢量得出。
2.根據權利要求1所述的估算運動矢量的方法，其特徵在於，在所述指定步驟中，最終運動矢量由下面得出-如果像素組的區域類型對應覆蓋區域(118)，則由第一運動矢量得出最終運動矢量；以及-如果像素組的區域類型對應暴露區域(122)，則由第二運動矢量得出最終運動矢量。
3.根據權利要求1中所述的估算運動矢量的方法，其特徵在於，根據運動矢量場(112，114)計算所述閉塞圖(116)。
4.根據權利要求3中所述的估算運動矢量的方法，其特徵在於，所述運動矢量場(112，114)與所述輸入圖像(104)相關。
5.根據權利要求3中所述的估算運動矢量的方法，其特徵在於，所述運動矢量場與前面的圖像(102)相關。
6.根據權利要求3中所述的估算運動矢量的方法，其特徵在於，通過比較運動矢量場(112，114)的相鄰運動矢量來計算閉塞圖(116)。
7.一種用於估算輸入圖像(104)的像素組的運動矢量的運動估算單元(200，300)，其包括-計算適用於所述輸入圖像(104)的閉塞圖(116)的閉塞檢測單元(206)，其中所述閉塞圖(116)指示輸入圖像(104)的像素組對應如下區域類型的哪一區域覆蓋區域(118)、暴露區域(122)或未覆蓋區域(120)；-中間運動估算單元(202)，其基於所述輸入圖像(104)和輸入圖像(104)前面的圖像(102)估算對於像素組的第一運動矢量，和基於輸入圖像(104)和輸入圖像(104)隨後的圖像(106)估算對於像素組的第二運動矢量；以及-指定單元(204)，基於閉塞圖(116)，指定一個最終運動矢量為運動矢量，由第一運動矢量或第二運動矢量得出該最終運動矢量。
8.一種圖像處理裝置(400)，包括-接收裝置(402)，接收表示要處理的圖像(102，104，106)的信號；-運動估算單元(200，300)，其用於估算所述圖像的輸入圖像(104)的像素組的運動矢量，包括*閉塞檢測單元(206)，用於計算估算適用於輸入圖像(104)的閉塞圖(116)，其中所述閉塞圖(116)指示輸入圖像(104)的像素組對應以下區域類型的哪一區域覆蓋區域(118)、暴露區域(122)或未覆蓋區域(120)；*中間運動估算單元(202)，其基於所述輸入圖像(104)和輸入圖像(104)前面的圖像(102)估算對於像素組的第一運動矢量，和基於輸入圖像(104)和輸入圖像(104)隨後的圖像(106)估算對於像素組的第二運動矢量；以及-*指定單元(204)，基於閉塞圖(206)，指定一個最終運動矢量為運動矢量，由第一運動矢量或第二運動矢量得出該最終運動矢量，-運動補償圖像處理單元。
9.根據權利要求8所述的圖像處理裝置(400)，其特徵在於，所述裝置設計成執行視頻壓縮。
10.根據權利要求8所述的圖像處理裝置(400)，其特徵在於所述運動補償圖像處理單元(406)設計成減少圖像(102，104，106)中的噪音。
11.根據權利要求8所述的圖像處理裝置(400)，其特徵在於所述運動補償圖像處理單元(406)設計成去隔行掃描圖像(102，104，106)。
12.根據權利要求8所述的圖像處理裝置(4 00)，其特徵在於所述運動補償圖像處理單元(406)設計成執行上變換。
全文摘要
一種用於估算輸入圖像(104)的一組像素的運動矢量的運動估算單元(200，300)，包括用於計算適於所述輸入圖像(104)的閉塞圖(116)的閉塞檢測部件(206)；中間運動估算單元(202)，其用於基於所述輸入圖像(104)和前面的圖像(102)估算像素組的第一運動矢量，以及基於所述輸入圖像(104)和隨後的圖像(106)估算像素組的第二運動矢量；和指定單元(204)，基於閉塞圖(116)指定最終運動矢量為運動矢量，其中所述最終運動矢量由第一運動矢量或第二運動矢量得出。
文檔編號H04N7/26GK1628326SQ03803237
公開日2005年6月15日 申請日期2003年1月20日 優先權日2002年2月5日
發明者M·J·W·梅坦斯 申請人:皇家飛利浦電子股份有限公司