對具有象素的數字圖像進行運動估算的方法和裝置的製作方法
2023-05-07 22:38:51 1
專利名稱：對具有象素的數字圖像進行運動估算的方法和裝置的製作方法
技術領域：
本發明涉及對具有象素的數字圖像進行的運動估算。
這樣的方法不同於參考文獻[1]。
在參考文獻[1]的運動估算方法中，將要進行運動估算的數字塊中的象素被分組成為若干圖象塊。
對於在圖象中的每一個圖象塊，在大小可以預先確定的檢索區域內進行嘗試，以確定圖象塊中一個與檢索區域同樣大小的編碼信息最相似的區域，該編碼信息包括在進行運動估算的圖象塊中。
在下文中，名詞「編碼信息」意味著與一個象素相關的亮度信息(亮度值)或顏色信息(色度值)。
為此，在先前圖象中，基於圖象塊在先前圖象中的位置，對於大小可以預先確定的區域(檢索區域)中的每一個位置，具有相應大小的包括與圖象塊中的象素數量相同的象素的區域被形成；並且，將要進行運動估算的圖象塊的編碼信息和在先前圖象中的不同區域的編碼信息之間的絕對偏差和或偏差的平方和被形成。最佳匹配的區域，這也就是說和值最小的區域，被視作匹配圖象塊，並且在先前圖象的「最佳」區域和該圖象塊之間圖象塊位置的移動被確定。這個移動被稱為運動矢量。
本發明針對上述問題，提供了一種可以減少為編碼數字圖象的運動估算的運動矢量所需總位數的方法和裝置。
具有獨立權利要求的特徵的方法和裝置，解決了這個問題。
在對具有象素的數字圖像進行運動估算的方法中，象素被分組到圖象塊中。象素至少被分組到第一圖象區域和第二圖象區域。在第一檢索區域，至少為在第一圖象區域的第一圖象塊實行第一運動估算，以便確定第一個運動矢量，利用它，通過比較在先前圖象中的第一圖象塊或後面的圖象中的第一圖象塊，第一圖象塊的移動被描述。進一步，在第二檢索區域，至少為在第二圖象區域中的第二圖象塊實行第二運動估算，以便確定第二個運動矢量，利用它，通過比較在前面的原來圖象中的第二圖象塊或通過比較在後面的後繼圖象中的第二圖象塊，第二圖象塊的移動被確定。第一檢索區域和第二檢索區域大小不同。
對具有象素的數字圖像進行運動估算的裝置，具有一個處理器，它被如此設定以便執行下述步驟象素被分組到圖象塊，象素被分組以便至少形成一個第一圖象區域和第二圖象區域，在第一檢索區域，至少為在第一圖象區域中的第一圖象塊實行第一運動估算，以便確定第一個運動矢量，利用它，通過比較在先前圖象中的第一圖象塊或後面的圖象中的第一圖象塊，第一圖象塊的移動被描述；進一步，在第二檢索區域，至少為在第二圖象區域中的第二圖象塊實行第二運動估算，以便確定第二個運動矢量，利用它，通過比較在前面的原來圖象中的第二圖象塊或通過比較在後面的後繼圖象中的第二圖象塊，第二圖象塊的移動被確定；第一檢索區域和第二檢索區域大小不同。
本發明可以減少為壓縮視頻數據傳輸而要求的數據量，因為運動矢量的大小可自適應地符合質量的要求，所以即使在非常小的檢索區域，也沒有明顯的圖象質量的主觀印象的下降，例如，在只要求低質量的區域中。檢索區域中運動矢量的最大尺寸也因此相對小，這導致運動矢量編碼的位數被減小。
從本發明可以明顯的看出不同大小的檢索區域被用於該圖象區域中的圖象塊的運動估算，本發明可以根據質量靈活的減少運動矢量編碼所要求的數據量。
從從屬權利要求中可得出本發明的進一步改進。
一個改進規定第一檢索區域和/或第二檢索區域的大小是預先確定的圖象質量的函數，利用它，第一圖象塊和/或第二圖象塊被編碼。
以這種方式，一種限制檢索區域的方法被確定，它根據要求的圖象質量減少需求的數據量。
在一個實施例中，一個十分簡單的確定檢索區域大小的標準是一個量化參數，通過它第一圖象塊和/或第二圖象塊被量化。
進一步的改進規定一定數量的表格，存儲不同長度的編碼的代碼，它們用於運動矢量的不同的長度編碼，這樣導致進一步減少視頻數據的傳輸所要求的數據量。
本發明的一個實施例將在下面詳細介紹，並在下面的圖中圖示，其中
圖1a到1c顯示了圖象和先前圖象的略圖，其中，圖示了本發明的基本原理；圖2顯示了具有兩個計算機、一個攝像機和一個顯示器的裝置，通過它視頻數據被編碼、傳送、解碼和顯示；圖3顯示了基於塊的數字圖象的編碼設備的略圖。
圖2顯示了包括兩臺計算機202,208和一個攝像機201的裝置，顯示了圖象的編碼、視頻數據的傳輸和圖象的解碼。
攝像機201通過連線19連接到第一計算機202。攝像機201傳送它拍攝的圖象204到第一計算機202。第一計算機202擁有第一處理器203，它通過總線218連接到幀存儲器205。在第一計算機202的第一處理器203執行一種圖象編碼方法。以這種方式，編碼的視頻數據206從第一計算機202通過通訊鏈路207，最好是電纜或是無線路徑，被傳送到第二計算機208。第二計算機208擁有第二處理器209，它通過總線210連接到幀存儲器211。通過第二處理器209，圖象解碼方法被實行。
第一計算機202和第二計算機208具有各自的顯示器212或213，通過它們視頻數據204被顯示。輸入單元，最好是鍵盤214或215和計算機滑鼠216或217，被分別提供給第一計算機202和第二計算機208。
通過連線219從攝像機201傳送到第一計算機202的視頻數據204是時域數據，而通過通訊鏈路207，從第一計算機202傳送到第二計算機208的數據206是頻域視頻數據。
編碼的視頻數據被顯示在顯示器213。
圖3顯示了根據H.263標準(參見[5])執行基於塊的圖象編碼方法的裝置的略圖。
將編碼的並具有被順序數位化的圖象的視頻數據流提供到圖象編碼單元301。數位化的圖象被再細分為宏塊302，每一個宏塊包括16×16象素。宏塊302包括4個圖象塊303,304,305和306，每一個圖象塊包括8×8象素，它們的照度值(亮度值)被指定。此外，每一個宏塊302包括具有被分配給該象素(色信息，色飽和度)的色度值的2個色度塊307和308。
圖象中的塊包括亮度值(=亮度)，第一色度值和第二色度值。這時，亮度值，第一色度值和第二色度值被稱作顏色值。
圖象塊被提供給變換編碼單元309。在差分圖象編碼時，從先前圖象的圖象塊編碼的值被減去在那時編碼的圖象塊的值，只有差分構成信息310被提供給變換編碼單元(離散餘弦變換，DCT)309。為此，宏塊302通過鏈路334被傳信到運動估算單元329。在變換編碼單元309，將被編碼的圖象塊或差分圖象塊的頻譜係數311被形成，並被提供給量化單元312。
量化的頻譜係數313在反饋路徑上被提供給掃描單元314和反量化單元315。使用掃描方法，例如「z字形」掃描方法，在為此目的而提供的熵編碼單元316中，對掃描的頻譜係數332執行熵編碼。熵編碼的頻譜係數作為編碼的視頻數據317通過一個信道，最好是電纜或無線通路，被傳送到解碼器。
量化的頻譜係數313的反向量化在反向量化單元315中被實行。以這種方法得到的頻譜係數318被提供給反向變換編碼單元319(反向離散餘弦變換，IDCT)。重建的編碼值(和差分編碼值)320以差分構成模式被提供給加法器321。一旦運動補償被進行，加法器321也接收從先前圖象獲得的圖象塊的編碼值。加法器321用於形成儲存在幀存儲器323中的重建的圖象塊322。
重建的圖象塊322的色度值324從幀存儲器323被提供到運動補償單元325。對於亮度值326，在提供的內插單元327中實現內插。該內插最好用於使包括在各個圖象塊中的亮度值擴大四倍。亮度值328不僅被提供到運動補償單元325，也被提供到運動估算單元329。運動估算單元329，通過鏈路334分別接收將被編碼的宏塊(16x16象素)的圖象塊。在運動估算單元329，根據內插的亮度值(「基於半象素的運動估算」)進行運動估算。
運動估算的結果是表示從先前圖象選出的宏塊到將被編碼的宏塊302的位置移動的運動矢量330。
與由運動估算單元329確定的宏塊相關的亮度信息和色度信息通過運動矢量330被改變，被減去宏塊302的編碼值(參見數據路徑231)運動估算得到了具有2個運動矢量分量的運動矢量330，即，分別沿著第一方向x和第二方向y的第一運動矢量分量BVx，和第二運動矢量分量BVy。BV=(BVxBVy)]]>運動矢量330被分配到圖象塊。
圖3中的圖象編碼單元為所有圖象塊和圖象宏塊都提供運動矢量330。
圖1a顯示了將用圖3所示設備編碼的數字圖象100。
數字圖象100具有被分配有編碼信息的象素。
象素101被分組到圖象塊102。圖象塊102被分組到第一圖象區域105和第二圖象區域106。
在下文中，假設在第一圖象區域105的質量要求比在第二圖象區域106的質量要求更嚴格。
為第一圖象區域105中的第一圖象塊103實行運動估算。為此，在先前圖象和/或在後繼圖象110中，定義了第一檢索區域114。
基於形狀、大小同於第一圖象塊的起始區113，在每種情況下下，以下誤差E被確定，它變化是一個象素或幾分之一或多個象素(例如用半象素(半象素運動估算))，利用它，在各種情況下，起始區113被移E=i=1nj=1m(xi,j-yi,j)2,]]>動其中-i,j是連續的指數，-n是在第一圖象塊中沿第一方向的象素數，-m是在第一圖象塊中沿第二方向的象素數，-xi,j是在第一圖象塊中在位置i,j的象素的編碼信息，-yi,j是通過相應的運動矢量移動的，在先前圖象相應位置的象素編碼信息。
在先前圖象，對於每一個移動110，誤差E被計算，並且從該移動(=運動矢量)的圖象塊中，誤差E具有最小值的、一個被選為與第一圖象塊103最相似的一個。
在本實施例中，在每種情況下，檢索區域在水平垂直方向跨越4象素間隔，大約是相應於在先前圖象110第一圖象區域的第一圖象塊位置的起始位置113。因此，這時將被編碼的第一運動矢量117的最大尺寸是 象素間隔(參見圖1b)。
圖1c顯示了在第二圖象區域106中的第二圖象塊104的第二運動估算。該運動估算的基本過程也被描述為如上述的第二運動估算的過程。
對於第二運動估算，第二檢索區域116更小，因為在第二圖象區域106的圖象質量要求不如第一圖象區域105的嚴格。
因此，第二檢索區域116的大小只是從起始位置115向每一個方向的2個象素116。將為第二圖象塊104編碼的第二運動矢量118的最大尺寸是 。
從這個例子可見，編碼第二運動矢量118需要的計算量比編碼第一運動矢量117顯著減小。
根據這個例子，在該實施例中的圖象塊的探測區大小取決於量化參數，它顯示了用於先前圖象100編碼的量化步驟。
探測區大小S用下式獲得S=15-QP/2其中-S是檢索區域大小，-QP是量化參數。
量化參數QP是包括在H.263的一般標題數據中的因數，並用作為量化初始值。
為圖象塊而確定的檢索區域大小S隨量化參數QP的變小而增大，這相應於高的圖象質量。
包括具有不同長度範圍的不同長度的運動矢量的編碼的若干個表，用於運動矢量的可變長編碼。
量化參數QP用於選擇一個變長度編碼表，其中變長度編碼域值與檢索區域大小S匹配，因此達到運動矢量的最大長度。
上述示例性實施例的一些變形被描述如下。
運動估算的類型以及相應的類似形成測度方法，與本發明無關。
例如，以下公式也可形成誤差EE=i=1nj=1m|Xi,j-Yi,j|,]]>它進一步顯示了，為了進一步減少要求的數據量，在許多情況下，只傳送運動矢量已經足夠了，而不傳送在運動補償差分圖象的形成時產生的誤差信號。
很明顯，在本發明中，不同尺寸的檢索區域被用於該圖象區域中的圖象塊的運動估算，其結果是，對於該運動矢量的編碼，可按照質量以需要的數據率來減少數據量。
下面的出版物被本文引用[1]ITU-T Draft Recommendation H.26,Video Coding for LowBitrate Communication,May,1996。
權利要求
1．一種對具有象素的數字圖像進行運動估算的方法，其中象素被分組到圖象塊；其中象素被分組，以便至少形成第一圖象區域和第二圖象區域；在第一檢索區域，至少為在第一圖象區域中的第一圖象塊實行第一運動估算，以便確定第一個運動矢量，利用它，通過比較在前面圖象中的第一圖象塊或後面圖象中的第一圖象塊，第一圖象塊的移動被描述；其中，在第二檢索區域，至少為在第二圖象區域的第二圖象塊實行第二運動估算，以便確定第二個運動矢量，利用它，通過比較在前面的原來圖象中的第二圖象塊或通過比較在後面的後繼圖象中的第二圖象塊，第二圖象塊的移動被確定；其中，第一檢索區域和第二檢索區域大小不同。
2.按照權利要求1所述的方法，其特徵在於第一檢索區域和/或第二探測區大小是預定圖象質量的函數，通過它第一圖象塊和/或第二圖象塊被編碼。
3.按照權利要求2所述的方法，其特徵在於第一檢索區域和/或第二探測區的大小按照量化參數的函數而變化，利用它，第一圖象塊和/或第二圖象塊被量化。
4.按照權利要求1-3所述的方法，被用於數字圖象的編碼。
5.按照權利要求4所述的方法，其中運動矢量變長度編碼被實現，其中，若干個不同的表被用於變長編碼，所述表中存儲了變長編碼的代碼。
6.按照權利要求5所述的方法，其特徵在於該表匹配到運動矢量的最大長度。
7.一種對具有象素的數字圖像進行運動估算的裝置，具有一個處理器，它被設定以便實行下述功能象素被分組到圖象塊，象素被分組，以便至少形成第一圖象區域和第二圖象區域，在第一檢索區域，至少為第一圖象區域中的第一圖象塊實行第一運動估算，以便確定第一運動矢量，利用它，通過比較在前面圖象中的第一圖象塊或後面圖象中的第一圖象塊，第一圖象塊的移動被描述；進一步，在第二檢索區域，至少為第二圖象區域中的第二圖象塊實行第二運動估算，以便確定第二運動矢量，利用它，通過比較在前面的原來圖象中的第二圖象塊或通過比較在後面的後繼圖象中的第二圖象塊，第二圖象塊的移動被確定；第一檢索區域和第二檢索區域大小不同。
8.按照權利要求7所述的裝置，其特徵在於該處理器被如此設置，以使第一檢索區域和/或第二檢索區域的大小是預先確定的圖象質量的函數，利用它，第一圖象塊和/或第二圖象塊被編碼。
9.按照權利要求8所述的裝置，其特徵在於該處理器被如此設置，以使第一檢索區域和/或第二檢索區域大小按照量化參數的函數變化，通過它第一圖象塊和/或第二圖象塊被量化。
10.按照權利要求7-9所述的裝置，它們被用於圖象編碼設備。
11.按照權利要求7-9所述的裝置，它們被用於圖象編碼設備，其特徵在於該處理器被如此設置，以使運動矢量變長編碼被實現，若干儲存的不同表用於變長編碼，所述表中存儲有變長編碼的代碼。
12.按照權利要求11所述的裝置，其特徵在於該處理器被如此設置，以使該表匹配到運動矢量的最大長度。
全文摘要
對具有象素的數字圖像進行運動估算的方法和裝置，其中，象素被分組到圖象塊。象素被分組到至少第一圖象區域和第二圖象區域。第一運動估算在第一檢索區域被實現，以便確定一個第一運動矢量。此外，第二運動估算在第二檢索區域被實現，以便確定一個第二運動矢量。第一檢索區域和第二檢索區域大小不同。
文檔編號H03M7/40GK1317125SQ99810653
公開日2001年10月10日 申請日期1999年8月2日 優先權日1998年8月7日
發明者哲真·番德爾, 格羅·巴斯, 諾伯特·歐特爾 申請人:英芬能技術公司