處理視頻圖像的方法
2023-08-03 10:07:11
專利名稱：處理視頻圖像的方法
技術領域：
本發明涉及處理包含相關和不相關數據的圖像的方法。本發明也涉及其對應的設備。
背景技術：
圖像可包含諸如圖像的視頻內容的用戶相關的信息和諸如通常是黑色的邊界的用戶不相關的信息。
例如，在當前從4:3到16:9的電視顯示屏的過渡過程中，許多廣播傳送被稱作「信箱格式」的顯示格式。在這個格式中，在要被顯示的畫面的頂部和底部添加黑色邊界。這使通常在電視機中的4:3顯示屏的用戶觀看16:9格式時看到是帶有視頻內容和黑色邊界的圖像，而當前含有16:9顯示屏的電視機以這樣的方式縮放信箱傳送，其中只有視頻內容被顯示。因此，在接收器側記錄所傳送的信箱格式的記錄器(通常為數字記錄器)，就必須記錄包含視頻內容和黑色邊界二者的位流。
目前，圖像常常是通過諸如塊變換編碼等方法被編碼和壓縮的，這些方法利用了圖像內相鄰像素之間的相關性。這在例如根據MPEG的方法中是典型的，在本發明的詳細說明中將對根據MPEG的方法作進一步說明。
在塊層中，塊一般是由可能有些項是零的量化變換係數代表的。然而，例如由於在從有線電視提供商向用戶的模擬傳送中的噪聲，頂部和底部邊界不是完全黑色的，而是將含有噪聲。結果，並非所有量化變換係數都是零，由此阻止編碼器略去頂部和底部黑色邊界內的塊。
在以MPEG或其它基於塊的編碼和壓縮來壓縮信箱格式時的另一個典型的缺點是，黑色邊界在塊邊界上不是對準的。結果，在塊內出現從視頻內容到黑色的非常急劇的過渡。在用一種變換處理這個塊之後，可能這個塊在量化後有很少的能被有效編碼的零變換係數。因此，要用許多位來存儲具有量化變換係數的塊。對於其它基於塊的編碼方法來說，這個缺點也是典型的，其中在相鄰像素之間的急劇過渡因為非零變換係數而需要大量的位。
發明概要本發明的一個目的是提供一種編碼包含相關和不相關數據的圖像的方法，由此提高編碼效率。為此，本發明提供一種如在獨立權利要求中所限定的方法和設備。在從屬權利要求中限定了有利的實施例。
按照本發明的第一個方面，在原始邊界上重新生成一個或多個邊界。
按照本發明的優選實施例，提供一種用於處理圖像的方法，該圖像包含覆蓋該圖像的像素片(segments of pixels)，所述圖像包含一個相關數據區域和一個或多個不相關數據區域，所述一個或多個不相關數據區域在該相關信息區域的外邊，所述方法包含以下步驟-重新生成不相關信息區域。
這裡，術語「片」指的是一個包含至少一個像素(通常為更多像素)的區域。片的形式可以是塊，但是也可能是諸如圓形等的其它形式。在實際實施例中，可以使用正方形或矩形的塊。
優選地，將不相關信息區域的所有像素重新設置到一個共同的像素值。術語「共同的」意思是把在同一個不相關信息區域內的所有像素設定為相同的值。這個值可能是零，或任何其它能被高效地編碼的適當值。優選地，將不相關信息區域重新黑化(re-blacked)。
通常，黑色邊界在信箱的原始邊界上被重新生成。當然也能通過本發明改善「信箱格式」以外的具有相關信息區域和不相關信息區域的其它類型的格式。由於重新生成的邊界是黑的，所有變換係數(例如DCT係數)都將是零，因此它們能被更高效地編碼。
這個方法使例如數字記錄器能更高效地記錄這樣一個格式，特別是用於廣播的所謂信箱格式。
優選地將不相關信息區域與片邊界對準，並優選地通過使部分填充的片變黑而重新生成。術語「部分填充的」意思是某個片包含至少一個黑的像素。因此，部分填充的也包括半填充的片，或幾乎完全填充的片。
在本發明某些優選實施例的第二個方面，在不同的塊邊界上重新生成黑色邊界。
在本發明某些優選實施例的第三個方面，可以丟棄(drop)像素(通常是視頻行)以對準邊界。
按照本發明的另一個優選實施例，在宏塊邊界上對準不相關信息區域(即邊界)。優點是MPEG標準提供一種忽略在頂部和底部黑色邊界內的這些空宏塊的方法。
按照本發明的另一個優選實施例，優選地在進入一個具有包含宏塊的下一個更高級別的的塊級別中的塊的塊邊界上對準邊界。
在本發明的某些優選實施例的第四個方面(其中黑色邊界是在塊上而不是宏塊上對準的)，優選地能對塊內的色度信息進行鏡像處理(mirror)，以在使用視頻4:2:0格式時取得最佳編碼效率。
在本發明某些優選實施例的第五個方面，通過移位圖像的視頻內容，將其對準一個DCT塊需要去除最多7行。按照本發明的另一個方面，優選地在頂部和底部丟棄所述相同數量的行，例如頂部4行、底部3行。
按照本發明的另一個優選實施例，提供一種用於處理圖像的設備，該圖像包含覆蓋該圖像的像素片，所述圖像包含一個相關數據區域和一個或多個不相關數據區域，所述一個或多個不相關數據區域在該相關信息區域的外邊，所述設備包含-用於重新生成不相關信息區域的裝置。
該設備優選地進一步包含用於使不相關信息區域變空的裝置。
該設備優選地可連接到一個信箱檢測器，如果該檢測器在一個發往該檢測器和設備的輸入信號Qin中檢測到信箱傳送，則該檢測器控制該設備去開始預處理。
本發明的這個和其它方面將在下文說明的實施例中顯而易見並結合這些實施例被闡釋。
附圖簡述結合附圖閱讀以下對本發明優選實施例的說明將更清楚地理解本發明。附圖中
圖1表示如何向視頻幀形式的圖像提供位於視頻內容的頂部和底部的黑色邊界；圖2表示一個被劃分成不與一個黑色邊界對齊的塊的視頻幀，用於說明本發明的一個方面；圖3a-c表示為在使用視頻4:2:0格式時取得最佳編碼效率而對塊內的色度信息進行鏡像處理；
圖4表示連接在MPEG編碼器前的按照本發明優選實施例的設備；圖5表示與一個改進MPEG編碼器在一起的按照本發明優選實施例的設備的實現方式；圖6表示在記錄器/播放器與電視機之間選配(matching)一個信箱檢測器。
發明詳述現在將結合附圖通過優選實施例說明本發明；不過首先通過描述現有技術的MPEG結構來簡要說明基於塊的編碼。
MPEG-2視頻位流有分層的結構。每層包含一個或多個子層。例如，可以將一個視頻序列劃分成多個圖象組(所謂的「GOP」)，它們代表按顯示順序連續的各組視頻幀。可在其子層中將幀劃分成16×16的宏塊，宏塊又能進一步被分成另一個子層的塊。一個宏塊含有四個8×8亮度離散餘弦變換(DCT)塊和多個取決於編碼的格式的色度塊。某些編碼屬性是按宏塊規定的，某些是按8×8塊規定的。例如，每個宏塊只規定一組所謂「運動矢量」。
MPEG處理中使用三種類型的幀內部幀(I幀)，它們是不參照其它幀被編碼的；預測幀(P幀)，它們是參照過去的I或P幀被編碼的；雙向內插幀(B幀)，它們是既參照過去的幀又參照將來的幀被編碼的。
MPEG-2規定I幀是「內部」編碼的，使得整個畫面被分解成8×8的像素塊，這些塊通常通過DCT而進行處理，並被量化成可單獨地代表原始圖象的一個壓縮的係數集。對於P幀，MPEG-2規範也允許用所謂的「運動補償」來利用在多數視頻數據中存在的時域冗餘，而不是通過DCT編碼所有的塊。運動補償工作的方式是在GOP內，通過應用預測來獲得差異信號(即所謂的預測誤差)從而減少幀之間的時域冗餘，用DCT將差異信號進一步壓縮以去除空間相關性。之後將最終得出的DCT係數量化。
圖1表示如何向圖像1提供位於圖像頂部和底部的黑色邊界，圖像1在本例中是一組幀(例如一個GOP)中的一個視頻幀。圖像1包含相關數據區域2和位於相關信息區域2之外的不相關數據區域3。在該圖中，不相關信息區域3是在信箱格式傳送中添加的黑色邊界。圖1也表示這樣一個傳送在一個4:3顯示屏上是如何呈現的。在16:9顯示屏上，這些黑色邊界將被放大，從而從用戶視野中消失。
在表示本發明一個方面的圖2中，表示了如何將圖像1劃分成塊，圖像1在這裡也是一個視頻幀，圖中只表示出位於該幀底部的黑色邊界。這裡，將根據所述的MPEG結構說明按照本發明一個優選實施例的方法；然而本發明在任何意義上也並不限於這種特定的編碼。在不偏離本發明構思的情況下可以採用任何基於塊的編碼。該圖中，表示了兩種類型的塊，即所顯示的一個16×16宏塊4和所顯示的4個8×8DCT塊5。8×8DCT塊包含許多色度塊，它們由虛線表示，但不對它們作進一步的說明。
按照本發明一個優選實施例，在原始位置重新生成不相關信息區域，以便能在不丟棄原始視頻內容的情況下對它們高效地編碼，同時去除原始黑色邊界中的噪聲。
按照本發明的一個方面，在塊邊界6上重新生成位於頂部和底部的黑色邊界。塊邊界6能通過使半填充的塊7內的各行變黑而得到保證。優選地是能丟棄視頻行，以對準邊界。本發明並不僅僅限於象這個特定例子中那樣的視頻行。圖像片的邊界外部的任何像素值都在本發明的範圍內。
因為重新生成的邊界是黑的，所有DCT係數將為零，因此DCT塊將為空。
按照本發明一個優選實施例，將邊界在宏塊邊界6上對準，然後，MPEG標準提供一種略去頂部和底部黑色邊界內的空宏塊的方法。
按照本發明另一個優選實施例，其中在塊5而不是宏塊4上對準黑色邊界，優選地能對塊內的色度信息進行鏡像處理，以在使用視頻4:2:0格式時取得最佳編碼效率。這在圖3a-c中表示。
圖3a表示一個在DCT之前的8×8色度塊5。圖3b表示在用4:2:0格式在亮度塊邊界上重新創建塊的邊界後的相同色度塊。圖3C中表示如何為取得最佳效果而對色度塊進行鏡像處理。
按照本發明另一個優選實施例，在DCT塊格(grid)上而不是宏塊格上對準邊界。在這種情況下，MPEG仍然能高效地編碼空塊。
因為半填充DCT塊內的視頻行被去除，被去除行的數目應當最小化。為此，按照本發明另一個優選實施例，可以將視頻向上或向下移位數行，以與最近的塊邊界對準。按照本發明另一個優選實施例，修改存儲器中幀的起始指針就能做到這一點。
通過移位圖像的視頻內容，最多需要去除7行以將其與一個DCT塊對準。按照本發明另一個實施例，優選地在頂部和底部丟棄所述相同數量的行，例如頂部4行、底部3行。
要對準一個宏塊邊界，最多去除15行，例如頂部7行、底部8行。
按照本發明的各種實施例的方法能以各種方式實現。視MPEG編碼器上所能允許的變化而定，也有可能降低所需的總資源。圖4表示一個設備的優選實施例及其與MPEG編碼器在一起的實現方式。
按照圖4中所示的本發明優選實施例，將用於預處理信號的設備10連接在MPEG編碼器11的前面。該領域中公知的信箱檢測器12可連接到設備10。輸入信號Qin被傳送到設備10供預處理，並且也被傳送到信箱檢測器12。在使用這個實現方式時，預處理將重新創建黑色邊界並在必要時對色度信息進行鏡像處理。
設備10包含用於重新生成不相關信息區域的裝置13以及用於提供空的不相關信息區域(通常是所有的塊)的裝置14，以便能對它們進行高效的編碼。裝置14也能被用於在塊邊界上的對準。裝置13和14也能被組合。
圖5中表示設備10的另一種實現方式。設備10連接在MPEG編碼器11的前面。輸入流Qin被傳送到設備10供預處理，也被傳送到信箱檢測器12。信箱檢測器12連接到MPEG編碼器11，並連接到流並置(concatenation)單元17。在這個實現方式中，MPEG編碼器11被改變得能利用按照本發明的方法的全部潛力。如該圖中所示，有可能使用一個由用於提供恆定黑色邊界流的裝置16獲得的預定義的MPEG流Sc。用於提供恆定黑色邊界流的裝置16可包含一個例如在ROM中的存儲電路(未予示出)，用於存儲關於該流的信息。當然也可以使用其它適當類型的存儲電路，諸如其它非易失性半導體存儲器等等。
所存儲的預定義的流Sc被用作黑色邊界，能在流並置單元17中被加到由編碼器11生成的MPEG流中，得到輸出的流Qout。
如果信箱檢測器12檢測到信箱格式廣播，編碼器11可跳過包括對黑色邊界內的塊/宏塊的運動估計的處理，而是用預定義的MPEG流Sc替代那些宏塊/塊。結果，硬體需要較少的資源，同時提供高效的編碼。
如果記錄器內的信箱檢測器與電視機中的信箱檢測器匹配，記錄器內的信箱檢測器的錯誤(認為是信箱傳送，實際是4:3廣播)能被電視機掩飾。圖6中表示的本發明的一個實施例中，記錄器/播放器18接收輸入信號Qin。記錄器/播放器18可連接到電視機19並發送信號Qout。最佳實現方式是在播放盤時使用記錄器/播放器18內的同一信箱檢測器，同時它向電視機19發送信箱信號Qletterbox。信號Qletterbox由虛線表示，以表示一個信箱是/否選擇。信箱檢測器的匹配由記錄器/播放器18與電視機之間的線M表示。
如果在4:3廣播時記錄器出錯並產生黑色邊界，電視機19將以這樣的方式放大(zoom)該傳輸，使其中被記錄器變黑的邊界不可見。然而，如果用戶禁用了信箱檢測器，則電視機將不再能掩蔽在記錄器中發生的錯誤。
目前我們處於從4:3向16:9顯示屏過渡的開始階段。由於有些信箱傳送將在黑色邊界中顯示一半字幕，當字幕在黑色邊界中被顯示時，有些優點將消失。然而，人們認為在從4:3向16:9顯示屏的過渡結束時，廣播公司將阻止在黑色邊界中放置字幕，因為這在16:9顯示屏上引起許多缺陷。當然這僅在使用字幕時是有效的。
本發明也能被用於例如MPEG軟體、基於PC的格式變換工具和寬屏DVD，因為當前的寬屏DVD一般都是被編碼成具有黑色邊界的。
本發明的若干優點例如是更高的編碼效率，對編碼的更低的資源需求(當然也與具體實現方式有關)，以及在黑色邊界上的起點處沒有量化偽象(artifacts)。
應當注意的是，以上實施例解釋而不是限制本發明，所屬技術領域的熟練人員在不偏離後附的權利要求書範圍的情況下能夠設計出許多可替代的實施例。權利要求書中括號內的任何標註符不應被解釋為對權利要求的限制。「包含」一詞並不排除在權利要求中存在未列舉的其它部件或步驟。本發明可以通過包含若干不同部件的硬體來實現，並可通過適當編程的計算機來實現。在枚舉若干裝置的設備權利要求中，這些裝置的一些可以實現為同一個硬體項。某些方法被列舉在互不相同的從屬權利要求中的事實，並不表明不能有利地使用這些方法的組合。
權利要求
1.一種用於處理圖像的方法，該圖像包含覆蓋該圖像的像素片，所述圖像包含一個相關數據區域和一個或多個不相關數據區域，所述一個或多個不相關數據區域在該相關信息區域的外邊，所述方法包含以下步驟重新生成一個或多個不相關信息區域。
2.按照權利要求1的方法，其中，不相關信息區域是邊界，其中將不相關信息區域的所有像素重新設定到一個共同的像素值。
3.按照權利要求2的方法，其中，不相關信息區域是被重新黑化的黑色邊界。
4.按照權利要求1或2的方法，其中，優選地通過使部分填充的片變黑而使不相關信息區域對準片邊界並被重新生成。
5.按照權利要求4的方法，其中，使不相關信息區域對準宏塊邊界。
6.按照權利要求4的方法，其中，使不相關信息區域對準塊的塊邊界。
7.按照權利要求6的方法，其中，為了按4∶2∶0格式取得最佳編碼效率而對塊內的色度信息進行鏡像處理。
8.用於處理圖像的設備，該圖像包含覆蓋圖像(1)的像素片，所述圖像(1)包含一個相關數據區域(2)和一個或多個不相關數據區域，所述一個或多個不相關數據區域在該相關信息區域的外邊，所述設備(10)包含-用於重新生成不相關信息區域(3)的裝置(13)。
9.按照權利要求8的設備，進一步包含-用於使不相關信息區域(3)變空的裝置(14)。
10.按照權利要求8或9的設備，其中設備(10)可連接到信箱檢測器(12)，如果該檢測器(12)在一個發往該檢測器(12)和設備(10)的輸入信號Qin中檢測到信箱傳送，則信箱檢測器(12)控制該設備(10)去開始預處理。
全文摘要
一種用於更高效地預處理具有黑色邊界的圖像格式的方法。該方法使數字記錄器能更有效地記錄這樣一種格式，特別是在廣播中使用的所謂信箱格式。
文檔編號H04N11/04GK1636408SQ03804334
公開日2005年7月6日 申請日期2003年1月30日 優先權日2002年2月22日
發明者L·A·范埃格倫 申請人:皇家飛利浦電子股份有限公司