圖像序列的格式轉換方法
2023-05-15 00:52:21 2
專利名稱：圖像序列的格式轉換方法
技術領域：
本發明涉及採用編碼的視頻數據圖像序列的格式轉換的方法和裝置。
背景技術：
大多數要視頻顯示的應用通過編碼的視頻數據來工作。在解碼之後，這些數據經常是以不與所要求的顯示格式兼容的格式或組合格式得到的。因此，在大多數情況中，在顯示對應圖像或進行圖像合成之前，必須使用壓縮的圖像數據進行格式轉換。這個格式轉換應用到整個圖像，並通常消耗時間和佔據存儲器空間，因為對圖像的每個像素來說，它包括連續的相加和相乘。
例如，從解碼二進位視頻數據流到H 263標準的輸出格式是4∶2∶0，YUV型。Java軟體圖形接口程序庫為基於4∶4∶4，RGB格式的圖像格式提供了API(代表應用程式接口)接口。因此，對於這樣的數據流使用「嵌入在網絡文件內的小程序(applet)」(通過網際網路裝載的Java應用程式)要求將4∶2∶0，YUV格式的圖像轉換成為4∶4∶4，RGB格式的圖像。
隨後，所用的圖像將應用於任何類型的幀、雙幀等，而不考慮掃描的類型。
表達的解碼範圍將涉及到有關編碼數據和它們解碼的解碼器的接收的任何事情，表達的顯示範圍將涉及到使用解碼數據用於它們的合成和顯示的任何事情。轉換處理包括從解碼範圍切換到顯示範圍。
解碼處理通常使用預測的臨時模式，在該模式中，從前面或後面圖像預測圖像。例如，這包括MPEG1、MPEG2、MPEG4、H261、H263標準。在這些標準中，P型圖像(預測的)從前面的I型(內部)圖像預測出來，或從前面的P型圖像預測出來。B型的圖像(雙向)從前面的I或P型圖像預測出來，以及從後面的I或P型圖像預測出來。
在一個例子中，關於在一個圖像中的圖像組的編碼，重構前面的圖像並進行運動估算，以在這個重構圖像中確定與將被編碼的圖像組的最好地相關的圖像組。然後，採用對應這個估算的運動矢量對該重構圖像進行運動補償，以便提供預測的組。預測的組從當前圖像中被減去，以提供稱為剩餘的組，該剩餘的組被編碼和發送。
解碼處理包括通過重構前面圖像來計算預測組，並把它們加到從當前圖像發送的剩餘組中。
在B或P型圖像的情況中，該組從前面的參考圖像中被預測，對於B型圖像，也從後面的參考圖像中預測。這些參考圖像在解碼器被重構，並從這些圖像中計算出預測的組，運動矢量在數據流中發送。在數據流中發送的剩餘組被解碼，然後加到由有關運動矢量定義的預測組中，以便在圖像中提供重構的圖像組。
圖1圖示地表示了數據解碼和轉換處理。
在時間預測電路1接收有關參考圖像的視頻數據，以便提供預測圖像給加法器3。在解碼電路2接收有關當前圖像的視頻數據，以便提供解碼圖像給加法器3。對應重構圖像的由加法器3輸出的數據被發送到轉換該圖像的格式轉換電路4，以便發送這些數據到顯示器或圖像合成電路。
在MPEG標準中，應用各種數據壓縮操作的結構是宏塊。像素被分組為圖像組，例如，大小為16×16個像素，四個亮度組，構成宏塊的對應的色度組。在編碼期間，如果圖像格式是4∶2∶0，YCrCb，則宏塊由四個亮度組和兩個色度組構成。在預測的臨時模式中，每一個宏塊有它自己的決定模式。如前面所述，對每一個宏程序塊決定編碼模式。它可能包括沒有使用預測的內部類型的編碼、使用後向、前向(如在標準中所知的一樣)或雙向運動矢量的預測類型的編碼。P型圖像的宏塊可以在內部模式中編碼，而後面的宏塊可以使用採用參考圖像的運動補償在中間模式中編碼。
不必須標準化的其它模式的壓縮以與像素組有關的計算為基礎，如在MPEG標準中描述的，這些像素組不是圖像組。預測模式可以以按照同類標準把圖像分段獲得的區域為基礎。
本發明適用於這些像素組，也稱為GOP(像素組)。因此，這可能包括宏塊、或圖像組、或如連接區域的其它小的複雜結構。編碼決定模式獨立於每一GOP，該GOP被獨立編碼或使用前面和/或後面圖像編碼。
發明簡述本發明的目的是克服上述的缺點。
本發明的主題是用於圖像序列的格式轉換的方法，其使用根據像素組的結構編碼的視頻數據，其特徵在於對於將被轉換的編碼像素組，如果所用編碼的模式是沒有剩餘的中間類型，則轉換由與所述編碼像素組有關的運動矢量連結的前面圖像的轉換像素組的複製進行。
如果與像素組有關的運動矢量是零，則轉換由位於同一處的像素組的重新複製進行，如果運動矢量不是零，則通過前面轉換的圖像中的運動補償進行轉換。
本發明的另一主題也是用於圖像序列的格式轉換的方法，其使用根據像素組的結構編碼的視頻數據，其特徵在於對於將被轉換的編碼像素組，如果編碼數據的傳輸誤差引起等效於沒有剩餘的中間類型的解碼的誤差掩碼模式，則通過與所述編碼像素組有關的運動矢量連結的前面圖像的轉換像素組的複製進行轉換。
本發明的另一主題還是用於圖像序列的格式轉換的方法，其使用根據像素組的結構編碼的視頻數據，編碼的數據包括允許可量測性的補充數據，就是說獲得了不同解析度的圖像，其特徵在於如果屬於像素組和給定解析度的補充數據具有零值，用於給定解析度的轉換圖像的這個像素組從較低解析度圖像的轉換像素組獲得。
因此，格式轉換不應用到整個圖像，而只應用到剩餘不是零的像素組。
當解碼模式是對應運動補償和附加剩餘的臨時預測模式時，如果這個剩餘是零，運動補償被應用在顯示域而不是解碼域。如果沒有運動補償，則進行轉換像素組的重新複製。
本發明的主要優點是在臨時預測的情況中，通過利用用於每一GOP的決定模式，最佳化了格式轉換的計算時間。顯示域內的GOP的運動補償通常比這個GOP的格式化所用的時間少。當運動是零它僅包括簡單的重新複製時更是如此。因此，簡化了解碼器並減少了成本。
本發明的其它特點和優點將通過非限制性例子和附圖給出的描述將變得很清楚。
圖1是數據解碼和轉換處理的示意圖；圖2是轉換處理的流程圖；圖3示出宏塊轉換的各種色度格式。
圖4示出宏塊結構的可量測性。
發明的詳細描述本發明的圖像格式轉換方法描述在圖2中。
第一步驟5接收如數據流形式的編碼的視頻數據。它對這些數據進行解碼。他對每一GOP存儲屬於中間或內部編碼模式、剩餘和運動矢量的信息。例如，標記表明剩餘是否被編碼，即非零，或者，如果它沒有被編碼，即它是零。
格式轉換通過下列步驟完成步驟6對每一個後面的像素組進行所用編碼模式的測試。
如果編碼模式是中間類型，且如果GOP的剩餘是零(沒有剩餘的中間類型)，那麼，下一步驟是步驟7。
如果編碼模式不是中間類型(內部編碼)，或者，在編碼模式是中間類型的情況下，如果剩餘不是零，下面的步驟是步驟9，步驟9對於考慮的像素組執行常規格式轉換。步驟7對像素組所用的編碼模式進行新的測試。如果GOP的運動矢量是零矢量，下面的步驟是步驟8。如果運動矢量不是零矢量，下面的步驟是步驟10，步驟10使用這個矢量和在前面顯示的圖像，即，也在這個步驟發送的轉換圖像完成運動補償。
步驟8對發送到這個步驟的前面顯示的圖像的像素組進行重新複製。因此，顯示域的GOP由簡單重新複製前面顯示圖像的對應GOP獲得。
來自步驟9、10和8的輸出對應將被顯示的當前圖像的像素組，這些數據被發送到步驟11，步驟11執行存儲該當前圖像的這些像素組。根據處理的當前圖像，這個步驟提供前面存儲的圖像，如前所述，該圖像被發送到步驟8和10。這個前面的圖像是參考圖像，從該參考圖像對當前圖像進行運動估算。
因此，在構成這個圖像的所有像素組已經被處理完後，完整的當前圖像在步驟9、10和8的輸出端獲得，以顯示在屏幕上。
存儲在步驟5中的圖像按照所用的編碼標準不同地獲得。在MPEG2標準的情況中，在跳躍宏程序塊模式(如在標準中知道的一樣)和未編碼模式中零遇到剩餘宏。
「跳躍宏塊」模式由沒有被編碼的數據項的宏塊構成。所有DCT係數被認為等於零。通過利用它們的臨時或空間環境，解碼器形成涉及跳躍宏塊的預測。跳躍宏塊的處理是不同的，取決於它是否包括P型的圖像或B型的圖像。
在P型的圖像情況中，運動矢量預測器被復位到零。發送的運動矢量具有零值。
因此，當前的宏塊在相同位置(同一位置)與前面圖像的宏塊相同。
在B型圖像的情況中，預測的方向(向前/向後/雙向)與前面宏塊的方向相同。運動矢量預測器沒有被修改。
「未編碼」模式的部分由包含報頭的宏塊構成，並且，沒有數據項涉及DCT係數。通過在宏塊報頭，在解碼器端通過宏塊報頭獲得向前和/或向後的運動矢量。根據圖像的類型，存在各種不同的結構- 對於P型圖像，使用未編碼運動補償(MC)模式。但是，如果向後運動矢量是零，我們恢復跳躍宏塊模式。
- 對於B型圖像，各種編碼模式是「未編碼向後」、「未編碼向前」、「未編碼內插」(雙向)。
圖3表示從與宏塊結構有關的色度格式對應的各種類型標準轉換成為4∶4∶4 RGB標準。
在中間模式中，「跳躍宏塊」的外部，即，所有形成宏塊的組沒有被編碼。形成宏程序塊的組可能被編碼或不被編碼。正是圖形-代碼結構提示或cbp(表示編碼的組圖形)代碼指示剩餘沒有被編碼，即具有零值的那些組。按照本發明的特徵，把Y亮度和cr、cb色度組轉換成為RGB組是作為cbp代碼值的函數進行的。下面給出一個例子格式4∶2∶0如果cbp代碼顯示Y、Cr、Cb域的組b3、b4、b5沒有被編碼，那麼，RGB域的一個或多個組b3、b10、b11可以是前面圖像組的重新複製，不需要任何轉換。
格式4∶2∶2如果cbp代碼顯示Y、Cr、Cb域的組b3、b6、b7沒有被編碼，那麼，RGB域的組b3、b10、b11可以是前面圖像組的重新複製，不需要任何轉換。
格式4∶4∶4如果cbp代碼顯示Y、Cr、Cb域的組b3、b10、b11沒有被編碼，那麼，RGB域的組b3、b10、b11可以是前面圖像組的重新複製，不需要任何轉換。
在GOP是圖像組的情況中，cbp代碼提示使其可以確定具有零剩餘的圖像組，對該圖像組，不需要常規的轉換處理該組；顯示域中的圖像組由簡單重新複製這個顯示域內的另一個組而獲得。
特殊情況涉及到防止解碼GOP的編碼數據的傳輸中的誤差。
當識別出傳輸誤差時，解碼器執行誤差掩碼算法。用於重構GOP的這些算法由複製或運動補償與一個或多個前面圖像有關的解碼數據構成。丟失的GOP從GOP和前面編碼的運動矢量重構。
一個例子是簡單地重新複製前面圖像的相同位置的宏塊。本發明提出了非常簡單地重新複製前面圖像被轉換的同一位置的宏塊，取代了對用於代替丟失宏塊的宏塊應用格式轉換。
因此，對於丟失的GOP，不需要格式轉換。當解碼器檢測到誤差時，實施本發明的方法。它應用與解碼域相同的誤差掩碼操作。但是，GOP的重構在顯示域內執行，即，從轉換的組開始而不是從解碼的組開始。
例如，由解碼器執行的某些算法對解碼的數據進行簡單的操作，以便改善圖像質量或增加標識。因此，對於聲稱太暗的圖像，處理算法可以決定把連續的分量(偏移)加到DCT係數，以便人工地增加亮度。
代替對解碼數據執行增加偏移值而獲得新宏塊，如果我們使用宏塊的例子，隨後在顯示域將其轉換，在未編碼宏塊方面，即這些宏塊具有零剩餘，本發明建議該操作直接應用到轉換的宏塊。它是對應具有零剩餘的宏塊的轉換的宏塊，而不是解碼的宏塊。轉換的抵消被加到具有零剩餘的宏程序塊，這個偏移在解碼域和顯示域是不同的，以便獲得新轉換的宏塊。
標示的疊加包括把信號加入幾個解碼的宏塊操作對於所有圖像是相同的。建議的解決方案包括把這個信號或準確的轉換信號加到轉換的宏塊，即加到顯示域。
另一個應用涉及到可量測性。
某些如MPEG2或MPEG4標準的編碼在圖像解析度的級別上提供了可量測性。首先編碼基層。可以通過增加源於改善的後面層的剩餘改善基層，後面層具有與基層的GOP相同的尺寸。與在臨時預測情況中建議的格式轉換具有相同原理的格式轉換可以應用在此。
圖4表示基層12、1級層13、2級層14。
解碼器首先解碼基層，然後，儘可能解碼較高解析度的層。這些不同的層對應被加到基層的剩餘，以改善解碼圖像中的精度。在宏塊結構的例子中，對於給定的層，如果宏塊的剩餘是零，則處理包括複製前面層的轉換的宏塊。因此，不需要執行格式轉換，以獲得屬於這個給定的層的宏程序塊。
對於較高解析度層的GOP，這個可量測性可被視為沒有剩餘、零運動矢量的中間編碼模式。中間編碼是在較高解析度層和基層之間採取的。
在此所述的轉換格式沒有限制，本發明可以應用到任何類型的格式轉換。
它也適用於「在內部的中間」編碼模式，該模式包括對作為相同圖像的前面GOP的函數而不是作為前面圖像的GOP的函數的圖像的GOP編碼。如果剩餘是零，則「在內部的中間」編碼的GOP由簡單重新複製早已經在相同圖像轉換的GOP轉換。
當編碼產生大量零剩餘組時，本發明更有效的，這屬於不要求高質量的重構的應用的情況，特別是在比特率較低的網際網路上的視頻應用程式，其比特率是很低的。它對於具有較少運動的圖像也是有效的，例如，視頻電話應用。
權利要求
1.一種圖像序列的格式轉換方法，其根據像素組的結構使用編碼的視頻數據，其特徵在於對於將被轉換的編碼像素組，如果所用編碼的模式是沒有剩餘(6)的中間類型，則通過與所述編碼像素組有關的運動矢量連結的前面圖像(11)轉換的像素組的複製(8、10)進行轉換。
2.按權利要求1所述的方法，其特徵在於如果與像素組有關的運動矢量是零(7)，則轉換由位於同一處的像素組(11)的重新複製(8)進行，如果運動矢量不是零(7)，則轉換由前面轉換的圖像(11)中的運動補償(10)進行。
3.按權利要求1所述的方法，其特徵在於按照MPEG標準對數據進行編碼，其中，像素組是圖像組，編碼模式從定義宏塊中的編碼組分配的cbp(編碼組圖形)碼確定。
4.按權利要求1所述的方法，其特徵在於按照MPEG標準對數據進行編碼，其中，像素組是宏塊，所述的編碼模式從「跳躍宏程序塊」或「未編碼」模式確定。
5.按權利要求1所述的方法，使用可應用在解碼的像素組級上的簡單數學運算，用修改的顯示補充格式轉換，其特徵是適合顯示域的運算被應用到複製的轉換像素組。
6.按權利要求5所述的方法，其特徵在於簡單的運算是加入偏移。
7.一種圖像序列的格式轉換方法，其根據像素組的結構使用編碼的視頻數據，其特徵在於對於將被轉換的編碼像素組，如果編碼數據的傳輸誤差引起等效於沒有剩餘的中間類型的解碼的誤差掩碼模式，則通過與所述編碼像素組有關的運動矢量連結的前面圖像轉換的像素組的複製進行轉換。
8.一種圖像序列的格式轉換方法，其根據像素組的結構使用編碼的視頻數據，編碼的數據包括允許可量測性的補充數據，就是說獲得了不同解析度的圖像(12、13、14)，其特徵在於如果屬於像素組和給定解析度(13、14)的補充數據具有零值，用於給定解析度(13、14)的轉換圖像的這個像素組從較低解析度(12)圖像的轉換像素組獲得。
全文摘要
一種圖像序列的格式轉換方法,其特徵在於對於將被轉換的編碼像素組,如果所用編碼的模式是沒有剩餘(6)的中間類型,則通過與所述編碼像素組有關的運動矢量連結的前面圖像(11)轉換的像素組的複製(8、10)進行轉換。應用涉及到圖像的顯示和合成。
文檔編號H04N7/26GK1338705SQ0112386
公開日2002年3月6日 申請日期2001年8月7日 優先權日2000年8月11日
發明者愛德華·弗朗索瓦, 格溫埃爾·凱爾維拉, 多米尼克·託羅 申請人:湯姆森許可貿易公司