代碼轉換器、記錄裝置和代碼轉換方法

2023-06-27 01:11:26

專利名稱：代碼轉換器、記錄裝置和代碼轉換方法
技術領域：
本發明涉及可進行動態圖像數據流的位速率轉換或格式轉換的代碼轉換器。
背景技術：
代碼轉換技術，一般是對轉換前的動態圖像數據流進行解碼，並將該解碼圖像作 為輸入圖像，再按轉換後的格式進行編碼。在特開2004-23444號公報(專利文獻1)中公 開了一種在該代碼轉換中將作為從轉換前的動態圖像數據流的動態檢索結果的矢量在編 碼信息中用作動態信息，從而減低編碼側的處理負荷的技術。但是，在上述專利文獻1中，沒有公開利用編碼後的幀是幀內(Intra)編碼還是幀 間(Inter)編碼的信息進行代碼轉換方面的技術。此處，當進行了幀間編碼時，由於參照幀和想要編碼的幀具有相關性，可以根據與 轉換前的數據流的關係相同的關係決定參照幀。另一方面，當進行了幀內編碼時，由於幾乎不存在相關性，如仍根據與轉換前的數 據流的關係相同的關係決定參照幀，就不能有效地進行壓縮。另外，當在檢索過一次相互間關係與轉換前的數據流的關係相同的幀後又檢索其 他的幀時，需進行多餘的處理，因此在電路規模的小型化和電力消耗的減低上是不利的。

發明內容
本發明，是鑑於上述課題而開發的，其目的是提供一種利用附加於轉換前的數據 流的編碼信息的用幀間或幀內的哪種模式編碼的信息，進行提高了使用方便性的代碼轉換 的代碼轉換器、記錄裝置和代碼轉換方法。本發明，是對以進行幀內編碼和幀間預測編碼的第一編碼方式編碼後的動態圖像 數據流進行解碼、並以第二編碼方式進行編碼的代碼轉換器，該代碼轉換器包括解碼器， 對所輸入的動態圖像數據流進行解碼，並檢測表示以幀內編碼進行了編碼還是以幀間預測 編碼進行了編碼的子信息；編碼器，在上述子信息為表示進行了幀內編碼的信息的情況下、 和表示進行了幀間預測編碼的信息的情況下，變更編碼時參照的幀或變更幀的檢索順序。


圖1是實施例1的框圖。圖2是實施例1的概念圖。圖3是實施例1的概念圖。圖4是未遮擋區域的例子。圖5是參照存儲器結構例子。
圖6是參照存儲器結構例子。圖7是應用了實施例1的製品例子。圖8是選擇參照圖像時的流程圖。
具體實施例方式以下，在以下的實施例中，以從MPEG2轉換為H. 264為例進行說明。但是，並不限於 此，可以應用於對以進行幀內編碼和幀間預測編碼並具有表示對該幀進行了幀內編碼還是 幀間編碼的信息作為幀信息的編碼方式壓縮後的動態圖像數據流進行代碼轉換的場合。作 為這種編碼方式，除上述MPEG2或H. 264以外，還有MPEG4、H. 261、Η· 263, SMPTE的VCl等。此外，在H. 264(ITE/IS0 14496-10/H. 264AVC)等中，可以進行能夠從已完成解碼 的幀任意選擇動態補償時的參照幀的多幀動態補償。用圖1說明實施例的結構。圖的上部，示出解碼器(解碼裝置)005，其包括供給 從播放或記錄媒體等讀出的數字動態圖象數據流的數據流供給部001、對解碼器的語法進 行解讀的VLD部002、進行從頻率變換區域到圖像區域的變換的逆頻率變換部003、利用由 VLD部解碼後的矢量信息從參照圖像進行動態補償並與來自逆頻率變換部的輸出相加而生 成解碼圖像(輸出圖像)的動態補償部004。圖的下部，示出編碼器(編碼裝置)011，其包括將從解碼器輸出的輸出圖像作為 輸入圖像存儲在緩衝區內的緩衝部006、可在輸入圖像和已完成編碼的多個參照圖像之間 進行動態補償的動態補償部007、對動態補償後的誤差圖像進行頻率變換的頻率變換部 008、以依據了規格的語法進行編碼的VLC部009、將編碼圖像作為後面的動態補償的參照 圖像的參照圖像保存部即參照存儲部010。而且，在解碼器中，進行每個幀的幀標題的解碼並在每個被稱作宏功能塊(MB)的 矩形區域內進行解碼處理。在這種情況下，後述的圖像的編碼類型、以每個MB為單位進行 解碼後的矢量信息和幀內/幀間(Intra/Inter)信息，就可以由編碼器的動態補償部使用。在本實施例中，例如將上部解碼器作為依據了動態圖像編碼的國際標準方式 MPEG2(IS0/IEC 13813-2、International Standard)的裝置、將下部編碼器作為依據了 H. 264(IS0/IEC 14496-10/ITUH. 264AVC)的編碼器進行說明。在圖2中，示出本實施例的概要。上段表示代碼轉換前的MPEG2數據流的解 碼，I、B、P分別表示圖像的編碼類型(piCture_COding_type)，I表示進行只利用了畫 面內的信息的編碼(intra-coded:幀內編碼)、P表示過去的信息也可以利用的編碼 (predictive-codec 預測編碼)、B表示可利用過去和未來的信息的編碼(bidirectionall y-predictive-codec ；雙向預測編碼)的類型。另一方面，下段表示H. 264的編碼。編碼的輸入圖像為MPEG2的解碼圖像，編碼的 類型，與轉換源的MPEG2相同。在這種結構的情況下，在H. 264的編碼中，可以使用附加於 MPEG2的矢量信息。當進行H. 264編碼時，取得並使用與作為編碼對象的MB對應的MPEG2 的矢量信息。在這種情況下，在H. 264的編碼中，可以削減計算量大的動態檢索的電路，並 能削減編碼器的電路規模。這時，如圖3所示，當對MPEG2的MB進行連矢量信息都不具備的幀內編碼時，在 H. 264的編碼器中不能從MPEG2取得矢量信息。在這種情況下，在H. 264的編碼器側雖然也
5可以進行幀內編碼，但是當考慮以小電路規模、低電力消耗為前提的結構中的畫質的提高 時，在H. 264中進行以下新的檢索的方法是有效的。對於在MPEG2的數據流中選擇了幀內編碼的MB中，可以判定在MPEG2中與原來處 於參照關係的參照圖像很少存在相關關係，在H. 264的編碼器中將該參照幀從進行新的檢 索的對象中除去。在圖8中，示出選擇參照圖像時的流程圖。當在H. 264中以每個MB為單位進行編 碼時，參照MPEG2的每個MB的幀內或幀間的信息(S801)，如果是幀內編碼，則將MPEG2的處 於參照關係的參照圖像從H. 264的動態補償的對象除去，在MPEG2中選擇與處於參照關係 的參照圖像不同的參照圖像(S802)，並利用所選定的參照圖像進行動態補償(S804)。如果 是幀間編碼，則利用MPEG2的解碼信息並選擇MPEG2中處於參照關係的參照圖像(S803)，進 行H. 264的動態補償(S804)。在電力消耗低的H. 264編碼器LSI中，為實現多幀編碼而嘗試著對多個參照圖像 進行實際的檢索、以選擇高效率的參照圖像的方法，將導致電路規模和電力消耗的增大因 而是不現實的。因此，為削減電路規模或電力消耗，即使是H. 264編碼器，進行動態補償的 參照幀數也與作為現有技術的MPEG2相同。在本實施例中，將選擇了幀內的相關性很小的 參照圖像從參照對象除去，在效率方面是很有效的。另外，當在MPEG2中選擇幀內時，應考慮如圖4所示的被稱作未遮擋區域的情況。 這是使被遮擋的區域露出時產生的現象，是在參照圖像中看不到該所要露出的區域因而使 時間的相關性減低的現象。在圖中，當五角星從右上方向左下方移動時，如使被遮擋了的面 部露出，則當圖像η參照η-1時，相關性很小。但是，在更靠前的圖像η-2中，卻可以觀察到 較高的相關性。在本實施例中，要達到其效果，當MPEG2為幀內時應選擇更加靠前的圖像作 為參照圖像。作為這時的參照圖像，考慮以下的例。在編碼器中，如圖5所示，為了將編碼後的 圖像作為後面的參照圖像，必須預先將其存儲在參照存儲器內。在與MPEG2相同的參照關 系中，參照存儲器使用2面並利用其中保存的圖像進行編碼。在本實施例中，將該存儲器再 增加1面，從而如圖6所示增加參照圖像，當在幀內編碼中得不到動態補償信息時，通過這 種增加，從已記錄在存儲器內的12幀進行參照。此外，在上述增加了 1面的存儲區域內如果是已完成解碼的幀，則無論是哪個幀 都可以作為預先保存的參照對象。在這種情況下，例如，可以考慮預先保存進行編碼的某個 單位(例如G0P)的開頭的幀、並將這些幀作為參照對象的使用方法。進一步，也可以通過 增加該存儲器來增加進行參照的候選對象，但從電路規模的小型化的觀點考慮，如圖6所 示將參照存儲器構成為存儲3面的方法是優選的。另外，該參照圖像上的檢索範圍，當考慮未遮擋區域區域時也不一定需要設定為 很大的範圍，可以將對應的周圍幾個像素作為檢索的範圍。按照本實施例，通過將相關關係很小的參照圖像除去，能以低的電力消耗、小的電 路規模取得多幀編碼的效果。以下，給出應用了本實施例的製品實用例。本實施例，在將模擬或數字的電視播 放、或已記錄的某個節目變更編碼格式、編碼速率後保存在HDD或DVD等記錄媒體內的情況 下是有效的。圖7中示出將數字播放保存在記錄媒體內時的框圖。由調諧部701接收到的數字播放，由解調部702進行解碼處理，並由多路分配部703分解為動態圖像信息、聲音信 息等。動態圖像信息，由解碼器705進行解碼處理，如將圖像輸出到顯示器，則將解碼圖像 傳送到顯示部710。由編碼器取得解碼器解碼後的再生圖像、子信息，進行編碼而生成數據 流。 另外，按照以上的實施例，還可以通過動態圖像的位速率轉換、格式轉換實現畫質的提高。
權利要求
一種代碼轉換器，對以進行幀內編碼和幀間預測編碼的第一編碼方式進行編碼後的動態圖像數據流進行解碼，並以第二編碼方式對解碼的數據流進行編碼，該代碼轉換器的特徵在於，包括解碼器，對所輸入的動態圖像數據流進行解碼，並檢測表示以幀內編碼進行了編碼還是以幀間預測編碼進行了編碼的子信息；編碼器，在所述子信息為表示進行了幀內編碼的信息的情況下、和表示進行了幀間預測編碼的信息的情況下，變更編碼時參照的幀，所輸入的動態圖像數據流，包括將某輸入F0幀作為參照對象，並一邊按每個編碼處理單位切換幀間預測編碼或幀內編碼一邊進行編碼的第一輸入F1幀；和將所述第一輸入F1幀作為參照對象，並一邊按每個編碼處理單位切換幀間預測編碼或幀內編碼一邊進行編碼的第二輸入F2幀，所述編碼器，當所述第二輸入F2幀的子信息為表示進行了幀間預測編碼的信息時，參照與所述第一輸入F1幀對應的第一輸出F1幀，對與所述第二輸入F2幀對應的第二輸出F2幀進行幀間預測編碼，當所述第二輸入F2幀的子信息為表示進行了幀內編碼的信息時，不參照所述第一輸出F1幀，而是參照任何一個已解碼幀，對所述第二輸出F2幀進行幀間預測編碼。
2.根據權利要求1所述的代碼轉換器，其特徵在於所述任何一個已解碼幀為與所述輸入FO幀對應的輸出FO幀。
3.根據權利要求1所述的代碼轉換器，其特徵在於所述輸入FO幀，是作為進行了幀內編碼的I圖像的輸入I幀； 所述第一輸入Fl幀，是作為參照所述輸入I幀進行了幀間預測編碼的P圖像的第一輸 入P幀；所述第二輸入F2幀，是作為參照所述第一輸入P幀進行了幀間預測編碼的P圖像的第 二輸入P幀。
4.根據權利要求1所述的代碼轉換器，其特徵在於 所述編碼器，只檢索1個進行參照的幀。
5.根據權利要求1所述的代碼轉換器，其特徵在於所述子信息，附加於作為幀內的解碼處理單位的每個宏功能塊。
6.根據權利要求1所述的代碼轉換器，其特徵在於所述第一編碼方式是MPEG方式，所述第二編碼方式是H. 264方式。
7.根據權利要求1所述的代碼轉換器，其特徵在於所述編碼器，當所述第二輸入F2幀的子信息為表示進行了幀內編碼的信息時，幀間預 測編碼期間的檢測矢量信息時的檢索範圍為檢索對象位置的周圍幾個像素。
8.—種記錄裝置，其特徵在於，包括記錄媒體接口，讀出記錄在記錄媒體內並以第一編碼方式編碼後的動態圖像數據流； 權利要求1所述的代碼轉換器，輸入由所述記錄媒體接口讀出的動態圖像數據流； 所述記錄媒體接口，將從所述代碼轉換器輸出並以所述第二編碼方式編碼後的動態圖 像數據流記錄在記錄媒體內。
9. 一種代碼轉換方法，對以進行幀內編碼和幀間預測編碼的第一編碼方式編碼後的動 態圖像數據流進行解碼，並以第二編碼方式對解碼的數據流進行編碼，該代碼轉換方法的 特徵在於進行解碼的幀，預先附加著表示以幀內編碼進行了編碼還是以幀間預測編碼進行了編 碼的子信息；在該子信息為表示進行了幀內編碼的信息的情況下、和表示進行了幀間預測編碼的信 息的情況下，當進行編碼時，變更參照幀， 所輸入的動態圖像數據流，包括將某輸入FO幀作為參照對象，並一邊按每個編碼處理單位切換幀間預測編碼或幀內 編碼一邊進行編碼的第一輸入Fl幀；和將所述第一輸入Fl幀作為參照對象，並一邊按每個編碼處理單位切換幀間預測編碼 或幀內編碼一邊進行編碼的第二輸入F2幀，在所述對解碼的數據流進行編碼的處理中，當所述第二輸入F2幀的子信息為表示進 行了幀間預測編碼的信息時，參照與所述第一輸入Fl幀對應的第一輸出Fl幀，對與所述第 二輸入F2幀對應的第二輸出F2幀進行幀間預測編碼，當所述第二輸入F2幀的子信息為表示進行了幀內編碼的信息時，不參照所述第一輸 出Fl幀，而是參照任何一個已解碼幀，對所述第二輸出F2幀進行幀間預測編碼。
全文摘要
本發明的代碼轉換器，對以進行幀內編碼和幀間預測編碼的第一編碼方式編碼後的動態圖像數據流進行解碼、並以第二編碼方式進行編碼，該代碼轉換器包括解碼器，對所輸入的動態圖像數據流進行解碼，並檢測表示以幀內編碼進行了編碼還是以幀間預測編碼進行了編碼的子信息；編碼器，在上述子信息為表示進行了幀內編碼的信息的情況下、和表示進行了幀間預測編碼的信息的情況下，變更編碼時參照的幀。
文檔編號H04N7/36GK101895765SQ201010248500
公開日2010年11月24日 申請日期2006年3月31日 優先權日2005年10月4日
發明者小味弘典, 谷田部祐介 申請人:株式會社日立製作所