預測編碼裝置及其控制方法
2023-09-22 20:32:35 1
專利名稱：預測編碼裝置及其控制方法
技術領域：
本發明涉及預測編碼裝置及其控制方法。
背景技術：
運動圖像編碼方式的示例有MPEG-4 AVC JS0/IEC 14496-10，也稱為H. 264(以下稱為MPEG-4AVC)，該方式用在數位電視廣播及視頻記錄媒介中。與傳統的熵編碼方式相比， MPEG-4AVC採用以下兩種基於上下文的熵編碼方式來提高編碼效率 基於上下文自適應可變長編碼(CAVLC，Context-based Adaptive Variable Length Coding) 基於上下文自適應二值算術編碼(CABAC，Context-based Adaptive Binary Arithmetic Coding)在這些方式中，CABAC進行算術編碼如下。對要編碼的數據進行二值化處理，以根據上下文(當前編碼對象和周圍狀況)來計算二值數據(bin)的發生概率。然後將計算結果設置為編碼數據。通過二值化處理輸出的二值數據的長度依據輸入到編碼裝置的視頻信號以及編碼條件而變化。由此，認識到可能會由於其性質而產生大量二值數據。CABAC存在諸如關於確保對二值數據的實時算術編碼處理的擔憂以及無法預先決定用以存儲所生成的二值數據的存儲區域的這類問題。為了解決這些問題，提出了用於抑制編碼中的二值數據量的方法。日本專利特開 2007-020141號公報提出了這樣一種方法從正交變換的值中減去偏移值，然後對該值量化，從而削減由二值化處理產生的二值數據的量，以使得消減後的量與由原始二值化處理產生的二值數據的量相比變小。日本專利特開2007-020141號公報還提出一種運動矢量選擇方法，該運動矢量與利用在運動矢量檢測中提供最小評價值的運動矢量進行編碼的情況相比，減少了二值數據量。
發明內容
然而，所提出的方法可能會由於以下兩點原因而使原始編碼條件下的圖像質量劣化1)對在原始應用的編碼條件下編碼的正交變換後的變換係數值進行處理。2)適用這樣一種運動向量，其與利用使得評價值最小的運動向量進行編碼的情況相比減少了二值數據量。考慮到解碼處理，二值數據量是算術解碼處理後獲得的信息。因此，需要假設最壞的情況而準備大於實際生成的二值數據量的冗餘存儲區域。如果不考慮最壞情況而分配限制大小的存儲區域，則存儲區域可能上溢(overflow)，並且解碼處理可能失敗。針對以下技術的需求正在增長，該技術能夠通過在不使編碼中的圖像質量劣化的情況下、在算術解碼前在解碼裝置中布置最佳二值存儲區域以省略冗餘存儲區域，來避免由於二值存儲區域的上溢而引起的解碼處理失敗。
根據實施例的一方面，本發明涉及一種預測編碼裝置，其對構成運動圖像的各圖像進行預測編碼，該預測編碼裝置包括預測處理單元，其被構造為對要編碼圖像的各預定塊單位進行預測處理；變換單元，其適於對通過所述預測處理單元進行的所述預測處理的結果進行正交變換和量化，以生成多值數據；二值化單元，其被構造為將所述多值數據轉換成二值數據；檢測單元，其被構造為檢測所述二值數據的量；編碼單元，其被構造為對所述二值數據進行算術編碼，以創建編碼數據；以及多重化單元，其被構造為將表示由所述檢測單元檢測到的所述二值數據的量的信息多重化(multiplex)到所述編碼數據，以生成編碼數據流。根據實施例的另一方面，本發明涉及一種預測編碼裝置的控制方法，所述預測編碼裝置對構成運動圖像的各圖像進行預測編碼，所述控制方法包括預測處理步驟，用於對要編碼圖像的各預定塊單位進行預測處理；變換步驟，用於對所述預測處理步驟中的所述預測處理的結果進行正交變換和量化，以生成多值數據；二值化步驟，用於將所述多值數據轉換成二值數據；檢測步驟，用於檢測所述二值數據的量；編碼步驟，用於對所述二值數據進行算術編碼，以生成編碼數據；以及多重化步驟，用於將表示在所述檢測步驟中檢測到的所述二值數據的量的信息多重化到所述編碼數據，以生成編碼數據流。根據以下參照附圖對示例性實施例的描述，本發明的其他特徵將變得清楚。
圖1是例示根據實施例的預測編碼裝置的布置的框圖；圖2A至圖2C是示出NAL單位(NAL unit)和訪問單位(access unit)的結構的圖；圖3A和圖3B是用於說明"bin_info SEI 」的句法的圖；圖4A和圖4B是例示『『binjnfo SEI 」多重化的編碼數據的圖；圖5A和圖5B是例示利用「binjnfo SEI 」的解碼處理的圖；圖6A和圖6B是例示利用「binjnfo SEI 」的另一解碼處理的圖；圖7是示出根據第二實施例的「binjnfo SEI」生成方法的流程圖；圖8A和圖8B是例示利用「binjnfo SEI」的又一解碼處理的圖；圖9是例示根據實施例的解碼裝置的布置的框圖。
具體實施例方式以下將參照附圖描述本發明的實施例。[第一實施例]將參照圖1的框圖來描述根據本發明的第一實施例的預測編碼裝置的布置和處理序列，該預測編碼裝置通過例如MPEG-4AVC(IS0/IEC 14496-10)方式來對構成運動圖像的各圖像進行預測編碼。根據第一實施例的預測編碼裝置100對通過把要編碼圖像劃分為例如8X8像素或16X16像素的各個塊而獲得的各個塊單位(例如宏模塊單位)進行處理。 在圖1的預測編碼裝置100中，各個塊可以被構成為利用專用邏輯電路或存儲器的硬體，或者可以被構成為通過CPU執行存儲在存儲器中的處理程序的軟體。預測方法確定單元101為針對要編碼圖像中的各個宏模塊確定預測方法的處理單元。預測方法確定單元101通過使用要編碼的輸入圖像以及從存儲編碼後圖像的存儲器 103讀出的編碼後圖像，執行簡單的幀內預測或包括運動檢測的幀間預測，由此計算表示編碼效率的評價值。然後，預測方法確定單元101確定使計算出的編碼效率最優的預測方法。 當要編碼的宏模塊是I片(Slice)時，預測方法確定單元101確定預測像素塊大小以及預測模式。當宏模塊為P片或B片時，預測方法確定單元101從幀內預測和幀間預測中選擇具有較高編碼效率的預測。對於幀內預測，預測方法確定單元101確定諸如幀內預測像素塊大小和幀內預測模式等的幀內預測編碼參數。對於幀間預測，預測方法確定單元101確定諸如參照圖像幀、宏模塊劃分模式以及運動向量等的幀間預測編碼參數。預測處理單元102根據由預測方法確定單元101指定的預測編碼參數，由從存儲器103讀出的編碼圖像來生成預測圖像。預測處理單元102將預測圖像輸出到局部解碼單元105。另外，預測處理單元102生成用作要編碼的宏模塊與預測圖像之間的差分的預測殘差信號(prediction residual signal)，並將其輸出到正交變換/量化單元104。正交變換/量化單元104針對各指定的像素塊單位(例如8X8像素或4X4像素的各塊單位)，執行基於整數離散餘弦變換和離散Hardamard變換的正交變換處理。僅對關於按照16X16像素的各塊單位經歷了幀內預測處理的亮度信號或色差信號、執行了各像素塊的整數離散餘弦變換的結果的DC (直流)分量，進行離散Hadamard變換。代碼量控制單元106(稍後描述)以與指定量化參數對應的量化步長，對正交變換後的變換係數進行量化。量化數據被輸出到熵編碼單元107。量化數據同時被輸入到局部解碼單元105。局部解碼單元105對量化數據進行逆量化處理和逆正交變換處理(逆離散Hadamard變換和逆整數離散餘弦變換)。局部解碼單元105將從預測處理單元102輸入的預測圖像添加到獲得的數據中，並進行解碼處理。存儲器103保持解碼數據。保持在存儲器103中的解碼數據用於後續的幀內預測處理。另外， 存儲器103保持已經歷解塊濾波處理的解碼數據。解塊濾波處理後保持在存儲器103中的解碼數據用於後續的幀間預測處理。熵編碼單元107是針對各片輸入數據進行利用CABAC (Context-based Adaptive Binary Arithmetic Coding，基於上下文自適應二值算術編碼)的熵編碼處理的處理單元。 在熵編碼單元107中，二值化單元107a將輸入的多值數據轉換成二值數據。二值數據存儲器107b存儲由二值化單元107a生成的二值數據。上下文計算單元107c根據上下文計算並保持二值數據的發生概率。算術編碼單元107d根據從上下文計算單元107c提供的發生概率來進行算術編碼。二值數據量檢測單元107e通過對由二值化單元107a生成並存儲在二值數據存儲器107b中的二值數據進行計數，來檢測針對各片生成的二值數據的量。針對各圖像，將由算術編碼單元107d編碼的數據以及表示由二值數據量檢測單元107e檢測的二值數據量的信息(二值數據信息)提供給多重化單元(multiplexing unit) 108。注意，二值數據信息包括按照從圖像序列的起始開始的編碼順序的圖像計數、 表示要編碼圖像是否為參照圖像的信息「ref_piC_flag」、以及表示構成圖像的片的數量以及各片中的二值數據量的信息。要編碼圖像是否是參照圖像，意思是指其是否用於對另一要編碼的圖像進行運動補償預測編碼。從預測方法確定單元101獲得該信息。代碼量控制單元106是控制編碼數據的代碼量以避免編碼圖像緩衝器(CPB)的上溢或下溢的處理單元。代碼量控制單元106基於在熵編碼後從熵編碼單元107提供的生成代碼量來生成量化參數，並將該量化參數提供給正交變換/量化單元104。多重化單元108將生成的編碼流作為編碼數據輸出。在多重化單元108中，系統信息生成單元108a生成關於編碼數據的系統信息。解碼輔助信息生成單元108b生成解碼輔助信息作為針對編碼數據的附加信息。流生成單元108c對生成的系統信息、解碼輔助信息以及編碼數據以預定單位進行打包，並將它們作為編碼數據流輸出。這些處理單元構建了預測編碼裝置100。在上述布置中，由熵編碼單元107的二值化單元107a生成的二值數據為在熵編碼期間生成的中間編碼數據。二值數據存儲器107b需要存儲數據。即使考慮解碼裝置，在算術解碼後也將二值數據生成作為中間編碼數據，因此需要二值數據存儲器。然而，不能由最終編碼數據獲得生成的中間二值數據的量。解碼裝置僅在針對各編碼單位(片)的算術解碼完成之後才知曉二值數據生成量。因此很難確保與在算術解碼前實際生成的二值數據量相對應的最佳二值數據存儲器。因此，需要預先確保假定了最差情況方案的二值數據存儲器。在第一實施例中，為了獲得解碼裝置中的解碼前的二值數據量，多重化單元108 將關於從熵編碼單元107提供的二值數據的信息，作為解碼輔助信息多重化到編碼數據。下面將說明由解碼輔助信息生成單元108b生成的解碼輔助信息。考慮到 MPEG-4AVC要在各種網絡中使用，因此定義了以下兩層·進行視頻編碼處理的視頻編碼層(Video Coding Layer, VCL)·具有實際發送/存儲系統的網絡抽象化層(Network Abstraction Layer, NAL)如圖2A所示，在這些層中，按照由NAL頭和RBSP (Raw Byte Sequence Pay load，原始字節序列負荷)構成的各個NAL單位對NAL打包。NAL頭用於識別NAL單位的類型(nal_ unit_type)並確定要編碼圖像是否是參照圖像(nal_ref_idC)。對於nal_ref_idC值「00」， 圖像不是參照圖像，而對於其他nal_ref_idc值則是參照圖像。RBSP存儲編碼數據的實體。 NAL單位的類型如圖2B所示，基於識別號nal_imit_type來識別，並且包括以下內容·視頻編碼數據(片) 作為關於視頻編碼數據序列的信息的SPSGequence Parameter kt，序列參數集) 作為關於視頻編碼數據圖像的信息的PPS(Picture Parameter kt，圖像參數集)·作為視頻編碼數據的附加信息的SEI (Supplemental Enhancement ^formation，補充增強信息)針對各圖像的這些NAL單位的組合單位將稱作訪問單位。如圖2C所示，該訪問單位從稱作AUD (Access Unit Delimiter，訪問單位分隔符)的NAL單位起始，該AUD包含能夠識別訪問單位中的圖像類型的信息。在AUD之後是圖像所需的諸如SPS、PPS和Slice數據的NAL單位。在這些NAL單位中，SPS和PPS由系統信息生成單元108a生成，SEI由解碼輔助信息生成單元108b生成。流生成單元108c生成訪問單位。多重化單元108由從熵編碼單元107針對各圖像接收的二值數據信息來生成解碼輔助信息作為SEI。對於SEI，準備能夠使用用戶定義的句法的「user data SEI 」。對於「user data SEI 」，定義了兩種類型，S卩「user data unregistered SEI 」 和 「user registered byITU-T Recommendation Τ. 35 SEI，，。圖 3A 示出了在假設利用 「user data unregistered SEI」對解碼輔助信息進行多重化的前提下「user data unregistered SEI」的句法。在圖3A的句法要素中，「uSer_data_payl0ad_byte」區域可以存儲二值數據信息。 "user data unregistered SEI」 中的二值數據信息的存儲可以由 「uuid_iso_iec_11578」 區域中的UUID來識別。要存儲在「uSer_data_payload_byte」區域中的二值數據信息將稱為「bin_info」，其SEI將稱為「bin_info SEI」。圖示出了該句法的定義。pic_pos是表示對應於「binjnfo」的圖像位置的信息，並且按照從序列的起始開始的編碼順序(解碼裝置中的解碼順序)來存儲圖像計數。ruim_slice表示構成圖像的片的數量。接著，將對應於由num_slice表示的片的數量的、各片的二值數據量GAits)，存儲作為bin_size。注意，該二值數據量可以被存儲作為各圖像的數據量。根據上述句法，解碼輔助信息生成單元108b基於從熵編碼單元107接收的二值數據信息，來生成上述「bin_info SEI」。流生成單元108c將「binjnfo SEI」多重化到訪問單位中。圖4A和圖4B例示了通過對「binjnfo SEI 」被多重化的每個圖像的4片進行編碼而獲得的編碼數據。圖4A示出了將「binjnfo SEI」多重化在各個圖像上的示例。圖4A 示出了分別添加到典型圖像10和B6的SEI的內容。圖像10為編碼順序中的第一幅圖像， 並且pic_pOS = 0。由於針對4片對1個圖像進行編碼，因此num_SliCe = 4。之後，針對這4片來存儲圖像中包含的各片的二值數據量bin_size
至bin_size [3]。圖像B6按照編碼順序是第11幅圖像，並且pic_p0S = 10。由於圖像B6針對4片進行編碼，因此與圖像10類似，num_slice = 4。而且，針對該4片存儲各片的二值數據量 bin_size
至bin_size[3]。圖4A示出了將「bin_info SEI」多重化到各訪問單位上的示例。然而，如圖4B所示，編碼數據流中的各圖像的SEI可以一次性多重化到編碼數據流的起始處的預定圖像的訪問單位上。例如，多個圖像(例如，對於一個GOP或者一個運動圖像文件)的「binjnfo SEI」可以一次性被多重化到編碼數據流的起始處的I圖像的訪問單位中。該多重化使得解碼裝置能夠容易地預先獲取多個圖像的「binjnfo SEI」。按照上述方式多重化的「binjnfo SEI 」在解碼裝置中的下述情況下有效。考慮具有能夠在共享存儲器中動態布置二值數據存儲區域的機構的解碼裝置，可以通過慮及由MPEG-4AVC標準定義的上限二值數據生成量，來布置二值數據存儲區域。然而，所生成的二值數據量接近由該標準定義的上限的頻率低，並且在大多數情況下，考慮將冗餘存儲區域分配作為解碼處理中的二值數據存儲區域。例如，假設編碼數據中的各圖像的二值數據量如圖5A所示的圖所表示那樣改變，並且解碼裝置具有由圖中虛線所示的大小的存儲區域。在該情況下，圖中的陰影區域501變成解碼裝置中解碼期間未使用的冗餘存儲區域。然而，可以使用「binjnfoSEI」來確定由圖所代表的二值數據量的改變，因此如圖5B所示，可以與各圖像相對應地布置最佳二值存儲區域。結果，可以在不布置冗餘存儲區域的情況下有效利用空白區域。另外，假設編碼數據中的各圖像的二值數據如圖6A所示的圖所表示的那樣改變， 並且解碼裝置具有大小小於由標準定義的上限的存儲區域，如圖中虛線601所表示。在這種情況下，第13幅圖像可能生成大量二值數據，而在算術解碼的執行期間從二值存儲區域上溢。甚至在這種情況下，可以基於由「binjnfo SEI」獲得的值，來預先分配能夠存儲第
713幅圖像的二值數據量的存儲區域，如圖6B所示。這能夠避免二值數據存儲區域的上溢。無須說，可以如圖5B所示的示例那樣，針對各圖像分配最佳值的存儲區域。如果不能分配擴展存儲區域，則可以預先取消第13幅圖像的解碼，以執行諸如用另一圖像進行替換的誤差插值處理。通過這樣避免二值存儲器的上溢，能夠很容易確保實時解碼處理。二值數據量不僅影響存儲區域，而且影響算術解碼處理的性能。公知CABAC中的算術解碼需要1個時鐘周期來處理Ibin的二值數據。這樣，CABAC解碼處理的性能依賴於用於驅動算術解碼處理單元的時鐘頻率。例如，考慮能夠動態改變算術解碼處理單元的驅動時鐘頻率的解碼裝置，算術解碼處理單元通常需要以由標準定義的上限二值數據量能夠在預定時間內解碼的時鐘頻率來驅動。為了做到這一點，使用根據本發明的解碼輔助信息來進行解碼，由此獲得算術解碼開始前的二值數據生成量。可以預先計算算術解碼處理所需的性能。這針對各編碼數據最佳的時鐘頻率驅動算術解碼處理單元足以，並且能夠預期電力消耗的降低。考慮算術解碼處理單元的驅動時鐘頻率被固定的解碼裝置，有時難以滿足針對生成大量二值數據的編碼數據的算術解碼處理的性能。為了應對這一情況，解碼裝置可以被設計為在生成超出算術解碼處理的性能的二值數據時執行任何恢復處理。然而，在這種情況下，也僅在算術解碼之後獲得二值數據是否已超出處理性能的信息。因此，算術解碼處理所花費的時間可能被浪費，並且變得難以確保實時解碼處理。即使在這種情況下，使用根據本發明的解碼輔助信息也使得能夠在算術解碼開始前獲得二值數據生成量。可以採用諸如跳過對算術解碼處理產生重負的圖像的措施，從而容易地確保實時解碼處理。圖9是示出根據第一實施例的能夠對通過上述預測編碼裝置100生成的編碼數據進行解碼的解碼裝置900的框圖。參照圖9，CPU 901在存儲器906中布置諸如解碼處理所需的圖像數據存儲緩衝器和編碼數據存儲緩衝器的工作存儲區。CPU 901控制構建解碼裝置900的各個處理單元(稍後描述)。時鐘生成單元902生成用於驅動構建解碼裝置的各處理單元的時鐘信號，並將它們提供給各處理單元。注意，由時鐘生成單元902生成的時鐘信號的時鐘頻率，可以由CPU 901以可程序化的方式來控制。編碼數據輸入單元903基於起始代碼(0x000001)從輸入編碼數據流檢測 NAL單位的起始，並確定NAL單位的類型。NAL單位包含作為關於輸入編碼數據的序列的信息的SPSGequence Parameter kt，序列參數集)、作為關於編碼數據的圖像的信息的PPS(PictUre Parameter kt，圖像參數集)、作為編碼數據的附加信息的 SEI (Supplemental Enhancement ^formation，補充增強信息)以及視頻編碼數據(片)。 編碼數據輸入單元903將來自類型確定了的NAL單位中的SPS、PPS、SEI和Slice頭的位流信息(將SPS、PPS、SEI和Slice頭統稱為位流信息)通知給CPU 901。編碼數據輸入單元 903將片數據發送給熵解碼處理單元904。熵解碼處理單元904基於由CPU 901設置的位流信息來進行熵解碼，並將作為中間數據的二值數據寫入存儲器906中。存儲器I/F 905對來自各處理單元的存儲器訪問請求進行調停，並控制對存儲器 906的讀取/寫入。存儲器906存儲通過熵解碼處理單元904解碼的二值數據，以及通過預測解碼處理單元907重構的圖像數據。經由存儲器I/F 905在各個處理單元之間共享存儲器906。預測解碼處理單元907是針對由16X 16像素塊構成的各宏模塊單位進行預測解碼處理的處理單元。預測解碼處理單元907包括對二值數據解碼的二值數據解碼處理單元、通過幀內預測或幀間預測生成預測圖像的預測圖像生成單元、通過逆量化和逆正交變換重構殘差信號的逆變換處理單元、通過將預測圖像和殘差信號相加來重構圖像數據的圖像解碼處理單元、以及針對解碼的圖像數據進行解塊濾波處理的解塊濾波處理單元。首先，預測解碼處理單元907基於由CPU 901設置的位流信息來從存儲器906中讀出二值數據，重構生成預測解碼所需的幀內預測圖像或幀間預測圖像所需的預測模式、 運動向量信息等，並且基於從存儲器906讀出的參照圖像生成預測圖像。然後，預測解碼處理單元907通過逆量化和逆正交變換來重構殘差信號，並且將預測圖像和殘差信號相加， 從而重構圖像數據。根據需要，預測解碼處理單元907對重構的圖像數據進行解塊濾波處理，並將結果圖像數據寫入存儲器906。視頻數據輸出單元908按照CPU 901指定的顯示順序，從存儲器906讀出由預測解碼處理單元907重構的圖像數據。視頻數據輸出單元908將垂直和水平同步信號添加給圖像數據，然後將圖像數據輸出為視頻信號。當具有上述布置的解碼裝置900接收到由預測編碼裝置100生成的編碼數據時， CPU 901通過獲取包含二值數據信息的SEI (即「binjnfo SEI 」)能夠獲得二值數據生成量。如上所述，能夠在執行視頻解碼處理前在存儲器906中分配最佳二值數據緩衝區域。另外，時鐘生成單元902可以生成具有最佳頻率的時鐘信號。[第二實施例]第二實施例中的預測編碼裝置具有與第一實施例中的預測編碼裝置100相同的布置，並且適用於圖1。作為差別，將說明解碼輔助信息生成單元108b中的解碼輔助信息生成方法。在第一實施例中，針對各圖像多重化「binjnfo SEI 」。然而，當實際生成的二值數據量小於解碼裝置中假設的二值存儲區域時，認為「binjnfo SEI」沒有必要。通常，對參照圖像分配比非參照圖像更大的代碼量。由此，參照圖像極有可能生成更大量的二值數據， 而認為非參照圖像的二值數據量小。由此，當二值數據量等於或大於預定閾值時或者當要編碼圖像是參照圖像時，從代碼量方面而言，生成並多重化「binjnfo SEI」是有效的。預先將二值數據量的閾值設置為「bin_thr」。此外，針對從熵編碼單元107輸入到多重化單元108的二值數據信息，由 「ref_piC_flag」來給出表示要編碼圖像是否是參照圖像的信息。而且，給出表示二值數據量的信息作為「bin_Cur」。當二值數據量等於或大於預定閾值並且要編碼圖像是參照圖像時，生成「bin_info SEI，，。將參照圖7的流程圖來說明第二實施例中的「binjnfo SEI」生成方法。用作多重化單元108的CPU可以通過執行(存儲在ROM等中的)相應的程序來實現對應於流程圖的處理。當熵編碼單元107向多重化單元108輸入二值數據信息時，在步驟S701中解碼輔助信息生成單元108b由「ref_piC_flag」值來確定要編碼圖像是否是參照圖像。如果 「ref_piC_flag」值為1並且要編碼圖像是參照圖像(步驟S701中「是」)，則處理轉移到步驟S702。在步驟S702中，解碼輔助信息生成單元108b將閾值「bin_thr」與輸入二值數據量「bin_cur」比較。如果「bin_cur」等於或大於「bin_thr」(步驟S702中「是」)，則在步驟S703中解碼輔助信息生成單元108b由輸入二值數據信息來生成「binjnfo SEI」。流生成單元108c將「binjnfo SEI」多重化到訪問單位中。如果要編碼圖像不是參照圖像(步驟S701中「否」)或者「bin_CUr」小於「bin_thr」(步驟S702中「否」)，則解碼輔助信息生成單元108b不生成解碼輔助信息。在上面的描述中，輸入二值數據量被認為是要編碼的一個圖像的數據量。然而，可以針對各片來比較數據量。在這種情況下，當任何片的數據量超過閾值時，解碼輔助信息生成單元108b生成解碼輔助信息。
以這種方式，根據第二實施例，解碼輔助信息生成單元108b確定要編碼圖像是否是參照圖像並確定二值數據量。僅對作為參照圖像並且具有等於或大於閾值的二值數據量的要編碼圖像生成「binjnfo SEI」。這能夠避免由於冗餘「binjnfo SEI」引起的數據量的增加。在第二實施例中，生成條件規定要編碼圖像為參照圖像並且二值數據量等於或大於閾值。然而，如果滿足任一條件，則可以生成「binjnfo SEI」。根據第二實施例，甚至解碼裝置也能夠確定多重化「binjnfo SEI」生成臨界二值數據量並進行解碼處理。例如，假設編碼數據中的各圖像的二值數據量如圖8A所示的圖所表示的那樣改變。陰影圖像為參照圖像，並且圖中的虛線表示針對二值數據量設置的閾值 「bin_thr」。在這種情況下，根據圖7的流程圖所示的方法，將「binjnfo SEI」多重化到作為參照圖像並且具有等於或大於「bin_thr」的二值數據的圖像10、PO和P3。在解碼裝置中，如圖8B所示，根據針對10、PO和P3接收的「binjnfo SEI」來布置存儲器。解碼裝置能夠容易地在二值數據區域不短缺的情況下進行解碼。[其他實施例]本發明的各方而還能夠通過讀出並執行記錄在存儲設備上的用於執行上述實施例的功能的程序的系統或裝置的計算機(或諸如CPU或MPU的設備)、以及由系統或裝置的計算機例如讀出並執行記錄在存儲設備上的用於執行上述實施例的功能的程序來執行各步驟的方法來實現。鑑於此，例如經由網絡或者從用作存儲設備的各種類型的記錄介質 (例如計算機可讀介質)向計算機提供程序。雖然參照示例性實施例描述了本發明，但是應當理解，本發明不限於所公開的示例性實施例。應對所附權利要求的範圍給予最寬的解釋，以使其覆蓋所有變型、等同結構和功能。
權利要求
1.一種預測編碼裝置，其對構成運動圖像的各圖像進行預測編碼，該預測編碼裝置包括預測處理單元，其被構造為對要編碼圖像的各預定塊單位進行預測處理； 變換單元，其適於對所述預測處理單元進行的所述預測處理的結果進行正交變換和量化，以生成多值數據；二值化單元，其被構造為將所述多值數據轉換成二值數據； 檢測單元，其被構造為檢測所述二值數據的量；編碼單元，其被構造為對所述二值數據進行算術編碼，以創建編碼數據；以及多重化單元，其被構造為將表示由所述檢測單元檢測到的所述二值數據的量的信息多重化到所述編碼數據，以生成編碼數據流。
2.根據權利要求1所述的預測編碼裝置，其中，所述二值數據的量為構成所述要編碼圖像的各片的數據量。
3.根據權利要求1或權利要求2所述的預測編碼裝置，其中，所述多重化單元將所述二值數據的量與閾值進行比較，並且當所述二值數據的量大於所述閾值時，所述多重化單元將表示所述二值數據的量的信息多重化。
4.根據權利要求1或權利要求2所述的預測編碼裝置，其中，在所述要編碼圖像在由所述預測處理單元對另一要編碼圖像進行的預測處理中用作參照圖像的情況下，所述多重化單元將表示所述要編碼圖像的所述二值數據的量的信息多重化。
5.根據權利要求1或權利要求2所述的預測編碼裝置，其中，所述多重化單元將表示多個圖像的所述二值數據的量的信息，多重化到編碼數據流的起始處的預定圖像的訪問單位。
6.一種預測編碼裝置的控制方法，所述預測編碼裝置對構成運動圖像的各圖像進行預測編碼，所述控制方法包括預測處理步驟，用於對要編碼圖像的各預定塊單位進行預測處理； 變換步驟，用於對所述預測處理步驟中的所述預測處理的結果進行正交變換和量化， 以生成多值數據；二值化步驟，用於將所述多值數據轉換成二值數據； 檢測步驟，用於檢測所述二值數據的量；編碼步驟，用於對所述二值數據進行算術編碼，以生成編碼數據；以及多重化步驟，用於將表示在所述檢測步驟中檢測到的所述二值數據的量的信息多重化到所述編碼數據，以生成編碼數據流。
全文摘要
本發明提供一種預測編碼裝置及其控制方法。所述預測編碼裝置對構成運動圖像的各圖像進行預測編碼，該預測編碼裝置包括預測處理單元，其被構造為對要編碼圖像的各預定塊單位進行預測處理；變換單元，其適於對通過所述預測處理單元進行的所述預測處理的結果進行正交變換和量化，以生成多值數據；二值化單元，其被構造為將所述多值數據轉換成二值數據；檢測單元，其被構造為檢測所述二值數據的量；編碼單元，其被構造為對所述二值數據進行算術編碼，以創建編碼數據；以及多重化單元，其被構造為將表示由所述檢測單元檢測到的所述二值數據的量的信息多重化到所述編碼數據，以生成編碼數據流。
文檔編號H04N7/26GK102348119SQ201110216359
公開日2012年2月8日 申請日期2011年7月28日 優先權日2010年7月30日
發明者望月成記 申請人:佳能株式會社