活動圖像編碼控制方法、活動圖像編碼裝置以及活動圖像編碼程序的製作方法

2023-05-29 21:29:56

專利名稱：活動圖像編碼控制方法、活動圖像編碼裝置以及活動圖像編碼程序的製作方法
技術領域：
本發明涉及用於對視頻信號進行編碼以使得虛擬解碼器中的編碼圖像緩衝器(CPB Coded Picture Buffer)等虛擬緩衝器不會發生失效且像質的劣化不會增大的活動圖像編碼技術。本申請針對在2010年5月12日已向日本提出申請的日本專利申請2010 —109874號、日本專利申請2010 — 109875號、日本專利申請2010 — 109876號、日本專利申請2010 - 109877號、日本專利申請2010 — 109878號主張優先權，並在此援引它們的內容。
背景技術：
在視頻信號的編碼中，需要以使解碼器不失效的方式進行編碼。在H. 264編碼方 式中規定有將解碼器模型化的虛擬解碼器HRD(假定參考解碼器(Hypothetical ReferenceDecoder))。H. 264的編碼器需要以使虛擬解碼器不失效的方式進行編碼。本發明是用於抑制虛擬解碼器的CPB的失效，具體而言抑制CPB的下溢(underflow)並且減輕像質劣化的技術。圖I中表示CPB下溢的概念圖。在固定位速率的情況下，編碼流以該位速率被輸入到CPB (圖I的參考符號RS1)。將各時刻下的CPB內的編碼流的數據量稱為「剩餘代碼量」。虛擬解碼器從CPB中抽取對應於各圖像的編碼流。這時，CPB剩餘代碼量即刻相應地減少和該圖像對應的代碼量。雖然在圖I中示出固定位速率時的例子，但在可變位速率的情況下亦同樣。如圖I所示，CPB下溢是指在虛擬解碼器試圖從CPB中抽取圖像的編碼流時，該圖像的編碼流在CPB內出現不足的狀況。在基於H. 264的編碼中，需要一邊進行編碼一邊驗證CPB的狀態，創建不會產生CPB下溢的流。如前所述，虛擬解碼器的CPB在H. 264中被標準化，進一步的細節被記載於例如下述的非專利文獻I。此外，在其他的編碼標準中也規定有與CPB相同的概念。例如在MPEG(運動圖像專家組(Moving Picture Experts Group))-2 中有 VBV (視頻緩存檢驗器(Video BufferingVerifier))，在此將這種解碼器的緩衝器模型總稱為「虛擬緩衝器」。以下說明中的「CPB」能夠以「虛擬緩衝器」這種詞語來改變稱呼而廣義地進行解釋。在視頻信號的編碼方法中有一次(onepass)編碼和多次(multipass)編碼的技術。在一次編碼中一般是對輸入視頻的圖像逐次地進行編碼。另一方面在多次編碼中則對輸入視頻進行多次編碼。在二次編碼中，利用一次編碼後的結果來進行第二次編碼。下面，將一次編碼的現有技術作為「現有技術a」，將二次編碼的現有技術作為「現有技術b 」來進行說明。
在一次編碼中，因對所輸入的圖像逐次地進行編碼，故不知道較之於編碼對象圖像而言未來圖像的性質。因而，從在過去已編碼的圖像的發生代碼量等推定未來圖像的複雜度，抑制CPB下溢。例如，在專利文獻I的技術中，在各圖像的編碼前，將從在過去已編碼的結果所獲得的視頻的複雜度設為GOP(圖像組(Group Of Pictures))的剩餘視頻的複雜度的推定值。以該複雜度的推定值作為前提，從CPB的剩餘代碼量推定使能夠在GOP的剩餘視頻的編碼利用的最大代碼量發生的量化參數，並將其作為編碼對象圖像的編碼的量化參數的下限值加以利用，從而抑制CPB下溢。因此，在從單純場景轉換到複雜場景這種情況下，在單純場景的編碼時假設未來也同等，使代碼量進行發生，而在複雜場景下CPB中沒有用來維持像質所需要的剩餘代碼量，最終利用大的量化參數進行編碼。作為結果，存在像質大幅度劣化的問題。
在二次編碼中，對輸入視頻的全部圖像進行編碼，並在第二次編碼中利用這時已發生的各圖像的代碼量。在此方法中，與一次編碼的情況不同，由於在第二次編碼時知道視頻的各部分的複雜程度，所以能期待能夠抑制像質的劣化並且抑制CPB下溢。例如在專利文獻2的技術中，在第一次編碼中求各幀的複雜度，並求各幀的分配代碼量。然後，驗證在此分配 代碼量下是否產生CPB下溢，並在產生CPB下溢時修正分配代碼量。這樣，由於知道各幀的複雜度，所以能期待抑制CPB下溢並且維持像質。但是，由於此方法是對輸入視頻的全部幀進行兩次編碼，所以存在需要的運算量多的問題。現有技術文獻 專利文獻
專利文獻I:日本專利公開2006 - 295535號公報；
專利文獻2:日本專利公開2003 - 018603號公報。非專利文獻
非專利文獻I:角野，菊池，鈴木，「修訂三版H. 264/AVC教科書」，ImpressR & D發行，2009，pp. 189-191。

發明內容
在前述現有技術a中，由於僅利用已經編碼完畢的信息來進行編碼控制，所以存在因CPB下溢抑制所導致的較大的像質劣化不可避免這一問題。作為針對像質劣化的單純的迴避方法，人們還考慮設定量化參數的上限閾值。但是，此處置方法會誘發CPB下溢。另一方面，根據現有技術b，雖然能夠在抑制像質劣化並且抑制CPB下溢，卻存在運算量多的問題。本發明的目的在於謀求上述課題的解決，以比現有的二次編碼(現有技術b )少的運算量，抑制CPB下溢並且減輕在現有的一次編碼(現有技術a)所產生的那樣的大的像質劣化。在說明本發明之際對「編碼順序圖像組」和「量化統計量」進行定義。編碼順序圖像組是由規定數量的圖像所構成，按編碼順序連續的圖像集合。典型的編碼順序圖像組的例子是 GOP (Group Of Pictures)。在圖2A 圖2C中表示編碼順序圖像組的概念圖。在圖2A 圖2C中，I表示成為畫面內預測編碼的對象的圖像(I圖像)，P表示成為正向預測編碼的對象的圖像(P圖像)，B表示成為雙向預測編碼的對象的圖像(B圖像)。
圖像的顯不順序例如圖2A所不，設為I — B — P — B — P — B......的順序。
在將本發明中所說的編碼順序圖像組設為GOP時，編碼順序圖像組如圖2B所示，成為
I— P — B — P —…一B-P (I的正前方)的圖像組。例如，在設編碼順序圖像組為13個圖像的構成時，圖2C所示那樣的按編碼順序連續的13個圖像就是本發明中所說的編碼順序圖像組。如以上那樣，把輸入視頻的圖像序列分割為按編碼順序連續並由規定枚數所構成的圖像組而得到的圖像集合稱之為編碼順序圖像組。此外，在此所謂的「圖像」，在視頻為逐行(progressive)格式的情況下為巾貞,而在隔行(interlace)格式的情況下則為一個場(field)或者將頂部場(top field)和底部場(bottom field)合二為一的中貞。另外，量化統計量是從被圖像的各宏塊(macroblock)編碼利用的量化參數或者量化步驟所求得的統計量。例如，圖像的宏塊的量化參數或者量化步驟的平均值，中值 (median)。在本發明的第I觀點中，以編碼順序圖像組為單位進行輸入視頻的編碼。但是，每次對輸入圖像進行編碼時都檢查該圖像的量化統計量是否超過規定的閾值，在量化統計量超過規定的閾值時，變更編碼參數以使發生代碼量變少，並對編碼中的編碼順序圖像組進行再編碼。設編碼結果從輸出緩衝器的輸出契機為編碼順序圖像組的編碼已完成之時。作為要變更的編碼參數,例如有量化參數、預濾波強度(prefilter strength),並變更它們中的一個以上。例如，在量化參數的情況下加大量化參數的步長(step size),調整編碼參數以使發生代碼量變少。另外，在變更針對輸入視頻的預濾波器(prefilter)的濾波強度的情況下，通過使模糊程度變更得更大，能夠減少發生代碼量。在編碼順序圖像組的再編碼已完成時，將編碼參數恢復到正常編碼時的編碼參數值。據此，對變更編碼參數以使發生代碼量變少所導致的像質劣化波及至下一編碼順序圖像組的情況進行抑制。這裡，正常編碼時的編碼參數意味著在非再編碼的狀態時所確定的編碼參數。或者還可以在編碼順序圖像組的再編碼已完成時，並非一定將編碼參數恢復到正常編碼時的值，而是檢查CPB的剩餘代碼量並僅在剩餘代碼量為規定的閾值以上時才將編碼參數恢復到正常編碼時的值，在剩餘代碼量較少時則不將編碼參數恢復到正常編碼時的值。這樣一來，能夠減小再編碼連續產生的可能性。進而在本發明的第I觀點中，雖然基本上將編碼參數恢復到正常編碼時的編碼參數值，但即便在編碼順序圖像組的再編碼之際，也可以在每次各圖像的編碼時都檢查該圖像的量化統計量是否超過規定的閾值，並在量化統計量超過規定的閾值時，從當前編碼中的編碼順序圖像組的起始圖像(first picture)開始變更編碼參數而進行再編碼。S卩，只要量化統計量超過規定的閾值這種再編碼條件成立，就對同一編碼順序圖像組反覆進行多次編碼。此時,用重試計數(retrycount)這一參數來管理一個編碼順序圖像組的再編碼次數，如果再編碼產生就增加重試計數的值，並在編碼順序圖像組的編碼已完成時減少重試計數的值。前述編碼參數的值依照重試計數的大小進行設定，並採用重試計數越大則發生代碼量變得越少的值。在編碼參數為量化參數的情況下，重試計數越大就越加大步長，在編碼參數為預濾波器的濾波強度的情況下，重試計數越大就越加大模糊程度。
通常，在成為編碼對象的視頻中有複雜部分和單純部分。一般而言越是視頻的複雜部分，編碼參數的變更所導致的發生代碼量的變動量越大。另外，像質的變動量亦大。如果在將針對一個編碼順序圖像組的再編碼確定為僅一次的情況下，就需要從再編碼前的編碼參數大幅度地變更而得到的再編碼時的編碼參數，以使在量化統計量超過規定的閾值這一再編碼條件成立而進行再編碼時，再編碼條件不會再次成立。在此情況下，在視頻的比較複雜的部分成為再編碼的對象時，就有可能產生較大的像質劣化。因而，如前所述那樣只要再編碼條件成立就對編碼順序圖像組進行反覆編碼，管理重試計數並依照重試計數的大小來設定編碼參數。據此，將編碼參數的變化量抑制得較小，並以適當的編碼參數進行編碼。其結果，能夠使像質劣化更小。
或者，與上述同樣地用重試計數這一參數來管理一個編碼順序圖像組的再編碼次數，如果再編碼產生就增加重試計數的值，並在編碼順序圖像組的編碼已完成時減少重試計數的值。但是，還可以在編碼順序圖像組的編碼完成的時刻，僅僅在CPB剩餘代碼量為規定的閾值以上的情況下才減少重試計數，而不是在編碼順序圖像組的編碼已完成時無條件地減少重試計數的值。亦即，在再編碼時增加重試計數而進行了編碼以後，在編碼順序圖像組的編碼完成的時刻基本上減少重試計數，從而使像質劣化對下一編碼順序圖像組的影響變少。但是，如果CPB剩餘代碼量小於規定量就不減少重試計數。據此，在下一編碼順序圖像組的編碼中也使再編碼產生的可能性變小。在本發明的第2觀點中，編碼順序圖像組是由以畫面內預測編碼圖像(I圖像)為開頭的規定數量的圖像所構成，並按編碼順序連續的圖像集合。在本發明的第2觀點中，編碼順序圖像組還可以未必是G0P，但設編碼順序圖像組的起始圖像為畫面內預測編碼圖像(I圖像)。圖2D表示設編碼順序圖像組為2個GOP的量的20個圖像的構成時的例子。在本發明的第2觀點中，以編碼順序圖像組為單位進行輸入視頻的編碼。但是，每次將輸入圖像編碼時都檢查該圖像的量化統計量是否超過規定的閾值，在量化統計量超過規定的閾值時，變更編碼參數以使發生代碼量變少，並從作為重試點(retry point)(後述)所設定的編碼順序圖像組的位置開始進行再編碼。設編碼結果從輸出緩衝器的輸出契機為編碼順序圖像組的編碼完成並確定不進行再編碼之時。作為要變更的編碼參數，例如有量化參數、預濾波強度，並變更它們中的一個以上。例如，在量化參數的情況下加大量化參數的步長，調整編碼參數以使發生代碼量變少。另外，在變更針對輸入視頻的預濾波器的濾波強度的情況下，通過使模糊程度變更得更大，能夠減少發生代碼量。在編碼順序圖像組的再編碼已完成時，將編碼參數恢復到正常編碼時的編碼參數值。據此，對變更編碼參數以使發生代碼量變少所導致的像質劣化波及至下一編碼順序圖像組的情況進行抑制。這裡，正常編碼時的編碼參數意味著在非再編碼的狀態時所確定的編碼參數。或者還可以在編碼順序圖像組的再編碼已完成時，並非一定將編碼參數恢復到正常編碼時的值，而是檢查CPB的剩餘代碼量並僅在剩餘代碼量為規定的閾值以上時才將編碼參數恢復到正常編碼時的值，在剩餘代碼量較少時不將編碼參數恢復到正常編碼時的值。這樣一來，能夠減小再編碼連續產生的可能性。通過以上處理，例如即便編碼處理從視頻的單純場景轉移到複雜場景，CPB剩餘代碼量不足而使像質惡化，通過返回到作為重試點所設定的編碼順序圖像組的位置，進行再編碼以使CPB剩餘代碼量進一步增加，能夠減輕複雜場景下的像質劣化。前述的重試點就是表示因在某圖像中量化統計量超過規定的閾值而需要進行再編碼時，從哪個圖像起開始再編碼的位置信息。雖然重試點基本上為當前正在編碼的編碼順序圖像組的起始圖像，但有時候為前一已編碼的編碼順序圖像組的起始圖像。更新重試點的契機如下
(1)在編碼順序圖像組的編碼完成的時刻，當CPB剩餘代碼量為規定的閾值以上時，將重試點設定成下一編碼順序圖像組的起始圖像(I圖像);
(2)在編碼順序圖像組的編碼完成的時刻，當CPB剩餘代碼量小於規定的閾值時，重試點直接進入下一編碼順序圖像組的起始圖像的編碼。在該編碼順序圖像組的起始圖像的編碼中量化統計量未超過規定的閾值的情況下，將重試點設定成當前已編碼的編碼順序圖像組的起始圖像。就如以上那樣設定重試點的理由進行說明。如果將重試點始終設定成當前正在編碼的編碼順序圖像組的開頭，處理構成就變得比本發明簡明。下面，將此技術稱之為「關聯技術」。在關聯技術的情況下，僅限於量化統計量超過規定的閾值時，通過再編碼包含產生該情況的圖像的編碼順序圖像組，也能夠減輕像質劣化。本發明的第2觀點能夠比這一關聯技術更有效地減輕解碼圖像的像質劣化。眾所周知，與其他圖像類型相比較I圖像的發生代碼量更多。從而，在某一編碼順序圖像組的編碼完成的時刻CPB剩餘代碼量少的情況下，在以往所進行的那樣的速率控制中，成為為抑制發生代碼量而加大在下一I圖像編碼利用的量化參數的值的形式。在這種情況下，雖然在上述關聯技術中，因該I圖像的量化參數變大的影響而產生再編碼，但因從當前編碼中的編碼順序圖像組的起始圖像起開始再編碼，故編碼僅需要在該I圖像自身避免再編碼條件的成立。在此情況下，就有該I圖像自身的像質大幅度劣化的問題。進而，因I圖像在以後的P圖像、B圖像的編碼中被參考，故這些P圖像、B圖像的編碼效率亦惡化。因而，在本發明的第2觀點中，在CPB剩餘代碼量較少的情況下，再編碼條件在下一編碼順序圖像組的起始的I圖像已成立時，根據所設定的重試點，返回到其前一編碼順序圖像組，從其開頭進行再編碼。從而，能夠避免在編碼順序圖像組的起始圖像產生大的像質劣化，能夠減輕像質劣化。在本發明的第3觀點中，並非如以往的二次編碼那樣始終對輸入視頻的幀進行兩次編碼以抑制CPB下溢，原則上為一次編碼，在某一圖像的編碼中，基本上只是在量化統計量超過規定的閾值這一再編碼條件成立的情況下，才追溯多個圖像進行再編碼。在本發明的第3觀點中，在編碼順序圖像組的圖像的編碼中，量化統計量超過規定的閾值時，追溯至編碼順序圖像組內的某一圖像進行再編碼。根據可利用的存儲量預先決定追溯至哪個圖像進行再編碼。這裡，將再編碼時可追溯的最大圖像數定義為「最大圖像間距離」進行說明。本發明的第3觀點中的處理概要如下。首先，基於從外部所提供的可利用的存儲量的信息，求解在再編碼時可追溯的最大圖像數，並作為最大圖像間距離來存儲此值。這是基於以下的理由。為了再編碼，需要在輸入緩衝器中保存編碼對象圖像的視頻信號，另外還需要在輸出緩衝器中保持編碼結果的編碼流，直到確定不進行再編碼且編碼結果從輸出緩衝器的輸出結束為止。如果在存在足夠的可使用的存儲量的情況下，通過使輸入緩衝器和輸出緩衝器分別持有編碼順序圖像組的圖像數大小的存儲容量，就能夠以編碼順序圖像組為單位從編碼順序圖像組的開頭開始進行再編碼條件成立時的再編碼。但是，由於存儲器未必可按需要來使用，所以事先根據可使用的存儲量計算出在再編碼時可追溯的最大圖像數即最大圖像間距離。在本發明的第3觀點中，以編碼順序圖像組為單位進行輸入視頻的編碼。但是，每次編碼輸入圖像時都檢查該圖像的量化統計量是否超過規定的閾值，在量化統計量超過規定的閾值時，變更編碼參數以使發生代碼量變少，並對編碼中的編碼順序圖像組進行再編 碼。但是，關於追溯至編碼中的編碼順序圖像組的哪個圖像而進行再編碼，設為滿足下面3個條件的圖像
條件I :該圖像包含於編碼中的編碼順序圖像組；
條件2 :該圖像以量化統計量超過規定的閾值的圖像作為基準，包含於最大圖像間距
離；
條件3 :在滿足條件1、2的圖像之中，距量化統計量超過規定的閾值的圖像最遠的圖像。將開始再編碼的圖像稱為重試點。例如若處於最大圖像間距離的起始圖像在前一編碼順序圖像組內，則重試點為當前編碼中的編碼順序圖像組的起始圖像，否則就是處於最大圖像間距離的起始圖像，亦即以最大圖像間距離而分離且時間上最早被編碼的圖像。作為在再編碼時要變更的編碼參數，例如有量化參數及預濾波強度，並變更它們中的一個以上。例如，在量化參數的情況下加大量化參數的步長，調整編碼參數以使發生代碼量變少。另外，在變更針對輸入視頻的預濾波器的濾波強度的情況下，通過以模糊程度變更得更大，能夠減少發生代碼量。在通過再編碼而當前編碼中的編碼順序圖像組的編碼已完成時，將編碼參數恢復到正常編碼時的編碼參數值，從而抑制像質劣化波及至下一編碼順序圖像組。這裡，正常編碼時的編碼參數意味著在非再編碼的狀態時所確定的編碼參數。或者還可以在編碼順序圖像組的再編碼已完成時，並非一定將編碼參數恢復到正常編碼時的值，而是檢查CPB的剩餘代碼量並僅在剩餘代碼量為規定的閾值以上時才將編碼參數恢復到正常編碼時的值，在剩餘代碼量較少時不將編碼參數恢復到正常編碼時的值。這樣一來，能夠減小再編碼連續產生的可能性。根據本發明，即便編碼處理從視頻的單純場景轉移到複雜場景，CPB剩餘代碼量變得不足而使像質惡化，因返回到編碼順序圖像組的開頭，進行再編碼以使CPB剩餘代碼量更為增加，故與一次編碼的現有技術a相比較就能夠減輕複雜場景下的像質劣化。另外，本發明是通過僅在必要時部分地進行再編碼以減輕像質劣化，所以與對輸入視頻的全部幀進行兩次編碼的二次編碼的現有技術b相比較運算量較少。尤其是，本發明通過管理重試計數，將再編碼時的編碼參數的變化量抑制得較小，從而能夠使再編碼所導致的像質劣化變小。
另外，在再編碼後的CPB剩餘代碼量較少時，將編碼參數維持成與再編碼時相同，從而能夠抑制再編碼再次發生。另外，根據本發明，即便編碼處理從視頻的單純場景轉移到複雜場景，CPB剩餘代碼量變得不足而使像質惡化，因返回到作為重試點所設定的編碼順序圖像組的開頭，進行再編碼以使CPB剩餘代碼量更為增加，故與一次編碼的現有技術a相比較就能夠減輕複雜場景下的像質劣化。另外，本發明是通過僅在必要時部分地進行再編碼以減輕像質劣化，所以與對輸入視頻的全部幀進行兩次編碼的二次編碼的現有技術b相比較運算量較少。尤其是本發明即便在編碼順序圖像組的編碼完成而CPB剩餘代碼量較少這種情況下，也能夠防止編碼順序圖像組的起始I圖像的像質大幅度地劣化。另外，根據本發明，即便編碼處理從視頻的單純場景轉移到複雜場景，CPB剩餘代碼量變得不足而使像質惡化，因返回到在編碼順序圖像組中作為重試點所設定的圖像，進行再編碼以使CPB剩餘代碼量更為增加，故與一次編碼的現有技術a相比較就能夠減輕複雜場景下的像質劣化。另外，本發明是通過僅在必要時部分地進行再編碼以減輕像質劣化， 所以與對輸入視頻的全部幀進行兩次編碼的二次編碼的現有技術b相比較運算量較少。另夕卜，因從依照再編碼所需要的存儲量所確定的重試點起進行再編碼，故能夠有效活用存儲器。


圖I是用於說明CPB下溢的 圖2A是編碼順序圖像組的概念 圖2B是編碼順序圖像組的概念 圖2C是編碼順序圖像組的概念 圖2D是編碼順序圖像組的概念 圖3是表示本發明的第I實施方式所涉及的活動圖像編碼控制方法的處理流程 圖4是表示本發明的第I實施方式所涉及的活動圖像編碼控制方法之變形例的處理流程 圖5是GOP的概念 圖6是表示本發明的第I實施方式所涉及的活動圖像編碼裝置之構成例的 圖7是進行了再編碼時的編碼參數變更的概念 圖8是進行了再編碼時的CPB剩餘代碼量轉變的概念 圖9是進行了再編碼時的量化統計量轉變的概念 圖10是即便進行再編碼亦無法避免量化統計量超過規定的閾值時的量化統計量轉變的概念 圖11是本發明的第2實施方式所涉及的活動圖像編碼控制方法的處理流程 圖12是表示本發明的第2實施方式所涉及的活動圖像編碼裝置之構成例的 圖13是重試計數、編碼參數推移的概念 圖14是本發明的第3實施方式所涉及的活動圖像編碼控制方法的處理流程 圖15是表示本發明的第3實施方式所涉及的活動圖像編碼裝置之構成例的 圖16是表示本發明的第4實施方式所涉及的活動圖像編碼控制方法的處理流程圖；圖17是本發明的第4實施方式所涉及的活動圖像編碼控制方法之變形例的處理流程
圖18是表示本發明的第4實施方式所涉及的活動圖像編碼裝置之構成例的 圖19是表示本發明的第5實施方式所涉及的活動圖像編碼控制方法的處理流程圖； 圖20是本發明的第5實施方式所涉及的活動圖像編碼控制方法之變形例的處理流程
圖21是表示本發明的第5實施方式所涉及的活動圖像編碼裝置之構成例的 圖22是說明參考圖像用的必要存儲量的概念圖； 圖23是說明用最大圖像間距離來限制重試點所導致的輸入緩衝器和輸出緩衝器的存儲器削減的圖。符號說明
10輸入緩衝器；20編碼部；21預濾波部；22量化部；30輸出緩衝器；40量化統計量計算部；50參數調整部；110輸入緩衝器；120編碼部；121預濾波部；122量化部；130輸出緩衝器；140量化統計量計算部；150重試計數管理部；160參數調整部；210輸入緩衝器；220編碼部；221預濾波部；222量化部；230輸出緩衝器；240量化統計量計算部；250重試計數管理部；260 CPB狀態預測部；270參數調整部；310輸入緩衝器；320編碼部；321預濾波部；322量化部；330輸出緩衝器；340量化統計量計算部；350 CPB狀態預測部；360重試點管理部；370參數調整部；410輸入緩衝器；420編碼部；421預濾波部；422量化部；430輸出緩衝器；440量化統計量計算部；450參數調整部；460重試點管理部；500最大圖像間距離決定部。
具體實施例方式[第I實施方式]
下面，使用附圖詳細地說明本發明的第I實施方式。圖3是表示本發明的第I實施方式所涉及的活動圖像編碼控制方法的處理流程圖。首先，將輸入視頻信號中編碼已結束的圖像的下一圖像設定為編碼對象(步驟SI)。通過H. 264或其他規定的編碼方式對設定為編碼對象的輸入圖像進行編碼(步驟S2)。判斷對輸入圖像進行編碼時該圖像的量化統計量是否超過規定的閾值(步驟S3)，在量化統計量超過規定的閾值的情況下，處理進入步驟S7。若量化統計量未超過規定的閾值，則判斷最終圖像的編碼是否已完成(步驟S4)，若編碼已完成至最終圖像則結束編碼處理。否則，判斷編碼順序圖像組的編碼是否已完成(步驟S5)。若編碼順序圖像組的編碼尚未完成，則處理返回步驟Si並就下一圖像同樣地繼續進行編碼處理。在編碼順序圖像組的編碼已完成時，如果編碼參數經編碼順序圖像組的再編碼(重試)而變更，就將編碼參數恢復到正常編碼時的值(步驟S6)，處理返回步驟SI，並從下一編碼順序圖像組的起始圖像開始進行編碼處理。在步驟S3中檢測出量化統計量超過規定的閾值時，判斷當前的編碼順序圖像組是否已進行再編碼(是否已重試完畢)(步驟S7 )。在已重試完畢的情況下，不進一步進行再編碼，處理進入步驟S4並直接繼續編碼處理。
在未重試完畢的情況下，將當前的編碼順序圖像組的起始圖像設定為編碼對象以進行當前的編碼順序圖像組的再編碼(步驟S8)。然後，將兩個編碼參數(量化參數、預濾波強度)之中一個以上進行變更(量化參數將步長變更得更大，而濾波強度則將模糊程度變更得更大)(步驟S9)，處理返回步驟S2並對編碼中的編碼順序圖像組進行再編碼。亦即，不同於對輸入視頻的全部幀進行兩次編碼的現有技術b，而只是在已編碼的圖像的量化統計量過大的情況下才對編碼順序圖像組(例 如G0P)進行兩次編碼。在第二次編碼時，使用CPB剩餘代碼量更為增加的編碼參數，僅對當前編碼中的編碼順序圖像組進行再編碼，從而能夠減輕視頻從單純場景轉換到複雜場景時的像質劣化，同時與對輸入視頻的所有圖像進行兩次編碼的現有技術b相比較能夠削減運算量。圖4是表示本實施方式的變形例所涉及的活動圖像編碼控制方法的處理流程圖。本實施方式還能夠將圖3所示的步驟S6的處理置換成圖4所示的步驟S61 S63的處理來進行實施。步驟S6以外的處理與圖3相同。在圖3的步驟S5的處理之後，判斷編碼參數是否經重試而變更(步驟S61)。若編碼參數未經重試而變更，則處理返回圖3的步驟SI。若編碼參數經重試而變更，就接著判斷CPB剩餘代碼量是否為規定的閾值以上(步驟S62)。若CPB剩餘代碼量小於規定的閾值，則使編碼參數為再編碼中使用的狀態不變，僅僅在CPB剩餘代碼量為規定的閾值以上的情況下將編碼參數恢復到原來的默認編碼參數(步驟S63)。之後，處理返回圖3的步驟SI，轉移到下一編碼順序圖像組的編碼。在圖4所示的變形例中，如以上那樣僅僅在編碼順序圖像組的編碼已完成的時刻CPB剩餘代碼量超過規定量的情況下才將編碼參數恢復到正常編碼時的值。這是源於如下理由。即便編碼順序圖像組的編碼已完成，在CPB剩餘代碼量較少的情況下，若將編碼參數恢復到正常編碼時的值則發生代碼量變得更多，所以在下一編碼順序圖像組的編碼中已編碼的圖像的量化統計量再次超過規定的閾值的可能性變高。在圖4的處理中，在CPB剩餘代碼量較少的情況下，因不變更編碼參數，故與圖3的處理相比，下一編碼順序圖像組的編碼中再編碼的發生得以抑制，運算量進一步得以削減。如以上那樣在本實施方式中，在再編碼時變更編碼參數。在這裡，設在編碼時對輸入視頻應用預濾波器，並將量化參數和預濾波強度設為要變更的編碼參數。既可以變更這兩個編碼參數雙方，也可以僅變更任意一方。關於量化參數，對正常編碼時的量化參數值加上規定的偏置(offset)值，用更大的量化參數進行再編碼。關於預濾波器，在本實施方式中設為利用高斯濾波器(Gaussian filter)。通過關於X，y對下式所示的高斯分布進行取樣就能夠創建高斯濾波器。g (x, y) = { I/ (2 σ 2)} X e x p { — (x2 + y2) / (2σ2)}。從上式可知，σ的值越大則模糊程度變得越大。模糊程度越大則高頻成分越減少，所以編碼時的發生代碼量減少。高斯濾波器的細節例如記載於以下非專利文獻2中。非專利文獻2:奧富，小澤，清水，堀，「數字圖像處理」，財團法人圖像信息教育振興協會，2006，pp. 108-110。設在σ = O的情況下不應用高斯濾波器，例如默認編碼參數為σ ^ = 0，再編碼用編碼參數為O1XL此外，在本實施方式中不限低通濾波器(lowpass filter)的種類。另夕卜，再編碼時的模糊程度的加強方法還可以預先任意地確定。例如，還可以是默認編碼參數衣照每個圖像的複雜度進行變更，01為規定的偏置與O ^相加之和這樣的構成。另外，作為量化統計量，在本實施方式中設為利用圖像的各宏塊(macro block)的量化參數的平均值。編碼進行遵循H. 264標準的編碼。另外，在本實施方式中，設編碼順序圖像組為G0P，並在圖5中表示進行編碼時的GOP的概念圖。設一個GOP由10個圖像構成，並按顯示順序使I圖像處於開頭且B圖像和P圖像交替地進行排列。圖6中表示本實施方式的裝置構成例。輸入緩衝器10儲存輸入的視頻信號，並且將編碼對象的視頻信號輸出到編碼部20。進而，當輸入緩衝器10從後述的量化統計量計算部40收到表示因圖像的量化統計量超過規定的閾值而進行再編碼的信息(重試信息)時，就從編碼中的GOP的起始圖像開始將視頻信號再次輸出到編碼部20。另外，在GOP的編碼已完成而未收到重試信息的情況下，輸入緩衝器10丟棄所儲存的該GOP的視頻信號。 編碼部20對從輸入緩衝器10所輸入的視頻信號進行編碼，並將編碼流輸出到輸出緩衝器30。另外，編碼部20將對所輸入的視頻信號進行編碼時的各宏塊的量化參數(量化參數信息)輸出到量化統計量計算部40。進而，當編碼部20從量化統計量計算部40收到重試信息時，就從輸入緩衝器10再次輸入從編碼中的GOP的起始圖像開始的視頻信號，並且從參數調整部50輸入再編碼用編碼參數，從而利用所輸入的再編碼用編碼參數進行再編碼。輸出緩衝器30在GOP的編碼流被全部儲存的階段，輸出該GOP的編碼流，另一方面，在從量化統計量計算部40收到重試信息的情況下，就丟棄對編碼中的GOP所儲存的編碼流。量化統計量計算部40利用從編碼部20所輸入的量化參數信息，求出以圖像單位變化的量化統計量。然後，在量化統計量超過規定的閾值時，量化統計量計算部40將重試信息輸出到輸入緩衝器10、編碼部20、參數調整部50和輸出緩衝器30，以通知量化統計量超過了規定的閾值。在從量化統計量計算部40收到重試信息的情況下，參數調整部50如前所述那樣將再編碼用編碼參數輸入到編碼部20。據此，編碼部20在再編碼時就使用發生代碼量變小的編碼參數對同一 GOP進行編碼。按照圖3的流程圖就本實施方式中的編碼處理流程進行說明。在下面的說明中，像SI、S2、…這樣在文章中記載與圖3流程圖的對應關係。關於進行某一 GOP的編碼的處理，如下面那樣對三種情形區分情況來進行說明。[情形I]:在GOP的編碼中量化統計量沒有超過規定的閾值。[情形2]:雖然在GOP的編碼中量化統計量超過規定的閾值，但能夠通過再編碼來避免量化統計量超過閾值。[情形3]:在GOP的編碼中量化統計量超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值。[情形I的處理例]
首先，就在GOP的編碼中量化統計量沒有超過規定的閾值時的情形I進行說明。當GOP的圖像輸入到輸入緩衝器10時，輸入緩衝器10儲存該圖像，並且將該圖像作為編碼對象圖像輸入到編碼部20 (SI)。然後，編碼部20對該圖像進行編碼，將編碼流輸出到輸出緩衝器30 (輸出緩衝器30不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部40 (S2)。這裡，在編碼中利用默認編碼參數，並以對應於默認編碼參數的預濾波強度對編碼對象圖像應用基於預濾波部21的濾波處理,本圖像中所發生的DCT(Discrete CosineTransform :離散餘弦變換)係數則用依照默認編碼參數的量化參數由量化部22進行量化。量化統計量計算部40根據從編碼部20所輸入的量化參數信息對該圖像計算量化統計量。在此例中因量化統計量沒有超過規定的閾值，故量化統計量計算部40不輸出重試信息(S3)。若編碼對象圖像為輸入視頻信號中的最終圖像，則輸出緩衝器30輸出所儲存的編碼流，編碼處理完成(S4)。或者，若編碼對象圖像為GOP的最終圖像，則輸出緩衝器30輸出所儲存的編碼流，並且輸入緩衝器10丟棄所儲存的圖像，並轉移到下一 GOP的起始圖像的編碼處理(S5)。這裡，因在該GOP中沒有產生再編碼，故對編碼參數不施加變更而轉移到下一 GOP的起始圖像的編碼處理(S6)。[情形2的處理例]
接著，就雖然在GOP的編碼中量化統計量超過規定的閾值，但能夠通過再編碼來避免量化統計量超過閾值時的情形2進行說明。當GOP的圖像輸入到輸入緩衝器10時，輸入緩衝器10儲存該圖像，並且將該圖像作為編碼對象圖像輸入到編碼部20 (SI)。然後，編碼部20對該圖像進行編碼，將編碼流輸出到輸出緩衝器30 (輸出緩衝器30不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部40 (S2)。這裡，在編碼中利用默認編碼參數。量化統計量計算部40根據從編碼部20所輸入的量化參數信息對該圖像計算量化統計量。其結果，在量化統計量計算部40對該圖像檢測到量化統計量超過規定的閾值時，量化統計量計算部40將重試信息輸出到編碼部20、參數調整部50、輸入緩衝器10和輸出緩衝器30 (S3)。在編碼中的GOP尚未發生重試時(S7)，輸入緩衝器10將所儲存的編碼中的GOP的起始圖像輸出到編碼部20 (S8)，並且參數調整部50將再編碼用編碼參數輸出到編碼部20
(S9)。進而,輸出緩衝器30丟棄編碼中的GOP的編碼流。然後,編碼部20利用再編碼用編碼參數對所輸入的GOP的起始圖像進行編碼。這裡，在編碼中利用再編碼用編碼參數，並以對應於再編碼用編碼參數的預濾波強度(模糊程度大於默認編碼參數)對編碼對象圖像應用基於預濾波部21的預濾波處理。另外，本圖像中所發生的DCT係數則用依照再編碼用編碼參數的量化參數(量化步長大於默認編碼參數)由量化部22進行量化。此後，該GOP的圖像順次從輸入緩衝器10輸入到編碼部20，由編碼部20進行編碼處理。然後，在GOP的最終圖像的編碼已完成時(S5)，從輸出緩衝器30輸出該GOP的編碼流，並且編碼部20將編碼參數設定成默認編碼參數(S6)，進入下一 GOP的編碼處理。此夕卜，輸入視頻的最終圖像的編碼已完成時的動作與前述情形I的情況相同。在圖7中表示進行了再編碼時的編碼參數變更的概念圖。在圖7的例子中，由於在第二個G0P2的第6圖像的編碼中量化統計量超過規定的閾值，所以設定對發生代碼量進行抑制的再編碼用編碼參數，並從G0P2的起始I圖像開始進行再編碼。之後，由於通過再編碼使量化統計量不超過規定的閾值，所以在下一 G0P3的編碼中將再編碼用編碼參數恢復到默認編碼參數，繼續進行編碼處理。在圖8中表示進行了再編碼時的CPB剩餘代碼量轉變的概念圖。粗線所示的部分是再編碼後的CPB剩餘代碼量。在再編碼中因模糊程度通過預濾波器而加強，量化參數亦大於默認編碼參數，故發生代碼量得以抑制，CPB剩餘代碼量的轉變就成為例如圖8所示。其結果，已產生再編碼的圖像中的CPB剩餘代碼量在再編碼時增加，並能夠避免在該圖像產生大的像質劣化。進而，圖9中表示進行了再編碼時的量化統計量轉變的概念圖。如圖9所示，儘管已開始再編碼的圖像的量化統計量因在再編碼時變更編碼參數而變大，卻因其影響而如圖8所示在CPB剩餘代碼量出現富餘，因而在已產生再編碼的圖像中量化統計量變得比再編碼前小。[情形3的處理例]
最後，就在GOP的編碼中量化統計量超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值時的情形3進行說明。圖10中表示進行再編碼但即便通過再編碼亦無法避免量化統計量超過閾值時的量化統計量轉變的概念圖。例如圖10所示那樣，在開始再編碼的GOP的開頭，量化統計量已經較大的情況下，情形3就可能產生。在此情況下，由量化統計量計算部40來檢測量化統計量超過規定的閾值，並進行GOP的再編碼這一動作與情形2相同。在此GOP的再編碼中量化統計量超過規定的閾值時(S3、S7)，就不進一步進行再編碼而直接繼續編碼處理(處理轉移至S4)。在圖10中，參考符號RSlO表示即便進行再編碼亦無法避免量化統計量超過閾值。此外，由於在再編碼時量化參數變得比正常編碼時大，因而在再編碼時，還可能會出現在編碼順序比作為再編碼的開端的圖像更早的圖像上，量化統計量超過閾值的情況。為了降低其產生的可能性，還可以在再編碼時的量化參數變得比量化統計量的閾值大時，將再編碼時的量化參數修正成與量化統計量的閾值相等的值。但是，為使再編碼時的量化參數不變得比正常編碼時小，在正常編碼時的量化參數為量化統計量以上的情況下，使再編碼時的量化參數的值等於正常編碼時的值。[第2實施方式]
下面，使用附圖詳細地說明本發明的第2實施方式。圖11是表示本實施方式所涉及的活動圖像編碼控制方法的處理流程圖。首先，將輸入視頻信號中編碼已結束的圖像的下一圖像設定為編碼對象(步驟SlOD0通過H. 264或其他規定的編碼方式對設定為編碼對象的輸入圖像進行編碼(步驟S102)。判斷對輸入圖像進行編碼時該圖像的量化統計量是否超過規定的閾值(步驟S103)，在量化統計量超過規定的閾值的情況下，處理進入步驟S108。若量化統計量未超過規定的閾值，則判斷最終圖像的編碼是否已完成(步驟S104)，若直至最終圖像已完成編碼則結束編碼處理。否則，判斷編碼順序圖像組的編碼是否已完成(步驟S105)。若編碼順序圖像組的編碼未完成，則處理返回步驟SlOl並就下一圖像同樣地繼續進行編碼處理。在編碼順序圖像組的編碼已完成時，如果重試計數為I以上，就將重試計數僅減少I (步驟S106)。此外，重試計數的初始值為O。之後，基於重試計數設定預先依照重試計數所確定的編碼參數(步驟S107)，處理返回至步驟S101，並從下一編碼順序圖像組的起始圖像開始進行編碼處理。在步驟S103中檢測出量化統計量超過規定的閾值時，判斷當前的重試計數的值是否為預先所確定的最大值(步驟S108)。在重試計數為最大值的情況下，不進一步進行再編碼，處理進入步驟S104並直接繼續編碼處理。在重試計數未到達最大值的情況下，因當前的編碼順序圖像組的再編碼而將當前的編碼順序圖像組的起始圖像設定為編碼對象(步驟S109)。然後，將重試計數僅增加1(步驟S110)。之後，基於重試計數，將兩個編碼參數(量化參數、預濾波強度)之中一個以上進行變更(量化參數將步長變更得更大，而濾波強度則將模糊程度變更得更大)(步驟S111)，處理返回至步驟S102並對編碼中的編碼順序圖像組進行再編碼。本實施方式不同於對輸入視頻的全部幀進行兩次編碼的現有技術b，基本上是一次編碼處理，只在再編碼條件成立的情況下，階梯式地抑制發生代碼量並對編碼順序圖像 組(例如G0P)的各圖像反覆進行編碼直到再編碼條件不成立為止。在第二次以後的編碼時，用依照重試計數所確定的抑制發生代碼量的編碼參數來進行編碼。從而，與對輸入視頻的所有圖像進行兩次編碼的現有技術b相比較，能夠削減運算量，並且還能夠減小再編碼所導致的像質劣化。如以上那樣在本實施方式中，在再編碼時依照重試計數來變更編碼參數。在這裡，設在編碼時對輸入視頻應用預濾波器，並將量化參數和預濾波強度設為要變更的編碼參數。既可以變更這兩個編碼參數雙方，也可以僅變更任意一方。關於量化參數，對在正常編碼時所確定的量化參數值，加上依照重試計數階梯式變大的規定的偏置值，用更大的量化參數進行再編碼。關於預濾波器，在本實施方式中設為利用高斯濾波器。通過關於X，y對下式所示的高斯分布進行取樣就能夠創建高斯濾波器。g (x, y) = { I/ (2 31 O 2)} X e x p { — (x2 + y2) / (2σ2)}。從上式可知，σ的值越大則模糊程度變得越大。模糊程度越大則高頻成分越減少，所以編碼時的發生代碼量減少。高斯濾波器的細節例如記載於上述的非專利文獻2中。設在σ = O的情況下不應用高斯濾波器，例如默認編碼參數為σ ^ = 0，若設重試計數的值為c則再編碼用編碼參數為σ。。設c的值越大σ。的值就越大。即O < σ i < σ 2<……。此外，在本實施方式中不限低通濾波器的種類。另外，還可以是例如默認編碼參數σ。依照每個圖像的複雜度進行變更，而σ。為規定的偏置與σ η相加之和這樣的構成。另外，作為量化統計量，在本實施方式中設為利用圖像的各宏塊的量化參數的平均值。在下面說明的實施方式中，作為編碼方式假設為進行遵循H. 264標準的編碼。另夕卜，設編碼順序圖像組為G0P。進行編碼時的GOP的概念圖如圖5所示那樣。設一個GOP由10個圖像構成，並按顯示順序使I圖像處於開頭且B圖像和P圖像交替地進行排列。圖12中表示本實施方式的裝置構成例。輸入緩衝器110儲存輸入的視頻信號，並且將編碼對象的視頻信號輸出到編碼部120。進而，當輸入緩衝器110從後述的量化統計量計算部140收到表示因圖像的量化統計量超過規定的閾值而進行再編碼的信息(重試信息)時，就從編碼中的GOP的起始圖像開始將視頻信號再次輸出到編碼部120。另外，在GOP的編碼已完成而未收到重試信息的情況下，輸入緩衝器Iio丟棄所儲存的該GOP的視頻信號。編碼部120對從輸入緩衝器110所輸入的視頻信號進行編碼，並將編碼流輸出到輸出緩衝器130。另外，編碼部120將對所輸入的視頻信號進行編碼時的各宏塊的量化參數(量化參數信息)輸出到量化統計量計算部140。進而，當編碼部120從量化統計量計算部140收到重試信息時，就從輸入緩衝器110再次輸入從編碼中的GOP的起始圖像開始的視頻信號，並且從參數調整部160輸入再編碼用編碼參數，從而利用所輸入的再編碼用編碼參數進行再編碼。輸出緩衝器130在GOP的編碼流被全部儲存的階段，輸出該GOP的編碼流，另一方面，在從量化統計量計算部140收到重試信息的情況下，就丟棄對編碼中的GOP所儲存的編碼流。量化統計量計算部140利用從編碼部120所輸入的量化參數信息，求出以圖像單位變化的量化統計量。然後，在量化統計量超過規定的閾值時，量化統計量計算部140將重試信息輸出到輸入緩衝器110、編碼部120、重試計數管理部150和輸出緩衝器130，以通知 量化統計量超過了規定的閾值。在從量化統計量計算部140收到重試信息的情況下，重試計數管理部150在當前的重試計數的值上加1，並將更新後的重試計數通知給參數調整部160。另外，在未從量化統計量計算部140收到重試信息而當前編碼中的GOP的編碼已完成的情況下，如果重試計數的值為I以上，則重試計數管理部150從重試計數的值減去1，並將更新後的重試計數通知給參數調整部160。在GOP的編碼已完成時，如果重試計數的值為0，則重試計數管理部150將重試計數=O通知給參數調整部160。參數調整部160當從重試計數管理部150接收重試計數時，將依照重試計數所確定的編碼參數輸入到編碼部120。據此，編碼部120就使用再編碼的重複次數越多則發生代碼量越小的編碼參數對同一 GOP進行編碼。如以上那樣，在本實施方式中，導入當再編碼發生時值就增加，並在GOP的編碼已完成的時刻使值減少的重試計數這一概念，並用重試計數管理部150來管理重試計數。還可以在此重試計數上有規定的上限值例如上限值為「3」，並進行同一 GOP的再編碼直到達到上限值為止。編碼時的量化參數的偏置值、預濾波器的濾波強度依照重試計數的值而變化。在重試計數為O時利用默認編碼參數。在重試計數為O以外的情況下，例如重試計數的上限值為3時，還可以預先準備分別與重試計數1、2、3相對應的再編碼用編碼參數作為編碼參數表，並在再編碼中利用從該編碼參數表所獲得的編碼參數。按照圖11的流程圖就本實施方式中的編碼處理流程進行說明。在下面的說明中，像S101、S102、…這樣在文章中記載與圖11流程圖的對應關係。關於進行某一 GOP的編碼的處理，如下面那樣對三種情形區分情況來進行說明。[情形I]:在GOP的編碼中量化統計量沒有超過規定的閾值。[情形2]:雖然在GOP的編碼中量化統計量多次超過規定的閾值，但能夠通過再編碼來避免量化統計量超過閾值。[情形3]:在GOP的編碼中量化統計量多次超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值。
[情形I的處理例]
首先，就在GOP的編碼中量化統計量沒有超過規定的閾值時的情形I進行說明。當GOP的圖像輸入到輸入緩衝器110時，輸入緩衝器110儲存該圖像，並且將該圖像作為編碼對象圖像輸入到編碼部120(S101)。然後，編碼部120對該圖像進行編碼，將編碼流輸出到輸出緩衝器130 (輸出緩衝器130不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部140 (S102)。這裡，若例如設重試計數為初始值0，則在編碼中利用默認編碼參數，並以對應於默認編碼參數的預濾波強度對編碼對象圖像應用基於預濾波部121的濾波處理。另外，本圖像中所發生的DCT係數則用依照默認編碼參數的量化參數由量化部122進行量化。在重試計數為I以上的情況下，用分別基於依照重試計數所確定的濾波強度以及量化參數的預濾波、量化處理來進行編碼。量化統計量計算部140根據從編碼部120所輸入的量化參數信息對該圖像計算量化統計量。在此例中因量化統計量沒有超過規定的閾值，故量化統計量計算部140不輸 出重試信息(S103)。若編碼對象圖像為輸入視頻信號中的最終圖像，則輸出緩衝器130輸出所儲存的編碼流，編碼處理完成(S104)。或者，若編碼對象圖像為GOP的最終圖像，則輸出緩衝器130輸出所儲存的編碼流，並且輸入緩衝器110丟棄所儲存的圖像，並轉移到下一GOP的起始圖像的編碼處理(S105 S107)。當如該情形I那樣在各圖像的編碼中量化統計量未超過規定的閾值而GOP的編碼已完成的情況下，除重試計數為O的時候以外，重試計數管理部150從當前的重試計數將值減少I (S106)。在比當前編碼已完成的GOP靠前的GOP中產生再編碼時，有時候重試計數不為O。重試計數管理部150將變更後的重試計數通知給參數調整部160，參數調整部160將與所通知的重試計數相對應的編碼參數設定於編碼部120，並開始下一 GOP的起始圖像的編碼。[情形2的處理例]
接著，就雖然在GOP的編碼中量化統計量多次超過規定的閾值，但能夠通過再編碼來避免量化統計量超過閾值時的情形2進行說明。在這裡，說明開始GOP的編碼的時刻下的重試計數為1，並在同一 GOP進行了兩次再編碼這一情況。當GOP的圖像輸入到輸入緩衝器110時，輸入緩衝器110儲存該圖像，並且將該圖像作為編碼對象圖像輸入到編碼部120(S101)。然後，編碼部120對該圖像進行編碼，將編碼流輸出到輸出緩衝器130 (輸出緩衝器130不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部140 (S102)。這裡，在編碼中利用與重試計數=I相對應的編碼參數。量化統計量計算部140根據從編碼部120所輸入的量化參數信息對該圖像計算量化統計量。其結果，在量化統計量計算部140對該圖像檢測到量化統計量超過規定的閾值時，量化統計量計算部140將重試信息輸出到編碼部120、重試計數管理部150、輸入緩衝器110和輸出緩衝器130 (S103)。因為當前的重試計數為1，未達到上限值3 (S108)，所以輸入緩衝器110將所儲存的編碼中的GOP的起始圖像輸出到編碼部120 (S109)o另一方面，重試計數通過重試計數管理部150被增加1，值成為2的重試計數被輸出到參數調整部160 (SllO)0
在參數調整部160，從編碼參數表讀出重試計數為2時的編碼參數，並將該編碼參數設定於編碼部120 (Slll)0輸出緩衝器130丟棄編碼中的GOP的編碼流。在編碼部120，只要量化統計量不超過規定的閾值，GOP的圖像就順次從輸入緩衝器110輸入並進行編碼。在該編碼時，當在同一 GOP中量化統計量再次超過規定的閾值的情況下，就通過與前述的處理相同的處理使重試計數增加I而成為3。由此，在編碼參數被變更成對應於重試計數=3的編碼參數的基礎上，再次對同一 GOP從起始圖像開始順次進行編碼。在此GOP的編碼中，當量化統計量不再超過規定的閾值的情況下，由重試計數管理部150使重試計數減少1，重試計數成為2並進行下一 GOP的編碼。此時的輸入緩衝器110以及輸出緩衝器130的動作與前述的例子相同。在圖13中表示此情形2的例子中重試計數、編碼參數推移的概念圖。在圖13的例子中，在重試計數為I的狀態下對第二個G0P2進行編碼時，量化統計量在第六個圖像的 編碼超過規定的閾值，因而將重試計數設成2，並再次用對應於重試計數=2的編碼參數從G0P2的起始I圖像開始進行再編碼。即便通過此再編碼，量化統計量在第八個圖像仍會超過規定的閾值，進而用對應於重試計數=3的發生代碼量少的編碼參數進行再編碼。再次的再編碼中，量化統計量沒有超過規定的閾值，因此在G0P2的編碼完成時從重試計數減少1，並使用重試計數為2的編碼參數，處理轉移到下一 G0P3的編碼。進行了再編碼時的CPB剩餘代碼量轉變的概念圖如圖8所示那樣。粗線所示的部分是再編碼後的CPB剩餘代碼量。在再編碼中因模糊程度通過預濾波器而加強，量化參數亦大於默認編碼參數，故發生代碼量得以抑制，CPB剩餘代碼量的轉變就成為例如圖8所示。其結果，已產生再編碼的圖像中的CPB剩餘代碼量就在再編碼時增加，並能夠避免在該圖像產生大的像質劣化。進而，進行了再編碼時的量化統計量轉變的概念圖如圖9所示那樣。如圖9所示，儘管已開始再編碼的圖像的量化統計量因在再編碼時變更編碼參數而變大，卻因其影響而如圖8所示在CPB剩餘代碼量出現富餘，因而在已產生再編碼的圖像中量化統計量變得比再編碼前小。[情形3的處理例]
最後，就在同一 GOP的編碼中量化統計量多次超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值時的情形3進行說明。在對某一GOP進行編碼中，設與情形2的情況相同，重試計數達到3。進而，在同一GOP的編碼中，由量化統計量計算部140檢測到量化統計量超過規定的閾值時(S103)，由重試計數管理部150檢測到重試計數達到上限值(S108)，使編碼處理進展下去而不進行再編碼。進行再編碼但即便通過再編碼亦無法避免量化統計量超過閾值時的量化統計量轉變的概念圖如圖10所示那樣。例如圖10所示那樣，在開始再編碼的GOP的開頭，量化統計量已經大的情況下，情形3就可能產生。此外，由於在再編碼時量化參數變得比正常編碼時大，因而在再編碼時，還可能會出現在按編碼順序比作為再編碼的開端的圖像更早的圖像上，量化統計量超過閾值的情況。為了降低其產生的可能性，還可以如下確定對應於重試計數各值的量化參數的偏置值。
將對應於重試計數最大值(在前述的實施方式為3)的量化參數的偏置值(這是預先確定的規定值)加在正常編碼時的量化參數上，在其值超過量化統計量的閾值時，以值與該閾值變得相等的方式來修正對應於重試計數最大值的量化參數的偏置值。然後，根據該偏置值來確定對應於其他重試計數值的偏置值(例如，若是前述實施方式的情況，則還可以在設對應於重試計數最大值的偏置值為A時，將重試計數O、I、2的偏置值分別如0、A/3、2 X(A/3)這樣進行等分)。但是，在正常編碼時的量化參數為量化統計量以上的情況下，就設對應於重試計數所有值的偏置值為0，以使得再編碼時的量化參數不比正常編碼時小。另外，當將對應於重試計數最大值的、預先所確定的量化參數的偏置值加在正常編碼時的量化參數上的值不超過量化統計量的閾值時，根據該偏置值來確定對應於其他重試計數值的偏置值即可。[第3實施方式]
下面，使用附圖詳細地說明本發明的第3實施方式。圖14是表示本實施方式所涉及的活動圖像編碼控制方法的處理流程圖。
首先，將輸入視頻信號中編碼已結束的圖像的下一圖像設定為編碼對象(步驟
5201)。通過H.264或其他規定的編碼方式對設定為編碼對象的輸入圖像進行編碼(步驟
5202)。判斷對輸入圖像進行編碼時該圖像的量化統計量是否超過規定的閾值(步驟S203)，在量化統計量超過規定的閾值的情況下，處理進入步驟S208。若量化統計量未超過規定的閾值，則判斷最終圖像的編碼是否已完成(步驟S204)，若直至最終圖像已完成編碼則結束編碼處理。否則，判斷編碼順序圖像組的編碼是否已完成(步驟S205)。若編碼順序圖像組的編碼尚未完成，則處理返回步驟S201並就下一圖像同樣地繼續進行編碼處理。在編碼順序圖像組的編碼已完成的情況下，判斷是否滿足以下條件，並僅在條件滿足的情況下將重試計數減少I (步驟S206)。條件I :重試計數為I以上。條件2 =CPB剩餘代碼量為規定的閾值以上。在重試計數為O或者CPB剩餘代碼量小於規定的閾值的情況下，不減少重試計數而使其原樣不變。之後，基於重試計數設定預先依照重試計數所確定的編碼參數(步驟S207)，處理返回至步驟S201，並從下一編碼順序圖像組的起始圖像開始進行編碼處理。在步驟S203中檢測出量化統計量超過規定的閾值時，判斷當前的重試計數的值是否成為預先所確定的最大值(步驟S208)。在重試計數為最大值的情況下，不進一步進行再編碼，處理進入步驟S204並直接繼續編碼處理。在重試計數未到達最大值的情況下，因當前的編碼順序圖像組的再編碼而將當前的編碼順序圖像組的起始圖像設定為編碼對象(步驟S209)。然後，將重試計數僅增加1(步驟S210)。之後，基於重試計數，將兩個編碼參數(量化參數、預濾波強度)之中一個以上進行變更(量化參數將步長變更得更大，而濾波強度則將模糊程度變更得更大)(步驟S211)，處理返回至步驟S202並對編碼中的編碼順序圖像組進行再編碼。本實施方式不同於對輸入視頻的全部幀進行兩次編碼的現有技術b，基本上是一次編碼處理，只在再編碼條件成立的情況下，階梯式地抑制發生代碼量並對編碼順序圖像組(例如GOP)的各圖像反覆進行編碼直到再編碼條件不成立為止。在第二次以後的編碼時，用依照重試計數所確定的抑制發生代碼量的編碼參數來進行編碼。從而，與對輸入視頻的所有圖像進行兩次編碼的現有技術b相比較，能夠削減運算量，並且還能夠減小再編碼所導致的像質劣化。如以上那樣在本實施方式中，在再編碼時依照重試計數來變更編碼參數。在這裡，設在編碼時對輸入視頻應用預濾波器，並將量化參數和預濾波強度設為要變更的編碼參數。既可以變更這兩個編碼參數雙方，也可以僅變更任意一方。關於量化參數，對在正常編碼時所確定的量化參數值，加上依照重試計數階梯式變大的規定的偏置值，用更大的量化參數進行再編碼。關於預濾波器，在本實施方式中設為利用高斯濾波器。通過關於X，y對下式所示的高斯分布進行取樣就能夠創建高斯濾波器。g (X，y) = { I/ (2 31 O 2)} X e x p { — (x2 + y2) / (2 σ 2)}。 從上式可知，σ的值越大則模糊程度變得越大。模糊程度越大則高頻成分越減少，所以編碼時的發生代碼量減少。高斯濾波器的細節例如記載於上述的非專利文獻2中。設在σ = O的情況下不應用高斯濾波器，例如默認編碼參數為σ ^ = 0，若設重試計數的值為c則再編碼用編碼參數為σ。。c的值越大σ。就為越大的值。即O < σ i < σ 2<……。此外，在本實施方式中不限低通濾波器的種類。另外，還可以是例如默認編碼參數σ。依照每個圖像的複雜度進行變更，而σ。為規定的偏置與σ η相加之和這樣的構成。另外，作為量化統計量，在本實施方式中設為利用圖像的各宏塊的量化參數的平均值。在下面說明的實施方式中，作為編碼方式假設為進行遵循H. 264標準的編碼。另夕卜，設編碼順序圖像組為G0P。進行編碼時的GOP的概念圖如圖5所示那樣。設一個GOP由10個圖像構成，並按顯示順序使I圖像處於開頭且B圖像和P圖像交替地進行排列。圖15中表示本實施方式的裝置構成例。輸入緩衝器210儲存輸入的視頻信號，並且將編碼對象的視頻信號輸出到編碼部220。進而，當輸入緩衝器210從後述的量化統計量計算部240收到表示因圖像的量化統計量超過規定的閾值而進行再編碼的信息(重試信息)時，就從編碼中的GOP的起始圖像開始將視頻信號再次輸出到編碼部220。另外，在GOP的編碼已完成而未收到重試信息的情況下，輸入緩衝器210丟棄所儲存的該GOP的視頻信號。編碼部220對從輸入緩衝器210所輸入的視頻信號進行編碼，並將編碼流輸出到輸出緩衝器230。另外，編碼部220將對所輸入的視頻信號進行編碼時的各宏塊的量化參數(量化參數信息)輸出到量化統計量計算部240。另外，編碼部220在GOP的編碼已完成的時刻，將CPB剩餘代碼量信息通知給CPB狀態預測部260。進而，當編碼部220從量化統計量計算部240收到重試信息時，就從輸入緩衝器210再次輸入從編碼中的GOP的起始圖像開始的視頻信號，並且從參數調整部270輸入再編碼用編碼參數，從而利用所輸入的再編碼用編碼參數進行再編碼。輸出緩衝器230在GOP的編碼流被全部儲存的階段，輸出該GOP的編碼流，另一方面，在從量化統計量計算部240收到重試信息的情況下，就丟棄對編碼中的GOP所儲存的編碼流。量化統計量計算部240利用從編碼部220所輸入的量化參數信息，求出以圖像單位變化的量化統計量。然後，在量化統計量超過規定的閾值時，量化統計量計算部240將重試信息輸出到輸入緩衝器210、編碼部220、重試計數管理部250和輸出緩衝器230，以通知量化統計量超過了規定的閾值。在從量化統計量計算部240收到重試信息的情況下，重試計數管理部250在當前的重試計數的值上加1，並將更新後的重試計數通知給參數調整部270。另外，在未從量化統計量計算部240收到重試信息而當前編碼中的GOP的編碼已完成的情況下，如果重試計數的值為I以上，則重試計數管理部250從重試計數的值減去1，並將更新後的重試計數通知給參數調整部270。但是，如果從CPB狀態預測部260所通知的參數變更有無信息表示「無參數變更」，則即便重試計數為I以上，重試計數管理部250也不從重試計數減去I。另夕卜，在重試計數為O的情況下重試計數管理部250也不從重試計數減去1，並將當前的重試計數的值通知給參數調整部270。CPB狀態預測部260根據在GOP的編碼已完成的時刻從編碼部220所通知的CPB剩餘代碼量信息來判斷CPB剩餘代碼量是否為規定的閾值以上，並在CPB剩餘代碼量為閾 值以上時，作為參數變更有無信息通知重試計數管理部250將變更編碼參數。另一方面，在CPB剩餘代碼量小於閾值時，CPB狀態預測部260作為參數變更有無信息通知重試計數管理部250不變更編碼參數。參數調整部270當從重試計數管理部250接收重試計數時，將依照重試計數所確定的編碼參數輸入到編碼部220。據此，編碼部220就使用再編碼的重複次數越多則發生代碼量越小的編碼參數對同一 GOP進行編碼。如以上那樣，在本實施方式中，導入當再編碼發生時值就增加，並在GOP的編碼已完成的時刻使值減少的重試計數這一概念，並用重試計數管理部250來管理重試計數。還可以在此重試計數上有規定的上限值例如上限值為「3」，並進行同一 GOP的再編碼直到達到上限值為止。編碼時的量化參數的偏置值、預濾波器的濾波強度依照重試計數的值而變化。在重試計數為O時利用默認編碼參數。在重試計數為O以外的情況下，例如重試計數的上限值為3時，還可以預先準備分別與重試計數1、2、3相對應的再編碼用編碼參數作為編碼參數表，並在再編碼中利用從該編碼參數表所獲得的編碼參數。按照圖14的流程圖就本實施方式中的編碼處理流程進行說明。在下面的說明中，像S201、S202、…這樣在文章中記載與圖14流程圖的對應關係。關於進行某一 GOP的編碼的處理，如下面那樣對三種情形區分情況來進行說明。[情形I]:在GOP的編碼中量化統計量沒有超過規定的閾值。[情形2]:雖然在GOP的編碼中量化統計量多次超過規定的閾值，但能夠通過再編碼來避免量化統計量超過閾值。[情形3]:在GOP的編碼中量化統計量多次超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值。[情形I的處理例]
首先，就在GOP的編碼中量化統計量沒有超過規定的閾值時的情形I進行說明。當GOP的圖像輸入到輸入緩衝器210時，輸入緩衝器210儲存該圖像，並且將該圖像作為編碼對象圖像輸入到編碼部220(S201)。然後，編碼部220對該圖像進行編碼，將編碼流輸出到輸出緩衝器230 (輸出緩衝器230不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部240 (S202)。
這裡，若例如設重試計數為初始值0，則在編碼中利用默認編碼參數，並以對應於默認編碼參數的預濾波強度對編碼對象圖像應用基於預濾波部221的濾波處理。另外，本圖像中所發生的DCT係數則用依照默認編碼參數的量化參數由量化部222進行量化。在重試計數為I以上的情況下，用分別基於依照重試計數所確定的濾波強度以及量化參數的預濾波、量化處理來進行編碼。
量化統計量計算部240根據從編碼部220所輸入的量化參數信息對該圖像計算量化統計量。在此例中因量化統計量沒有超過規定的閾值，故量化統計量計算部240不輸出重試信息(S203)。若編碼對象圖像為輸入視頻信號中的最終圖像，則輸出緩衝器230輸出所儲存的編碼流，編碼處理完成(S204)。或者，若編碼對象圖像為GOP的最終圖像，則輸出緩衝器230輸出所儲存的編碼流，並且輸入緩衝器210丟棄所儲存的圖像，並轉移到下一 GOP的起始圖像的編碼處理(S205 S207)。
當如該情形I那樣量化統計量未超過規定的閾值而GOP的編碼已完成的情況下， 編碼部220在GOP的編碼已完成的時刻將CPB剩餘代碼量信息通知給CPB狀態預測部260。 CPB狀態預測部260判斷CPB剩餘代碼量是否為規定的閾值以上，並在CPB剩餘代碼量為閾值以上時，作為參數變更有無信息通知重試計數管理部250將變更編碼參數。另一方面， 在CPB剩餘代碼量小於閾值時，作為參數變更有無信息通知重試計數管理部250不變更編碼參數。重試計數管理部250隻在參數變更有無信息表示將變更編碼參數的情況下才從當前的重試計數將值減I (S206)。
亦即，在比當前編碼已完成的GOP靠前的GOP中產生再編碼時，有時候重試計數不為O。此時，重試計數管理部250按照來自CPB狀態預測部260的參數變更有無信息的通知來變更重試計數，並將變更後的重試計數通知給參數調整部270。參數調整部270將對應於所通知的重試計數的編碼參數設定於編碼部220，並開始下一 GOP的起始圖像的編碼。
[情形2的處理例]·接著，就雖然在GOP的編碼中量化統計量多次超過規定的閾值，但能夠通過再編碼來避免量化統計量超過閾值時的情形2進行說明。在這裡，說明開始GOP的編碼的時刻下的重試計數為1，並在同一 GOP進行了兩次再編碼這一情況。
當GOP的圖像輸入到輸入緩衝器210時，輸入緩衝器210儲存該圖像，並且將該圖像作為編碼對象圖像輸入到編碼部220(S201)。然後，編碼部220對該圖像進行編碼，將編碼流輸出到輸出緩衝器230 (輸出緩衝器230不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部240 (S202)。這裡，在編碼中利用與重試計數=I相對應的編碼參數。
量化統計量計算部240根據從編碼部220所輸入的量化參數信息對該圖像計算量化統計量。其結果，在量化統計量計算部240對該圖像檢測到量化統計量超過規定的閾值時，量化統計量計算部240將重試信息輸出到編碼部220、重試計數管理部250、輸入緩衝器 210和輸出緩衝器230 (S203)。
因為當前的重試計數為1，未達到上限值3 (S208)，所以輸入緩衝器210將所儲存的編碼中的GOP的起始圖像輸出到編碼部220 (S209)。另一方面，重試計數通過重試計數管理部250被增加1，值成為2的重試計數被輸出到參數調整部270 (S210)。
在參數調整部270，從編碼參數表讀出重試計數為2時的編碼參數，並將該編碼參數設定於編碼部220 (S211)。輸出緩衝器230丟棄編碼中的GOP的編碼流。
在編碼部220，只要量化統計量不超過規定的閾值，GOP的圖像就順次從輸入緩衝器210輸入並進行編碼。在該編碼時，當在同一 GOP中量化統計量再次超過規定的閾值的情況下，就通過與前述的處理相同的處理使重試計數增加I而成為3。由此，在編碼參數被變更成對應於重試計數=3的編碼參數的基礎上，再次對同一 GOP從起始圖像開始順次進行編碼。
在此GOP的編碼中，當量化統計量不再超過規定的閾值的情況下，編碼部220將 CPB剩餘代碼量信息通知給CPB狀態預測部260。CPB狀態預測部260，在CPB剩餘代碼量為規定的閾值以上時，將參數變更有無信息設為「有變更」，在除此以外的情況下則將參數變更有無信息設為「無變更」，並通知給重試計數管理部250。
在所通知的參數變更有無信息為「有變更」時，通過重試計數管理部250使重試計數減少1，重試計數成為2並進行下一 GOP的編碼。此時的輸入緩衝器210以及輸出緩衝器 230的動作與前述的例子相同。在參數變更有無信息為「無變更」時，重試計數維持3不變而進行下一 GOP的編碼。
此情形2的例子中重試計數、編碼參數推移的概念圖如圖13所示那樣。在圖1 3 的例子中，在重試計數為I的狀態下對第二個G0P2進行編碼時，量化統計量在第六個圖像的編碼超過規定的閾值，因而將重試計數設成2，並再次用對應於重試計數=2的編碼參數從G0P2的起始I圖像開始進行再編碼。即便通過此再編碼，量化統計量在第八個圖像仍會超過規定的閾值，進而用對應於重試計數=3的發生代碼量少的編碼參數進行再編碼。
再次的再編碼中，量化統計量沒有超過規定的閾值，因此判斷CPB剩餘代碼量是否為規定的閾值以上。在這裡，由於CPB剩餘代碼量為規定的閾值以上，所以在G0P2的編碼完成時從重試計數減去1，並使用重試計數為2的編碼參數，處理轉移到下一 G0P3的編碼。
進行了再編碼時的CPB剩餘代碼量轉變的概念圖如圖8所示那樣。粗線所示的部分是再編碼後的CPB剩餘代碼量。在再編碼中因模糊程度通過預濾波器而加強，量化參數亦大於默認編碼參數，故發生代碼量得以抑制，CPB剩餘代碼量的轉變就成為例如圖8所示。其結果，已產生再編碼的圖像中的CPB剩餘代碼量就在再編碼時增加，並能夠避免在該圖像產生大的像質劣化。
進而，進行了再編碼時的量化統計量轉變的概念圖如圖9所示那樣。如圖9所示， 儘管已開始再編碼的圖像的量化統計量因在再編碼時變更編碼參數而變大，卻因其影響而如圖8所示在CPB剩餘代碼量出現富餘，因而在已產生再編碼的圖像中量化統計量變得比再編碼前小。
[情形3的處理例]最後，就在同一 GOP的編碼中量化統計量多次超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值時的情形3進行說明。
在對某一GOP進行編碼中，設與情形2的情況相同，重試計數達到3。進而，在同一 GOP的編碼中，由量化統計量計算部240檢測到量化統計量超過規定的閾值時(S203)，由重試計數管理部250檢測到重試計數達到上限值(S208)，使編碼處理進展下去而不進行再編碼。
進行再編碼但即便通過再編碼亦無法避免量化統計量超過閾值時的量化統計量轉變的概念圖如圖10所示那樣。例如圖10所示那樣，在開始再編碼的GOP的開頭，量化統計量已經大的情況下，情形3就可能產生。
此外，由於在再編碼時量化參數變得比正常編碼時大，因而在再編碼時，還可能會出現在按編碼順序比作為再編碼的開端的圖像更早的圖像上，量化統計量超過閾值的情況。為了降低其產生的可能性，還可以如下確定對應於重試計數各值的量化參數的偏置值。
將對應於重試計數最大值(在前述的實施方式為3)的量化參數的偏置值(這是預先確定的規定值)加在正常編碼時的量化參數上，在其值超過量化統計量的閾值時，以值與該閾值變得相等的方式來修正對應於重試計數最大值的量化參數的偏置值。然後，根據該偏置值來確定對應於其他重試計數值的偏置值(例如，若是前述實施方式的情況，則還可以在設對應於重試計數最大值的偏置值為A時，將重試計數0、1、2的偏置值分別如0、A/3、2X (A/3)這樣進行等分)。但是，在正常編碼時的量化參數為量化統計量以上的情況下，就設對應於重試計數所有值的偏置值為0，以使得再編碼時的量化參數不比正常編碼時小。另外， 當將對應於重試計數最大值的、預先所確定的量化參數的偏置值加在正常編碼時的量化參數上的值不超過量化統計量的閾值時，根據該偏置值來確定對應於其他重試計數值的偏置值即可。
[第4實施方式]下面，使用附圖詳細地說明本發明的第4實施方式。圖16是表示本實施方式所涉及的活動圖像編碼控制方法的處理流程圖。
首先，將輸入視頻信號中編碼已結束的圖像的下一圖像設定為編碼對象(步驟5301)。通過H.264或其他規定的編碼方式對設定為編碼對象的輸入圖像進行編碼(步驟 5302)。判斷對輸入圖像進行編碼時該圖像的量化統計量是否超過規定的閾值(步驟S303)， 在量化統計量超過規定的閾值的情況下，處理進入步驟S311。
若量化統計量未超過規定的閾值，則判斷最終圖像的編碼是否已完成(步驟 S304)，若直至最終圖像已完成編碼則結束編碼處理。
否則，判斷已編碼的圖像是否為編碼順序圖像組的起始I圖像(步驟S305)。在當前所編碼的圖像為編碼順序圖像組的起始I圖像時，將該I圖像設定為重試點(步驟S306)。 這是一種因在後述的步驟S309中，CPB剩餘代碼量小於規定的閾值時重試點仍被設定於前一編碼順序圖像組的開頭不變，故在確認下一 I圖像中再編碼條件(量化統計量超過規定的閾值)不成立後用來對重試點進行更新的處理。此外，在步驟S310中重試點被設定的情況下，雖然在同一位置再設定重試點，但在處理上不會產生不利。之後，處理返回至步驟S301， 進行下一圖像的編碼。
在已編碼的圖像並非編碼順序圖像組的開頭時，接著，判斷編碼順序圖像組的編碼是否已完成(步驟S307)。若編碼順序圖像組的編碼未完成，處理就返回至步驟S301， 對下一圖像同樣地繼續進行編碼處理。在編碼順序圖像組的編碼已完成時，如果編碼參數通過編碼順序圖像組的再編碼(重試)而變更，就將編碼參數恢復到正常編碼時的值(步驟 S308)。
另外，在編碼順序圖像組的編碼已完成的時刻，判斷CPB剩餘代碼量是否為規定的閾值以上(步驟S309)。若CPB剩餘代碼量為規定的閾值以上，就將重試點設定於下一編碼順序圖像組的起始I圖像(步驟S310)。之後，處理返回至步驟S301，從下一編碼順序圖像組的開頭按順序進行編碼。
在CPB剩餘代碼量小於規定的閾值時，不更新重試點，處理返回至步驟S301，進入到下一編碼順序圖像組的編碼。
在步驟S303中檢測出量化統計量超過規定的閾值時，判斷當前的編碼順序圖像組是否已進行再編碼(是否已重試完畢)(步驟S311)。在已重試完畢的情況下，不進一步進行再編碼，處理進入步驟S304並直接繼續編碼處理。
在未重試完畢的情況下，因當前的編碼順序圖像組的再編碼而將重試點的圖像設定為編碼對象(步驟S312)。然後，將兩個編碼參數(量化參數、預濾波強度)之中一個以上進行變更(量化參數將步長變更得更大，而濾波強度則將模糊程度變更得更大)(步驟S313)， 處理返回步驟S302並對編碼中的編碼順序圖像組進行再編碼。
亦即，不同於對輸入視頻的全部幀進行兩次編碼的現有技術b，而只是在量化統計量超過規定的閾值的情況下才對編碼順序圖像組(例如G0P)進行兩次編碼。在第二次編碼時，用抑制發生代碼量的編碼參數進行編碼。只在再編碼條件成立的情況下才僅對該條件成立的編碼順序圖像組進行再編碼(此外，有時候會例外地從前一編碼順序圖像組開始進行再編碼)，從而抑制CPB下溢並且減輕像質劣化。從而，與對輸入視頻的所有圖像進行兩次編碼的現有技術b相比較能夠削減運算量。圖17是表示本實施方式的變形例所涉及的活動圖像編碼控制方法的處理流程圖。本實施方式還能夠將圖16所示的步驟S308的處理置換成圖17所示的步驟S381 S383的處理來進行實施。步驟S308以外的處理與圖16大致相同。
在圖16的步驟S307的處理之後，判斷編碼參數是否經重試而變更(步驟S381)。 若編碼參數未經重試而變更，則處理返回至步驟S309。若編碼參數經重試而變更，就接著判斷CPB剩餘代碼量是否為規定的第一閾值以上(步驟S382)。若CPB剩餘代碼量小於規定的閾值，則使編碼參數為再編碼中使用的狀態不變，僅僅在CPB剩餘代碼量為規定的閾值以上的情況下將編碼參數恢復到原來的默認編碼參數(步驟S383)。之後，處理進入步驟 S309，判斷CPB剩餘代碼量是否為規定的第二閾值以上(步驟S382)，此處理以及步驟S310 的處理與圖16所示的步驟S309、S310的處理相同。此外，第一閾值和第二閾值無論是相同值還是不同值都可以。
在圖17所示的變形例中，如以上那樣僅僅在編碼順序圖像組的編碼已完成的時刻CPB剩餘代碼量超過規定量的情況下才將編碼參數恢復到正常編碼時的值。這是源於如下理由。即便編碼順序圖像組的編碼已完成，在CPB剩餘代碼量較少的情況下，若將編碼參數恢復到正常編碼時的值則發生代碼量變得更多，所以在下一編碼順序圖像組的圖像編碼中再編碼條件成立的可能性變高。在圖17的處理中，在CPB剩餘代碼量較少的情況下，因不變更編碼參數，故與圖16的處理相比，下一編碼順序圖像組的編碼中再編碼的發生得以抑制，運算量進一步得以削減。
如以上那樣在本實施方式中，在再編碼時變更編碼參數。在這裡，設在編碼時對輸入視頻應用預濾波器，並將量化參數和預濾波強度設為要變更的編碼參數。既可以變更這兩個編碼參數雙方，也可以僅變更任意一方。
關於量化參數，對正常編碼時的量化參數值加上規定的偏置值，用更大的量化參數進行再編碼。
關於預濾波器，在本實施方式中設為利用高斯濾波器。通過關於X，y對下式所示的高斯分布進行取樣就能夠創建高斯濾波器。
g (x, y) = { I/ (2 σ 2)} X e x p { — (x2 + y2) / (2σ2)}。
從上式可知，σ的值越大則模糊程度變得越大。模糊程度越大則高頻成分越減少， 所以編碼時的發生代碼量減少。高斯濾波器的細節例如記載於上述非專利文獻2中。
設在σ = O的情況下不應用高斯濾波器，例如默認編碼參數為σα = 0，再編碼用編碼參數為O1 >0。此外，在本實施方式中不限低通濾波器的種類。另外，再編碼時的模糊程度的加強方法還可以預先任意地確定。例如，還可以是默認編碼參數σ」衣照每個圖像的複雜度進行變更，σ I為規定的偏置與σ ^相加之和這樣的構成。
另外，作為量化統計量，在本實施方式中設為利用圖像的各宏塊的量化參數的平均值。
編碼進行遵循H. 264標準的編碼。另外，在本實施方式中，設編碼順序圖像組為 G0P。進行編碼時的GOP的概念圖如圖5所示那樣。設一個GOP由10個圖像構成，並按顯示順序使I圖像處於開頭且B圖像和P圖像交替地進行排列。
圖18中表示本實施方式的裝置構成例。輸入緩衝器310儲存輸入的視頻信號，並且將編碼對象的視頻信號輸出到編碼部320。進而，當輸入緩衝器310從後述的量化統計量計算部340收到表示因圖像的量化統計量超過規定的閾值而進行再編碼的信息(重試信息)時，就從作為重試點所設定的GOP的起始圖像開始將視頻信號再次輸出到編碼部320。 另外，在從重試點管理部360輸入重試點信息時，輸入緩衝器310丟棄在重試點以前所儲存的GOP的視頻信號。
編碼部320對從輸入緩衝器310所輸入的視頻信號進行編碼，並將編碼流輸出到輸出緩衝器330。另外，編碼部3 20將對所輸入的視頻信號進行編碼時所發生的量化參數 (量化參數信息)輸出到量化統計量計算部340。進而，當編碼部320從量化統計量計算部 340收到重試信息時，就從輸入緩衝器310再次輸入從重試點表示的GOP的起始圖像開始的視頻信號，並且從參數調整部370輸入再編碼用編碼參數，從而利用所輸入的再編碼用編碼參數進行再編碼。另外，編碼部320將GOP的編碼已完成的時刻的CPB剩餘代碼量的信息輸出到CPB狀態預測部350。
輸出緩衝器330基於來自重試點管理部360的重試點信息,輸出已確定要輸出的編碼流、亦即已確定不需要再編碼的編碼結果的編碼流。另一方面，在從量化統計量計算部 340收到重試信息的情況下，輸出緩衝器330就丟棄對編碼中的GOP所儲存的編碼流。
量化統計量計算部340利用從編碼部320所輸入的量化參數信息，求出以圖像單位變化的量化統計量。然後，在量化統計量超過規定的閾值時，量化統計量計算部340將重試信息輸出到輸入緩衝器310、編碼部320、參數調整部370和輸出緩衝器330，以通知量化統計量超過了規定的閾值。
CPB狀態預測部350判斷CPB剩餘代碼量是否為規定的閾值以上，在CPB剩餘代碼量為閾值以上時，將表示下一 GOP的重試點是該GOP的起始I圖像的信息，作為重試點變更有無信息通知給重試點管理部360。反之，在CPB剩餘代碼量小於閾值時，CPB狀態預測部 350將表示下一 GOP的起始圖像的重試點是該GOP緊前面的GOP的起始圖像(I圖像)的信息，作為重試點變更有無信息通知給重試點管理部360。
在重試變更有無信息表示在此後進行編碼的GOP的起始圖像中重試點為緊前面 GOP的起始圖像時，重試點管理部360將該重試點通知給輸入緩衝器310，並且在起始圖像的編碼中再編碼不發生時，通知輸入緩衝器310從下一圖像的編碼起將重試點設為當前正在編碼的GOP的起始圖像。另外，在重試變更有無信息表示重試點為此後進行編碼的GOP 的起始圖像時，重試點管理部360將該重試點通知給輸入緩衝器310和輸出緩衝器330。在這裡，將這些通知信息稱為重試點信息。如前所述，輸入緩衝器310在再編碼時從基於重試點信息的圖像開始將視頻信號輸入到編碼部320，輸出緩衝器330僅輸出基於重試點信息已確定要輸出的編碼流。
在從量化統計量計算部340收到重試信息的情況下，參數調整部370如前所述那樣將再編碼用編碼參數輸入到編碼部320。據此，編碼部320在再編碼時就使用發生代碼量變小的編碼參數對同一 GOP進行編碼。
按照圖16的流程圖就本實施方式中的編碼處理流程進行說明。在下面的說明中， 像S301、S302、…這樣在文章中記載與圖16流程圖的對應關係。
關於進行某一 GOP的編碼的處理，設起始GOP為GOPl，下一 GOP為G0P2，如下面那樣對四種情形區分情況來進行說明。
[情形I]:在GOPl的編碼中，量化統計量超過規定的閾值這種再編碼條件不成立而GOPl的編碼完成，在下一 G0P2的起始圖像的編碼中再編碼條件也不成立。
[情形2] =GOPl的編碼完成，在下一 G0P2的起始圖像的編碼中再編碼條件成立， 需要再編碼。
[情形3]:在G0P2的中間圖像的編碼中再編碼條件成立，需要再編碼。
[情形4]:在G0P2的中間圖像的編碼中再編碼條件成立，即便通過再編碼亦無法避免量化統計量超過閾值。
[情形I的處理例]首先，就在GOPl的編碼中，量化統計量沒有超過規定的閾值時(再編碼條件不成立時) 的情形I進行說明。當GOPl的圖像輸入到輸入緩衝器310時，輸入緩衝器310儲存該圖像， 並且將該圖像作為編碼對象圖像輸入到編碼部320 (S301)。然後，編碼部320對該圖像進行編碼，將編碼流輸出到輸出緩衝器330 (輸出緩衝器330不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部340 (S302)。
這裡，在編碼中利用默認編碼參數，並以對應於默認編碼參數的預濾波強度對編碼對象圖像應用基於預濾波部321的濾波處理。另外，本圖像中所發生的DCT係數則用依照再編碼用編碼參數的量化參數由量化部322進行量化。
量化統計量計算部340根據從編碼部320所輸入的量化參數信息對該圖像計算量化統計量。在此例中因量化統計量沒有超過規定的閾值，故量化統計量計算部340不輸出重試信息(S303)。若編碼對象圖像為輸入視頻信號中的最終圖像，則輸出緩衝器330輸出所儲存的編碼流，編碼處理完成(S304)。
若編碼對象圖像為GOPl的起始圖像(S305)，則重試點管理部360將GOPl的起始圖像(I圖像)設定為重試點(S306)，接下來編碼部320進行下一圖像的編碼。
或者，若編碼對象圖像為GOP的最終圖像(S307)，則參數調整部370在再編碼用編碼參數已被用於再編碼時，將編碼參數變更成默認編碼參數(S308 )。
另一方面，編碼部320將CPB剩餘代碼量信息輸出到CPB狀態預測部350，CPB狀態預測部350判斷CPB剩餘代碼量是否在規定的閾值以上(S309)。CPB狀態預測部350將其判斷結果作為前述重試點變更有無信息通知給重試點管理部360。重試點管理部360在重試點變更有無信息表示不變更重試點(CPB剩餘代碼量小於閾值)時，將重試點為GOPl的起始圖像的情況作為重試點信息通知給輸入緩衝器310。
之後，處理進入G0P2的起始I圖像的編碼處理(S302)，在該I圖像的編碼中量化統計量沒有超過規定的閾值時(S303)，重試點管理部360通知輸入緩衝器310以及輸出緩衝器330重試點為G0P2的起始圖像(S306)。亦即，在其以後的G0P2的圖像中產生再編碼時，就從G0P2的起始圖像開始進行再編碼。
在前述的GOPl的編碼已完成的時刻，CPB剩餘代碼量充分時，表示要變更重試點的重試點變更有無信息從CPB狀態預測部350輸出至重試點管理部360，重試點管理部360 將重試點為G0P2的起始圖像的情況作為重試點信息通知給輸入緩衝器310 (S310)。在此情況下，接下來即便在G0P2的任意圖像中，量化統計量超過規定的閾值，也從G0P2的起始圖像開始進行再編碼。
[情形2的處理例]接著，就雖然在G0P2的起始圖像的編碼中量化統計量超過規定的閾值，但之後能夠通過再編碼避免量化統計量超過閾值時的情形2進行說明。與情形I相同，在GOPl的編碼已完成的時刻的重試點變更有無信息表示因CPB剩餘代碼量少而不變更重試點時，重試點管理部360通知輸入緩衝器310重試點為GOPl的起始I圖像。
處理進入G0P2的起始I圖像的編碼處理，在由量化統計量計算部340檢測到在該圖像量化統計量超過規定的閾值時(S303)，基於來自量化統計量計算部340的重試信息， 輸入緩衝器310從GOPl的起始圖像開始順次使圖像輸入到編碼部320，由編碼部320進行再編碼。此時的編碼參數使用從參數調整部 370所設定的再編碼用編碼參數(S313)。在此再編碼中，通過預濾波部321以對應於再編碼用編碼參數的預濾波強度(模糊程度大於默認編碼參數)，對編碼對象圖像應用預濾波處理。另外，本圖像中所發生的DCT係數則用依照再編碼用編碼參數的量化參數(量化步長大於默認編碼參數)由量化部322進行量化。
在通過該GOPl的再編碼，直至GOPl的最終圖像的編碼已完成時，根據此時的CPB 剩餘代碼量，重試點被設定到GOPl的起始圖像或者G0P2的起始圖像，接下來進行G0P2的起始圖像的編碼處理。
[情形3的處理例]在前面的情形2中說明了因在G0P2的起始圖像的編碼中量化統計量超過規定的閾值而需要再編碼的例子。另一方面，在G0P2的起始圖像以外的圖像中量化統計量超過規定的閾值時，就同樣地使用再編碼用編碼參數，從G0P2的起始圖像開始進行再編碼。
在G0P2的中間圖像進行了再編碼時的編碼參數變更的概念圖如圖7所示那樣。在圖7的例子中，因量化統計量在G0P2的第六個圖像的編碼超過規定的閾值，所以設定抑制發生代碼量的再編碼用編碼參數，從G0P2的起始I圖像開始進行再編碼。由於通過再編碼量化統計量不再超過規定的閾值，所以在下一 G0P3的編碼，將再編碼用編碼參數恢復到默認編碼參數，繼續進行編碼處理。
進行了再編碼時的CPB剩餘代碼量轉變的概念圖如圖8所示那樣。粗線所示的部分是再編碼後的CPB剩餘代碼量。在再編碼中因模糊程度通過預濾波器而加強，量化參數亦大於默認編碼參數，故發生代碼量得以抑制，CPB剩餘代碼量的轉變就成為例如圖8所示。其結果，已產生再編碼的圖像中的CPB剩餘代碼量就在再編碼時增加，並能夠避免在該圖像產生大的像質劣化。
進而，進行了再編碼時的量化統計量轉變的概念圖如圖9所示那樣。如圖9所示， 儘管已開始再編碼的圖像的量化統計量因在再編碼時變更編碼參數而變大，卻因其影響而如圖8所示在CPB剩餘代碼量出現富餘，因而在已產生再編碼的圖像中量化統計量變得比再編碼小。
[情形4的處理例]最後，就在G0P2的中間圖像的編碼中量化統計量超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值時的情形4進行說明。
進行再編碼，即便通過再編碼亦無法避免量化統計量超過閾值時的量化統計量轉變的概念圖如圖10所示那樣。例如圖10所示那樣，在開始再編碼的GOP的開頭，量化統計量已經大的情況下，情形4就可能產生。在此情況下，由量化統計量計算部340來檢測量化統計量超過規定的閾值，並進行G0P2的再編碼這一動作與情形3相同。當在G0P2的再編碼中量化統計量超過規定的閾值時(S303、S311)，不進一步進行再編碼而直接繼續編碼處理(轉移至S304)。
此外，由於在再編碼時量化參數變得比正常編碼時大，因而在再編碼時，還可能會出現在按編碼順序比作為再編碼的開端的圖像更早的圖像上，量化統計量超過閾值的情況。為了降低其產生的可能性，還可以在再編碼時的量化參數變得比量化 統計量的閾值大時，將再編碼時的量化參數修正成與量化統計量的閾值相等的值。但是，在正常編碼時的量化參數為量化統計量以上的情況下，就使再編碼時的量化參數的值等於正常編碼時的值， 以使得再編碼時的量化參數不比正常編碼時小。
[第5實施方式]下面，使用附圖詳細地說明本發明的第5實施方式。圖19是表示本實施方式所涉及的活動圖像編碼控制方法的處理流程圖。
關於在編碼順序上第M枚圖像和第N枚(N > M)圖像，將N — M稱之為圖像間距離。首先，基於從外部所賦予的可利用的存儲量的信息，求出再編碼時在存儲器限制內最大的能夠追溯的圖像間距離即最大圖像間距離並進行存儲(S400)。
接著，將輸入視頻信號中編碼已結束的圖像的下一圖像(在編碼開始時為輸入視頻信號的起始圖像)設定為編碼對象(步驟S401)。通過H. 264或其他規定的編碼方式對設定為編碼對象的輸入圖像進行編碼(步驟S402)。判斷對輸入圖像進行編碼時該圖像的量化統計量是否超過規定的閾值(步驟S403)，在量化統計量超過規定的閾值的情況下，處理進入步驟S407。
若量化統計量未超過規定的閾值，則判斷最終圖像的編碼是否已完成(步驟 S404)，若直至最終圖像已完成編碼則結束編碼處理。
否則，判斷編碼順序圖像組的編碼是否已完成(步驟S405)。若編碼順序圖像組的編碼未完成，則處理返回至步驟S401並就下一圖像同樣地繼續進行編碼處理。在編碼順序圖像組的編碼已完成時，如果編碼參數經編碼順序圖像組的再編碼(重試)而變更，就將編碼參數恢復到正常編碼時的值(步驟S406)，處理返回至步驟S401，並從下一編碼順序圖像組的起始圖像開始進行編碼處理。
在步驟S403中檢測出量化統計量超過規定的閾值時，判斷當前的編碼順序圖像組是否已進行再編碼(是否已重試完畢)(步驟S407 )。在已重試完畢的情況下，不進一步進行再編碼，處理進入步驟S404並直接繼續編碼處理。
在未重試完畢的情況下，設定重試點用於當前的編碼順序圖像組內的圖像的再編碼。亦即，將步驟S400計算出的最大圖像間距離範圍內的編碼中的編碼順序圖像組所包含的最遠離的圖像設定為編碼對象(步驟S408)。然後，將兩個編碼參數(量化參數、預濾波強度)之中一個以上進行變更(量化參數將步長變更得更大，而濾波強度則將模糊程度變更得更大)(步驟S409)，處理返回至步驟S402，從設定為重試點的編碼順序圖像組的圖像開始進行再編碼。
根據以上的再編碼處理，不同於對輸入視頻的全部幀進行兩次編碼的現有技術 b，只在已編碼的圖像的量化統計量過大的情況下才對編碼順序圖像組(例如G0P)內的多個圖像進行兩次編碼。在第二次編碼時，使用CPB剩餘代碼量更為增加的編碼參數僅對當前編碼中的編碼順序圖像組內的多個圖像進行再編碼。據此，可減輕視頻從單純場景轉換到複雜場景時的像質劣化，同時與對輸入視頻的所有圖像進行兩次編碼的現有技術b相比較能夠削減運算量。另外，作為輸入緩衝器以及輸出緩衝器所需要的存儲器也僅僅為與規定數量的圖像相當的大小即可，能夠謀求存儲器的削減。
圖20是表示本實施方式的變形例所涉及的活動圖像編碼控制方法的處理流程圖。本實施方式還能夠將圖19所示的步驟S406的處理置換成圖20所示的步驟S461 S463的處理來進行實施。步驟S406以外的處理與圖19相同。
在圖19的步驟S405的處理之後，判斷編碼參數是否經重試而變更(步驟S461)。 若編碼參數未經重試而變更，則 處理返回圖19的步驟S401。若編碼參數經重試而變更，就接著判斷CPB剩餘代碼量是否為規定的閾值以上(步驟S462)。若CPB剩餘代碼量小於規定的閾值，則使編碼參數保持在再編碼使用過的狀態不變，僅僅在CPB剩餘代碼量為規定的閾值以上的情況下將編碼參數恢復到原來的默認編碼參數(步驟S463)。之後，處理返回圖 19的步驟S401，轉移到下一編碼順序圖像組的編碼。
在圖20所示的變形例中，僅僅在編碼順序圖像組的編碼已完成的時刻CPB剩餘代碼量超過規定量的情況下才將編碼參數恢復到正常編碼時的值。這是源於如下理由。即便編碼順序圖像組的編碼已完成，在CPB剩餘代碼量較少的情況下，若將編碼參數恢復到正常編碼時的值則發生代碼量變得更多，所以在下一編碼順序圖像組的編碼中已編碼的圖像的量化統計量再次超過規定的閾值的可能性變高。在圖20的處理中，在CPB剩餘代碼量較少的情況下，因不變更編碼參數，故與圖19的處理相比，下一編碼順序圖像組的編碼中再編碼的發生得以抑制，運算量進一步得以削減。
如以上那樣在本實施方式中，在再編碼時變更編碼參數。在這裡，設在編碼時對輸入視頻應用預濾波器，並將量化參數和預濾波強度設為要變更的編碼參數。既可以變更這兩個編碼參數雙方，也可以僅變更任意一方。
關於量化參數，對正常編碼時的量化參數值加上規定的偏置值，用更大的量化參數進行再編碼。
關於預濾波器，在本實施方式中設為利用高斯濾波器。通過關於X，y對下式所示的高斯分布進行取樣就能夠創建高斯濾波器。
g (x, y) = { I/ (2 σ 2)} X e x p { — (x2 + y2) / (2σ2)}。
從上式可知，σ的值越大則模糊程度變得越大。模糊程度越大則高頻成分越減少， 所以編碼時的發生代碼量減少。高斯濾波器的細節例如記載於上述非專利文獻2中。
設在σ = O的情況下不應用高斯濾波器，例如默認編碼參數為σα = 0，再編碼用編碼參數為O1 >0。此外，在本實施方式中不限低通濾波器的種類。另外，再編碼時的模糊程度的加強方法還可以預先任意地確定。例如，還可以是默認編碼參數σ」衣照每個圖像的複雜度進行變更，σ I為規定的偏置與σ ^相加之和這樣的構成。
另外，作為量化統計量，在本實施方式中設為利用圖像的各宏塊的量化參數的平均值。
編碼進行遵循H. 264標準的編碼。另外，在本實施方式中，編碼順序圖像組為G0P， 並在圖5中表示進行編碼時的GOP的概念圖。設一個GOP由10個圖像構成，並按顯示順序使I圖像處於開頭且B圖像和P圖像交替地進行排列。
圖21中表示本實施方式的裝置構成例。最大圖像間距離決定部500被從外部通知可使用存儲量(可使用存儲量信息)，並基於它求得在再編碼時最大可追溯的最大圖像間距離。在本實施方式中，將編碼中的GOP的輸入視頻信號儲存於輸入緩衝器410，將編碼中的 GOP的編碼流儲存於輸出緩衝器430以備再編碼。最大圖像間距離決定部500從設GOP長度為最大圖像間距離時開始，一邊減少最大圖像間距離的值，一邊求解輸入緩衝器410以及輸出緩衝器430在最差情形下的必要存儲量以及其他利用存儲量之總和為可使用存儲量的圖像間距離以下的圖像間距離，以決定最大圖像間距離。
這裡，表示求解最大圖像間距離時的必要存儲量的計算例。首先，輸入緩衝器410 的必要存儲量如下。
輸入緩衝器的必要存儲量=(最大圖像間距離+ I) X (I個圖像的數據量)。
另一方面，輸出緩衝器430的必要存儲量為在CPB的大小以及位速率的限制下，不產生CPB下溢而可以發生的最大代碼量。具體而言，就是在GOP的編碼即將開始前CPB剩餘代碼量與CPB的大小相等的狀態下，將按照位速率被輸入到CPB的數據全部用盡時(在GOP 編碼後CPB剩餘代碼量為O)能夠發生的最大代碼量。作為根據位(bit)數的計算式，輸出緩衝器的必要存儲量如次式那樣。
輸出緩衝器的必要存儲量=(位速率/每I秒的圖像數)X (最大圖像間距離+O+ (位數下的CPB大小)。
進而，有時候還需要計算如下數據的數據量。在H. 264的情況下，需要將在GOP的編碼中所創建的解碼圖像作為參考圖像保留下來以備再編碼(在不保留的情況下，就成為在再編碼時沒有從重試點進行編碼時的參考圖像的狀態)。因GOP內的圖像不參考該GOP 以前的圖像，在作為參考圖像保存於DPB (Decoded Picture Buffer :解碼圖像緩衝器)中的是I以及P圖像這一前提的情況下，若如下確保存儲器，在所有狀況中存儲器都足夠。
在GOP的最後圖像中產生了再編碼的情況下，根據比開始再編碼的圖像(最大圖像間距離的圖像)，在編碼順序上更早的編碼順序圖像組內的I以及P圖像的數量相應地持有存儲器即可。
圖22中表示說明必要存儲量的概念圖。例如，如圖22所示那樣設GOP由10個圖像構成，最大圖像間距離為6。則應保持於輸入緩衝器410中的圖像數最大為7。另一方面， 在圖22的例子的情況下，為了再編碼，對於起始I圖像和下一 P圖像的解碼圖像，也需要作為參考圖像保持在存儲器中。若與最大圖像間距離和GOP長度相等的情況進行比較，在如圖22那樣的情況下雖然需要追加保持起始I圖像和第二個P圖像這兩個圖像(圖22的參考符號RS22)的DPB，但應保持於輸入緩衝器410的圖像數減少3。亦即，雖然最大圖像間距離越小則參考圖像的存儲量越增加，但應保存於輸入緩衝器410的圖像數的減少量卻更多，所以可知若減小最大圖像間距離則必要存儲量減少。
另外，在H. 264中，有時候對參考圖像的運動矢量進行參考，所以有時候就需要用於該運動矢量的存儲器。除此以外，還計算依賴於編碼器的構成等所需要的存儲器。求解使它們的總和在可使用存儲量以下的圖像間距離，以決定最大圖像間距離。
此外，在本發明實施時，還可以不是將可使用存儲量從外部通知給最大圖像間距離決定部500並計算最大圖像間距離，而是在外部計算最大圖像間距離並提供給最大圖像間距離決定部500。
最大圖像間距離決定部500將已決定的最大圖像間距離信息通知給重試點管理部 460。
輸入緩衝器410儲存輸入的視頻信號，並且將編碼對象的視頻信號輸出到編碼部 420。進而，當輸入緩衝器410從後述的量化統計量計算部440收到表示因圖像的量化統計量超過規定的閾值而進行再編碼的信息(重試信息)時，從重試點管理部460所通知的重試點的圖像開始將視頻信號再次輸出到編碼部420。另外，當從重試點管理部460通知重試點信息時，輸入緩衝器410丟棄所儲存的與重試點以前的圖像相對應的視頻信號的數據。
編碼部420對從輸入緩衝器410所輸入的視頻信號進行編碼，並將編碼流輸出到輸出緩衝器430。另外，編碼部4 20在圖像的編碼已完成時，將對所輸入的視頻信號進行編碼時所發生的量化參數(量化參數信息)輸出到量化統計量計算部440，並且對重試點管理部460輸出表示圖像的編碼已完成的信息(編碼完成圖像信息)。進而，當從量化統計量計算部440收到重試信息時，編碼部420從輸入緩衝器410再次輸入從編碼中的GOP中的重試點的圖像開始的視頻信號，並且從參數調整部450輸入再編碼用編碼參數，從而利用所輸入的再編碼用編碼參數進行再編碼。
輸出緩衝器430儲存作為GOP的編碼結果的編碼流，並且當從重試點管理部460 通知重試點信息時，輸出與此前一直儲存的重試點以前的圖像相對應的編碼流，並將其數據從輸出緩衝器430清除。另外，在從量化統計量計算部440收到重試信息時，丟棄對編碼中的GOP所儲存的編碼流。
量化統計量計算部440利用從編碼部420所輸入的量化參數信息，求出以圖像單位變化的量化統計量。然後，在量化統計量超過規定的閾值時，量化統計量計算部440將重試信息輸出到輸入緩衝器410、編碼部420、參數調整部450和輸出緩衝器430，以通知量化統計量超過了規定的閾值。
在從量化統計量計算部440收到重試信息的情況下，參數調整部450如前所述那樣將再編碼用編碼參數輸入到編碼部420。據此，編碼部420在再編碼時就使用發生代碼量變小的編碼參數對同一 GOP進行編碼。
重試點管理部460基於編碼完成圖像信息以及最大圖像間距離信息，在量化統計量在下一圖像的編碼超過了規定的閾值時，將表示何處成為重試點的重試點信息通知給輸入緩衝器410和輸出緩衝器430。
按照圖19的流程圖就本實施方式中的編碼處理流程進行說明。在下面的說明中， 像S401、S402、…這樣在文章中記載與圖19流程圖的對應關係。
關於進行某一 GOP的編碼的處理，如下面那樣對三種情形區分情況來進行說明。
[情形I]:在GOP的編碼中量化統計量沒有超過規定的閾值。
[情形2]:雖然在GOP的編碼中量化統計量超過規定的閾值，但能夠通過再編碼來避免量化統計量超過閾值。
[情形3]:在GOP的編碼中量化統計量超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值。
[情形I的處理例]首先，就在GOP的編碼中量化統計量沒有超過規定的閾值時的情形I進行說明。當GOP 的圖像輸入到輸入緩衝器410時，輸入緩衝器410儲存該圖像，並且將該圖像作為編碼對象圖像輸入到編碼部420(S401)。然後，編碼部420對該圖像進行編碼，將編碼流輸出到輸出緩衝器430 (輸出緩衝器430不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部440。另外，編碼部420將編碼完成圖像信息輸出到重試點管理部 460 (S402)。
這裡，在編碼中利用默認編碼參數，並以對應於默認編碼參數的預濾波強度對編碼對象圖像應用基於預濾波部421的濾波處理。另外，本圖像中所發生的DCT係數則用依照默認編碼參數的量化參數由量化部422進行量化。
量化統計量計算部440根據從編碼部420所輸入的量化參數信息對該圖像計算量化統計量。在此例中因量化統計量 沒有超過規定的閾值，故量化統計量計算部440不輸出重試信息(S403)。若編碼對象圖像為輸入視頻信號中的最終圖像，則輸出緩衝器430輸出所儲存的編碼流，編碼處理完成(S404)。或者，若編碼對象圖像為GOP的最終圖像，則輸出緩衝器430輸出所儲存的編碼流，並且輸入緩衝器410丟棄所儲存的圖像，處理轉移到下一 GOP的起始圖像的編碼處理(S405)。這裡，因在該GOP中沒有產生再編碼，故對編碼參數不施加變更而轉移到下一 GOP的起始圖像的編碼處理(S406)。
[情形2的處理例]接著，就雖然在GOP的編碼中量化統計量超過規定的閾值，但能夠通過再編碼來避免量化統計量超過閾值時的情形2進行說明。當GOP的圖像輸入到輸入緩衝器410時，輸入緩衝器410儲存該圖像，並且將該圖像作為編碼對象圖像輸入到編碼部420(S401)。然後， 編碼部420對該圖像進行編碼，將編碼流輸出到輸出緩衝器430 (輸出緩衝器430不輸出該編碼流而進行儲存)，並且將與該圖像有關的量化參數信息輸出到量化統計量計算部440 (S402)。這裡，在編碼中利用默認編碼參數。
量化統計量計算部440根據從編碼部420所輸入的量化參數信息對該圖像計算量化統計量。其結果，在量化統計量計算部440對該圖像檢測到量化統計量超過規定的閾值時，量化統計量計算部440將重試信息輸出到編碼部420、參數調整部450、輸入緩衝器410 和輸出緩衝器430 (S403)。
在對編碼中的GOP尚未發生重試時(S407)，輸入緩衝器410將所儲存的編碼中的 GOP中重試點所表示的位置的圖像輸出到編碼部420 (S408)，並且參數調整部450將再編碼用編碼參數輸出到編碼部420 (S409)。進而，輸出緩衝器430丟棄編碼中的GOP的編碼流。然後，編碼部420利用再編碼用編碼參數對所輸入的重試點以後的圖像進行編碼。
這裡，在編碼中利用再編碼用編碼參數，並以對應於再編碼用編碼參數的預濾波強度(模糊程度大於默認編碼參數)對編碼對象圖像應用基於預濾波部421的預濾波處理。 另外，本圖像中所發生的DCT係數則用依照再編碼用編碼參數的量化參數(量化步長大於默認編碼參數)由量化部422進行量化。
此後，只要量化統計量不超過規定的閾值，該GOP的圖像就順次從輸入緩衝器 410輸入到編碼部420，由編碼部420進行編碼。然後，在GOP的最終圖像的編碼已完成時 (S405),從輸出緩衝器430輸出該GOP的編碼流，並且編碼部420將編碼參數設定成默認編碼參數(S406)，處理進入下一 GOP的編碼處理。此外，輸入視頻的最終圖像的編碼已完成時的動作與前述情形I的情況同樣地進行動作。
進行再編碼時的編碼參數變更的概念圖如圖7所示那樣。在圖7的例子中，由於在第二個G0P2的第6圖像的編碼中量化統計量超過規定的閾值，所以設定對發生代碼量進行抑制的再編碼用編碼參數，並從最大圖像間距離的範圍內的G0P2的起始I圖像開始進行再編碼。由於通過再編碼使量化統計量不再超過規定的閾值，所以在下一 G0P3的編碼中將再編碼用編碼參數恢復到默認編碼參數，繼續進行編碼處理。
進行了再編碼時的CPB剩餘代碼量轉變的概念圖如圖8所示那樣。粗線所示的部分是再編碼後的CPB剩餘代碼 量。在再編碼中因模糊程度通過預濾波器而加強，量化參數亦大於默認編碼參數，故發生代碼量得以抑制，CPB剩餘代碼量的轉變就成為例如圖8所示。其結果，已產生再編碼的圖像中的CPB剩餘代碼量就在再編碼時增加，並能夠避免在該圖像產生大的像質劣化。
進行了再編碼時的量化統計量轉變的概念圖如圖9所示那樣。如圖9所示，儘管已開始再編碼的圖像的量化統計量因在再編碼時變更編碼參數而變大，卻因其影響而如圖 8所示在CPB剩餘代碼量出現富餘，因而在已產生再編碼的圖像中量化統計量變得比再編碼前小。
圖23是說明用最大圖像間距離來限制重試點所導致的輸入緩衝器和輸出緩衝器的存儲器削減的圖。設通過本實施方式來設定重試點的情況為「情形A」進行說明。例如還考慮不同於本實施方式，將在量化統計量超過規定的閾值時開始再編碼的圖像始終設為編碼順序圖像組(例如G0P)的起始圖像。將其稱之為「情形B」。對情形A和情形B進行比較，例如在情形A中，若當前正在編碼的圖像如圖23所示那樣為G0P2的第9個B圖像且最大圖像間距離為「5」，則重試點為G0P2的第4個圖像(P圖像)，其以前的從G0P2開頭起3 個圖像不用於再編碼。因此，與這些圖像相對應的輸入緩衝器410以及輸出緩衝器430的數據就不需要再保持，可以丟棄(圖23的參考符號RS23)。相對於此，在如情形B那樣的情況下，從G0P2的起始圖像的編碼開始直到G0P2的最終圖像的編碼完成為止，都需要在輸入緩衝器410以及輸出緩衝器430中保持與這些圖像相對應的數據，因此所需要的存儲量增力口。在本實施方式(情形A)中，因計算出最大圖像間距離並設定重試點，故比起情形B能夠削減存儲量。
[情形3的處理例]最後，就在GOP的編碼中量化統計量超過規定的閾值，即便通過再編碼亦無法避免量化統計量超過閾值時的情形3進行說明。
進行再編碼但即便通過再編碼亦無法避免量化統計量超過閾值時的量化統計量轉變的概念圖如圖10所示那樣。例如圖10所示那樣，在開始再編碼的GOP的開頭，量化統計量已經大的情況下，情形3就可能產生。在此情況下，由量化統計量計算部440來檢測量化統計量超過規定的閾值，並進行GOP的再編碼這一動作與情形2相同。在此GOP的再編碼中量化統計量超過規定的閾值時(S403、S407)，就不進一步進行再編碼而直接繼續編碼處理(處理轉移至S404)。
此外，由於在再編碼時量化參數變得比正常編碼時大，因而在再編碼時，還可能會出現在編碼順序比作為再編碼的開端的圖像更早的圖像上，量化統計量超過閾值的情況。 為了降低其產生的可能性，還可以在再編碼時的量化參數變得比量化統計量的閾值大時， 將再編碼時的量化參數修正成與量化統計量的閾值相等的值。但是，為使再編碼時的量化參數不變得比正常編碼時小，在正常編碼時的量化參數在量化統計量以上的情況下，使再編碼時的量化參數的值等於正常編碼時的值。
以上所說明的活動圖像編碼控制的處理還能夠通過計算機和軟體程序而實現，還可以將該程序記錄於計算機可讀取的記錄介質或者通過網絡來進行提供。
以上，參照附圖就本發明的實施方式進行了詳述，但具體的構成並不限於這些實施方式，不脫離本發明要旨的範圍內的設計等(構成的附加，省略，置換以及其他變更)亦包含在內。本發明並不限定於前述的說明，而僅通過附加的權利要求的範圍而限定。
產業上的可利用性 本發明可利用於例如用來對視頻信號進行編碼的活動圖像編碼技術。根據本發明，就能夠以使虛擬解碼器中的編碼圖像緩衝器等虛擬緩衝器不發生失效且像質的劣化不會增大的方式對視頻信號進行編碼。
權利要求
1.一種活動圖像編碼控制方法，以使解碼器中的虛擬緩衝器不會失效的方式控制發生代碼量並對輸入視頻信號進行編碼，其中具有以下步驟 對由規定數量的圖像所構成、並按編碼順序連續的圖像集合即編碼順序圖像組的各圖像，按照規定的編碼參數進行順次編碼； 在每次所述圖像編碼時，都根據在該圖像的編碼中利用的量化參數信息來計算該圖像的量化統計量，並檢查所述量化統計量是否超過規定的閾值； 在所述量化統計量超過所述規定的閾值時，變更所述編碼參數以使得因編碼所導致的發生代碼量減少，並從編碼中的編碼順序圖像組的起始圖像開始使用變更後的編碼參數進行再編碼。
2.如權利要求I所述的活動圖像編碼控制方法，其中， 在所述進行順次編碼的步驟中，按照和表示再編碼次數的重試計數對應而設定的編碼參數，對所述編碼順序圖像組的各圖像進行順次編碼， 在所述進行再編碼的步驟中，在所述量化統計量超過所述規定的閾值時，使所述重試計數增加，並將所述編碼參數變更成所述重試計數的值越大則編碼所導致的發生代碼量越減少的編碼參數。
3.如權利要求2所述的活動圖像編碼控制方法，其中還具有如下步驟 直到所述編碼順序圖像組中的最終圖像的編碼完成為止，在已編碼的各圖像的量化統計量未超過所述規定的閾值時，檢查所述虛擬緩衝器的剩餘代碼量，若所述剩餘代碼量小於規定的剩餘代碼量閾值或者所述重試計數為O，則不變更所述重試計數的值，若所述剩餘代碼量為所述剩餘代碼量閾值以上且所述重試計數不為O，則使所述重試計數減少。
4.如權利要求2所述的活動圖像編碼控制方法，其中還具有如下步驟 直到所述編碼順序圖像組中的最終圖像的編碼完成為止，在已編碼的各圖像的量化統計量未超過所述規定的閾值時，使所述重試計數減少。
5.如權利要求2至權利要求4中的任意一項所述的活動圖像編碼控制方法，其中， 所述編碼參數為量化參數或針對所述輸入視頻信號的預濾波器的濾波強度，或者這雙方，在所述編碼參數為所述量化參數時，設定所述重試計數的值越大則所述量化參數的步長越大的編碼參數，在所述編碼參數為所述預濾波器的所述濾波強度時，設定所述重試計數的值越大則濾波處理所造成的模糊程度越大的編碼參數。
6.一種活動圖像編碼控制方法，以使解碼器中的虛擬緩衝器不會失效的方式控制發生代碼量並對輸入視頻信號進行編碼，其中具有以下步驟 對由以畫面內預測編碼圖像為開頭的規定數量的圖像所構成、並按編碼順序連續的圖像集合即編碼順序圖像組的各圖像，按照規定的編碼參數進行順次編碼； 在每次所述圖像編碼時，都根據在該圖像的編碼中利用的量化參數信息來計算該圖像的量化統計量，並檢查所述量化統計量是否超過規定的閾值； 在所述量化統計量超過所述規定的閾值時，變更所述編碼參數以使得因編碼所導致的發生代碼量減少，並從作為重試點所設定的編碼順序圖像組的起始圖像開始使用變更後的編碼參數進行再編碼； 在所述編碼順序圖像組的編碼已完成時，檢查所述虛擬緩衝器的剩餘代碼量，若所述剩餘代碼量為規定的剩餘代碼量閾值以上，則將所述重試點設定成下一編碼順序圖像組的起始圖像，若所述虛擬緩衝器的所述剩餘代碼量小於所述規定的剩餘代碼量閾值，則不變更所述重試點，並在所述下一編碼順序圖像組的所述起始圖像的編碼中所述量化統計量未超過所述規定的閾值時，將所述重試點設定成該編碼順序圖像組的起始圖像。
7.一種活動圖像編碼控制方法，以使解碼器中的虛擬緩衝器不會失效的方式控制發生代碼量並對輸入視頻信號進行編碼，其中具有以下步驟 對由規定數量的圖像所構成、並按編碼順序連續的圖像集合即編碼順序圖像組的各圖像，按照規定的編碼參數進行順次編碼； 在每次所述圖像編碼時，都根據在該圖像的編碼中利用的量化參數信息來計算該圖像的量化統計量，並檢查所述量化統計量是否超過規定的閾值； 在所述量化統計量超過所述規定的閾值時，變更所述編碼參數以使得因編碼所導致的發生代碼量減少，並從在編碼中的編碼順序圖像組中作為重試點所設定的圖像開始使用變更後的編碼參數進行再編碼； 在再編碼時，根據作為再編碼對象的圖像能夠追溯的最大圖像數即最大圖像間距離，設定表示開始所述再編碼的圖像的位置的重試點。
8.如權利要求I、權利要求6或者權利要求7所述的活動圖像編碼控制方法，其中， 在所述編碼順序圖像組的再編碼中直到該編碼順序圖像組的最終圖像的編碼完成為止，在已編碼的各圖像的量化統計量未超過所述規定的閾值時，將用於下一編碼順序圖像組的編碼的編碼參數恢復到正常編碼時的編碼參數值。
9.如權利要求I、權利要求6或者權利要求7所述的活動圖像編碼控制方法，其中， 在所述編碼順序圖像組的再編碼中，直到該編碼順序圖像組的最終圖像的編碼完成為止，在所述量化統計量未超過所述規定的閾值時，檢查所述虛擬緩衝器的剩餘代碼量，若所述剩餘代碼量小於規定的剩餘代碼量閾值，則不變更用於下一編碼順序圖像組的編碼的編碼參數，若所述剩餘代碼量為所述規定的剩餘代碼量閾值以上，則將所述編碼參數恢復到正常編碼時的編碼參數值。
10.如權利要求I、以及權利要求6至權利要求9中的任意一項所述的活動圖像編碼控制方法，其中， 所述編碼參數為量化參數或針對所述輸入視頻信號的預濾波器的濾波強度，或者這雙方，在所述編碼順序圖像組的再編碼時如下進行編碼參數的變更，即在所述編碼參數為所述量化參數時，在再編碼時加大所述量化參數的步長，而在所述編碼參數為所述預濾波器的所述濾波強度時，則加大濾波處理所造成的模糊程度。
11.一種活動圖像編碼裝置，以使解碼器中的虛擬緩衝器不會失效的方式控制發生代碼量並對輸入視頻信號進行編碼，其中具備 編碼部，對由規定數量的圖像所構成、並按編碼順序連續的圖像集合即編碼順序圖像組的各圖像，按照規定的編碼參數進行順次編碼； 量化統計量計算部，在每次所述圖像編碼時，都根據在該圖像的編碼中利用的量化參數信息來計算該圖像的量化統計量，並檢查所述量化統計量是否超過規定的閾值，在檢測到所述量化統計量超過所述規定的閾值時輸出重試信息；以及 參數調整部，在所述重試信息被輸出時，變更所述編碼參數以使得編碼所導致的發生代碼量減少，並將已變更的編碼參數通知給所述編碼部，所述編碼部在所述重試信息被輸出時，從編碼中的編碼順序圖像組的起始圖像開始使用所述參數調整部所變更的編碼參數對所述輸入視頻信號進行再編碼。
12.如權利要求11所述的活動圖像編碼裝置，其中， 所述編碼部按照和表示再編碼次數的重試計數對應而設定的編碼參數對所述編碼順序圖像組的各圖像進行順次編碼， 所述活動圖像編碼裝置還具備重試計數管理部，在所述重試信息被輸出時，使所述重試計數增加，並直到所述編碼順序圖像組中的最終圖像的編碼完成為止，在所述重試信息未輸出時，使所述重試計數減少， 所述參數調整部設定依照所述重試計數所確定的、所述重試計數的值越大則編碼所導致的發生代碼量越減少的編碼參數，並將所設定的編碼參數通知給所述編碼部。
13.如權利要求12所述的活動圖像編碼裝置，其中還具備 緩衝器狀態預測部，在所述量化統計量未超過所述規定的閾值而編碼已完成的情況下，根據所述虛擬緩衝器的剩餘代碼量是否為規定的剩餘代碼量閾值以上而輸出表示需要參數變更或者無需參數變更的參數變更有無信息，直到所述編碼順序圖像組中的最終圖像為止， 所述重試計數管理部，在從所述緩衝器狀態預測部輸入所述參數變更有無信息時，若所述參數變更有無信息為表示無需參數變更或者所述重試計數為O，則不變更所述重試計數的值，若所述參數變更有無信息為表示需要參數變更且所述重試計數不為O，則使所述重試計數減少。
14.一種活動圖像編碼裝置，以使解碼器中的虛擬緩衝器不會失效的方式控制發生代碼量並對輸入視頻信號進行編碼，其中具備 編碼部，對由規定數量的圖像所構成、並按編碼順序連續的圖像集合即編碼順序圖像組的各圖像，按照規定的編碼參數進行順次編碼； 量化統計量計算部，在每次所述圖像編碼時，都根據在該圖像的編碼中利用的量化參數信息來計算該圖像的量化統計量，並檢查所述量化統計量是否超過規定的閾值，在檢測到所述量化統計量超過所述規定的閾值時輸出重試信息； 參數調整部，在所述重試信息被輸出時，變更所述編碼參數以使得編碼所導致的發生代碼量減少，並將已變更的編碼參數通知給所述編碼部； 緩衝器狀態預測部，在所述編碼順序圖像組的編碼已完成時，檢查所述虛擬緩衝器的剩餘代碼量，並判斷所述剩餘代碼量是否為規定的剩餘代碼量閾值以上；以及 重試點管理部，按照所述緩衝器狀態預測部的判斷結果，若所述虛擬緩衝器的所述剩餘代碼量為所述規定的剩餘代碼量閾值以上，則將重試點設定成下一編碼順序圖像組的起始圖像，若所述虛擬緩衝器的所述剩餘代碼量小於所述規定的剩餘代碼量閾值，則不變更所述重試點，並在下一編碼順序圖像組的起始圖像的編碼中所述量化統計量未超過所述規定的閾值時，將所述重試點設定成該編碼順序圖像組的起始圖像， 所述編碼部在所述重試信息被輸出時，從作為所述重試點所設定的編碼順序圖像組的起始圖像，使用所述參數調整部所變更的編碼參數對所述輸入視頻信號進行再編碼。
15.一種活動圖像編碼裝置，以使解碼器中的虛擬緩衝器不會失效的方式控制發生代碼量並對輸入視頻信號進行編碼，其中具備編碼部，對由規定數量的圖像所構成、並按編碼順序連續的圖像集合即編碼順序圖像組的各圖像，按照規定的編碼參數進行順次編碼； 量化統計量計算部，在每次所述圖像編碼時，都根據在該圖像的編碼中利用的量化參數信息來計算該圖像的量化統計量，並檢查所述量化統計量是否超過規定的閾值，在檢測到所述量化統計量超過所述規定的閾值時輸出重試信息； 參數調整部，在所述重試信息被輸出時，變更所述編碼參數以使得編碼所導致的發生代碼量減少，並將已變更的編碼參數通知給所述編碼部；以及 重試點管理部，在再編碼時，根據作為再編碼對象的圖像能夠追溯的最大圖像數即最大圖像間距離，設定表示開始所述再編碼的圖像的位置的重試點， 所述編碼部在所述重試信息被輸出時，從在編碼中的編碼順序圖像組中作為所述重試點所設定的圖像開始使用所述參數調整部所變更的編碼參數對所述輸入視頻信號進行再編碼。
16.一種活動圖像編碼程序，用於使計算機執行權利要求I到權利要求10中任意一項所述的活動圖像編碼控制方法。
全文摘要
本發明抑制CPB(編碼圖像緩衝器)的下溢，並且以少於現有的二次編碼的運算量來實現像質劣化少的活動圖像編碼。一種活動圖像編碼控制方法，以使解碼器中的虛擬緩衝器不會失效的方式控制發生代碼量並對輸入視頻信號進行編碼，包括以下步驟對由規定數量的圖像所構成、並按編碼順序連續的圖像集合即編碼順序圖像組的各圖像，按照規定的編碼參數進行順次編碼；在每次圖像編碼時，根據在圖像的編碼中利用的量化參數信息來計算圖像的量化統計量，並檢查量化統計量是否超過規定的閾值；在量化統計量超過規定的閾值時，變更編碼參數以使得因編碼所導致的發生代碼量減少，並從編碼中的編碼順序圖像組的起始圖像開始使用變更後的編碼參數進行再編碼。
文檔編號H04N7/26GK102870415SQ20118002298
公開日2013年1月9日 申請日期2011年5月2日 優先權日2010年5月12日
發明者北原正樹, 清水淳, 小野尚紀 申請人:日本電信電話株式會社