圖象信號編碼方法及裝置的製作方法
2023-05-01 20:30:16 1
專利名稱：圖象信號編碼方法及裝置的製作方法
技術領域：
本發明涉及一種圖象信號編碼方法和裝置，特別是涉及在進行使用量化的編碼的圖象信號編碼裝置中，把圖象信號(視頻信號)分成第一路徑和第二路徑，或者以先行的路徑和後行的路徑的前饋形式進行編碼的圖象信號編碼方法和裝置。
在現有技術中，把圖象信號分成第一路徑和第二路徑來進行編碼的2路徑型圖象信號編碼裝置是公知的(例如，日本專利公開公報特開平7-284097號)。在該現有的圖象信號編碼裝置中，首先，在第一路徑中，在編碼電路中把例如2小時的圖象信號以與發生數據量的大小無關的一定的量化寬度進行量化，然後，進行可變長編碼，在每個預定單位中把所得到的編碼數據量記錄在存儲電路中。在採用由MPEG所進行的壓縮編碼方式來作為編碼方式的情況下，圖象信號相對於全部視頻序列按圖象單位把發生編碼量作為信息被記錄在存儲電路中。
以MPEG為代表的編碼方式，由於進行可變長編碼，則當使量化寬度成為固定的來進行第一路徑時，對應於編碼圖象的複雜和運動補償殘留誤差成分量而使發生編碼量變多。利用該性質，預先調查發生編碼量的分布狀態，在第二路徑中進行編碼量的分配以便於儘量接近於該分布，由此能夠使畫質成為均勻的。理論上，如果使用圖象單位的調查結果，就能在時間上把各圖象的畫質控制成均勻的。
即，在第二路徑中，把與輸入第一路徑相同的圖象信號進行編碼。此時，求出與在上述存儲電路中存儲的第一路徑的編碼數據的每個預定短期間的發生數據量大致成比例並且總和成為光碟等記錄媒體的總容量這樣的每個預定短期間的目標數據量，為了得到該目標數據量，在第二路徑中，依次可變控制量化寬度來進行編碼。
在第二路徑中，保持其編碼量分配比率，同時，必須對全體的目標編碼量控制傳輸率。在現有技術中，發生編碼量用在第一路徑中發生的圖象單位進行檢出，記錄該信息。在第一路徑中，一般減少量化寬度，而發生多於在第二路徑中所輸出的最終編碼量的編碼量。通過進行減少，檢出細化到圖象的高頻成分的信息，而檢出該圖象的特性。使用該發生編碼量和量化寬度所表示的大致反比例的關係，來算出在第二路徑中成為目標的每個圖象的編碼量，對其值進行控制。
即，當使由第一路徑的某個圖象發生的編碼量為pass1BIT，使此時的圖象全體的平均量化寬度為pass1Q，使在第二路徑中成為目標的編碼量為pass2BIT時，在第二路徑中的預想平均量化寬度pass2Q由下式得到pass2Q＝pass1BIT×pass1Q/pass2BIT在第二路徑中的預想平均量化寬度pass2BIT基本上可以這樣得到計算在全部第一路徑中的圖象中發生的編碼量pass1BIT的結果與總計的值的比率，然後，用該比率乘以在第二路徑中成為目標的總計目標編碼量。在第二路徑中的預想平均量化寬度pass2Q，在MPEG等可變長編碼中，在統計學上具有發生編碼量的0.7～0.9倍與平均量化寬度成反比例的傾向，其具體的值根據輸入圖象而變化。
使這樣得到的在第二路徑中的預想平均量化寬度pass2Q為圖象的最初的塊的初始值Q0。為了對分配給各圖象的目標的編碼量pass2BIT進行控制，進行相加運算以達到在每塊中對發生編碼量進行編碼的程度，當增加到一定時，與把所假定的編碼量遷移值的差以塊單位反饋給量化器。
即，把用下式所計算的誤差d(j)作為量化器的量化寬度進行反饋d(j)＝d0+Bits(j-1)-(pass2BIT×j/NumOfMB)…(1)其中，在式(1)中，d0是各假想緩衝器的初始佔有量，Bits(j)是從各圖象的開頭到第j個塊的發生編碼量的總和，NumOfMB是微塊的數量，表示在圖象中包含的塊數。
把第j個量化寬度作為Q(j)，當用5比特(從0到31的值)來進行表示時，則可以由下式求出Q(j)＝d(j)×31/r…(2)在式(2)中，r是由下式所表示的決定反饋的響應速度的參數r＝2×Bit_rate/Picture_rate …(3)其中，設定為與進行編碼的圖象信號的Bit_rate/Picture_rate成比例。
第一塊即當j＝0時，為d(0)＝d0，d0被原樣反映。預想平均量化寬度pass2Q即與Q0相對應的d0能夠這樣求出d0＝Q0×r/31 …(4)這樣一來，能夠進行圖象內的編碼量控制。
對於MPEG在ISO-IEC11172-2、ITU-T H.262/ISO-IEC13818-2中進行了詳細的說明。
在上述現有的圖象信號編碼裝置中，把按式(1)所計算的誤差d(j)作為量化器的量化寬度來進行反饋，但是，該式(1)假定了這樣的條件按圖6中用I表示那樣所假定的編碼量遷移曲線那樣，發生編碼量的存儲遷移曲線增加到一定。這等效於設想在圖象內各塊是平均的發生編碼量的情況來進行反饋，即進行在圖象全體中是均勻的圖案這樣的假定。
當按照這樣來進行量化寬度的反饋控制時，在發生編碼量較多的塊之後的塊中，進行量化寬度較大的控制，而在發生編碼量較少的塊之後的塊中，進行量化寬度較小的控制，由於進行圖6中用II表示的控制結果曲線那樣的比較強行的編碼量控制，則難於使對這樣編碼的編碼數據進行解碼所得到的圖象的畫質成為均勻的。
實際的圖象內的圖象通常是圖案的複雜度隨部位而不同。例如，如圖7那樣，畫面的上半部分是天空的平坦圖案，而與此相反，畫面的下半部分是家舍等複雜的圖案，當在第一路徑中對這樣的圖象以固定的量化寬度進行編碼時，編碼從畫面的左端向右端並且從上向下依次進行，因此，其發生編碼量的存儲遷移曲線按圖8中的由III表示的那樣描繪出這樣的軌跡最初的編碼量存儲值少於通常的，但是，後半部分的編碼量存儲值急劇增加。
這樣，當假定發生編碼量的存儲遷移曲線增加到一定時，圖6與圖8的存儲遷移曲線I和II的軌跡差較大，圖象內的畫質的均勻度被破壞，而引起解碼圖象的畫質變差。
在按編碼順序前半部分的發生編碼量極端低的情況下，會引起這樣的編碼量控制上的問題如果給前半部分提供較多的編碼，則極端的反饋動作，量化寬度變得極端小，在後半部分，如果削減編碼，極端的反饋動作，量化寬度變得極端大。
在分割圖象而對編碼進行並行處理的系統中，分割成進行並行處理的各個所分割的畫面的面積比率，在並行處理塊內，把該分割的目標編碼量分配成在第一路徑中發生的編碼的比率，而必須進行設定每個塊的目標編碼量這樣的複雜的計算處理。在該並行處理的一個一個中，會引起上述那樣的問題，結果導致畫質變差。
鑑於上述問題，本發明的目的是提供一種圖象信號編碼方法和裝置，即使在發生編碼量較多的塊和發生編碼量較少的塊之後，也能進行穩定的量化寬度控制。
本發明的另一個目的是提供一種圖象信號編碼方法和裝置，即使在分割圖象來對編碼進行並行處理的系統中，也能進行穩定的量化寬度控制。
為了實現上述目的，本發明的圖象信號編碼方法，其特徵在於，對於以由一個畫面的多個塊組成的圖象單位所合成輸入圖象數據，進行預定的信號處理，然後，以固定的量化寬度進行量化，以塊單位來對所得到的第一數據進行可變長編碼，存儲由該可變長編碼所產生的每塊的發生編碼量存儲遷移信息，然後，從預定的每個圖象的目標編碼量和存儲的發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於與輸入圖象數據相同的圖象數據再次進行預定的信號處理，然後，進行量化，以塊單位來對所得到的第二數據進行可變長編碼，求出由此得到的每塊的實際編碼發生量與計算的編碼量存儲遷移值的誤差，根據該誤差來可變控制第二數據的量化寬度，來進行使實際的編碼發生量接近於目標編碼量的編碼。
本發明的圖象信號編碼裝置，其特徵在於，包括第一編碼電路，對於以由一個畫面的多個塊組成的圖象單位所合成輸入圖象數據，進行預定的信號處理，然後，由第一量化器以固定的量化寬度進行量化，通過第一可變長編碼器以塊單位來對所得到的第一數據進行可變長編碼，並具有第一計算電路來計算由該可變長編碼所產生的每塊的發生編碼量存儲遷移信息；存儲裝置，存儲由第一計算電路所計算的發生編碼量存儲遷移信息；第二編碼電路，通過第二計算電路來從預定的每個圖象的目標編碼量和存儲的發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於與輸入圖象數據相同的圖象數據再次進行預定的信號處理，然後，由第二量化器進行量化，由第二可變長編碼器以塊單位來對所得到的第二數據進行可變長編碼，通過編碼量控制裝置來求出由此得到的每塊的實際編碼發生量與由第二計算電路計算的編碼量存儲遷移值的誤差，編碼量控制裝置根據該誤差來可變控制第二數據的量化寬度，以使實際的編碼發生量接近於目標編碼量。
在本發明的圖象信號編碼方法和裝置中，在第一路徑(第一編碼電路)中，計算在對圖象進行編碼時的每塊的發生編碼量存儲遷移信息並存儲在存儲裝置中，在第二路徑(第二編碼電路)中，使用從存儲裝置讀出的發生編碼量存儲遷移信息，在圖象內進行與實際發生編碼量相對應的編碼量控制，由此，能夠實現發生實際圖象的每塊的圖案的發生編碼量比率的反饋控制。
為了實現上述目的，本發明的方法，其特徵在於，所存儲的每塊的發生編碼量存儲遷移信息以在圖象全體中發生的編碼量進行標準化，而成為某個塊的發生編碼量與在編碼順序上前一個塊的發生編碼量的差分數據，計算的編碼量存儲遷移值是這樣的值用把編碼的塊之前的差分數據的相加值以在圖象全體中發生的編碼量進行標準化的值乘以每個圖象的目標編碼量。
本發明的裝置，所存儲的每塊的發生編碼量存儲遷移信息以在圖象全體中發生的編碼量進行標準化，而成為某個塊的發生編碼量與在編碼順序上前一個塊的發生編碼量的差分數據，第二計算電路計算出這樣的值來作為編碼量存儲遷移值用把編碼的塊之前的差分數據的相加值以在圖象全體中發生的編碼量進行標準化的值乘以每個圖象的目標編碼量。
在本發明的圖象信號編碼方法和裝置中，用塊單位所記錄的發生編碼量的信息以在圖象全體中發生的編碼量進行標準化，按照編碼順序，用與前一個塊的信息的差分來記錄每個塊的發生編碼量存儲遷移信息，因此，能夠用比較少的比特數來記述存儲遷移信息。
為了實現上述目的，在本發明的圖象信號編碼方法和裝置中，在把編碼分割給圖象來進行並行處理的系統中，由於用與前一個塊的信息的差分來記錄每個塊的發生編碼量存儲遷移信息，無論處理塊從哪個開始，使初始值為0，在每個塊中相加對應的塊的發生編碼量存儲遷移信息，由此能夠得到進行並行處理的各個所分割的那個畫面的發生編碼量存儲遷移信息，在該並行處理的一個一個中，能夠進行發生實際圖象的每塊的圖案的發生編碼量比率的反饋控制。
而且，為了實現上述目的，本發明的圖象信號編碼方法和裝置，包括作為先行路徑的第一編碼電路，對於以由一個畫面的多個塊組成的圖象單位所合成輸入圖象數據，進行預定的信號處理，然後，由第一量化器以固定的量化寬度進行量化，通過第一可變長編碼器以塊單位來對所得到的第一數據進行可變長編碼，由第一計算電路來計算由該可變長編碼所產生的每塊的發生編碼量存儲遷移信息；存儲裝置，對於預定圖象數量單位的輸入圖象數據，存儲由第一計算電路所計算的發生編碼量存儲遷移信息；延遲電路，把輸入圖象數據延遲預定圖象數；作為後行的第二編碼電路，通過第二計算電路來從預定的每個圖象的目標編碼量和從存儲裝置讀出的發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於與從延遲電路所取出的圖象數據再次進行預定的信號處理，然後，由第二量化器進行量化，由第二可變長編碼器以塊單位來對所得到的第二數據進行可變長編碼，通過編碼量控制裝置來求出由此得到的每塊的實際編碼發生量與由第二計算電路計算的編碼量存儲遷移值的誤差，編碼量控制裝置根據該誤差來可變控制第二數據的量化寬度，以使實際的編碼發生量接近於目標編碼量。
在本發明中，作為先行的第一編碼電路在預定圖象數之間進行計算，使用對存儲在存儲裝置中的預定圖象數的輸入圖象數據進行編碼時的每塊的發生編碼量存儲遷移信息，作為後行的第二編碼電路對通過延遲電路延遲了上述預定圖象數的輸入圖象數據在圖象內進行與實際發生編碼量的差相對應的編碼量控制，由此，能夠進行發生實際圖象的每塊的圖案的發生編碼量比率的反饋控制。
本發明使構成先行路徑的上述第一編碼電路具有存儲器，來取代第一可變長編碼器以存儲進行預定的信號處理的輸入圖象數據或者輸入圖象數據，通過第一計算電路來根據從存儲器讀出的圖象數據的活動值來計算每塊的發生編碼量存儲遷移信息。在本發明中，不需要可變長編碼處理以及預定的信號處理，而能夠計算大致正確或者概略的編碼量存儲遷移信息。
本發明的這些和其他的目的、優點及特徵將通過結合附圖對本發明的實施例的描述而得到進一步說明。在這些附圖中
圖1是本發明的第一實施例的第一路徑的方框圖；圖2是本發明的第一實施例的第二路徑的方框圖；圖3是第一路徑的信息的記錄格式的例子；圖4是用於本發明的一個實施例的畫面分割並行處理的編碼量遷移值數據的示意圖；圖5是用於本發明的一個實施例的畫面分割並行處理的編碼量遷移值曲線的坐標系的示意圖；圖6是現有的編碼量遷移曲線的一個例子；圖7是編碼圖象的一個例子；圖8是本發明的一個實施例的控制結果曲線的一個例子；圖9是把一個畫面分割成兩個並對每個分割畫面並行編碼時的第一路徑及其主要部分的方框圖10是把一個畫面分割成兩個並對每個分割畫面並行編碼時的第二路徑及其主要部分的方框圖；圖11是本發明的第二實施例的方框圖；圖12是本發明的第三實施例的方框圖；圖13是本發明的第四實施例的方框圖。
下面對本發明的實施例進行說明。圖1是本發明的圖象信號編碼方法和裝置的第一實施例的第一路徑的方框圖，圖2是本發明的圖象信號編碼方法和裝置的第一實施例的第二路徑的方框圖。兩個圖中，使用相同標號的構成部分是相同的。該實施例中的編碼使用例如MPEG編碼。由於在ISO-IEC11172-2、ITU-T H.262/ISO-IEC13818-2中對MPEG進行了詳細的說明，則在此僅進行簡要的說明。
首先，參照圖1來對第一路徑進行說明。在由亮度信號和色差信號所構成的圖象信號被數位化後，與圖象類型配合進行並行代換，作為輸入圖象數據被輸入作為第一路徑的第一編碼電路A的輸入端子10。該輸入圖象數據由減法器11與來自運動補償預測器12的運動補償預測化的圖象數據相減，而成為削減了時間冗餘部分的差分圖象數據。該差分圖象數據被提供給DCT器13，在此進行離散餘弦變換(DCTDiscreteCosing Transform)。該DCT是把餘弦函數作為積分核的積分變換而向有限空間進行離散變換的正交變換。
一般，圖象信號的低頻成分較多，高頻成分較少，因此，當進行DCT時，所得到的係數集中在低頻中。進行了DCT的圖象數據(DCT係數)被提供給量化器14，在此以固定的量化寬度進行量化。該量化這樣進行把用視覺特性對量化矩陣這樣的8×8的二維頻率進行加權的值和用數量倍的量化標度這樣的值乘以其全體的值作為量化寬度，用該量化寬度除以DCT係數。
被量化的DCT係數與來自運動補償預測器12的運動矢量和表示來自哪個的預測的預測方式一起被提供給可變長編碼器(VLC器)18，來進行可變長編碼。在該可變長編碼時，DCT係數的直流成分使用作為預測編碼之一的DPCM，DCT係數的交流成分從低頻到高頻進行Z形掃描，把零的連續出現次數和活動係數值作為一個事項，根據出現概率高的，分配編碼長度短的編碼，來進行赫夫曼編碼。
另一方面，I圖象(幀內編碼圖象)和P圖象(幀間正向預測編碼圖象)在其後需要作為運動補償預測的參照畫面而使用，因此，由量化器14所量化的信息被提供給逆量化器15，來進行逆量化，進而，由逆DCT器16進行逆DCT，由此，進行局部解碼，與解碼器相同的圖象被復原，而存儲在圖象存儲器17中。
存儲在該圖象存儲器17中的圖象數據被提供給運動補償預測器12，而成為下一個運動補償預測的參照畫面。用減法器11從I圖象以外的圖象的輸入圖象數據減去由該運動補償預測器12所得到的圖象數據而得到的數據，即運動補償後的差分圖象數據被進行編碼。另一方面，I圖象的輸入圖象數據按原狀進行編碼。
在第一路徑中使用固定的量化值進行MPEG編碼。在該實施例中，當由VLC器18進行可變長編碼時，把每塊(例如，是16×16象素，在MPEG中把其稱為微塊，而在本說明書中，簡稱為塊)的發生編碼量結果信息送給塊編碼量計數器19。由塊編碼量計數器19所計數的發生編碼量被提供給編碼量存儲遷移信息計算電路20，來計算塊的編碼量存儲遷移信息。所計算的編碼量存儲遷移信息通過記錄電路21而記錄在記錄媒體22上。記錄媒體22可以是硬碟和高速的存儲媒體、存儲器等具有記錄功能的器件。
作為每塊的發生編碼量存儲遷移信息的存儲方法，在求出由多個塊組成的圖象全體總和的時刻，存儲假設把其值作為2的N次方時的標準化的編碼量。在2的N次方下進行標準化，可以在進行與由第二路徑所提供的目標編碼量相對的比例計算的情況下，分母成為比特位移運算。其中，假設在2048(＝211)下進行標準化。
每塊的發生編碼量存儲遷移信息用5比特(從0到31)的值來代表。該每塊的發生編碼量存儲遷移信息表示當按編碼順序來把每塊的發生編碼量相加時的推移，因此，當在一個塊中存在超過31/2048的值這樣的發生編碼量時，用5比特的最大值31來進行限制，不能表現的編碼量與下一個塊的發生編碼量相加來進行表現。
如圖3所示的那樣，作為存儲的格式，開始用12比特存儲圖象的編碼量，然後，按塊數分別用5比特存儲塊的發生編碼量遷移差分數據。
下面參照圖2的方框圖來對作為第二編碼電路B的第二路徑進行說明。第二路徑的基本編碼動作與第一路徑相同。所不同的是如圖2所示的那樣，設置圖象目標編碼量決定電路24、編碼量存儲遷移信息計算電路25和編碼量控制電路26，該圖象目標編碼量決定電路24使用在記錄媒體22中記錄的信息，通過後述算法，來計算每個圖象的目標編碼量或者每塊中編碼時的發生編碼量遷移，編碼量控制電路26控制發生編碼量以便於與其中所設定的推移匹配。
在圖2中，在第二編碼電路B的輸入端子10中輸入與在第一路徑中所輸入的圖象信號相同的圖象信號。編碼量控制電路26使用下述的算法，而由塊編碼量計數器19來計算由VLC器18進行了可變長編碼的發生編碼量，把該發生編碼量值和目標的編碼量存儲遷移信息值的誤差反饋給量化器14，來進行編碼量控制。
下面，說明圖象目標編碼量決定電路24內的算法的例子。當使由第一路徑的某個圖象發生的編碼量為pass1BIT，使此時的圖象全體的平均量化寬度為pass1Q，使在第二路徑中成為目標的編碼量為pass2BIT時，如上述那樣，在第二路徑中的預想平均量化寬度pass2Q由下式得到pass2Q＝pass1BIT×pass1Q/pass2BIT與現有技術相同，在第二路徑中的預想平均量化寬度pass2BIT基本上可以這樣得到計算在全部第一路徑中的pass1BIT的結果與總計的值的比率，然後，用該比率乘以在第二路徑中成為目標的總計目標編碼量pass2BIT。
把這樣得到的第二路徑中的預想平均量化寬度pass2Q作為圖象最初塊的初始值Q0。為了對分配給各圖象的目標的編碼量pass2BIT進行控制，在每塊中對發生編碼量進行編碼之前，進行相加運算，同時，以由重放電路23從記錄媒體22重放的差分塊編碼量存儲遷移信息為基礎，由編碼量存儲遷移信息計算電路25計算塊編碼量存儲遷移值。
接著，編碼量控制電路26根據從塊編碼量計數器19所輸入的實際發生的編碼量Bits(j-1)、分配給來自圖象目標編碼量決定電路24的各圖象的目標的編碼量pass2BIT和來自編碼量存儲遷移信息計算電路25的塊編碼量存儲遷移值，來以塊單位計算出實際發生的編碼量與計算的塊編碼量存儲值的差分(誤差)，把該誤差d(j)作為量化值而反饋給量化器14。即，編碼量控制電路26通過下式來計算出按「2048」標準化的誤差d(j)d(j)＝d0+Bits(j-1)-(pass2BIT×trans(j-1)/2048) …(5)把其作為量化值而反饋給量化器14。其中，在上式中，d0是各假想緩衝器的初始佔有量，Bits(j)是從各圖象的開頭到第j個塊的實際的發生編碼量之和，trans(j-1)是使「2048」為100％時的從各圖象的開頭到第j個塊的編碼量存儲遷移值(第一個為j＝0)。這樣，式(5)中的「pass2BIT×trans(j-1)/2048」表示該圖象中的從開頭到第j個塊的塊編碼量存儲值(標準值)，trans(j-1)在「2048」時與目標的編碼量pass2BIT相一致。即，塊編碼量存儲值(標準值)是以在圖象全體中發生的編碼量進行標準化的值。
第j個量化值Q(j)由下式表示Q(j)＝d(j)×31/r …(6)其中，r是由下式所表示的決定反饋的響應速度的參數r＝2×Bit_rate/Picture_rate …(7)其中，在式(7)中，設定為與進行編碼的圖象信號的Bit_rate/Picture_rate成比例。Bit_rate是每一秒中的平均目標編碼量，Picture_rate是每一秒中的輸入幀數。
對於不進行上述每塊的誤差反饋的第一塊(即，j＝0時)，為式(5)中的d(0)0d0，各假想緩衝器的初始佔有量d0被原封不動地反映給誤差d(0)。預想平均量化寬度pass2Q即與Q(0)＝Q0相對應的各假想緩衝器的初始佔有量d0通過把j＝0代入式(6)，就能由下式求出d0＝Q0×r/31 …(8)這樣就能進行圖象內的編碼量控制。
這樣，根據本實施例，在每塊中誤差被進行反饋，如果理想地被控制，就成為與第一路徑大致相同的編碼量分配比率。由此，由於發生實際圖象的每塊的圖案的發生編碼量比率的反饋控制起作用，即使對於發生編碼量較多的塊和發生編碼量較少的塊之後的塊，也能進行穩定的量化寬度控制，能夠使全體的畫質均勻化，結果能夠保持高畫質。例如，在第一路徑中以固定量化寬度來對圖7所示的那樣的圖象進行編碼而得到的如發生編碼量的存儲遷移曲線III那樣的最初的編碼量存儲值少於通常的，但是，即使在描繪後半部分的編碼量存儲值急劇增加這樣的軌跡的情況下，在本實施例的第二路徑中，能夠描繪出在該圖中由IV表示的控制結果曲線而進行穩定的量化寬度控制。
在圖2中，從VLC器18所取出的可變長編碼數據以不規則的速率發生，因此，在暫時存儲在緩衝存儲器27之後，以一定的速率作為編碼數據(MPEG視頻流)而輸出。
下面，考慮到硬體的負擔，對在分割圖象而並行處理編碼的系統中使用該實施例的情況進行說明。對於相應的塊，當使每塊的發生編碼量存儲遷移信息與前一個塊的信息的差分數據為dij時，如圖4所示的那樣，各塊按照編碼順序，從左向右地處理d00到d01、d02、…、d0n和最初的塊行，接著處於下一行的一個塊，同樣以d10、d11、d12、…這樣的順序依次記錄數據。
其中，把一個畫面分成兩個，在並行地對每個分割畫面進行編碼時(即，並行處理分割成兩個時)，在圖4的一個畫面(圖象或者幀)中，當第一分割處理是對每塊的差分數據d0到dm-1，n來進行，並且第二分割處理是對每塊的差分數據dm0到dkn來進行時，塊數和編碼量存儲推移值的關係曲線為圖5所示的那樣，如果在沒有意識到分割邊界的條件下製成的記錄信息從開始塊地址加上差分數據，而能夠分割成兩個坐標系A和B來進行並行處理。其中，第一分割處理的最初差分數據d00是與初始值0相對應的最初塊的差分數據，第二分割處理的最初塊差分數據dm0是與初始值0相對應的差分數據。
由此，在現有技術中，當進行畫面分割並行處理時，在第一路徑中對每個畫面計算發生編碼量，從全體的編碼量來計算比率，進而，在第二路徑中，在確定了圖象全體的目標編碼量之後，不需要進行以該比率分配目標編碼量這樣的計算。
在上述並行處理被分成兩個的情況下，在圖2的第二路徑中，記錄媒體22、重放電路23、圖象目標編碼量決定電路24和編碼量存儲遷移信息計算電路25可以共同構成，而其他的電路部分需要並列地分別設置兩組。在第一路徑中，由於共用第二路徑的電路，則除記錄電路21和記錄媒體22之外的電路部分需要並列設置兩組。
即，第一路徑被表示為圖9(A)，在該圖(B)所示的構成的並列編碼電路29a、29b中分別輸入由畫面分割電路28分割成兩個的每個畫面的圖象數據。並且，第二路徑被表示為圖10(A)，在該圖(B)所示的構成的並列編碼電路51a、51b中分別輸入由畫面分割電路28分割成兩個的每個畫面的圖象數據。在圖9和圖10中，與圖1和圖2相同的構成部分使用相同的標號，而省略其說明。
根據該實施例，由於用與前一個塊的信息的差分來記錄每塊的發生編碼量存儲遷移信息，無論並行處理的塊從哪塊開始，即，無論分割邊界從哪裡開始，能夠使初始值為0，在每塊中相加運算對應的塊的差分發生編碼量存儲遷移信息，並且能夠得到進行並行處理的各個分割的畫面的發生編碼量存儲遷移信息，在該並行處理的一個一個中，能夠進行發生實際圖象的每塊的圖案的發生編碼量比率的反饋控制，因此，即使在發生編碼量較多的塊和發生編碼量較少的塊之後，也能進行穩定的量化寬度控制，能夠使全體的畫質均勻化，結果能夠保持高畫質。
下面對本發明的第二實施例進行說明。圖11表示本發明的圖象信號編碼方法和裝置的第二實施例的方框圖。在該圖中，與圖1相同的構成部分使用相同的標號，而省略其說明。圖11所示的第二實施例是與前饋編碼相對應的實施例，由先行路徑的第一編碼電路C和後行路徑的第二編碼電路D組成。
第一實施例是在所謂的2路徑型編碼電路中，由第一路徑的編碼電路A對一個節目的全部圖象信號進行編碼處理，然後，由第二路徑的編碼電路B根據第一路徑的編碼處理結果來對同一圖象信號進行編碼，但是，下面則是在所說明的前饋型編碼電路中，使一個節目的圖象信號先於1GOP(圖象組)時間等的預定時間，先行路徑(第一編碼電路C)進行編碼處理，接著其，後行路徑(第二編碼電路D)根據先行路徑的編碼處理結果對同一圖象信號進行編碼。
先行路徑的編碼電路C通過與第一實施例中的第一路徑相同的構成而使用固定的量化值進行MPEG編碼，由塊編碼量計數器19檢出每塊的發生編碼量結果信息，由編碼量存儲遷移信息計算電路20根據每塊的發生編碼量結果信息來計算塊的編碼量存儲遷移信息，把該編碼量存儲遷移信息通過記錄電路21記錄在存儲器31中。
另一方面，從輸入端子10所輸入的圖象數據由延遲電路30延遲幾個圖象時間，分別輸入後行路徑的編碼電路D內的減法器33和運動補償預測器34。上述作為延遲時間的幾個圖象時間的先行路徑的編碼信息被存儲在存儲器31中。該延遲時間為相當於由MPEG所定義時的1GOP的時間(一般為15幀時間)或者3幀時間程度。
該後行路徑進行基本上與先行路徑相同的動作。即，在來自延遲電路30的圖象數據中，除I圖象之外的圖象由減法器33與來自運動補償預測器34的運動補償預測的圖象數據相減，而成為削減了時間冗餘部分的差分圖象數據。該差分圖象數據被提供給DCT器35，或者，當輸入圖象數據是I圖象時，I圖象原封不動地提供給DCT器35，在此進行DCT之後，提供給量化器36，在此以按照來自編碼量控制電路44的控制的量化寬度進行量化。被量化的DCT係數與來自運動補償預測器34的運動矢量和表示來自哪個的預測的預測方式一起提供給VLC器40，而進行可變長編碼，然後，存儲在輸出緩衝器45中，由此來連續地進行讀出而作為MPEG流被輸出。
I圖象(幀內編碼圖象)和P圖象(幀間正向預測編碼圖象)在其後需要作為運動補償預測的參照畫面而使用，因此，由量化器36所量化的信息被提供給逆量化器37，來進行逆量化，進而，由逆DCT器38進行逆DCT，由此，進行局部解碼，與解碼器相同的圖象被復原，而存儲在圖象存儲器39中。存儲在該圖象存儲器39中的圖象數據被提供給運動補償預測器34，而成為下一個運動補償預測的參照畫面。
另一方面，由VLC器40進行了可變長編碼的數據的發生編碼量由塊編碼量計數器41進行計算。通過重放電路32，以從存儲器31所讀出的差分塊編碼量存儲遷移信息為基礎，由編碼量存儲遷移信息計算電路43來計算塊編碼量存儲遷移值，並且，由圖象目標編碼量決定電路42以與上述圖象目標編碼量決定電路24相同的算法來決定圖象目標編碼量。
編碼量控制電路44根據從塊編碼量計數器41所輸入的實際發生的編碼量Bits(j-1)、分配給來自圖象目標編碼量決定電路42的各圖象的目標的編碼量pass2BIT和來自編碼量存儲遷移信息計算電路43的塊編碼量存儲遷移值，以塊單位根據上述式(5)來計算出實際發生的編碼量與計算的塊編碼量存儲值的差分(誤差)，把該誤差d(j)作為量化值而反饋給量化器36，來進行編碼量控制。
由此，該實施例與第一實施例相同，即使在發生編碼量較多的塊和發生編碼量較少的塊之後，也能進行穩定的量化寬度控制，能夠使全體的畫質均勻化，結果能夠保持高畫質。並且，在第一實施例的兩路徑型編碼電路中，對於例如2小時的節目的圖象信號的編碼，至少花費兩個路徑中各2小時的共計4小時，而在本實施例中，由於是前饋型的，就能以在2小時上增加延遲電路30的延遲時間的時間程度較短時間來進行編碼處理。
下面對本發明的第三實施例進行說明。圖12表示本發明的圖象信號編碼方法和裝置的第三實施例的方框圖。在該圖中，與圖11相同的構成部分使用相同的標號，而省略其說明。圖12所示的第三實施例是與前饋編碼相對應的實施例，在由先行路徑的編碼電路E和後行路徑的編碼電路D組成這點上與第二實施例相同，但是，該實施例在先行路徑的編碼電路E中不正確進行DCT和量化以及VLC，I圖象以輸入圖象的原狀暫時寫入圖象存儲器47，而除I圖象之外的輸入圖象作為與進行了運動補償預測的圖象相減的差分圖象數據而暫時寫入圖象存儲器47。
塊活動計數器48對從該圖象存儲器47讀出的圖象數據計數其活動。當該活動為使用塊內的圖象數據的分散值或者絕對值和等時，具有與每塊的發生編碼量成比例的關係。因此，把由塊活動計數器所得到的計數值看作為塊的發生編碼量提供給編碼量存儲遷移信息計算電路20。由此，根據該實施例，能夠用少於進行正確的DCT和量化以及VLC時的處理量來計算基本正確的編碼量存儲遷移曲線。
下面對本發明的第四實施例進行說明。圖13表示本發明的圖象信號編碼方法和裝置的第四實施例的方框圖。在該圖中，與圖12相同的構成部分使用相同的標號，而省略其說明。圖13所示的第四實施例是與前饋編碼相對應的實施例，在由先行路徑的編碼電路F和後行路徑的編碼電路D組成這點上與第二和第三實施例相同，但是，該實施例在先行路徑的編碼電路F中不正確進行DCT和量化以及VLC，而且，對於除I圖象之外的輸入圖象不作為與進行了運動補償預測的圖象相減的差分圖象數據，把與圖象的差別無關的全部圖象以輸入圖象數據的原狀而暫時寫入圖象存儲器50。
塊活動計數器48對從該圖象存儲器50讀出的圖象數據計數其活動。把所得到的計數值看作為塊的發生編碼量而提供給編碼量存儲遷移信息計算電路20。該活動使用塊內的圖象數據的分散值或者絕對值和等。由此，與實際的編碼量存儲遷移曲線的誤差稍稍增加，但是，用非常簡便的方法能夠計算概略的編碼量存儲遷移曲線。
本發明並不僅限於以上實施例，例如能夠在進行了圖9和圖10所示的那樣的畫面分割處理之後，並行地對圖11～圖13所示的實施例進行編碼處理。
如上述那樣，根據本發明，在兩路徑型編碼或前饋型編碼中，當在第二路徑或者後行路徑中的編碼時，使用發生編碼量存儲遷移信息，來在圖象內進行與實際發生的編碼量之差相對應的編碼量控制，由此，由於發生實際圖象的每塊的圖案的發生編碼量比率的反饋控制起作用，即使對於發生編碼量較多的塊和發生編碼量較少的塊之後的塊，也能進行穩定的量化寬度控制，能夠使全體的畫質均勻化，結果能夠保持高畫質。
根據本發明，用其塊單位所記錄的發生編碼量的信息以在圖象全體中發生的編碼量進行標準化，按照編碼順序，用與前一個塊的信息的差分來記錄每個塊的發生編碼量存儲遷移信息，因此，能夠用比較少的比特數來記述存儲遷移信息，而能夠實現信息文件的縮小化。
根據本發明，在前饋型編碼中，使構成先行路徑的上述第一編碼電路具有存儲器，來取代第一可變長編碼器以存儲進行預定的信號處理的輸入圖象數據或者輸入圖象數據，通過第一計算電路來根據從存儲器讀出的圖象數據的活動值來計算每塊的發生編碼量存儲遷移信息，由此，不需要可變長編碼處理以及預定的信號處理，來計算大致正確或者概略的編碼量存儲遷移信息，由此能夠大幅度削減計算量。
而且，根據本發明，在把編碼分割給圖象來進行並行處理的系統中，由於用與前一個塊的信息的差分來記錄每個塊的發生編碼量存儲遷移信息，無論處理塊從哪個開始，使初始值為0，在每個塊中相加對應的塊的發生編碼量存儲遷移信息，由此能夠得到進行並行處理的各個所分割的那個畫面的發生編碼量存儲遷移信息，在該並行處理的一個一個中，能夠進行發生實際圖象的每塊的圖案的發生編碼量比率的反饋控制，因此，即使對於發生編碼量較多的塊和發生編碼量較少的塊之後的塊，也能進行穩定的量化寬度控制，能夠使全體的畫質均勻化，結果能夠保持高畫質。
權利要求
1.一種圖象信號編碼方法，其特徵在於，對於以由一個畫面的多個塊組成的圖象單位所合成輸入圖象數據，進行預定的信號處理，然後，以固定的量化寬度進行量化，以塊單位來對所得到的第一數據進行可變長編碼，存儲由該可變長編碼所產生的每塊的發生編碼量存儲遷移信息，然後，從預定的每個圖象的目標編碼量和存儲的發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於與輸入圖象數據相同的圖象數據再次進行預定的信號處理，然後，進行量化，以塊單位來對所得到的第二數據進行可變長編碼，求出由此得到的每塊的實際編碼發生量與計算的編碼量存儲遷移值的誤差，根據該誤差來可變控制第二數據的量化寬度，來進行使實際的編碼發生量接近於目標編碼量的編碼。
2.一種圖象信號編碼方法，其特徵在於，對把一個畫面分割成多個畫面的上述輸入圖象數據在每個所分割的畫面部分並行地進行預定的信號處理，然後，以固定的量化寬度進行量化，以塊單位並行地對所得到的第一數據進行可變長編碼，存儲由該可變長編碼所產生的某個塊的發生編碼量和初始值為0的編碼順序上的前一個塊的發生編碼量的差分數據，然後，從預定的每個圖象的目標編碼量和上述存儲的發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於與輸入圖象數據相同的圖象數據在每個所分割的畫面部分中再次並行地進行上述預定的信號處理，並進行量化處理，以塊單位來對所得到的第二數據並行地進行可變長編碼，求出由此得到的每塊的實際編碼發生量與上述計算的編碼量存儲遷移值的誤差，根據該誤差來可變控制上述第二數據的量化寬度，來進行使上述實際的編碼發生量接近於上述目標編碼量的編碼。
3.一種前饋型圖象信號編碼方法，其特徵在於，對於以由一個畫面的多個塊組成的圖象單位所合成輸入圖象數據，進行預定的信號處理，然後，以固定的量化寬度進行量化，以塊單位來對所得到的第一數據進行可變長編碼，存儲由該可變長編碼所產生的每塊的發生編碼量存儲遷移信息，然後，從預定的每個圖象的目標編碼量和存儲的發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於把上述輸入圖象數據延遲了預定圖象數的圖象數據再次進行上述預定的信號處理，然後，進行量化，以塊單位來對所得到的第二數據進行可變長編碼，求出由此得到的每塊的實際編碼發生量與上述計算的編碼量存儲遷移值的誤差，根據該誤差來可變控制上述第二數據的量化寬度，來進行使上述實際的編碼發生量接近於上述目標編碼量的編碼。
4.根據權利要求1或3所述的圖象信號編碼方法，其特徵在於，所存儲的上述每塊的發生編碼量存儲遷移信息以在圖象全體中發生的編碼量進行標準化，而成為某個塊的發生編碼量與在編碼順序上前一個塊的發生編碼量的差分數據，上述計算的編碼量存儲遷移值是這樣的值用把編碼的塊之前的上述差分數據的相加值以在上述圖象全體中發生的編碼量進行標準化的值乘以上述每個圖象的目標編碼量。
5.一種圖象信號編碼裝置，其特徵在於，包括第一編碼電路，對於以由一個畫面的多個塊組成的圖象單位所合成輸入圖象數據，進行預定的信號處理，然後，由第一量化器以固定的量化寬度進行量化，通過第一可變長編碼器以塊單位來對所得到的第一數據進行可變長編碼，並具有第一計算電路來計算由該可變長編碼所產生的每塊的發生編碼量存儲遷移信息；存儲裝置，存儲由第一計算電路所計算的發生編碼量存儲遷移信息；第二編碼電路，通過第二計算電路來從預定的每個圖象的目標編碼量和存儲的發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於與輸入圖象數據相同的圖象數據再次進行預定的信號處理，然後，由第二量化器進行量化，由第二可變長編碼器以塊單位來對所得到的第二數據進行可變長編碼，通過編碼量控制裝置來求出由此得到的每塊的實際編碼發生量與由第二計算電路計算的編碼量存儲遷移值的誤差，編碼量控制裝置根據該誤差來可變控制第二數據的量化寬度，以使實際的編碼發生量接近於目標編碼量。
6.一種圖象信號編碼裝置，其特徵在於，包括第一編碼電路，對由把一個畫面分割成多個畫面的多個塊組成的輸入圖象數據在每個所分割的畫面部分並行地進行預定的信號處理，然後，由第一量化器以固定的量化寬度進行量化，由多個第一可變長編碼器以塊單位並行地對所得到的第一數據進行可變長編碼，由多個第一計算電路來計算由該可變長編碼所產生的某個塊的發生編碼量和初始值為0的編碼順序上的前一個塊的發生編碼量的差分數據；存儲上述計算的差分數據的存儲裝置；第二編碼電路，通過第二計算電路來從預定的每個圖象的目標編碼量和從上述存儲裝置讀出的發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於與上述輸入圖象數據相同的圖象數據在所分割的每個畫面部分再次並行地進行上述預定的信號處理，然後，由多個第二量化器進行量化，由多個第二可變長編碼器以塊單位來對所得到的第二數據並行地進行可變長編碼，求出由此得到的每塊的實際編碼發生量與上述計算的編碼量存儲遷移值的誤差，多個編碼量控制裝置根據該誤差來可變控制上述第二數據的量化寬度，以使上述實際的編碼發生量接近於上述目標編碼量。
7.一種圖象信號編碼裝置，其特徵在於，包括作為先行路徑的第一編碼電路，對於以由一個畫面的多個塊組成的圖象單位所合成輸入圖象數據，進行預定的信號處理，然後，由第一量化器以固定的量化寬度進行量化，通過第一可變長編碼器以塊單位來對所得到的第一數據進行可變長編碼，由第一計算電路來計算由該可變長編碼所產生的每塊的發生編碼量存儲遷移信息；存儲裝置，對於預定圖象數量單位的輸入圖象數據，存儲由上述第一計算電路所計算的上述發生編碼量存儲遷移信息；延遲電路，把上述輸入圖象數據延遲預定圖象數；作為後行的第二編碼電路，通過第二計算電路來從預定的每個圖象的目標編碼量和從上述存儲裝置讀出的上述發生編碼量存儲遷移信息來對每塊計算編碼量存儲遷移值，對於與從上述延遲電路所取出的圖象數據再次進行上述預定的信號處理，然後，由第二量化器進行量化，由第二可變長編碼器以塊單位來對所得到的第二數據進行可變長編碼，通過編碼量控制裝置來求出由此得到的每塊的實際編碼發生量與由第二計算電路計算的編碼量存儲遷移值的誤差，上述編碼量控制裝置根據該誤差來可變控制上述第二數據的量化寬度，以使上述實際的編碼發生量接近於上述目標編碼量。
8.根據權利要求7所述的圖象信號編碼裝置，其特徵在於，上述第一編碼電路具有存儲器，取代上述第一可變長編碼器，以存儲進行上述預定的信號處理的上述輸入圖象數據或者上述輸入圖象數據，上述第一計算電路根據從上述存儲器讀出的圖象數據的活動值來計算上述每塊的發生編碼量存儲遷移信息。
9.根據權利要求7或8所述的圖象信號編碼裝置，其特徵在於，在上述存儲裝置中所存儲的上述每塊的發生編碼量存儲遷移信息以在圖象全體中發生的編碼量進行標準化，而成為某個塊的發生編碼量與在編碼順序上前一個塊的發生編碼量的差分數據，上述第二計算電路計算出這樣的值來作為上述編碼量存儲遷移值用把編碼的塊之前的上述差分數據的相加值以在上述圖象全體中發生的編碼量進行標準化的值乘以上述每個圖象的目標編碼量。
全文摘要
本發明,通過第一路徑根據由量化寬度固定的量化所進行的編碼而得到的編碼發生量,把編碼量存儲遷移信息記錄到記錄媒體22上,在第二路徑中,在輸入端子10上輸入與被輸入給第一路徑的圖象信號相同的圖象信號,由塊編碼量計數器19來計算由VLC器18進行了可變長編碼的數據的發生編碼量,由編碼量控制電路26來計算該發生編碼量值與圖象的目標編碼量和從記錄媒體22重放的編碼量存儲遷移信息值的誤差,作為量化寬度反饋給量化器14來進行編碼量控制。在前饋編碼中也用相同的算法進行編碼量控制。
文檔編號H03M7/40GK1230854SQ99100110
公開日1999年10月6日 申請日期1999年1月8日 優先權日1998年1月23日
發明者菅原隆幸 申請人:日本勝利株式會社