解碼裝置及使計算機執行解碼方法的程序的製作方法
2023-06-01 02:40:16 1
專利名稱：解碼裝置及使計算機執行解碼方法的程序的製作方法
技術領域：
本發明涉及對MPEG圖像數據進行解碼的圖像解碼裝置、圖像解碼方法、和實現這種解碼方法的程序。
背景技術：
為了再現被編碼的圖像，解碼處理是必要的。但是，有時並不是要求完全再現原來的圖像，而只要求得到能了解圖像概況的縮小圖像、或者像素密度較低的圖像(以下稱為縮略圖)即可。
為此，例如已有根據經MPEG編碼後的圖像數據而生成縮略像的技術(例如、參照專利文獻1)。在這種技術中，僅利用MPEG編碼中的每個塊的DCT係數的DC係數來生成縮略像。具體地，對於I圖形將DCT系統的DC係數、對於P圖形及B圖形將DC係數與運動補償值相加後，對圖像進行解碼。該專利在生成P圖形及B圖形的運動補償中，直接利用了運動矢量值，執行將參照圖像中的最大4個塊的DC係數按照與運動矢量量相對應的比例進行相加的內插計算。
另一方面，在通常的使用運動補償的圖像解碼技術中，具有通過執行運算精度低的運動補償來減少計算量以高速地對圖像進行解碼的技術(例如專利文獻2)。在這種技術中，只在運動補償的精度不向其他圖像傳播的B圖形使運動矢量的精度在解碼側降低到整數像素的精度，通過省去了在小數像素精度時發生的像素內插計算，以達到減少計算量的目的。
特開2003-219420公報[專利文件2]特開平9-322175公報
發明內容
在上述的根據MPEG編碼數據來生成縮略圖的技術中，對於運動補償是必需的P圖形和B圖形，依照運動矢量量來進行參照圖像的像素內插計算。這種內插計算是將參照圖像中的最大4個塊的DC係數按照對應於運動矢量量的比例進行相加等、求得與運動矢量所示位置相對應的DC係數的處理，這個計算的計算量非常大。因此，存在由於該內插處理而無法實現高速解碼處理的情況。
此外，上述專利文獻2所記述的技術只是簡單地在解碼側將運動矢量的精度轉變為整數精度，即便將這種技術用於縮略圖生成技術，對於只有以塊為單位的參照圖像的像素值的縮略像，仍然需要內插計算。
本發明是鑑於上述實際情況而做出的，其目的在於提供一種在只利用MPEG中的DCT係數的DC係數來生成縮略圖時能夠簡化生成用於其運動補償的預測圖像的處理、並能夠高速地生成縮略圖的圖像再現裝置。
以下說明在本申請中公開的代表性發明。
在對運動補償編碼的圖像進行解碼時，無須進行逆DCT變換，僅利用每個塊的DCT係數的DC係數來生成縮小圖像(縮略圖)。對於I圖形，直接使用該塊的DCT係數的DC係數，對於P圖形和B圖形，通過將基於運動矢量的運動補償值加到DC係數上而生成縮小圖像。另外，關於前述運動補償，使運動矢量的精度變換為塊的整數倍單位。
依靠上述構成，減少了解碼器中的處理。若將運動矢量的精度降低到塊單位(例如8像素單位)的精度，雖然會使圖像質量有所下降，但卻可使用於運動補償的計算量大幅度減少，因此可以高速地生成和再現縮略圖。
圖1是本發明所用的圖像再現裝置的一個實施例的說明圖。
圖2是說明現有的、MPEG流的解碼裝置的說明圖。
圖3是表示利用現有方法時預測圖像和參照圖像的關係圖。
圖4是表示利用本發明時預測圖像和參照圖像的關係圖。
圖5是運動矢量精度切換器的一個實施例。
圖6是本發明的縮略圖顯示時的一個顯示例。
圖7是利用本發明的縮略圖顯示裝置的一個實施例。
最佳實施方式以下，用圖示說明本發明的實施例。
圖1示出了本發明的一種實施方式下的、生成運動圖像縮略圖的圖像解碼再現裝置的構成。需要指出的是，本申請中縮略圖即包含靜止圖像又包含運動圖像。另外，雖然本申請此後對採用MPEG作為編碼方式的實施例進行了說明，但實際上，本申請也可適用於對所有使用運動補償的編碼數據的解碼處理。
在圖2中，示出了通常的MPEG編碼數據的解碼單元。被編碼的比特流首先在可變長解碼單元1中對宏塊單位的編碼信息進行解碼，分離出編碼模式、與運動矢量相關的信息、量子化信息以及量子化DCT係數；分離出的DCT係數在逆量子化單元2中被還原成DCT係數，由逆DCT7變換成像素空間數據；在內部編碼模式下，將所得到的像素空間數據作為解碼圖像直接輸出；另一方面，在運動補償預測單元5中通過利用運動矢量信息和參照圖像的運動補償預測而生成的預測圖像的塊數據被生成。在運動補償模式下，在加法運算單元3中將該塊數據與像素空間數據相加後輸出。在此，所謂的參照圖像是已經被解碼的圖像，至於P圖形，因為在此後的解碼處理中被用於參照圖像，所以被保存到視頻存儲器4中。
在圖2所記述的本發明的構成中，上述可變長解碼單元1、逆量子化單元2、加法單元3、運動補償預測單元5進行與上述說明的結構相同的處理。另一方面，在圖2所示的本發明中沒有逆DCT處理單元2。對於由逆量子化單元2進行逆量子化後求得的DCT係數，在本實施例中不進行逆DCT，而對DCT係數的DC係數原樣進行處理。
在MPEG編碼中，按多個塊單位對圖像進行處理。例如，塊為8×8像素單位等，從逆量子化單元2輸出的DCT係數的數目就是像素塊單位中的像素數。所謂DCT係數就是表示該塊的像素值的空間頻率分量的係數，可以考慮將相當於該DCT係數的DC係數(坐標(0，0)的DCT係數)的值作為該塊整體的平均值。由此，只要直接輸出DC係數，就相當於輸出塊中像素的像素值(灰度值或色差值)的平均值。由於對於一個塊存在一個DC係數，所以，例如在塊尺寸為8×8時，若只利用DC係數做成圖像，則對於編碼圖像，生成為其縱向、橫向各縮小為1/8的縮小圖像。所生成的解碼圖像被保存的視頻存儲器40中，在此後對所處理的圖像進行運動補償時，作為參照圖像使用。
關於I圖形，通過原樣輸出DC值而得到縮略像。可是，對於在幀間進行運動補償的P圖形、B圖形而言，必須使用運動矢量和參照圖像進行運動補償，計算在運動矢量對應位置上的DC係數。在此，運動補償是通過使對圖像的各個塊進行解碼的值和對已經完成解碼的參照圖像進行運動補償預測的值相加來進行的。
如圖3所示，關於處理過程中的塊，假設在進行運動補償預測處理後得到的預測塊為111。通常，為了提高運動矢量的精度，運動矢量是以1/2像素精度或1/4像素精度等小數像素精度來傳送的。可是，在僅利用DCT係數的DC係數來生成圖像的本裝置中，保存在視頻存儲器40中的參照圖像只由每個塊的DC係數構成。在圖3所示的實施例中，對於預測塊111，保存在參照圖像中的塊112、113、114、115是重複的。在此，對於各個塊，假設所保存的DCT係數的DC係數分別為b1、b2、b3、b4。在本申請的構成中，有必要利用這些保存的DC係數求出預測塊111的像素值。
例如，將塊111的x邊中存在於參照塊114、115中的長度116、117以及y邊中存在於參照塊118、119中的長度118、119分別設為x1、x2、y1、y2，在內插處理中根據所保存的參照圖像的DC係數來求出預測塊113的像素值bc時，可通過下式來求得bc＝(x1*y1*b1+x2*y1*b2+x1*y2*b3+x2*y2*b4)/64 (3)
若該塊自身的DC係數數據為bp，則進行了運動補償的、該塊的DC係數b可由下列算式算出。
b＝bc+bp (4)像這樣，通過對參照圖像進行內插計算，即便對P圖形、B圖形，也可以生成僅由DC係數構成的圖像。可是，在內插計算(3)中，需要大量的計算。具體的說，因為對每一個塊都要進行式(3)的計算(8次乘法運算、3次加法運算、1次除法運算)，所以對整個畫面而言，計算量非常大，從而也需要相當長的處理時間。
因此，提出了在運動補償時不進行必要的內插計算而進行解碼的方法。具體地說，就是考慮利用運動矢量精度控制器6將運動矢量的精度降低到8像素精度、即塊單位。如果通過進行這樣的處理而將運動矢量變換為8像素精度，則在僅由DC係數構成的參照圖像中必定存在與處理塊相對應的像素。例如，對於位於圖3所示位置的預測塊111，通過使運動矢量精度為8像素精度，可如圖4所示，被近似為例如處於最近的參照塊115。據此，也可以將與參照塊115相對應地存儲的DC係數用作對應的DC係數，從而使不需要式(3)所示的內插計算且高速生成縮略圖成為可能。
在此，示出了將運動矢量降低為8像素精度的計算式例。運動矢量由水平方向的運動矢量h、垂直方向的運動矢量v構成。設精度降低至8像素精度時的水平、垂直方向的運動矢量分別為h』、v』，則其計算公式可以表示為h』＝sign(h)·[|h/8|]·8v』＝sign(v)·[|v/8|]·8其中，sign(x)是當x為正時等於+1、x為0時等於0、x為負時等於-1的函數，|x|是x的絕對值，[x]表示不超過x的整數。
例如，通過這樣的計算，當參照宏塊與多個宏塊相重疊時，對象宏塊將選用有重疊的宏塊中的某一個。因為目的是為了將矢量近似為塊單位矢量，所以也可以採用利用各種不同的近似方法，選擇在上述公式以外近似為面積較大的某一個塊的其他方法。逼近誤差小的方法其畫質下降程度也小，逼近誤差大的方法其畫質下降程度也大。因此，如果不考慮畫質，甚至可以考慮將運動矢量全部近似為0矢量(無運動)。
在上述實施例中，說明了以8×8像素為塊單位的處理。但是，可以依據要得到的縮略圖的大小，以更大的塊單位、比如16×16的宏塊單位，執行相同的處理。在這種情況下，相對原圖像生成在縱向、橫向兩個方向上各縮小到1/16的縮小圖像。因為DC係數是按塊單位傳送的，所以有必要對處理對象的宏塊生成一個DC係數。作為具體方法，具有選擇使用與具有重複部分的4個8×8塊中的某一個塊相對應的DC係數的方法，或者對4個8×8塊DC係數取平均值的方法等。例如，為了選擇1的DC係數，可以像上述那樣選擇重複部分的多個塊等。不管怎樣，保存在視頻存儲器40中的參照圖像也變成每個宏塊由一個值構成的縮小圖像。
像這樣，通過用本申請中的矢量精度控制器6使運動矢量的精度降至處理塊的整數倍的單位(例如16像素單位)，可以使進行運動補償時的內插計算變為不必要，且能夠高速生成縮略圖。另外，在本實施例中，因為處理塊的單位變大，所以減少了對存儲器的存取次數，同時，運動補償的計算次數也比上述實施例1有所減少，從而更加提高了高速生成縮略圖的可能性。
圖7表示利用了本發明的縮略圖顯示裝置。從流再現單元30輸出的圖像編碼數據流被輸入到縮略圖生成單元31以生成縮略圖。所生成的縮略圖由輸出單元32輸出表示。在此，圖1中所示的各部件相當於縮略圖生成單元31的內部結構。另外，生成縮略圖時的運動矢量的精度由控制單元35來控制。
可以認為，在用戶通過用戶輸入單元34指定縮略圖的圖像尺寸時，使運動矢量精度控制單元6中的運動矢量精度對應於該尺寸而變化。例如，若用戶希望獲得縱向、橫向的尺寸相對原圖像分別為1/8大小的縮略圖，則將運動矢量精度降至8像素精度。若用戶希望獲得縱向、橫向大小相對於原圖像分別為1/16的縮略圖，則將運動矢量精度降至16像素精度。或者，若用戶希望獲得圖像劣化較少的圖像，則進行不降低小數像素精度的運動矢量精度的運動補償。在這種情況下，如上所述，既可以構成為通過進行內插計算來求得對應點的像素值，也可以另外設計圖1所示的結構。
這些運動矢量精度的切換是按照每個作為處理對象的處理幀來進行的。作為切換指示方法，可以通過由用戶選擇顯示在顯示單元上的精度選擇項，或直接輸入所希望的精度值來實現精度切換。而且，也可以由用戶輸入指定所輸出的縮略像的尺寸，在裝置對對應於該尺寸的精度進行判斷後進行自動切換。例如，在獲得的縮略像的尺寸在縱向、橫向上分別為原圖像的1/8的時候，考慮預先使精度與解碼圖像尺寸相對應地進行存儲，之後使運動矢量精度自動降至8像素精度的方法。
另外，也可以考慮不定義所輸出的縮略像的尺寸，而按照解碼器的處理負荷來切換運動矢量精度。例如，在解碼器由軟體構成的情況下，可以在例如控制單元35等中設置使該軟體進行操作的處理裝置(CPU)的負荷率的計算單元。然後，可以考慮按照計算出的負荷率，通過切換所生成的縮略圖的運動矢量精度，來調整畫面質量和控制運算量。具體地說，就是預先使運動矢量的精度信息與負荷率相對應地存儲，根據該信息來選擇精度。
如此，通過設置為切換運動矢量精度的結構，可以按照用戶的要求來選擇縮略圖的畫質和解碼處理的速度。在用戶對畫質要求較低時，通過在編碼圖像的解碼處理中使用更簡單的方法，可以更高速地生成縮略圖。
圖6所示為將本發明用在圖像顯示裝置等中的實施例。由於與現有技術相比，利用本發明生成縮略圖減少了處理量，所以可以實現高速顯示。而且，分析該縮略圖後，能夠通過適用公知技術而進行場景檢測和剪切檢測等。
例如，在從連續的影像中檢測出剪切點的情況下、或是為了影像編輯的目的而確認影像的內容的情況下需要縮小圖像的時候，即便產生某種程度的畫質降低也沒有問題。這時，若使用本發明就可以高速生成在圖像解析中所需的畫質的縮略圖，通過將生成的縮略圖一覽顯示在畫面下部，可以高效率地瀏覽影像內容。
另外，在本實施例中，通過經由輸入單元選擇一覽顯示的縮略圖中的某一個，在畫面上部或整個畫面上顯示出與該縮略圖相關聯的圖像。顯示在該畫面或整個畫面上的解碼圖像通常還是希望使用通常的解碼方式(不降低運動矢量精度)。因此，通過設置在上述實施例中公開的運動矢量精度控制器6，進行使用了小數精度或無變換處理的運動矢量的解碼處理。由此，在高速顯示縮略圖的同時，也可以無畫質劣化地視聽所選擇的圖像。
在實現以上說明的本發明時，還包括通過基於硬體和讀取軟體而進行的程序處理、以及通過硬體和軟體的協調處理來實現各結構的情況。
權利要求
1.一種解碼裝置，其特徵在於，包括存儲單元，存儲已經被解碼的參照圖像；運動補償預測單元，利用上述參照圖像而生成所輸入的圖像編碼數據的預測圖像；精度控制單元，控制在上述運動補償預測單元中所使用的運動矢量的精度；以及輸出單元，用於輸出利用上述所生成的預測圖像而被解碼的圖像，其中上述參照圖像由構成圖像的多個塊中每個塊的DC成分所構成，上述運動補償預測單元利用在上述精度控制單元中被變換成上述塊的整數倍單位的精度後的上述運動矢量而生成上述預測圖像。
2.如權利要求1所述的解碼裝置，其特徵在於上述精度控制單元逐個處理幀地選擇多個所準備的上述塊的整數倍單位中的某一個，變換上述運動矢量的精度。
3.如權利要求1所述的解碼裝置，其特徵在於上述精度控制單元具有用於切換執行還是不執行上述運動矢量精度變換的切換單元。
4.如權利要求2所述的解碼裝置，其特徵在於上述精度控制單元具有用於切換執行還是不執行上述運動矢量精度變換的切換單元。
5.如權利要求2所述的解碼裝置，其特徵在於還包括輸入單元，上述精度控制單元根據經上述輸入單元輸入的指示信息，進行上述運動矢量的精度選擇。
6.如權利要求3所述的解碼裝置，其特徵在於還包括輸入單元，上述精度控制單元根據經上述輸入單元輸入的指示信息，進行上述運動矢量的精度選擇。
7.如權利要求5所述解碼裝置，其特徵在於經由上述輸入單元輸入的指示用於指示所顯示的解碼圖像的尺寸，上述精度控制單元選擇與該解碼圖像尺寸相對應的精度。
8.如權利要求6所述解碼裝置，其特徵在於經由上述輸入單元輸入的指示用於指示所顯示的解碼圖像的尺寸，上述精度控制單元選擇與該解碼圖像尺寸相對應的精度。
9.如權利要求1所述的解碼裝置，其特徵在於還包括上述解碼裝置的處理負荷測算單元，上述精度控制單元根據上述處理負荷測算單元的輸出來選擇運動矢量的精度。
10.如權利要求2所述的解碼裝置，其特徵在於還包括上述解碼裝置的處理負荷測算單元，上述精度控制單元根據上述處理負荷測算單元的輸出來選擇運動矢量的精度。
11.如權利要求3所述的解碼裝置，其特徵在於還包括上述解碼裝置的處理負荷測算單元，上述精度控制單元根據上述處理負荷測算單元的輸出來選擇運動矢量的精度。
12.如權利要求1所述的解碼裝置，其特徵在於，還包括用於對上述經過解碼的多個圖像進行一覽顯示的顯示單元。
13.如權利要求2所述的解碼裝置，其特徵在於，還包括用於對上述經過解碼的多個圖像進行一覽顯示的顯示單元。
14.如權利要求3所述的解碼裝置，其特徵在於，還包括用於對上述經過解碼的多個圖像進行一覽顯示的顯示單元。
15.一種用於使計算機執行圖像編碼數據的解碼方法的程序，其特徵在於從輸入的圖像編碼數據中分離出每個塊的量子化DCT係數和運動矢量信息；將上述運動矢量的精度變換為上述塊的整數倍單位；通過利用了已被解碼的參照圖像和上述被變換的運動矢量的信息的運動補償預測來生成預測圖像；對上述量子化DCT係數進行逆變換後，與上述預測圖像相加而合成解碼圖像；以及上述參照圖像由上述每個塊的DC係數構成。
16.如權利要求9所述的用於使計算機執行圖像編碼數據的解碼方法的程序，其特徵在於還具有逐個幀地將運動矢量的精度切換為上述塊的整數倍單位的精度。
全文摘要
本發明提供一種解碼裝置及使計算機執行解碼方法的程序，該裝置在對編碼圖像進行解碼時，不進行逆DCT，僅抽出其DCT係數的DC係數。對於I圖形，輸出其DC係數作為該塊的解碼數據，對於P圖形及B圖形，將DC係數加上利用運動矢量計算出的運動補償值後，作為該塊的像素值。在進行運動補償時，通過將運動矢量的精度降低到8像素單位(塊單位)，能夠使運動補償值的計算大幅度簡化，使高速生成縮略圖成為可能。
文檔編號H04N7/26GK1780401SQ20051005215
公開日2006年5月31日 申請日期2005年2月25日 優先權日2004年11月22日
發明者浜田宏一 申請人:株式會社日立製作所