編碼裝置和編碼方法
2023-10-09 06:28:39 1
專利名稱：編碼裝置和編碼方法
技術領域：
本發明涉及一種編碼裝置和編碼方法，具體地，涉及一種能夠以宏塊為單位減少開銷的編碼裝置和編碼方法。
背景技術：
在AVC (高級視頻編碼)標準中，採用了其中使用多個參考圖像用於運動補償的、被稱為「多參考」的方案。通過使用多參考，可以以宏塊為單位選擇最優參考圖像。結果，可以提聞編碼效率。此外，執行AVC編碼的裝置的示例包括機頂盒和Blu-ray (註冊商標名稱)記錄器，它們將MPEG2 (移動圖片專家組階段2)廣播位流轉換成具有低位率的AVC位流並且在記錄介質中積累AVC位流。 為了使這些裝置在維持高圖像質量的同時以諸如2Mbps的低位率壓縮HD(高清晰度)圖像，需要多種創新。因此，為了提高使用多參考的編碼裝置的編碼效率，提出了其中動態切換參考圖像的方案(參見例如專利文獻I)。引用文獻列表專利文獻專利文獻I :日本未審專利申請公布第2010-63092號
發明內容
技術問題然而，通常，在現有的AVC隔行編碼中，使用兩個或更多個場中的圖像作為參考圖像對當前圖片進行編碼。因此，為了指定兩個或更多個場中的參考圖像，需要傳送被稱為RefIdx的語法。因此,開銷增加。由於RefIdx是以宏塊為單位傳送的，因此RefIdx的傳送給編碼處理強加了沉重的負擔，特別是在低位率的情況下。因此，本發明提供了當執行AVC編碼時以宏塊為單位減少開銷。對問題的解決方
案根據本發明的一個方面，一種編碼裝置包括參考圖像數目判定部件，用於基於編碼圖像數據的位率確定編碼時使用的參考圖片的數目是I ;以及參考圖片確定部件，用於當參考圖像數目判定部件確定參考圖片的數目是I時，從圖像數據中選擇關於一個圖像的數據作為參考圖片。根據本發明的一個方面的編碼方法對應於根據本發明的該方面的編碼裝置。根據本發明的該方面，基於編碼圖像數據的位率確定編碼時使用的參考圖片的數目是I。如果確定參考圖片的數目是1，則從圖像數據中選擇關於一個圖片的圖像數據作為參考圖片。本發明的有利效果
根據本發明的一個方面，可以以宏塊為單位減少開銷。
圖I是圖示根據本發明的編碼裝置的配置示例的框圖。圖2圖示了用於確定參考圖像的場數目的第一方法。圖3圖示了用於確定參考圖像的場數目的第二方法。圖4圖示了預設參考圖像。圖5圖示了預設參考圖像。圖6圖示了預設參考圖像。圖7圖示了預設參考圖像。圖8圖示了確定參考圖像是否將改變的示例。圖9圖示了確定參考圖像是否將改變的示例。圖10圖示了確定參考圖像是否將改變的示例。圖11圖示了確定參考圖像是否將改變的示例。圖12是圖示參考圖像改變指令處理的流程圖。圖13是圖示參考圖像改變處理的流程圖。圖14圖示了在AVC標準中定義的宏塊預測語法。圖15圖示了根據一個實施例的計算機配置的示例。
具體實施例方式[實施例的編碼裝置的配置示例]圖I是圖示根據本發明的編碼裝置的配置示例的框圖。編碼裝置10的A/D轉換單元11將從外部輸入的作為模擬信號的基於場的圖像信號A/D轉換成作為數位訊號的數字圖像數據。隨後，A/D轉換單元11將基於場的圖像數據提供給圖像分類緩衝器12。圖像分類緩衝器12臨時存儲從A/D轉換單元11接收到的基於場的圖像數據並且按照需要以圖片的形式讀取基於場的圖像數據。通過該方式，圖像分類緩衝器12根據從編碼裝置10輸出的位流的GOP (圖片組)結構按編碼順序對圖片進行分類。在從圖像分類緩衝器12讀取的圖片中，將經歷幀內編碼的幀內圖片被提供給切片報頭生成單元13。切片報頭生成單元13生成將附接到從圖像分類緩衝器12提供的幀內圖片的切片報頭。隨後，切片報頭生成單元13將切片報頭附接到被提供給計算單元14的幀內圖片。計算單元14按照需要從切片報頭生成單元13提供的幀內圖片的像素值中減去從幀內預測單元25提供的預測圖像的像素值。隨後，計算單元14將得到的值提供給正交變換單元15。正交變換單元15對幀內圖片(通過從幀內圖片的像素值減去預測圖像的像素值而獲得的結果值或者幀內圖片的像素值)執行諸如離散餘弦變換或Karhunen-Loeve變換的正交變換。隨後，正交變換單元15將所獲得的變換係數提供給量化單元16。量化單元16對從正交變換單元15接收到的變換係數進行量化。隨後，量化單元16將所獲得的量化值提供給無損編碼單元17。無損編碼單元17使用可變長度編碼或算術編碼對從量化單元16提供的量化值進行無損編碼。隨後，無損編碼單元17將所獲得的編碼數據提供給積累緩衝器18。積累緩衝器18臨時存儲從無損編碼單元17提供的編碼數據並且以具有預定速率的位流的形式傳送編碼數據。參考圖像數目判定單元19 (參考圖像數目判定部件)監控積累緩衝器18中臨時存儲的編碼數據的位率並且基於位率確定非幀內圖片的參考圖像的場數目。隨後，參考圖像數目判定單元19將所確定的參考圖像的場數目提供給切片報頭生成單元13。如這裡使用的，術語「參考圖像的場數目」指的是特定時間方向上的參考圖像的場數目。因此，例如，當B圖片將被編碼時並且如果參考圖像的場數目是1，則兩個圖片，即待編碼圖片之前的圖片和待編碼圖片之後的圖片被限定為參考圖像。
速率控制單元20監控積累緩衝器18中積累的編碼數據量。速率控制單元20基於積累的編碼數據量控制由量化單元16執行的操作，諸如量化單元16的量化步驟。在量化單元16中獲得的量化值除了被提供給無損編碼單元17之外，還被提供給逆量化單元21。逆量化單元21將從量化單元16接收到的量化值逆量化成變換係數並且將變換係數提供給逆正交變換單元22。逆正交變換單元22對從逆量化單元21提供的變換係數進行逆正交變換並且將得到的數據提供給計算單元23。計算單元23按照需要使從幀內預測單元25提供的預測圖像的像素值與從逆正交變換單元22提供的數據相加。通過該方式，獲得了幀內圖片的解碼圖像。計算單元23將解碼圖像提供給幀存儲器24。幀存儲器24臨時存儲從計算單元23提供的解碼圖像。隨後，幀存儲器24按照需要將解碼圖像以用於生成預測圖像的參考圖像的形式提供給幀內預測單元25和運動預測/運動補償單元26。幀內預測單元25從位於幀內圖片的、將被計算單元14處理的部分(塊)的附近並且已被存儲在幀存儲器24中的像素生成預測圖像。隨後，幀內預測單元25將所生成的預測圖像提供給計算單元14和計算單元23。對於將經歷幀內編碼的圖片，當以上述方式將預測圖像從幀內預測單元25提供給計算單元14時，計算單元14從切片報頭生成單元13提供的圖片中減去從幀內預測單元25提供的預測圖像。此外，計算單元23使經歷計算單元14中的減法的預測圖像與從逆正交變換單元22提供的數據相加。相反，將經歷幀間編碼的非幀內圖片從圖像分類緩衝器12提供給切片報頭生成單元13。通過使用從參考圖像數目判定單元19提供的非幀內圖片的類型和參考圖像的場數目以及從參考圖像控制單元27發送的指令，切片報頭生成單元13 (參考圖片確定部件)從圖像分類緩衝器12輸入的圖片中選擇關於場數目的圖片作為參考圖像。切片報頭生成單元13生成包括指示所選擇的參考圖像的信息(以下稱為「參考圖像信息」)的切片報頭並且將所生成的切片報頭附接到非幀內圖片。隨後，切片報頭生成單元13將已被附接切片報頭的非幀內圖片提供給計算單元14和運動預測/運動補償單元26。運動預測/運動 補償單元26基於附接到從切片報頭生成單元13提供的非幀內圖片的切片報頭中包括的參考圖像信息，從幀存儲器24讀取作為參考圖像的、將在非幀內圖片的運動預測中參考的解碼圖像的圖片。此外，運動預測/運動補償單元26使用從幀存儲器24接收到的參考圖像，對從切片報頭生成單元13接收到的非幀內圖片執行ME (運動估計)。因此，運動預測/運動補償單元26檢測例如，運動向量、ME殘差和MV (運動向量)長度。隨後，運動預測/運動補償單元26根據運動向量對參考圖像執行運動補償並且生成非幀內圖片的預測圖像。隨後，運動預測/運動補償單元26將所生成的預測圖像提供給計算單元14和計算單元23。此外，運動預測/運動補償單元26檢測非幀內圖片的模糊量。非幀內圖片的整個屏幕的像素的方差(Variance)或者通過對非幀內圖片應用Sobel濾波器或Canny濾波器而提取的邊緣成分量被用作模糊量。運動預測/運動補償單元26將非幀內圖片的模糊量、MV長度和ME殘差提供給參考圖像控制單元27。參考圖像控制單元27使用下式(I)基於例如針對使用預設參考圖像編碼的非幀內圖片生成的碼量和量化值來計算運動量。更具體地，例如，如果待編碼的非幀內圖片是P圖片，則參考圖像控制單元27使用下式(I)基於與P圖片對應的I圖片以及針對使用預設參考圖像編碼的P圖片生成的碼量和量化值來計算運動量。注意，從無損編碼單元17提供所生成的碼量，並且從量化單元16提供量化值。Motion Intensity=CompIex_P/CompIex_IComplex_I=I_bitXI_qscaleComp I e x_P=P_b itXP_qscale ... (I)注意,在式(I)中，Motion Intensity (運動強度)表示運動量，並且I_bit和P_bit分別表示針對I圖片和P圖片生成的碼量。此外，I_qscale和P_qscale分別表示I圖片的量化值和P圖片的量化值。式(I)指出了，如果待編碼的P圖片的運動是大的，則CompleX_p增加，並且因此，運動量「Motion Intensity」增加。相反,如果待編碼的P圖片的運動是零，則運動量「Motion Intensity，，接近零。參考圖像控制單元27基於運動量以及從運動預測/運動補償單元26提供的ME殘差、MV長度和模糊量確定參考圖像是否將改變。如果參考圖像控制單元27確定參考圖像將改變，則參考圖像控制單元27指令切片報頭生成單元13改變參考圖像。計算單元14從切片報頭生成單元13提供的非幀內圖片中減去從幀內預測單元25和運動預測/運動補償單元26提供的預測圖像。隨後，對於幀內圖片，計算單元14執行編碼。注意，將其中幀內預測單元25生成預測圖像的幀內預測模式從幀內預測單元25提供給無損編碼單元17，而將在運動預測/運動補償單元26中獲得的運動向量以及其中運動預測/運動補償單元26執行運動補償的運動補償預測模式從運動預測/運動補償單元26提供給無損編碼單元17。無損編碼單元17對解碼所需的信息進行無損編碼，解碼所需的信息諸如幀內預測模式、運動向量、運動補償預測模式和圖片的圖片類型。隨後，無損編碼單元17將信息嵌入到編碼數據的報頭中。[用於確定參考圖像的場數目的方法的描述]圖2圖示了用於確定在參考圖像數目判定單元19中使用的參考圖像的場數目的第一方法。注意，在圖2中所示的曲線中，橫坐標表示時間，並且縱坐標表示位率。如圖2所示，在第一確定方法中，使用與在外部指定的文件尺寸(下文中稱為「指定文件尺寸」)對應的位率(在下文中，位率稱為「目標位率」)，參考圖像數目判定單元19選擇各時刻的最終實際編碼數據的文件尺寸被估計為大於指定文件尺寸的位率的最小值作為該時刻的位率的閾值。此後，參考圖像數目判定單元19監視積累緩衝器18。如果各時刻的編碼數據的位率高於或等於閾值，則參考圖像數目判定單元19將參考圖像的場數目設置為I。然而，如果 各時刻的編碼數據的位率低於閾值，則參考圖像數目判定單元19維持作為預設值的、參考圖像的場數目。即，在圖2所示的示例中，在各時刻的編碼數據的位率高於或等於閾值的時期A中，參考圖像的場數目被設置為I。相反，在除時期A之外的時期中，參考圖像的場數目被設置為預設值。圖3示出了用於在參考圖像數目判定單元19中使用的、用於確定參考圖像的場數目的第二方法。注意,在圖3所示的曲線中，橫坐標表示時間，並且縱坐標表示文件超出量。如這裡所使用的，術語「文件超出量」表示最終實際編碼數據的文件尺寸超出指定文件尺寸的量。如圖3所示，在第二確定方法中，參考圖像數目判定單元19基於各時刻的編碼數據的位率和目標位率來估計該時刻的文件超出量。如果該時刻的文件超出量大於或等於閾值(Threshold),則參考圖像數目判定單元19將參考圖像的場數目設置為I。然而,如果該時刻的文件超出量小於閾值，則參考圖像數目判定單元19維持作為預設值的、參考圖像的場數目。即，在圖3所示的示例中，在各時刻的文件超出量大於或等於閾值的時期B中，參考圖像的場數目被設置為I。相反，在除時期B之外的時期中，參考圖像的場數目被設置為預設值。注意，文件超出量的閾值被設置為在最終實際編碼數據的文件尺寸被估計為大於指定文件尺寸的所有時刻獲得的文件超出量的值當中的、文件超出量的最小值。根據上述第一和第二確定方法，如果最終實際編碼數據的文件尺寸被估計為大於指定文件尺寸，則參考圖像的場數目被設置為I。此時，如以下更詳細地描述的，如果參考圖像的場數目是1，則不需要發送稱為「Refldx」的語法。因此，以宏塊為單位減少了開銷。因此，根據上述第一和第二確定方法，如果最終實際編碼數據的文件尺寸被估計為大於指定文件尺寸，則以宏塊為單位減少了開銷。結果，減少了最終的文件超出量。[預設參考圖像的描述]圖4至7示出了預設參考圖像。注意，在圖4至7所示的示例中，位流的GOP結構由I、P、B、B、B、B、P和P圖片以
此順序布置而構成。如圖4至7所示，待編碼圖片的預設參考圖像是類型與待編碼圖片的類型相同的場中的圖片。更具體地，例如，如圖4所示，如果待編碼圖片是頂場中的P圖片41，即從GOP的頂部起第七張圖片，則預設參考圖像是頂場中的I圖片42。替選地，如果如圖5所示，待編碼圖片是底場中的P圖片51，即從GOP的頂部起第八張圖片，則預設參考圖像是底場中的P圖片43。替選地，如果如圖6所示，待編碼圖片是頂場中的B圖片61，即從GOP的頂部起第三張圖片，則預設參考圖像是底場中的B圖片61之前的I圖片42和B 圖片61之後的P圖片41。替選地，如果如圖7所示，待編碼圖片是底場中的B圖片，即從GOP的頂部起第四張圖片，則預設參考圖像是底場中的B圖片71之前的P圖片43和B圖片71之後的P圖片51。如上所述，待編碼圖片的預設參考圖像是類型與待編碼圖片的類型相同的場中的圖片。然而，如圖4至7所示，同一類型的場中的圖片之間的時間距離不是總是短的。例如，如圖4所示，待編碼的P圖片41與作為P圖片41的預設參考圖像的I圖片42之間的時間距離長於P圖片41與底場中的P圖片43之間的時間距離。另外，如圖5所示，待編碼的P圖片51與作為P圖片51的預設參考圖像的P圖片43之間的時間距離長於P圖片51與頂場中的P圖片41之間的時間距離。另外，如圖6所示，待編碼的B圖片61與作為B圖片61的預設參考圖像並且在B圖片61之後的P圖片41之間的時間距離短於B圖片61與底場中的P圖片51之間的時間距離。然而，B圖片61與作為B圖片61的預設參考圖像並且在B圖片61之前的I圖片42之間的時間距離長於B圖片61與底場中的P圖片43之間的時間距離。另外，如圖7所示，待編碼的B圖片71與作為B圖片的預設參考圖像並且在B圖片71之前的P圖片43之間的時間距離短於B圖片71與頂場中的I圖片42之間的時間距離。然而，B圖片71與作為B圖片71的預設參考圖像並且在B圖片71之後的P圖片51之間的時間距離長於B圖片71與頂場中的P圖片41之間的時間距離。因此，如果待編碼圖片的時間相關性優先於待編碼圖片的空間相關性，S卩，如果期望選擇時間距離短於其它的圖像作為編碼中的參考圖像，則編碼設備10將待編碼圖片的參考圖像改變為距待編碼圖片的距離較短的圖像。[關於參考圖像改變的確定示例的描述]圖8至11示出了由參考圖像控制單元27進行的關於是否要改變參考圖像的確定的示例。如圖8所示，當例如待編碼圖片的運動量、ME殘差和MV長度較大時並且如果模糊量較大，參考圖像控制單元27確定待編碼圖片的時間相關性優先於空間相關性，並且因此要改變參考圖像。因此，待編碼圖片的參考圖像從場類型與待編碼圖片相同的預設參考圖像改變為距待編碼圖片的時間距離短的圖片。S卩，如果待編碼圖片的模糊量大，則由場類型差別引起的相位差不會產生問題。因此，大運動量、大ME殘差和大MV長度對選擇具有影響。因此，距待編碼圖片的時間距離短的圖片被選擇作為參考圖像。然而,如圖9所示，當待編碼圖片的運動量、ME殘差和MV長度較小時並且如果模糊量較小，參考圖像控制單元27確定待編碼圖片的時間相關性不優先於空間相關性，並且因此不改變參考圖像。因此，場類型與待編碼圖片相同的預設參考圖像被連續用作待編碼圖片的參考圖像。S卩，如果待編碼圖片的模糊量較小，則由場類型差別引起的相位差產生問題。因此，場類型與待編碼圖片相同的預設參考圖像被連續用作待編碼圖片的參考圖像。替選地，如圖10所示，當待編碼圖片的運動量、ME殘差和MV長度較小時並且如果模糊量較大，則參考圖像控制單元27確定時間相關性不優先於空間相關性，並且因此不改變參考圖像。因此，場類型與待編碼圖片相同的預設參考圖像被連續用作待編碼圖片的參考圖像。S卩，如果模糊量較大，則由場類型差別引起的相位差不會產生問題。因此，待編碼圖片的小運動量、小ME殘差和小MV長度對選擇具有影響。因此，場類型與待編碼圖片相同 的預設參考圖像被連續用作待編碼圖片的參考圖像。然而，如圖11所示，當待編碼圖片的運動量、ME殘差和MV長度較大時並且如果模糊量較小，則參考圖像控制單元27確定待編碼圖片的時間相關性優先於空間相關性，並且因此要改變參考圖像。因此，待編碼圖片的參考圖像從場類型與待編碼圖片相同的參考圖像改變為距待編碼圖片的時間距離短的參考圖像。S卩，如果待編碼圖片的模糊量較小，則由場類型差別引起的相位差產生問題。然而，由於待編碼圖片的運動量、ME殘差和MV長度較大，因此距待編碼圖片的時間距離短的圖片被選擇作為參考圖像。如上所述，參考圖像控制單元27基於關於例如待編碼圖片的運動量、ME殘差和MV長度以及模糊量的信息而選擇最佳參考圖像。因此，可以增加待編碼圖片與參考圖像之間的相關性。結果，可以使得預測圖像與待編碼圖片之間的殘差較小並且因此可以減少碼量。[編碼設備執行的處理的描述]圖12是示出圖I所示的編碼設備10的參考圖像控制單元27執行的參考圖像改變指示處理的流程圖。例如，參考圖像改變指示處理針對例如每個待編碼的非幀內圖片來執行。在圖12的步驟Sll中，參考圖像控制單元27基於待編碼的非幀內圖片的運動量來確定待編碼的非幀內圖片的運動是否較大。更具體地，如果待編碼的非幀內圖片的運動量大於或等於預定閾值，則參考圖像控制單元27確定運動較大。然而，如果運動量小於預定閾值，則參考圖像控制單元27確定運動較小。如果在步驟Sll中確定非幀內圖片的運動較大，則處理進行到步驟S12。在步驟S12中，參考圖像控制單元27基於從運動預測/運動補償單元26提供的ME殘差來確定待編碼的非幀內圖片的運動矢量在時間方向上是否具有相關性，即，運動預測是否是無效的。更具體地，如果ME殘差大於或等於預定閾值，則參考圖像控制單元27確定運動矢量在時間方向上不具有相關性。然而，如果ME殘差小於預定閾值，則參考圖像控制單元27確定運動矢量在時間方向上具有相關性。如果在步驟S12中確定運動矢量在時間方向上不具有相關性，則參考圖像控制單元27在步驟S13中基於從運動預測/運動補償單元26提供的MV長度來確定待編碼的非幀內圖片的運動矢量是否較長。更具體地，如果MV長度大於或等於預定閾值，則參考圖像控制單元27確定運動矢量較長。然而，如果MV長度小於預定閾值，則參考圖像控制單元27確定運動矢量不長。如果在步驟S13中確定運動矢量較長，則參考圖像控制單元27在步驟S14中將內部ReferenceListFlag設置為「運動」。即，參考圖像控制單元27指示切片報頭生成單元13改變參考圖像。此後，處理完成。然而，如果在步驟Sll中確定運動不大，如果在步驟S12中確定運動矢量在時間方向上不具有相關性，或者如果在步驟S13中確定運動矢量不長，則處理進行到步驟S15。在步驟S15中，參考圖像控制單元27基於運動量、ME殘差和MV長度，確定待編碼的非幀內圖片的運動是否較小，運動矢量在時間方向上是否具有相關性以及運動矢量是否較短。 如果在步驟S15中確定待編碼的非幀內圖片的運動較小，運動矢量在時間方向上具有相關性，並且運動矢量較短，則處理進行到步驟S17。然而，如果在步驟S15中確定待編碼的非幀內圖片的運動較大，運動矢量在時間方向上不具有相關性，或者運動矢量較長，則處理進行到步驟S16。在步驟S16中，參考圖像控制單元27基於從運動預測/運動補償單元26提供的模糊量確定模糊是否較大。更具體地，如果模糊量大於或等於預定閾值，則參考圖像控制單元27確定模糊較大。然而，如果模糊量小於預定閾值，則參考圖像控制單元27確定模糊不大。如果在步驟S16中確定模糊較大，則處理進行到步驟S14，在步驟S14中參考圖像控制單元27將內部ReferenceListFlag設置為「運動」。此後，處理完成。然而，如果在步驟S16中確定模糊不大，則處理進行到步驟S17。在步驟S17中，參考圖像控制單元27將內部ReferenceListFlag設置為「預設」。即，參考圖像控制單元27不指示切片報頭生成單元13改變參考圖像。此後，處理完成。圖13是示出圖I所示的編碼設備10執行的參考圖像改變處理的流程圖。例如，參考圖像改變處理針對每個待編碼的非幀內圖片來執行。在步驟S31中，參考圖像數目判定單元19使用圖2所示的第一確定方法或圖3所示的第二確定方法來確定參考圖像的場數目是否被設置為I。如果在步驟S31中確定參考圖像的場數目被設置為1，則切片報頭生成單元13在步驟S32中確定參考圖像控制單元27的ReferenceListFlag是否被設置為「運動」。如果在步驟S32中確定ReferenceLiStFlag被設置為「運動」，則切片報頭生成單元13在步驟S33中確定從圖像分類緩衝器12提供的待編碼圖片是否是B圖片。如果在步驟S33中確定待編碼圖片是B圖片，則切片報頭生成單元13在步驟S34中確定待編碼圖片是否是頂場中的圖片。如果在步驟S34中確定待編碼圖片是頂場中的圖片，則處理進行到步驟S35。在步驟S35中，切片報頭生成單元13將切片報頭的「num_ref_idx_10_active_minusl」的值設置為O。「num_ref_idx_10_active_minusl」的值表示通過從在待編碼圖片之前的參考圖像的場數目減去I而獲得的值。即，切片報頭生成單元13將表示待編碼圖片之前的參考圖像的場數目是I的信息寫入到切片報頭。另外,切片報頭生成單元13將切片報頭的「num_ref_idx_ll_active_minusl」的值設置為O。「num_ref_idx_ll_active_minusl」的值表示通過從待編碼圖片之後的參考圖像的場數目減去I而獲得的值。即，切片報頭生成單元13將表示待編碼圖片之後的參考圖像的場數目是I的信息寫入到切片報頭。此外,切片報頭生成單元13將切片報頭的「ref_pic_list_reordering_flag_10」的值設置為I。「ref_pic_list_reordering_flag_10」的值表示關於預設參考圖像是否用作待編碼圖片之前的參考圖像的信息，並且值I表示沒有使用參考圖像。此外，切片報頭生成單元13將以用作切片報頭中的關於待編碼圖片之前的參考圖像的參考圖像信息的「ListO」的第O個索引「RefldxO」指定的圖片設置為如下圖片該圖片在待編碼圖片之前並且具有比待編碼圖片之前的預設參考圖像的時間距離短的距待編碼圖片的時間距離。例如，如果待編碼圖片是圖6所示的B圖片61，則時間距離短於I圖片42的時間距離的P圖片43被設置作為以「ListO」的第O個索引「RefldxO」指定的圖片。此後，處理完成。 然而,如果在步驟S34中確定待編碼圖片不是頂場中的圖片，即，如果確定待編碼圖片是底場中的圖片，則處理進行到步驟S36。在步驟S36中，切片報頭生成單元13將切片報頭中的「num_ref_idx_10_active_minusl」的值設置為O。另外，切片報頭生成單元13將切片報頭中的「num_ref_idx_ll_active_minusl」 的值設置為 O。此外，切片報頭生成單元13將切片報頭中的「ref_pic_list_reordering_flag_ll」的值設置為I。「ref_pic_list_reordering_flag_ll」表示預設參考圖像是否要用作待編碼圖片之後的參考圖像，並且值I表示沒有使用預設參考圖像。此外，切片報頭生成單元13將以用作切片報頭中的關於待編碼圖片之後的參考圖像的參考圖像信息的「Listl」的第O個索引「RefldxO」指定的圖片設置為如下圖片該圖片在待編碼圖片之後並且具有比待編碼圖片之後的預設參考圖像的時間距離短的距待編碼圖片的時間距離。例如，如果待編碼圖片是圖7所示的B圖片71，則時間距離短於P圖片51的時間距離的P圖片41被設置作為以「Listl」的第O個索引「RefldxO」指定的圖片。此後，處理完成。然而，如果在步驟S33中確定待編碼圖片不是B圖片，即，如果確定待編碼圖片是P圖片，則處理進行到步驟S37。在步驟S37中，切片報頭生成單元13將切片報頭中的「num_ref_idx_10_active_minusl」的值設置為O。另外，切片報頭生成單元13將以列表「ListO」的第O個索引「RefldxO」指定的圖片設置為如下圖片該圖片在待編碼圖片之前並且具有比預設參考圖像的時間距離短的距待編碼圖片的時間距離。例如，如果待編碼圖片是圖4所示的P圖片41，則時間距離短於I圖片42的時間距離的P圖片43被設置在列表「ListO」中的第O個索引「RefldxO」處。替選地，如果待編碼圖片是圖5所示的P圖片51，則關於時間距離短於P圖片43的時間距離的P圖片41的信息被設置在列表「ListO」中的第O個索引「RefldxO」處。此後，處理完成。然而，如果在步驟S32中確定ReferenceListFlag沒有被設置為「運動」，即，如果確定ReferenceListFlag被設置為「預設」，則處理進行到步驟S38。在步驟S38中，切片報頭生成單元13確定從圖像分類緩衝器12提供的待編碼圖片是否是B圖片。如果在步驟S38中確定待編碼圖片是B圖片，則切片報頭生成單元13在步驟S39中將切片報頭中的「num_ref_idx_10_active_minusl」的值設置為O。另外,切片報頭生成單元13將切片報頭中的「num_ref_idx_ll_active_minusl」的值設置為O。此後，處理完成。然而，如果在步驟S38中確定待編碼圖片不是B圖片，即，如果確定待編碼圖片是P圖片，則處理進行到步驟S40。在步驟S40中，切片報頭生成單元13將切片報頭中的「num_ref_idx_10_active_minusl」的值設置為O。此後,處理完成。然而，如果在步驟S31中確定參考圖像的場數目沒有被設置為1，則處理完成。在這樣的情況下，執行例如正常參考圖像設置處理。 [本發明的優點的示例的描述]圖14示出了 AVC中標準中定義的宏塊預測語法。如圖14的宏塊預測語法的段落19和20中所表示的，如果「num_ref_idx_10_active_minusl」大於O,則讀取列表「ListO」的Refldx。另外,如宏塊預測語法的段落22和23中所表示的,如果「num_ref_idx_ll_active_minusl」大於O,則讀取列表「Listl」的RefIdx0因此，如果「num_ref_idx_10_active_minusl」是 O 並且「num_ref_idx_ll_active_minusl」是I,即,如果參考圖像的場數目是1，貝丨J不讀取「ListO」的RefIdx和「Listl」的Refldx。因此，如果參考圖像的場數目是1，則以宏塊為單位減少了開銷，並且因此可以提聞編碼效率。注意，儘管參考基於待編碼圖片的運動量、ME殘差和MV長度以及模糊量的全部而確定參考圖像做出了以上描述，但是可基於待編碼圖片的運動量、ME殘差、MV長度以及模糊量中的至少一個來確定參考圖像。另外，參考圖像確定方法不限於上述方法。例如，作為參考圖像確定方法，可使用如下方法對作為參考圖像的多個參考圖像候選中的每個執行運動補償，並且此後，可選擇具有所得到的預測圖像與待編碼圖片之間的差的最小絕對值的候選作為參考圖像。本發明還可適用於使用除AVC方法之外的方法執行編碼的編碼設備。[根據本發明的計算機的描述]上述系列處理不僅可以由硬體而且可以由軟體來執行。當上述系列處理由軟體來執行時，軟體的程序安裝在例如通用計算機中。因此，圖15示出了其上安裝有執行根據實施例的上述系列處理的程序的計算機的配置示例。程序可以預先記錄在用作併入計算機中的記錄介質的存儲單元208或ROM (只讀存儲器)202中。替選地，程序可以存儲(記錄)在可移除介質211中。可移除介質211可以以所謂的封裝軟體的形式來提供。可移除介質211的示例包括軟盤、CD-ROM (光碟只讀存儲器)、MO (磁光)盤、DVD (數字通用盤)、磁碟以及半導體存儲器。注意，除了經由驅動器210從上述可移除介質211安裝到計算機中之外，程序還可以從通信網絡或廣播網絡下載到計算機中並且可以安裝在併入計算機的存儲單元208中。即，程序可以例如經由用於數字衛星廣播的人造衛星從下載站點傳輸到計算機或者可以以有線方式經由網絡(諸如LAN (區域網)或網際網路)下載。計算機包括CPU (中央處理單元)201。輸入/輸出接口 205經由總線204連接到CPU 201。當例如經由輸入/輸出接口 205從操作輸入單元206的用戶接收到指令時，CPU201執行存儲在ROM 202中的程序。替選地，CPU 201將存儲在存儲單元208中的程序加載到RAM (隨機存取存儲器)203中並且執行該程序。以此方式，CPU 201執行根據上述流程圖的處理或者由上述框圖中的部件執行的處理。此後，CPU 201經由輸入/輸出接口 205從輸出單元207輸出處理的結果或者在必要時從通信單元209傳送結果。另外，例如，CPU 201在必要時將結果記錄到存儲單元208
中。注意，輸入單元206包括例如鍵盤、滑鼠和麥克風。相反，輸出單元207包括IXD(液晶顯示器)和揚聲器。在本說明書中，計算機根據程序執行的處理不一定總是按照在流程圖中描述的上述順序執行。就是說，計算機根據程序執行的處理可以並行地或獨立地執行(例如，並行處理或基於對象的處理)此外，程序可以由單個計算機(處理器)執行或者可以由多個計算機分布式地執行。此外，程序可以被傳輸到遠程計算機並且可以由遠程計算機執行。此外，應當注意，本發明的實施例不限於上述實施例。在本發明的範圍內可以進行各種修改。附圖標記列表10編碼裝置13切片報頭生成單元19參考圖像數目判定單元
權利要求
1.一種編碼裝置，包括參考圖像數目判定部件，用於基於編碼圖像數據的位率確定編碼時使用的參考圖片的數目是I;以及參考圖片確定部件，用於當所述參考圖像數目判定部件確定所述參考圖片的數目是I 時，從圖像數據中選擇關於一個圖像的數據作為參考圖片。
2.根據權利要求I所述的編碼裝置，其中如果所述位率高於或等於閾值，則所述參考圖像數目判定部件確定所述參考圖片的數目是I。
3.根據權利要求I所述的編碼裝置，其中所述參考圖像數目判定部件基於所述編碼圖像數據的位率和預定文件尺寸確定所述參考圖片的數目是I。
4.根據權利要求3所述的編碼裝置，其中如果在各時刻的所述編碼圖像數據的位率高於或等於閾值，則所述參考圖像數目判定部件確定所述參考圖片的數目是1，所述閾值基於與各時刻的所述預定文件尺寸對應的位率。
5.根據權利要求3所述的編碼裝置，其中所述參考圖像數目判定部件基於各時刻的所述編碼圖像數據的位率以及與各時刻的所述預定文件尺寸對應的位率，估計在各時刻表示所述編碼圖像數據的文件尺寸超過所述預定文件尺寸的數量的文件超出量，以及其中如果所述文件超出量大於或等於閾值，則所述參考圖像數目判定部件確定所述參考圖像數目是 I。
6.根據權利要求I所述的編碼裝置，其中所述參考圖片確定部件基於指示待編碼圖片的運動的信息和模糊量中的至少之一來選擇所述參考圖片。
7.根據權利要求6所述的編碼裝置，其中所述參考圖片確定部件基於指示待編碼圖片的運動的信息和模糊量中的至少之一，來選擇具有與待編碼圖片相同的場類型的圖片和具有距待編碼圖片的短的時間距離的圖片中的一個作為所述參考圖片。
8.根據權利要求7所述的編碼裝置，其中如果用作指示所述運動的信息的運動量、ME 殘差和MV長度中的每個大於或等於預定閾值，則所述參考圖片確定部件選擇具有距待編碼圖片的短的時間距離的圖片作為所述參考圖片。
9.根據權利要求7所述的編碼裝置，其中如果用作指示所述運動的信息的運動量、ME 殘差和MV長度中的每個小於預定閾值，則所述參考圖片確定部件選擇具有與待編碼圖片相同的場類型的圖片作為所述參考圖片。
10.根據權利要求7所述的編碼裝置，其中當用作指示所述運動的信息的運動量、ME殘差和MV長度中的至少之一小於預定閾值時，並且如果所述模糊量大於或等於預定閾值，則所述參考圖片確定部件選擇具有距待編碼圖片的短的時間距離的圖片作為所述參考圖片。
11.根據權利要求7所述的編碼裝置，其中當用作指示所述運動的信息的運動量、ME殘差和MV長度中的至少之一小於預定閾值時，並且如果所述模糊量小於預定閾值，則所述參考圖片確定部件選擇具有與待編碼圖片相同的場類型的圖片作為所述參考圖片。
12.—種用在編碼裝置中的編碼方法，包括基於編碼圖像數據的位率確定編碼時使用的參考圖片的數目是I的參考圖像數目判定步驟；以及當在所述參考圖像數目判定步驟中確定所述參考圖片的數目是I時，從圖像數據中選擇關於一個圖像的數據作為參考圖片的參考圖片確定步驟。
全文摘要
本發明涉及一種能夠以宏塊為單位減少開銷的編碼裝置和編碼方法。參考圖像數目判定單元19基於編碼數據的位率確定編碼時使用的參考圖像的場數目是1。如果參考圖像的場數目被確定為1，則切片報頭生成單元13從輸入到圖像分類緩衝器12的圖片中選擇一個圖片作為參考圖像。本發明適用於例如基於AVC標準執行視頻編碼的編碼裝置。
文檔編號H04N7/32GK102934442SQ20118002715
公開日2013年2月13日 申請日期2011年6月2日 優先權日2010年6月9日
發明者田中潤一 申請人:索尼公司