圖像信息編碼設備的製作方法

2023-10-08 16:53:04

專利名稱：圖像信息編碼設備的製作方法
技術領域：
本發明涉及一種當經由網絡介質(諸如衛星廣播、有線電視、網際網路、或移動電 話)接收或者在存儲介質(諸如光碟或磁碟、或者快閃記憶體)上處理在MPEG、H. 26x等情況 下利用諸如離散餘弦變換或者卡洛(Karhimen-Loeve)變換的正交變換以及利用運動補 償進行壓縮的圖像信息(比特流)時使用的圖像信息編碼設備和編碼方法。日本專利申 請No. 2007-050778是於2007年2月28日在日本提交的專利申請，並且將日本專利申請 No. 2007-050778視為基礎申請，本申請是要求日本專利申請No. 2007-050778的優先權的 申請，通過引用將該日本專利申請納入本申請中。
背景技術：
近年來，將圖像信息作為數字數據對待的設備已經在由廣播站進行的信息散布以 及由普通家庭進行的信息接收中得到普及，所述裝置在這種情況下旨在高效地發送和存儲 信息，並且符合用於通過利用圖像信息特有的冗餘利用諸如離散餘弦變換的正交變換以及 利用運動補償對圖像信息進行壓縮的方案(諸如MPEG)。具體地講，定義為通用圖像編碼方案的MPEG2 (IS0/IEC 13818-2)是一種覆蓋隔 行掃描圖像和逐行掃描圖像以及標準解析度圖像和高清晰度圖像的標準，並且當前廣泛用 於包括專業應用和消費者應用的各種應用。利用MPEG2壓縮方案，例如，在720X480像素 的標準解析度隔行掃描圖像的情況下，分配4Mbps到8Mbps的編碼速率(比特率)，而在 1920 X 1088像素的高解析度隔行掃描圖像的情況下，分配18Mbps到22Mbps的編碼速率，由 此能夠實現高壓縮率和良好的圖像質量。MPEG2主要用於適合用於廣播的高圖像質量編碼，但是與實現低於在MPEGl中確 定的編碼速率的編碼速率(比特率)即更高壓縮率的編碼方案不兼容。人們認為，隨著移 動終端的普及，今後對於這種編碼方案的需要將增加，並且針對這種增加的需要而對MPEG4 編碼方案進行標準化。關於圖像編碼方案，在1998年12月，這種方案的規範被批准為ISO/ IEC 14496-2國際標準。此外，近年來，原先旨在對用於遠程電信會議的圖像進行編碼的稱作H. 26L的標 準(ITU-T Q6/16 VCEG)的標準化已在進行之中。人們知道，儘管與諸如MPEG2或MPEG4的 傳統編碼方案相比，H. 26L需要更大量計算以對圖像進行編碼和解碼，但是利用H. 26L實現 了更高的編碼效率。此外，在當前，作為MPEG4活動的一部分，通過加入在H. 26L中不支持的 功能，作為基於H. 26L的增強壓縮視頻編碼的聯合模型，已執行了實現更高編碼效率的標 準化。關於標準化的計劃，在2003年3月建立了稱作H. 264和MPEG-4 Part 10 (Advanced Video Coding(先進視頻編碼))的國際標準。
圖13是示出了輸出基於AVC標準的圖像壓縮信息的圖像信息編碼設備100的示 意性結構的框圖。圖像信息編碼設備100包括A/D轉換器單元101、畫面重新布置緩衝器102、加法 器103、正交變換單元104、量化單元105、無損編碼單元106、存儲緩衝器107、逆量化單元 108、正交逆變換單元109、去塊濾波器110、幀存儲器111、幀內預測單元112、運動預測/補 償單元113、速率控制單元114等。在圖13所示的圖像信息編碼設備100中，A/D轉換器單元101將輸入的圖像信號 轉換成數位訊號，並且將該數位訊號提供給畫面重新布置緩衝器102。然後，畫面重新布置 緩衝器102根據要從圖像信息編碼設備100輸出的圖像壓縮信息的圖像群(GOP =Group of Pictures)結構執行幀重新布置。這裡，對於要在其上執行幀內編碼(即利用單個幀的編碼)的圖像信息，關於輸入 的圖像信息與由幀內預測單元112產生的像素值之間的差的差信息被輸入到正交變換單 元104。然後，正交變換單元104對該差信息執行諸如離散餘弦變換或者卡洛變換的正交變 換。正交變換單元104將通過正交變換獲得的變換係數提供給量化單元105。量化單元105對從正交變換單元104提供的變換係數執行量化處理，並且將量化 後的變換係數提供給無損編碼單元106。無損編碼單元106對從量化單元105提供的量化後的變換係數執行諸如可變長度 編碼或者算術編碼的無損編碼。經無損編碼單元106進行了無損編碼的變換係數被存儲在 存儲緩衝器107中，並且輸出為圖像壓縮信息。量化單元105的行為由速率控制單元114控制。此外，量化單元105將量化後的 變換係數提供給逆量化單元108。此外，正交逆變換單元109對量化後的變換係數執行正交 逆變換處理，由此將其變換成解碼的圖像信息。在去塊濾波器110對該信息去除塊噪聲後， 將該信息存儲在幀存儲器111中。關於在幀內預測單元112中應用於塊/宏塊的幀內預測 模式的信息被發送給無損編碼單元106，並且被編碼為圖像壓縮信息中的報頭信息的一部 分。另一方面，對於要在其上執行幀間編碼即利用多個幀的編碼的圖像信息，將從畫 面重新布置緩衝器102提供的圖像信息輸入給運動預測/補償單元113。運動預測/補償 單元113從幀存儲器111讀取要同時參考的圖像信息。運動預測/補償單元113執行運動 預測/補償處理以產生參考圖像信息，並且將該參考圖像信息提供給加法器103。加法器 103將從畫面重新布置緩衝器102提供的圖像信息變換成表示該圖像信息與參考圖像信息 之間的差的差信號。運動預測/補償單元113同時將運動矢量信息提供給無損編碼單元 106。無損編碼單元106對運動矢量信息執行諸如可變長度編碼或者算術編碼的無損編碼 處理，並且形成要插入到圖像壓縮信息的報頭部分中的信息。其它處理與關於要進行幀內 編碼的圖像壓縮信息的處理相同。圖14是示出了利用諸如離散餘弦變換或者卡洛變換的正交變換以及利用運動補 償來實現圖像壓縮的圖像信息解碼設備200的示意性結構的框圖。圖像信息解碼設備200包括存儲緩衝器201、無損解碼單元202、逆量化單元203、 正交逆變換單元204、加法器205、畫面重新布置緩衝器206、D/A轉換器單元207、幀存儲器 208、運動預測/補償單元209、幀內預測單元210、去塊濾波器211等。
在圖14所示的圖像信息解碼設備200中，存儲緩衝器201臨時存儲輸入的圖像壓 縮信息，並且將存儲的圖像壓縮信息傳送給無損解碼單元202。無損解碼單元202根據確 定的圖像壓縮信息的格式，對從存儲緩衝器201傳送的圖像壓縮信息執行諸如可變長度解 碼或者算術解碼的處理。另外，當幀是幀內編碼的幀時，無損解碼單元202還對存儲在圖像 壓縮信息的報頭部分中的幀內預測模式信息進行解碼，並且將該信息提供給幀內預測單元 210。此外，當幀是幀間編碼的幀時，無損解碼單元202還對存儲在圖像壓縮信息的報頭部 分中的運動矢量信息進行解碼，並且將該信息提供給運動預測/補償單元209。逆量化單元203對從無損解碼單元202提供的量化後的變換係數進行逆量化，並 且將該變換係數提供給正交逆變換單元204作為變換係數。正交逆變換單元204根據預定 方案對從逆量化單元203提供的變換係數執行四階正交逆變換。這裡，當幀是幀內編碼的幀時，經歷了正交逆變換處理的圖像信息被提供給加法 器205並且與由幀內預測單元210產生的預測圖像信息進行組合。另外，在去塊濾波器211 對該信息去除塊噪聲後，將該信息存儲在畫面重新布置緩衝器206中。在由D/A轉換器單 元207執行D/A轉換處理後將該信息輸出。另一方面，當幀是幀間編碼的幀時，運動預測/補償單元209基於經歷了由無損解 碼單元202進行的無損解碼處理的運動矢量信息以及基於存儲在幀存儲器208中的圖像信 息產生參考圖像信息，並且將該參考圖像信息提供給加法器205。加法器205將該參考圖像 信息與正交逆變換單元204的輸出進行組合。其它處理與關於幀內編碼的幀的處理相同。本申請的現有技術文獻的示例包括日本未審專利申請公報No. 2003-289544、日本 未審專利申請公報No. 2004-289808、日本未審專利申請公報No. 2004-274732、日本未審專 利申請公報No. 2004-187264、日本未審專利申請公報No. 2004-274694和日本未審專利申 請公報 No. 2006-129177。

發明內容
同時，在AVC編碼方案中，能夠參考多個圖像。這些圖像保存在解碼圖像緩衝器 (DPB)中，該解碼圖像緩衝器(DPB)是用於存儲用於進行預測的解碼圖像的圖像緩衝存儲 器。在解碼圖像緩衝器(DPB)中，短期被參考的圖像被標記為短期參考圖像(用於短期參 考)，長期被參考的圖像被標記為長期參考圖像(用於長期參考)，並且沒有被參考的圖像 被標記為非參考圖像(未用於進行參考)，由此對每個圖像進行標記。解碼圖像被一次保存在解碼圖像緩衝器(DPB)中。這些解碼圖像在利用重新布置 的輸出順序所指定的輸出定時被輸出。解碼圖像緩衝器(DPB)的大小由類(profile)和級(level)定義，並且不被定義 為圖像的數目而被定義為比特量。換言之，即使當使用相同的類和級進行定義時，圖像的數 目根據圖像的圖像幀進行改變。例如，在主類和4級的情況下，用於存儲用於預測的解碼圖 像的圖像緩衝器的最大大小(MaxDPB 最大解碼圖像緩衝器大小)是12288. OX 1024位元組。 因此，在1440X1088和4:2:0的情況下，能夠在解碼圖像緩衝器(DPB)中保存的圖像的數 目是5。另一方面，在1920X1088和4:2:0的情況下，能夠在解碼圖像緩衝器(DPB)中保存 的圖像的數目是4。需要利用有限大小的DPB執行編碼從而使輸出順序與參考關係之間沒 有矛盾。
作為用於管理解碼圖像緩衝器(DPB)的處理，有兩種類型的管理處理。第一管理 處理是滑動窗口處理。第二管理處理是自適應存儲器控制處理。滑動窗口處理是利用先入 先出(FIFO)方案管理解碼圖像緩衝器(DPB)，並且按照幀號(framejum)的順序從較小幀 號開始釋放圖像的處理。在自適應存儲器控制處理中，能夠以任何方式對解碼圖像緩衝器 (DPB)中的圖像進行管理。用於自適應存儲器控制處理的管理命令稱作存儲器管理控制操 作(MMCO)命令。利用MMCO命令，例如，可將短期參考圖像設置為非參考圖像，可將長期參 考圖像設置為非參考圖像，通過將長期幀索引分配給短期參考圖像可將短期參考圖像設置 為長期參考圖像，可以設置長期幀索引的最大值，並且可以將所有參考圖像設置為非參考 圖像。在自適應存儲器控制處理中，利用參考圖像列表來管理參考圖像。可以用利用參 考圖像列表重新排序的任何順序來替換參考圖像列表中的順序。當沒有利用參考圖像列表 重新排序時，利用從短期參考圖像到長期參考圖像的順序產生參考圖像列表。由於近年的研究，稱作分層B圖像結構的GOP結構在編碼效率和圖像質量方面引 人關注。圖15的部分(A)和(B)是示出了典型分層B圖像結構(G0P-1)的示例的圖。在 圖15的部分(A)中，按照顯示順序示出了圖像的類型和圖像順序計數(POC)，並且各個圖 像之間的參考關係由箭頭指示。另外，在圖15的部分(B)中，示出了各個圖像的解碼順序。 此外，在圖15的部分㈧和⑶中，Br表示要參考的B圖像。然而，由於該結構需要大量的重新布置緩衝器，所以存在利用諸如圖16所示的結 構的GOP結構(G0P-2)的情況。在圖16的部分㈧中，按照顯示順序示出了圖像的類型和 圖像順序計數(POC)，並且各個圖像之間的參考關係由箭頭指示。另外，在圖16的部分(B) 中，按照解碼順序示出了這些圖像。此外，在圖16的部分㈧和⑶中，Br表示要參考的 B圖像。如上所述，在主類、4級、以及1920 X 1088和4 2 0的圖像幀的情況下，在解碼圖像 緩衝器(DPB)中能夠保存的圖像的數目是4。在G0P-2結構中，當在解碼圖像緩衝器(DPB)中能夠保存的圖像的數目是4(max_ dec_frame_buffering = 4)並且能夠用於參考的圖像的數目是3 (num_ref_frames = 3) 時，獲得諸如圖17的部分(A)到(D)中所示的參考關係的參考關係。在圖17的部分㈧中，按照顯示順序示出了圖像的類型和圖像順序計數，並且各 個圖像之間的參考關係由箭頭指示。另外，在圖17的部分⑶中，示出了各個圖像的解碼順
序。此外，在圖17的部分(C)和(D)中，示出了各時刻TO、Tl........T15、...的解碼圖
像緩衝器(參考圖像緩衝器和非參考圖像緩衝器)和顯示緩衝器的內容。在這種情況下， 如圖17的部分(A)中的粗線箭頭所示，不存在在時間上最接近的參考表面。此外，由於進 行參考從而跳過I圖像，所以不能執行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。這裡，IDR圖像是圖像序列中的開始圖像。瞬時解碼刷新圖像包括I片段或切換I 片段(switching I slice)，並且利用瞬時解碼刷新圖像，將對比特流進行解碼所需的諸如 參考圖像緩衝器的狀態、幀號和圖像順序計數的所有狀態復位。在H. 264/AVC中，由於允許 進行從I圖像後的P圖像參考該I圖像前的圖像的幀間預測，所以典型的I圖像不足以將 這些狀態完全復位，並且需要利用瞬時解碼刷新圖像。如上所述，利用傳統技術，不能夠參考在時間上最接近並且被視為高度相關的圖 像的圖像，並且此外，傳統技術具有如下問題不能夠執行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。因此，鑑於諸如上述問題的傳統問題，本發明旨在在輸出基於AVC編碼方案的圖 像壓縮信息的圖像信息編碼設備中實現包括分層B圖像的GOP結構中的最佳參考關係以及 從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。根據下面描述的實施例，本發明的其它目的和通過本發明獲得的具體優點將變得 更加清楚。為了解決上述問題，本發明使得可以使用利用存儲器管理控制操作命令和參考圖 像列表重新排序命令的處理，來獲得最高效的參考關係以及執行從不是瞬時解碼刷新圖像 的I圖像起的隨機訪問。換言之，本發明提供了一種用於執行利用運動預測對圖像信息進行編碼的處理並 且輸出圖像壓縮信息的圖像信息編碼設備。該設備的特徵在於包括存儲器管理控制操作 命令產生裝置，用於產生用於管理解碼圖像緩衝器中的圖像的存儲器管理控制操作命令。 在執行多幀預測的情況下，存儲器管理控制操作命令產生裝置利用存儲器管理控制操作命 令將一圖像與P圖像或I圖像之間存在的參考B圖像登記為長期參考圖像，當對P圖像或I 圖像與參考B圖像之間存在的B圖像進行處理時利用參考圖像列表重新排序命令將參考B 圖像置於參考圖像列表中的第一位，當對P圖像或I圖像進行處理時通過利用存儲器管理 控制操作命令將長期幀索引的最大值設置為
而將解碼圖像緩衝器中的長期參考圖像 設置為非參考圖像，並且執行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。此外，本發明提供了一種用於執行利用運動預測對圖像信息進行編碼的處理並且 輸出圖像壓縮信息的圖像信息編碼方法。該方法的特徵在於包括如下步驟在執行多幀預 測的情況下，利用用於管理解碼圖像緩衝器中的圖像的存儲器管理控制操作命令將一圖像 與P圖像或I圖像之間存在的參考B圖像登記為長期參考圖像；當對P圖像或I圖像與參 考B圖像之間存在的B圖像進行處理時利用參考圖像列表重新排序命令將參考B圖像置於 參考圖像列表中的第一位；當對P圖像或I圖像進行處理時通過利用存儲器管理控制操作 命令將長期幀索引的最大值設置為
而將解碼圖像緩衝器中的長期參考圖像設置為非 參考圖像；以及執行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。這裡，將描述作為本發明的特徵的存儲器管理控制操作命令產生裝置的操作的原 理。存儲器管理控制操作命令產生裝置是用於發出存儲器管理控制操作命令和參考 圖像列表重新排序命令的裝置，其中利用這些命令，根據GOP結構實現高效參考關係並且 可以執行從不是瞬時解碼刷新(IDR)圖像的I圖像起的隨機訪問。這裡，作為示例描述了如 下的情況提供了諸如圖16所示的結構的GOP結構，解碼幀緩衝器的最大數目(maX_dec_ frame_buffering)是 4，並且參考幀的數目(num_ref_frames)是 3。如上所述，由於該結構需要大量的重新布置緩衝器，所以存在利用諸如圖16所示 的結構的GOP結構(G0P-2)的情況。如上所述，在主類、4級以及1920X1088和4:2:0的圖 像幀的情況下，在解碼圖像緩衝器(DPB)中能夠保存的圖像的數目是4。另外，當在G0P-2 結構中解碼圖像緩衝器(DPB)是4(max_dec_frame_buffering = 4)並且能夠用於參考的 圖像的數目是3(nUm_ref_frameS = 3)的情況下，獲得諸如圖17的部分㈧到⑶中所示 的參考關係的參考關係。
當沒有利用存儲器管理控制操作命令時，如圖17所示，針對按解碼順序位於P圖 像或I圖像之後的B圖像，按照跳過在時間上緊接在B圖像之前的P圖像或I圖像的方式 執行對參考B圖像的參考。為了避免這種情況，僅需要利用存儲器管理控制操作命令將參 考B圖像設置為非參考圖像。僅需利用存儲器管理控制操作命令(MMC0 = 1)將已被設置為短期參考圖像的先 前參考B圖像在該參考B圖像的時刻設置為非參考圖像。然而，在這種情況下，需要向流輸 出表示參考B圖像的圖像編號與輸出命令時當前的圖像編號之間的差的圖像編號差值。利 用位於片段報頭上的幀號(frame_nUm)確定圖像編號。幀號是用於唯一地確定圖像的值。當執行從除瞬時解碼刷新圖像以外的I圖像起的隨機訪問時，僅存在設置為I圖 像之後的圖像的幀號的值。因此，如果要執行利用存儲器管理控制操作命令(MMCO= 1)將 圖像設置成非參考圖像的設置，則在解碼圖像緩衝器中不存在要指定的圖像。因此，在本發明中，利用改變長期幀索引的最大值的MMCO = 4的存儲器管理控制 操作命令。在這種情況下，當將長期幀索引的最大值設置為
時，能夠從解碼圖像緩衝器 釋放先前存在的長期參考圖像。通過利用這種機制，參考B圖像被設置為長期參考圖像，然 後在不需要參考該長期參考圖像時，利用改變長期幀索引的最大值的命令釋放該長期參考 圖像。以這種方式，即使當執行從除瞬時解碼刷新圖像以外的I圖像起的隨機訪問時，仍能 夠發出沒有矛盾的命令。當沒有使用參考圖像列表重新排序命令時，利用從短期參考圖像到長期參考圖像 的順序產生參考圖像列表。因此，當參考B圖像被設置為長期參考圖像時，分配該列表中的 最後參考號。由於這具有編碼效率方面的缺點，所以利用參考圖像列表重新排序命令分配 最小參考號。通過連續執行上述的處理能夠實現諸如圖6的部分(A)到(D)中所示的關係的參
考關係。


圖1是示出根據本發明的利用AVC編碼方案的圖像信息編碼設備的結構示例的框 圖。圖2是示出在上述的圖像信息編碼設備中從不是瞬時解碼刷新(IDR)圖像的I圖 像執行隨機訪問的過程的流程圖。圖3是示出在上述的圖像信息編碼設備中被執行上述隨機訪問的圖像群(GOP)結 構的示意圖。圖4是示出在上述圖像信息編碼設備中用於對具有幀結構的GOP執行上述隨機訪 問的存儲器管理控制操作命令的細節的圖。圖5是示出在上述圖像信息編碼設備中用於對具有幀結構的GOP執行上述隨機訪 問的參考圖像列表重新排序命令的細節的圖。圖6是示意性示出了當在上述圖像信息編碼設備中對具有幀結構的GOP執行上述 隨機訪問的情況下每個信息項的狀態的圖。圖7是示意性示出了在上述圖像信息編碼設備中被執行上述隨機訪問的具有幀 結構的GOP的結構示例的圖。
圖8是示意性示出了當在上述圖像信息編碼設備中對具有幀結構的GOP執行上述 的隨機訪問的情況下的解碼圖像緩衝器(短期參考圖像緩衝器、長期參考圖像緩衝器和非 參考圖像緩衝器)的狀態的圖。圖9是示出在上述圖像信息編碼設備中被執行上述隨機訪問的具有場結構的圖 像群(GOP)的示意圖。圖10是示出在上述圖像信息編碼設備中用於對具有場結構的GOP執行上述隨機 訪問的存儲器管理控制操作命令的細節的圖。圖11是示出在上述圖像信息編碼設備中用於對具有場結構的GOP執行上述隨機 訪問的參考圖像列表重新排序命令的細節的圖。圖12A是示意性示出了當在上述圖像信息編碼設備中對具有場結構的GOP執行上 述隨機訪問的情況下的每個信息項的狀態的圖。圖12B是示意性示出了當在上述圖像信息編碼設備中對具有場結構的GOP執行上 述隨機訪問的情況下的每個信息項的狀態的圖。圖13是示出輸出基於AVC編碼方案的圖像壓縮信息的傳統圖像信息編碼設備的 結構示例的框圖。圖14是示出被輸入基於AVC編碼方案的圖像壓縮信息的傳統圖像信息解碼設備 的結構示例的框圖。圖15是示意性示出了典型的分層B圖像結構的圖。圖16是示意性示出了簡化的分層B圖像結構的圖。圖17是示意性示出了當在分層B圖像結構中沒有利用存儲器管理控制操作命令 和參考圖像列表重新排序命令的情況下的解碼圖像緩衝器和參考關係的圖。
具體實施例方式下面參照附圖詳細描述本發明的實施例。要注意，本發明不限於下面給出的示例。 不言自明的是，在不脫離本發明的主旨的情況下，可以進行任何變型。本發明適用於具有諸如圖1所示結構的結構的圖像信息編碼設備10。圖像信息編碼設備10包括A/D轉換器單元11、畫面重新布置緩衝器12、存儲器管 理控制操作(MMCO)命令產生單元13、加法器14、正交變換單元15、量化單元16、無損編碼 單元17、存儲緩衝器18、逆量化單元19、正交逆變換單元20、去塊濾波器21、幀存儲器22、 幀內預測單元23、運動預測/補償單元24、速率控制單元25等。在圖1所示的圖像信息編碼設備10中，A/D轉換器單元11將輸入運動圖像信號 轉換成數位訊號，並且將該數位訊號提供給畫面重新布置緩衝器12。畫面重新布置緩衝器102根據要從圖像信息編碼設備10輸出的圖像壓縮信息的 圖像群(GOP)結構，對由A/D轉換器單元11轉換成數位訊號的輸入圖像信息執行幀重新布 置。畫面重新布置緩衝器12經由存儲器管理控制操作命令產生單元13將幀已被重新布置 的輸入圖像信息提供給加法器14、正交變換單元15、幀內預測單元23和運動預測/補償單 元24。MMCO命令產生單元13向無損編碼單元17和幀存儲器22發出MMCO命令和參考 圖像列表重新排序命令，利用這些命令，針對從畫面重新布置緩衝器12提供的輸入圖像信息，例如根據圖像群(GOP)結構實現高效的參考關係，並且利用這些命令，能夠執行從不是 瞬時解碼刷新(IDR)圖像的I圖像起的隨機訪問。加法器14針對每個宏塊產生表示經由MMCO命令產生單元13提供的輸入圖像信 息與幀內或幀間預測圖像信息之間的差的差值。這裡，關於要執行幀內編碼(即利用一個幀的編碼)的圖像信息，將表示輸入圖像 信息與由幀內預測單元23產生的幀內預測圖像信息之間的差的差值輸入到正交變換單元 15。另外，關於要執行幀間編碼(即利用多個幀的編碼)的圖像信息，將表示輸入圖像信息 與由運動預測/補償單元24產生的參考圖像信息之間的差的差值輸入到正交變換單元15。正交變換單元15以可變變換尺寸為單位對從加法器14提供的每個宏塊的差值執 行諸如離散餘弦變換或者卡洛變換的正交變換。這裡，正交變換單元15執行離散餘弦變換 (DCT)，並且將獲得的正交變換(DCT)係數提供給量化單元16。量化單元16對從正交變換單元15提供的變換係數執行量化處理，並且將量化後 的變換係數提供給無損編碼單元17和逆量化單元19。量化單元16的行為由速率控制單元25控制。無損編碼單元17對從量化單元16提供的量化後的變換係數執行諸如可變長度編 碼或者算術編碼的無損編碼，例如，CABAC (上下文自適應二進位算術編碼)編碼。經無損 編碼單元17進行了無損編碼的變換係數被存儲在存儲緩衝器18中並且被作為圖像壓縮信 息輸出。另外，逆量化單元19對從量化單元16提供的量化後的正交變換係數執行逆量化 處理，並且將正交變換係數提供給正交逆變換單元20。正交逆變換單元20對從逆量化單元19提供的正交變換係數執行正交逆變換處 理，並且經由去塊濾波器21將獲得的解碼的圖像信息提供給幀存儲器22。去塊濾波器21去除包括在解碼的圖像信息中的塊噪聲。幀存儲器22存儲解碼的圖像信息。幀內預測單元23從幀存儲器22讀取相鄰並且已被編碼的圖像信息，並且基於該 圖像信息僅執行適合正交變換尺寸的幀內預測處理。運動預測/補償單元24在參考圖像信息中搜索運動矢量，並且執行幀間預測圖像 信息的產生。速率控制單元25利用反饋控制執行對量化單元16的操作的控制，並且針對要成 為輸出的圖像壓縮信息執行編碼速率的控制。另外，在圖像信息編碼設備10中，根據圖2所示的流程圖執行從不是瞬時解碼刷 新圖像的I圖像起的隨機訪問。換言之，在圖像信息編碼設備10中，當隨機訪問開始時，首先，在步驟Sl中，解碼 圖像緩衝器被設置為處於空狀態。在接下來的步驟S2中，執行解碼I圖像的處理。在接下來的步驟S3中，利用存儲器管理控制操作命令(MMC0 = 4)，將長期幀索引 的最大值設置為[-1]。在接下來的步驟S4中，將I圖像保存在解碼圖像緩衝器中。在接下來的步驟S5中，執行解碼Bs圖像的處理。
在接下來的步驟S6中，利用存儲器管理控制操作命令(MMC0 = 4)，將長期幀索引 的最大值設置為
。在接下來的步驟S7中，利用存儲器管理控制操作命令(MMC0 = 6)，將長期幀索引 設置為
。在接下來的步驟S8中，將Bs圖像保存在解碼圖像緩衝器中。在接下來的步驟S9中，執行解碼B圖像的處理。在接下來的步驟SlO中，利用參考圖像列表重新排序命令，將Bs圖像指定為Ll的 ref_idx0o在接下來的步驟Sll中，將B圖像保存在解碼圖像緩衝器中。在接下來的步驟S12中，執行解碼B圖像的處理。在接下來的步驟S13中，利用參考圖像列表重新排序命令，將Bs圖像指定為LO的 ref_idx0o在接下來的步驟S14中，將B圖像保存在解碼圖像緩衝器中。在接下來的步驟S15中，確定是否到達GOP的末端。當步驟S15中的確定結果為否時，即，當尚未到達GOP的末端時，流程進行到接下 來的步驟S16。另外，當上述步驟S15中的確定結果為是時，即，當已到達GOP的末端時，流 程返回到上述的步驟S2。在接下來的步驟S16中，執行解碼P圖像的處理。在接下來的步驟S17中，利用存儲器管理控制操作命令(MMC0 = 4)，將長期幀索引 的最大值設置為[-1]。在接下來的步驟S18中，將P圖像保存在解碼圖像緩衝器中，並且流程進行到上述 的步驟S5。然後，重複執行上述的步驟S5到上述的步驟S18的處理。當上述步驟S15中的確 定結果為是時，即，當已執行解碼處理直到到達GOP的末端時，流程返回到上述的步驟S2， 並且對下一 GOP的I圖像進行解碼。換言之，在圖像信息編碼設備10中，例如，當GOP結構是諸如圖3所示的結構的幀 結構並且是諸如在其中提供了 B0、Brl、B2、I3、B4、Br5、B6、P7、B8、Br9、B10、Pll、B12、Brl3、 B14 和 P15 並且在其中解碼順序由 I3、Brl、B0、B2、P7、Br5、B4、B6、Pll、Br9、B8、B10、P15、 Brl3、B12和B14表示的結構的分層結構時，上述存儲器管理控制操作命令產生單元13產 生被定義為與指示通過將圖像順序計數(POC)除以16而獲得的餘數的P0C% 16的值相對 應的存儲器管理控制操作命令(#C0MMAND = 0到#C0MMAND = 6)和參考圖像列表重新排序 命令(#C0MAND = 0到#C0MAND = 3)，如圖4和圖5所示。存儲器管理控制操作命令產生單 元13執行下面的處理當對13進行處理時將長期幀索引的最大值設置為
；當對Brl進 行處理時利用存儲器管理控制操作命令(MMC0 = 4)將長期幀索引的最大值設置為[1]；將 Brl設置為長期參考圖像；當對BO進行處理時利用參考圖像列表重新排序命令參考13和 Brl ；以及當對Bl進行處理時利用參考圖像列表重新排序命令參考13和Brl。存儲器管理 控制操作命令產生單元13重複該處理，由此能夠執行從不是瞬時解碼刷新圖像的I圖像起 的隨機訪問，而不會有語法矛盾，如圖6的部分(A)到(D)所示。這裡，圖6的部分(A)按照顯示順序示出了圖像的類型和圖像順序計數並且利用箭頭示出了各個圖像之間的參考關係。另外，圖6的部分(B)示出了各個圖像的解碼順序。
此外，圖6的部分(C)和(D)示出了各時刻T0、T1.....T15、...的解碼圖像緩衝器(參考
圖像緩衝器和非參考圖像緩衝器)和顯示緩衝器的內容。此外，例如，當提供了諸如在其中顯示順序由BO、Bsl、B2、13、B4、Bs5、B6、P7、B8、 Bs9、BIO、PlU ...表示並且在其中解碼順序由 13、Bsl、BO、B2、P7、Bs5、B4、B6、Pll、Bs9、
B8、B10、...表示的結構的分層結構並且存在由箭頭指示的參考關係時，在圖像信息編碼設 備10中，每個步驟中的解碼圖像緩衝器的狀態變成圖8所示的對應狀態。圖8所示的(si) 到(sl8)示出了步驟Sl到步驟S18的各個步驟中的解碼圖像緩衝器(短期參考圖像緩衝 器、長期參考圖像緩衝器和非參考圖像緩衝器)的狀態。另外，圖8所示的(sl9)到(s32) 示出了在重複執行的步驟S5到步驟S18的各個步驟中的解碼圖像緩衝器(短期參考圖像 緩衝器、長期參考圖像緩衝器和非參考圖像緩衝器)的狀態。如上所述，當GOP結構是諸如參考B圖像的結構的分層結構時，上述的存儲器管理 控制操作命令產生單元13發出MMCO命令，由此利用有限的解碼圖像緩衝器能夠獲得提供 最短幀間時間的高效參考關係。此外，當GOP結構是諸如參考B圖像的結構的分層結構時，上述的存儲器管理控制 操作命令產生單元13利用參考圖像列表重新排序命令，由此利用有限的解碼圖像緩衝器 能夠獲得提供最短幀間時間的高效參考關係。此外，存儲器管理控制操作命令產生單元13通過利用MMCO命令將要參考的B圖 像設置為長期參考圖像，並且當對P圖像和I圖像進行處理時通過將長期幀索引的最大值 設置為
而釋放該長期參考圖像，由此能夠執行從不是瞬時解碼刷新圖像的I圖像起的 隨機訪問，而不會有語法矛盾。要注意，在上述的本發明的實施例中，作為示例描述了解碼幀緩衝器的最大數目 (max_dec_frame_buffering)是4並且參考幀的數目是3的情況。當GOP結構是幀結構時， 將參考圖像Bs設置為長期參考圖像，並且該長期參考圖像被釋放，由此能夠執行從不是瞬 時解碼刷新圖像的I圖像起的隨機訪問，而不會有語法矛盾。然而，即使當將不同的值用作 解碼幀緩衝器的最大數目和參考幀的數目時，仍產生針對這些不同值的MMCO命令和參考 圖像列表重新排序命令，由此能夠實現完全沒有矛盾的流，這是因為當執行從不是瞬時解 碼刷新圖像的I圖像起的隨機訪問時沒有指定解碼圖像緩衝器中不存在的參考圖像。另外，在本發明的實施例中，描述了 GOP結構是幀結構的情況。然而，即使在GOP 結構是場結構的情況下，當解碼幀緩衝器的最大數目(max_dec_frame_bUffering)是4並 且參考幀的數目是3時，當對開始P圖像進行處理時將先前的長期參考圖像設置為非參考 圖像。將參考圖像Bs設置為長期參考圖像，並且該長期參考圖像被釋放，由此能夠執行從 不是瞬時解碼刷新(IDR)圖像的I圖像起的隨機訪問，而不會有語法矛盾。換言之，在圖像信息編碼設備10中，例如，當GOP結構是諸如圖9所示的結構的場 結構並且是諸如在其中提供7 B-6、B-5、Br-4、Br-3、B_2、B_1、IO、P1、B2、B3、Br4、Br5、B6、 B7、P8、P9、BIO、BlUBr9、B12、Brl3、B14、B15、P16、P17、B18、B19、Br20、Br21、B22、B23、 P24 和 P25 並且在其中解碼順序由 I6、P7、B2、B3、B0、B1、B4、B5、P14、P15、B10、B11、B8、B9、 B12、B13、P22、P23、B18、B19、B16、B17、B20、B21、P30、P31、B2、B27、B24、B25、B28、B29、P30、 P31、B32、...表示的結構的分層結構時，上述存儲器管理控制操作命令產生單元13產生被定義為與指示通過將圖像順序計數(POC)除以32而獲得的餘數的P0C% 32的值相對應的 存儲器管理控制操作命令(#C0MMAND = 0到#C0MMAND = 6)和參考圖像列表重新排序命令 ( COMMAND = 0到#C0MMAND = 3)，如圖10和圖11所示。存儲器管理控制操作命令產生單 元13執行下面的處理當對16進行處理時將長期幀索引的最大值設置為
；當對Brl進 行處理時利用存儲器管理控制操作命令(MMC0 = 4)將長期幀索引的最大值設置為[1]；將 Brl設置為長期參考圖像；當對B3進行處理時利用參考圖像列表重新排序命令參考16和 Brl ；以及當對B3進行處理時利用參考圖像列表重新排序命令參考16和Brl。存儲器管理 控制操作命令產生單元13重複該處理，由此能夠執行從不是瞬時解碼刷新圖像的I圖像起 的隨機訪問，而不會有語法矛盾，如圖12A和圖12B所示。要注意，本發明不限於上述實施例，在一個實施方面中，在不脫離本發明的主旨的 情況下可以進行各種變型。通過用可用於實現與不包括本發明的本質部分的結構的本發明 的結構所實現的優點相似的優點並且在申請本發明時無法預見到的技術特徵來替換不包 括本發明的本質部分的結構的本發明的結構而實現一個發明，並且該發明能夠包括在本發 明中。此外，本發明的各個方面包括在上述實施例中，並且能夠利用多個公開的部件的適當 組合實現各種發明。例如，當通過從實施例中所示的所有部件省去一些部件實現一個發明 時，省去的部件由實施所實現的發明的方面中的已知公用技術進行補償。此外，在不脫離本發明的主旨的情況下，通過進行各種變型能夠實現本發明。在本發明中，當執行多幀預測時，利用用於管理解碼圖像緩衝器中的圖像的存儲 器管理控制操作命令，將一圖像與P圖像或I圖像之間存在的參考B圖像登記為長期參考 圖像。當對P圖像或I圖像與參考B圖像之間存在的B圖像進行處理時，利用參考圖像列 表重新排序命令將參考B圖像置於參考圖像列表中的第一位。當對P圖像或I圖像進行處 理時，通過利用存儲器管理控制操作命令將長期幀索引的最大值設置為W]，將解碼圖像緩 衝器中的長期參考圖像設置為非參考圖像。執行從不是瞬時解碼刷新圖像的I圖像起的隨 機訪問。因此，通過發出存儲器管理控制操作命令來改變長期幀索引的最大值，能夠從存儲 器釋放長期參考圖像而不需要指定長期幀索引。由於當執行從不是瞬時解碼刷新圖像的I 圖像起的隨機訪問時沒有指定不存在於DPB中的參考圖像，所以能夠實現完全沒有矛盾的 流。
權利要求
1.一種圖像信息編碼設備，利用運動預測進行圖像信息的編碼處理而輸出圖像壓縮信 息，其特徵在於，具備存儲器管理控制命令產生單元，該存儲器管理控制命令產生單元通過對保存所述圖像 壓縮信息的圖像緩衝器中的所述圖像壓縮信息進行管理的存儲器管理控制命令，將處於P 圖像或I圖像之間、並參考所述多個圖像信息的參考B圖像登記為長期參考圖像，將長期幀 索引的最大值設定為W]，從而在對所述參考B圖像進行解碼時，釋放從保存所述圖像壓縮 信息的解碼圖像緩衝器解碼出的所述參考B圖像。
2.如權利要求1所述的圖像信息編碼設備，其特徵在於，所述存儲器管理控制命令產 生單元通過參考圖像列表順序命令，將處於P圖像或I圖像與所述參考B圖像之間的B圖 像在參考中利用的參考列表的最初的參考圖像設為所述參考B圖像。
3.如權利要求2所述的圖像信息編碼設備，其特徵在於，所述圖像信息的圖像群結構 是參考B圖像的分層結構。
4.如權利要求3所述的圖像信息編碼設備，其特徵在於，在所述圖像群結構中，在P圖 像或I圖像之間的B圖像的數目為3以下。
5.如權利要求4所述的圖像信息編碼設備，其特徵在於，所述圖像群結構是BO、BrU B2、13、B4、Br5、B6、P7、B8、Br9、BIO、PlU B12、Brl3、B14、P15,並且解碼處理順序為 13、 Brl、B0、B2、P7、Br5、B4、B6、Pll、Br9、B8、B10、P15、Brl3、B12、B14 這樣的分層結構。
6.如權利要求1、2或3所述的圖像信息編碼設備，其特徵在於，所述圖像群結構是將兩 個場視為彼此獨立的兩個圖像進行處理的場結構，並且所述存儲器管理控制命令產生單元 通過發出改變長期幀索引的最大值的命令，不指定長期幀索引地釋放解碼圖像緩衝器中的 長期參考圖像。
全文摘要
在輸出基於AVC編碼方式的圖像壓縮信息的圖像信息編碼設備中，可以獲得包括分層B圖像的GOP結構中的最佳參考關係並且能夠執行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。當執行多幀預測時，通過存儲器管理控制操作命令產生單元(13)，利用用於管理解碼圖像緩衝器中的圖像的存儲器管理控制操作命令將一圖像與P圖像或I圖像之間存在的參考B圖像登記為長期參考圖像。當對P圖像或I圖像與參考B圖像之間存在的B圖像進行處理時利用參考圖像列表重新排序命令將參考B圖像置於參考圖像列表中的第一位。當對P圖像或I圖像進行處理時通過利用存儲器管理控制操作命令將長期幀索引的最大值設置為
而將解碼圖像緩衝器中的長期參考圖像設置為非參考圖像。執行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。
文檔編號H04N9/804GK102088609SQ20111005240
公開日2011年6月8日 申請日期2008年2月26日 優先權日2007年2月28日
發明者佐藤數史, 田中潤一, 矢崎陽一 申請人:索尼株式會社