圖像處理設備及方法
2023-09-20 21:36:15
專利名稱：圖像處理設備及方法
技術領域：
本發明涉及圖像處理設備及方法，並且尤其涉及與基準塊相鄰的相鄰像素存在於圖像框外部的情況下也能夠進行二次預測的圖像處理設備及方法。
背景技術：
近年來，通過採用用於處理作為數位訊號的圖像信息的編碼系統並且利用圖像信息特有的冗餘性，同時針對高效信息傳輸和存儲，對圖像進行壓縮編碼以通過正交變換如離散餘弦變換等和運動補償壓縮圖像的設備正在普及。該編碼方法的示例包括MPEG(運動圖像專家組)等。具體地，MPEG2(IS0/IEC13818-2)被定義為通用圖像編碼格式，並且是包含隔行掃描圖像和逐行掃描圖像二者以及標準解析度圖像和高清晰度圖像的標準。例如，MPEG2如今已被廣泛應用於專業用途和消費者用途的寬範圍。例如在具有720X480像素的標準解析度的隔行掃描圖像的情況下，通過採用MPEG2壓縮格式，分配4至8Mbps的代碼量(比特率)。例如在具有1920X 1088像素的高解析度的隔行掃描圖像的情況下，通過採用MPEG2 壓縮格式，分配18至22Mbps的代碼量(比特率)。因此，可以實現高壓縮率和優良的圖像質量。利用MPEG2，主要將適於廣播用途的高圖像質量編碼作為對象，但不處理比MPEGl 的代碼量低的代碼量(比特率)，即，具有更高壓縮率的編碼格式。由於個人數字助理變得普及，預期對於這種編碼格式的需求從今開始將會增加，並且響應於此，MPEG4編碼格式已經被標準化。關於圖像編碼格式，其規範在1998年12月被批准作為IS0/IEC14496-2國際標準。此外，近年來，以用於電視會議用途的圖像編碼為對象，作為H. 26L (ITU-T Q6/16VCEG)的標準的標準化已經取得進展。已經知道，與傳統的編碼格式如MPEG2或 MPEG4相比，儘管利用H. 26L編碼和解碼需要更大的計算量，但實現了更高的編碼效率。此外，當前作為MPEG4的活動的一部分，已經進行了如下標準化作為增強壓縮視頻編碼的聯合模型(Joint Model of Enhanced-Compression Video Coding)，該標準化採用 H. 26L 作為基礎實現更高編碼效率、利用該H. 26L不支持的功能。就標準化日程來說，H. 264和 MPEG-4Part 10 (Advanced Video Coding，高級視頻編碼，在下文中稱為 H. 264/AVC)已於 2003年3月成為國際標準。此外，作為其擴展的包括諸如RGB、4 2 2、4 4 4等操作所必需的編碼工具、MPEG-2規定的8X8DCT(離散餘弦變換)和量化矩陣的FRExt (Fidelity Range Extension，保真度範圍擴展)的標準化也在2005年2月完成。因此，獲得了能夠使用H. 264/AVC良好地表達動畫中的電影噪聲的編碼格式，並且將被用在諸如藍光光碟 (Blu-Ray Disc，註冊商標)的廣泛應用中。然而，最近對更高壓縮編碼的需求增加，例如要壓縮大約4000X2000像素的圖像，其為高清晰(Hi-Vision)圖像的四倍。另外，例如為了在有限傳輸能力的環境中(如網際網路)散布高清晰圖像，也需要更高壓縮編碼。因此，上述ITU-T下的VCEG( = Video Coding Expert Group，視頻編碼專家組)繼續進行與提高編碼效率有關的研究。例如，在非專利文獻1中提出用於以幀間預測進一步提高編碼效率的二階預測方法。將參考圖1描述該二階預測方法。在圖1的示例中示出目標幀和基準幀，在目標幀中示出目標塊A。在基準幀和目標幀中獲得關於目標塊A的運動矢量mV(mV_x，mv_y)的情況下，計算目標塊A和通過矢量mv與目標塊A相關聯的塊B之間的差分信息(餘差)。利用該二階方法，不僅計算與目標塊A有關的差分信息，而且還計算與目標塊A相鄰的相鄰像素組A』和通過矢量mv與相鄰像素組A』相關聯的相鄰像素組B』之間的差分信肩、ο也就是說，從目標塊A的左上地址(X，y)獲得相鄰像素組A』的每個像素的地址。 並且，從通過運動矢量mv (mv_x,mv_y)與目標塊A相關聯的塊B的左上地址(X+mv_X，y+mv_ y)計算相鄰像素組B』的每個像素的地址。這些地址被用於計算相鄰像素組B』的差分信肩、ο利用該二階方法，在這樣計算出的與目標塊有關的差分信息和與相鄰像素有關的差分信息之間進行根據H. 264/AVC方法的幀內預測，由此生成二階差分信息。所生成的二階差分信息進行正交變換和量子化，與壓縮圖像一起編碼，並被發送到解碼側。非專利文獻非專利文件1 =Sijia Chen、Jinpeng Wang、Shangwen Li 和 Lu Yu 於 VCEG-AD09， ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group (VCEG)上的"Second Order Prediction (SOP) in P Slice" ，2008 年7月16-18日
發明內容
技術問題現在，儘管目標塊A總是存在於目標幀的圖像框內，但是基準塊B是否存在於基準幀的圖像框內取決於目標塊A的地址和運動矢量的值。例如，在圖2的示例中，在基準幀中檢測關於目標塊A的運動矢量mvl和mv2。通過運動矢量mvl與目標塊A相關聯的基準塊Bl的一部分從圖像框的下部伸出，並且因此與基準塊Bl相鄰的相鄰像素組ΒΓ的一部分也從圖像框的下部伸出。另外，通過運動矢量mv2與目標塊A相關聯的基準塊B2在圖像框內，但與基準塊 B2相鄰的相鄰像素組B2』的一部分從圖像框的右部伸出。也就是說，不僅基準塊是否存在於圖像框內取決於目標塊A的地址和運動矢量的值，而且與基準塊相鄰的相鄰像素組是否存在於圖像框內也取決於目標塊A的地址和運動矢量的值。在這種情況下不在圖像框內的像素不可利用，所以不作為基準像素。因此，如果應用非專利文獻1中描述的二階預測方法，則存在與基準塊相鄰的相鄰像素不可利用的情況，並且在此情況下，難以進行二階預測。也就是說，利用非專利文獻1中描述的二階預測方法，H. 264/AVC格式幀內預測轉向二階預測。利用H. 264/AVC格式幀內預測，不需要對相鄰像素的可用性進行確定，所以H. 264/AVC格式幀內預測不能轉為對用於二階預測的相鄰像素的可用性的確定因此，利用二階預測，需要增加與相鄰像素可用性的判定有關的電路。鑑於這種情況作出了本發明，並且即便在與基準塊相鄰的相鄰像素存在於圖像框的外部的情況下也能夠進行二階預測。根據本發明第一方面的圖像處理設備包括確定裝置，用於使用與目標幀中的目標塊相鄰的目標相鄰像素的相對地址確定與基準幀中的基準塊相鄰的基準相鄰像素是否存在於所述基準幀的圖像框內；端點處理裝置，用於在所述確定裝置確定所述基準相鄰像素不存在於所述圖像框內的情況下對所述基準相鄰像素進行端點處理；二階預測裝置，用於通過在所述目標塊和所述基準塊之間的差分信息與所述目標相鄰像素和已經由所述端點處理裝置對其進行了端點處理的所述基準相鄰像素之間的差分信息之間進行預測來生成二階差分信息；以及編碼裝置，用於對由所述二階預測裝置生成的所述二階差分信息進行編碼。該圖像處理設備可以還包括計算裝置，該計算裝置用於利用所述目標塊的地址 (χ，y)、所述目標塊通過其參考所述基準塊的運動矢量信息(dx，dy)和所述目標相鄰像素的相對地址(S χ，δγ)計算所述基準相鄰像素的相對地址(x+dx+ δ χ, y+dy+ δ y)，其中所述確定裝置確定由所述計算裝置計算出的所述基準相鄰像素的所述相對地址(x+dx+ δ χ， y+dy+ δ y)是否存在於圖像框內。在將像素值表示為η個比特的情況下，所述端點處理裝置可以進行端點處理，使得x+dx+ δ χ < 0或y+dy+ δ y WIDTH-I成立的情況下，所述端點處理裝置可以使用由地址 (WIDTH-1, y+dy+ δ y)指示的像素值作為基準相鄰像素的像素值進行端點處理，其中 「WIDTH」代表圖像框的水平方向上的像素的數目。在y+dy+ δ y > HEIGHT-1成立的情況下，所述端點處理裝置可以使用由地址 (x+dx+ δ X, HEIGHT-1)指示的像素值作為基準相鄰像素的像素值進行端點處理，其中 「HEIGHT」代表圖像框的垂直方向上的像素的數目。在x+dx+ δ χ > WIDTH-I和y+dy+ δ y > HEIGHT-1成立的情況下，所述端點處理裝置可以使用由地址(WIDTH-1，HEIGHT-1)指示的像素值作為基準相鄰像素的像素值進行端點處理，其中「WIDTH」代表圖像框的水平方向上的像素的數目，「HEIGHT」代表圖像框的垂直方向上的像素的數目。所述端點處理裝置可以針對不在圖像框內的基準相鄰像素進行端點處理，其中通過鏡像處理在圖像框的邊界處對稱地生成像素值。二階預測裝置可以還包括幀內預測裝置，用於使用所述目標相鄰像素和已經由所述端點處理裝置對其進行了端點處理的基準相鄰像素之間的差分信息進行預測，以生成關於目標塊的幀內預測圖像；以及二階差分生成裝置，用於計算目標塊和基準塊之間的差分信息和由所述幀內預測裝置生成的幀內預測圖像的差分，以生成二階差分信息。在所述確定裝置確定所述基準相鄰像素存在於所述圖像框內時，所述二階預測裝置可以在所述目標塊和所述基準塊間的差分信息與所述目標相鄰像素和所述基準相鄰像素間的差分信息之間進行預測。根據本發明第一方面的圖像處理方法包括以下步驟圖像處理設備使用與目標幀中的目標塊相鄰的目標相鄰像素的相對地址確定與基準幀中的基準塊相鄰的基準相鄰像素是否存在於所述基準幀的圖像框內，在確定所述基準相鄰像素不存在於所述圖像框內的情況下對所述基準相鄰像素進行端點處理，通過在所述目標塊和所述基準塊間的差分信息與所述目標相鄰像素和已經對其進行端點處理的所述基準相鄰像素間的差分信息之間進行預測來生成二階差分信息，以及對所生成的二階差分信息編碼。根據本發明第二方面的圖像處理設備包括解碼裝置，用於對編碼的目標幀中的目標塊的圖像解碼；確定裝置，用於使用與所述目標塊相鄰的目標相鄰像素的相對地址確定與基準幀中的基準塊相鄰的基準相鄰像素是否存在於所述基準幀的圖像框內；端點處理裝置，用於在所述確定裝置確定所述基準相鄰像素不存在於所述圖像框內的情況下對所述基準相鄰像素進行端點處理；二階預測裝置，用於通過使用所述目標相鄰像素和已經由所述端點處理裝置對其進行了端點處理的所述基準相鄰像素之間的差分信息進行二階預測來生成預測圖像；以及計算裝置，用於將所述目標塊的圖像、由所述二階預測裝置生成的預測圖像和所述基準塊的圖像相加以生成所述目標塊的解碼圖像。該圖像處理設備可以還包括計算裝置，該計算裝置用於利用所述目標塊的地址 (χ，y)、所述目標塊通過其參考所述基準塊的運動矢量信息(dx，dy)和所述目標相鄰像素的相對地址(S χ，δγ)計算所述基準相鄰像素的相對地址(x+dx+ δ χ, y+dy+ δ y)，其中所述確定裝置確定由所述計算裝置計算出的所述基準相鄰像素的所述相對地址(x+dx+ δ χ， y+dy+ δ y)是否存在於圖像框內。在將像素值表示為η個比特的情況下，所述端點處理裝置可以進行端點處理，使得x+dx+ δ χ < 0或y+dy+ δ y WIDTH-I成立的情況下，所述端點處理裝置可以使用由地址 (WIDTH-l,y+dy+ δ y)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理，其中「WIDTH」代表圖像框的水平方向上的像素的數目。在y+dy+ δ y > HEIGHT-1成立的情況下，所述端點處理裝置可以使用由地址 (x+dx+ δ χ, HEIGHT-1)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理， 其中「 HEIGHT」代表圖像框的垂直方向上的像素的數目。在x+dx+ δ χ > WIDTH-I和y+dy+ δ y > HEIGHT-I成立的情況下，所述端點處理裝置可以使用由地址(WIDTH-1，HEIGHT-1)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理，其中「WIDTH」代表圖像框的水平方向上的像素的數目，「HEIGHT」代表圖像框的垂直方向上的像素的數目。所述端點處理裝置可以針對不在圖像框內的基準相鄰像素進行端點處理，其中通過鏡像處理在圖像框的邊界處對稱地生成像素值。所述二階預測裝置可以還包括預測圖像生成裝置，用於通過使用目標相鄰像素和已經由所述端點處理裝置對其進行了端點處理的所述基準相鄰像素之間的差分信息進行二階預測來生成預測圖像。在所述確定裝置確定所述基準相鄰像素存在於所述圖像框內的情況下，所述二階預測裝置可以使用所述目標相鄰像素和所述基準相鄰像素之間的差分信息進行預測。根據本發明第二方面的圖像處理方法包括以下步驟圖像處理設備對編碼的目標幀中的目標塊的圖像解碼，使用與所述目標塊相鄰的目標相鄰像素的相對地址確定與基準幀中的基準塊相鄰的基準相鄰像素是否存在於所述基準幀的圖像框內，在確定所述基準相鄰像素不存在於所述圖像框內的情況下對所述基準相鄰像素進行端點處理，通過使用所述目標相鄰像素和已經對其進行了端點處理的所述基準相鄰像素之間的差分信息進行二階預測來生成預測圖像；以及將所述目標塊的圖像、由所述二階預測裝置生成的預測圖像和所述基準塊的圖像相加以生成所述目標塊的解碼圖像。根據本發明的第一方面，使用與目標幀中的目標塊相鄰的目標相鄰像素的相對地址確定與基準幀中的基準塊相鄰的基準相鄰像素是否存在於基準幀的圖像框內。在確定基準相鄰像素不存在於圖像框內的情況下，對基準相鄰像素進行端點處理，通過在目標塊和基準塊間的差分信息與目標相鄰像素和已經對其進行了端點處理的基準相鄰像素間的差分信息之間進行預測生成二階差分信息，並且將生成的二階差分信息編碼。根據本發明的第二方面，對編碼的目標幀中的目標塊的圖像解碼，並且使用與目標幀中的目標塊相鄰的目標相鄰像素的相對地址確定與基準幀中的基準塊相鄰的基準相鄰像素是否存在於基準幀的圖像框內。在確定基準相鄰像素不存在於圖像框內的情況下， 對基準相鄰像素進行端點處理，通過在目標塊和基準塊間的差分信息與目標相鄰像素和已經對其進行了端點處理的基準相鄰像素間的差分信息之間進行預測來生成二階差分信息， 以及將目標塊的圖像、由二階預測裝置生成的預測圖像和基準塊的圖像相加以生成目標塊的解碼圖像。注意，上述圖像處理設備中的每一個可以是獨立的設備，也可以是構成單個圖像編碼設備或圖像解碼設備的內部塊。發明的有益效果根據本發明的第一方面，可以對圖像編碼。另外，根據本發明的第一方面，即使在與基準塊相鄰的相鄰像素存在於圖像框的外部的情況下，也可以進行二階預測。根據本發明的第二方面，可以對圖像解碼。另外，根據本發明的第二方面，即使在與基準塊相鄰的相鄰像素存在於圖像框的外部的情況下，也可以進行二階預測。
圖1是描述幀間預測中的二階預測系統的圖。圖2是描述與基準塊相鄰的相鄰像素組的圖。圖3是示出應用了本發明的圖像編碼設備的實施例的配置的框圖。圖4是用於描述塊尺寸可變運動預測和補償處理的圖。圖5是用於描述1/4像素精度的運動預測和補償處理的圖。圖6是用於描述多基準幀的運動預測和補償方法的圖。圖7是用於描述運動矢量信息生成方法的示例的圖。圖8是示出圖3中的二階預測單元的配置示例的框圖。圖9是用於描述二階預測單元和基準相鄰確定單元的操作的圖。圖10是用於描述基準相鄰像素的設置的圖。圖11是用於描述基準相鄰像素的設置的圖。圖12是用於描述端點處理的示例的圖。圖13是用於描述圖3中的圖像編碼設備的編碼處理的流程圖。
圖14是用於描述圖13中的步驟S21中的預測處理的流程圖。圖15是用於描述在16X 16像素幀內預測模式的情況下的處理序列的圖。圖16是示出用於輝度信號的各種4X4像素幀內預測模式的圖。圖17是示出用於輝度信號的各種4X4像素幀內預測模式的圖。圖18是用於描述4X4像素幀內預測的方向的圖。圖19是用於描述4X4像素幀內預測的圖。圖20是用於描述用於輝度信號的4X4像素幀內預測模式的編碼的圖。圖21是示出用於輝度信號的各種8X8像素幀內預測模式的圖。圖22是示出用於輝度信號的各種8X8像素幀內預測模式的圖。圖23是示出用於輝度信號的各種16X16像素幀內預測模式的圖。圖24是示出用於輝度信號的各種16X16像素幀內預測模式的圖。圖25是用於描述16X 16像素幀內預測的圖。圖26是示出用於色差信號的各種幀內預測模式的圖。圖27是用於描述圖14中步驟S31中的幀內預測處理的流程圖。圖28是用於描述圖14中步驟S32中的幀間運動預測處理的流程圖。圖29是用於描述圖28中步驟S53中的基準相鄰像素確定處理的流程圖。圖30是用於描述圖28中步驟S54中的二階預測處理的流程圖。圖31是示出應用了本發明的圖像解碼設備的實施例的配置示例的框圖。圖32是示出圖31中的二階預測單元的配置示例的框圖。圖33是用於描述圖31中的圖像解碼設備的解碼處理的流程圖。圖34是用於描述圖33中步驟S138中的預測處理的流程圖。圖35是用於描述圖34中步驟S179中的二階幀間預測處理的流程圖。圖36是示出計算機硬體的配置示例的框圖。
具體實施例方式下面參考附圖描述本發明的實施例。圖像編碼設備的配置示例圖3示出作為應用了本發明的圖像處理設備的圖像編碼設備的實施例的配置。該圖像編碼設備51使用例如H. 264和MPEG-4第十部分(Advanced Video Coding, 高級視頻編碼)(在下文中稱為264/AVC)格式對圖像進行壓縮編碼。在圖3的示例中，圖像編碼設備51由A/D轉換單元61、畫面排序緩衝器62、計算單元63、正交變換單元64、量子化單元65、無損編碼單元66、存儲緩衝器67、逆量子化單元 68、逆正交變換單元69、計算單元70、解塊過濾器71、幀存儲器72、開關73、幀內預測單元 74、運動預測/補償單元75、二階預測單元76、基準相鄰確定單元77、預測圖像選擇單元78 以及速率控制單元79構成。A/D轉換單元61將輸入圖像從模擬轉換為數字，並且輸出到畫面排序緩衝器 62進行存儲。畫面排序緩衝器62將用於顯示的存儲順序的各幀的圖像排序為用於按照 GOP (Group of Picture，圖片組)編碼的幀順序。計算單元63從自畫面排序緩衝器62讀取的圖像中減去由預測圖像選擇單元78選擇的來自幀內預測單元74的預測圖像或者來自運動預測/補償單元75的預測圖像，並將其差分信息輸出到正交變換單元64。正交變換單元64對來自計算單元63的差分信息進行正交變換(如離散餘弦變換、Karhunen-Loeve transform變換等)，並輸出其變換係數。 量子化單元65將正交變換單元64輸出的變換係數量子化。作為量子化單元65的輸出的量子化的變換係數被輸入到無損編碼單元66、進行無損編碼(如可變長編碼、算術編碼等)並被壓縮。無損編碼單元66從幀內預測單元74獲取表示幀內預測的信息，並且從運動預測 /補償單元75獲取表示幀間預測模式等的信息。注意，在下文中將表示幀內預測的信息和表示幀間預測的信息分別稱為幀內預測模式信息和幀間預測模式信息。無損編碼單元66對量子化的變換係數編碼，並且還對表示幀內預測的信息、表示幀間預測模式的信息等編碼，並且將它們作為壓縮圖像中的頭信息的一部分。無損編碼單元66將編碼的數據提供給存儲緩衝器67進行存儲。例如，利用無損編碼單元66進行如可變長編碼、算術編碼等的無損編碼處理。可變長編碼的示例包括由H. 264/AVC格式確定的CAVLC(Context-Adaptive Variable Length Coding，基於上下文的自適應可變長編碼)。算術編碼的示例包括CABACKontext-Adaptive Binary Arithmetic Coding，基於上下文的自適應二進位算術編碼)。存儲緩衝器67將從無損編碼單元66提供的數據作為由H. 264/AVC格式編碼的壓縮圖像輸出到圖中未示出的下遊的存儲設備或傳輸路徑等。此外，從量子化單元65輸出的量子化變換係數還被輸入到逆量子化單元68、進行逆量子化，然後還在逆正交變換單元69處進行逆正交變換。進行了逆正交變換的輸出通過計算單元70與從預測圖像選擇單元78提供的預測圖像相加，並且成為局部解碼的圖像。解塊過濾器71從解碼圖像中去除塊噪聲，然後將其提供給幀存儲器72進行存儲。由解塊過濾器71進行解塊過濾處理之前的圖像也被提供給幀存儲器72進行存儲。開關73將存儲在幀存儲器72中的基準圖像輸出到運動預測/補償單元75或者幀內預測單元74。利用該圖像編碼設備51，例如來自畫面排序緩衝器62的I圖片、B圖片和P圖片被提供給幀內預測單元74，作為要進行幀內預測(也稱為幀內處理)的圖像。另外，從畫面排序緩衝器62讀取的B圖片和P圖片被提供給運動預測/補償單元75，作為要進行幀間預測(也被稱為幀間處理)的圖像。幀內預測單元74基於從畫面排序緩衝器62讀取的要進行幀內預測的圖像和從幀存儲器72提供的基準圖像進行作為候選的所有幀內預測模式的幀內預測處理，以生成預測圖像。此時，幀內預測單元74針對所有候選幀內預測模式計算成本函數值，並且選擇所算出的成本函數值給出最小值的幀內預測模式作為最佳幀內預測模式。幀內預測單元74將在最佳幀內預測模式中生成的預測圖像及其成本函數值提供給預測圖像選擇單元78。在預測圖像選擇單元78選擇了最佳幀內預測模式中生成的預測圖像的情況下，幀內預測單元74將表示最佳幀內預測模式的信息提供給無損編碼單元66。 無損編碼單元66對該信息編碼以作為壓縮圖像中頭信息的一部分。運動預測/補償單元75對於作為候選的所有幀間預測模式進行運動預測和補償處理。具體地，從畫面排序緩衝器62讀取的要進行幀間處理的圖像被提供給運動預測/補償單元75，並且基準圖像也從幀存儲器72經由開關73提供給運動預測/補償單元75。運動預測/補償單元75基於要進行幀間處理的圖像和基準圖像檢測作為候選的所有幀間預測模式的運動矢量、基於這些運動矢量對基準圖像進行補償處理，並生成預測圖像。運動預測/補償單元75將檢測出的運動矢量信息、用於幀間處理的圖像信息(地址等)以及作為要進行幀間處理的圖像與所生成的預測圖像之間的餘差的一階餘差提供給二階預測單元76。二階預測單元76獲取與使用運動矢量信息與目標塊相關聯的基準塊相鄰的基準相鄰像素的地址，並且提供給基準相鄰確定單元77。二階預測單元76根據來自基準相鄰確定單元77的對該輸入的確定結果，對從幀存儲器72讀取的並經過二階預測處理的相應像素進行端點處理。注意，端點處理是使用存在於基準幀的圖像框內的另一個像素值確定用於該圖像框外部發現的基準相鄰像素的像素值的處理。此外，二階預測是用於在一階餘差與目標相鄰像素和基準相鄰像素之間的差分之間進行預測並生成二階差分信息(二階餘差)的處理。二階預測單元76將通過二階預測處理生成的二階餘差和用於二階預測處理的幀內預測模式的信息輸出到運動預測/補償單元75作為二階預測中的幀內預測模式信息。基準相鄰確定單元77使用來自運動預測/補償單元75的基準相鄰像素的地址確定基準相鄰像素是否存在於基準幀的圖像框內，並且將其確定結果提供給二階預測單元 76。運動預測/補償單元75可以通過比較來自二階預測單元76的二階餘差來確定用於二階預測的最佳幀內預測模式。此外，運動預測/補償單元75通過比較二階餘差和一階餘差來確定是否進行二階預測處理(即，是對二階餘差編碼還是對一階餘差編碼)。注意， 關於所有候選幀間預測模式進行這些處理。此外，運動預測/補償單元75對於作為候選的所有幀間預測模式計算成本函數值。此時，運動預測/補償單元75使用一階餘差和二階餘差中針對每個幀間預測模式確定的餘差計算成本函數值。運動預測/補償單元75將計算出的成本函數值中提供最小值的預測模式確定為最佳幀間預測模式。運動預測/補償單元75將在最佳幀間預測模式中生成的預測圖像(或者要進行幀間的圖像和二階餘差之間的差分)及其成本函數值提供給預測圖像選擇單元78。在預測圖像選擇單元78選擇了最佳幀間預測模式中生成的預測圖像的情況下，運動預測/補償單元75將表示最佳幀間預測模式的信息輸出到無損編碼單元66。此時，運動矢量信息、基準幀信息和表示要進行二階預測的二階預測標記、用於二階預測的幀內預測模式的信息等也被輸出到無損編碼單元66。無損編碼單元66還對來自運動預測/補償單元75的信息進行無損編碼處理(如可變長編碼、算術編碼等)，並插入到壓縮圖像的頭部中。預測圖像選擇單元78基於從幀內預測單元74或運動預測/補償單元75輸出的成本函數值在最佳幀內預測模式和最佳幀間預測模式中確定最佳預測模式。然後預測圖像選擇單元78選擇所確定的最佳預測模式中的預測圖像，並提供給計算單元63和70。此時， 預測圖像選擇單元78將預測圖像的選擇信息提供給幀內預測單元74或運動預測/補償單元75。速率控制單元79基於存儲在存儲緩衝器67中的壓縮圖像控制量子化單元65的量子化操作的速率以避免引起溢出或下溢。H. 264/AVC格式的描沭圖4是示出根據H. 264/AVC格式的運動預測和補償的塊尺寸的示例的圖。利用 H. 264/AVC格式，對可變化的塊尺寸進行運動預測和補償。在圖4中的上層從左側依次示出由分割為16X 16像素、16X8像素、8X 16像素和 8X8像素分區的16X16個像素構成的宏塊。在圖4中的下層從左側依次示出分割為8X8 像素、8 X 4像素、4 X 8像素和4 X 4像素子分區的8 X 8像素分區。具體地，利用H. 264/AVC格式，可以將一個宏塊分割為16 X 16像素、16 X 8像素、 8X16像素和8X8像素分區中的一個，其中，每個分區具有獨立的運動矢量信息。此外，可以將8 X 8像素分區分割為8 X 8像素、8 X 4像素、4X 8像素和4X 4像素子分區中的一個， 其中，每個子分區具有獨立的運動矢量信息。圖5是用於描述根據H. 264/AVC格式的1/4像素精度的預測和補償處理的圖。根據H. 264/AVC格式，使用6抽頭FIR (Finite Impulse Response Filter，有限脈衝響應過濾器)進行1/4像素精度的預測和補償處理。在圖5的示例中，位置A表示整數精度像素，位置b、c和d表示1/2像素精度的位
置，位置el、e2和e3表示1/4像素精度的位置。首先，下面將Clip 定義為如下表達式 ⑴。[數學表達式1]注意，在輸入圖像具有8比特精度的情況下，max_pix的值為255。使用6抽頭FIR過濾器按如下表達式(2)生成位置b和d的像素值。[數學表達式2]F = Α_2-5 · Α_!+20 · A0+20 · A「5 · A2+A3通過在水平方向和垂直方向上應用6抽頭FIR過濾器按如下表達式(3)生成位置 c的像素值。[數學表達式3]F = b_2-5 · b_!+20 · b0+20 · b「5 · b2+b3或者F = d_2_5 · c^+20 · d0+20 · d「5 · d2+d3c = Clipl ((F+512) >> 10)...(3)注意，在進行了水平方向和垂直方向上的積項和(sum-of-product)處理之後最終只進行一次Clip處理。
'0,如果a<0; Clipl(a) = |a,其他；
max _ pix，如果 a > max _ ρ χ
1) b, d = Clipl ((F+16) >> 5)
…⑵
13
通過如下表達式(4)中示出的線性插值生成位置el至e3。[數學表達式4]θι = (A+b+1) >> 1e2 = (b+d+1) >> 1e3 = (b+c+1) >> 1... (4)圖6是用於描述根據H. 264/AVC格式的多基準幀的預測和補償處理的圖。根據 H. 264/AVC格式，設置多基準幀(Multi-Reference Frame)的運動預測和補償方法。在圖6的示例中，示出從現在開始要編碼的目標幀Fn和已經編碼的幀Fn-5至 Fn-I。在時間軸上，幀Fn-I比目標幀Fn早1幀，幀Fn_2比目標幀Fn早2幀，幀Fn_3比目標幀Fn早3幀。類似地，幀Fn-4比目標幀Fn早4幀，幀Fn_5比目標幀Fn早5幀。一般來說，在時間軸上離目標幀Fn越近的幀，要加的基準圖片編號(ref_id)越小。具體地，幀 Fn-I具有最小的基準圖片編號，並且此後基準圖片編號按Fn-2、-,Fn-5的順序減小。關於目標幀Fn，示出了塊Al和塊A2，在塊Al與比目標幀Fn早2幀的幀Fn_2的塊Al 』相關聯的假定下搜索運動矢量Vl。類似地，在塊A2與比目標幀Fn早4幀的幀Fn_4 的塊Al』相關聯的假定下搜索運動矢量V2。如上所述，根據H. 264/AVC格式，可以利用存儲在存儲器中的多個基準幀，在一個幀(圖片)中參考不同的基準幀。具體地，例如，使得塊Al參考幀Fn-2，塊A2參考幀Fn-4， 可以為一個圖片中的每個塊提供獨立的基準幀信息(基準圖片編號(ref_id))。在此，塊表示參考圖4描述的16 X 16像素、16 X 8像素、8 X 16像素和8X8像素分區之一。8X8像素子塊分區內的基準幀必需一致。根據H. 264/AVC格式，通過執行上面參考圖4至圖6描述的運動預測和補償處理， 生成大量的運動矢量信息，並且如果不經改變就對這些信息進行編碼，會引起編碼效率惡化。響應於此，根據H. 264/AVC格式，按照圖7中所示的方法，實現了運動矢量編碼信息的減少。圖7是用於描述根據H. 264/AVC格式的運動矢量信息生成方法的圖。在圖7的示例中，示出了現在要編碼的目標塊E(例如，16X16像素)和與目標塊 E相鄰的已經編碼的塊A至D。具體地，塊D與目標塊E的左上相鄰，塊B與目標塊E的上方相鄰，塊C與目標塊 E的右上相鄰，塊A與目標塊E的左側相鄰。注意，塊A至D沒有被分割的理由是因為每個塊代表具有上面參考圖3描述的16X 16像素至4X4像素的一個結構的塊。例如，假定用!1^代表關於1( = 4、8、(、0、幻的運動矢量信息。首先，通過使用關於塊A、B、C的運動矢量信息的中值預測按如下表達式(5)生成關於目標塊E的預測運動矢量信息pmvE。pmvE = med (mvA, mvB, mvc)... (5)由於圖像框的邊緣以及之前編碼等原因，關於塊C的運動矢量信息可能不被使用 (可能是不可用的)。在此情況下，代替關於塊C的運動矢量信息，使用關於塊D的運動矢 M.fn 息。使用pmvE按如下表達式(6)生成作為目標塊E的運動矢量信息的、將添加至壓縮圖像的頭部的數據mvdE。
mvdE = mvE-pmvE... (6)注意，在現實中，關於運動矢量信息的水平方向和垂直方向的分量獨立進行處理。以這種方式生成預測運動矢量信息，作為基於與相鄰塊的相關性生成的預測運動矢量信息和運動矢量信息之間的差分的數據mvdE被添加至壓縮圖像的頭部，從而可以減少運動矢量信息。二階預測單元的配置示例圖8是示出二階預測單元的詳細配置示例的框圖。在圖8的示例中，二階預測單元76由基準塊地址計算單元81、基準相鄰地址計算單元82、基準相鄰像素確定單元83、目標相鄰像素讀取單元84、相鄰像素差分計算單元85、 幀內預測單元86以及目標塊差分緩衝器87構成。運動預測/補償單元75將目標塊的運動矢量(dx，dy)提供給基準塊地址計算單元81。運動矢量預測/補償單元75將目標塊地址(x，y)提供給基準塊地址計算單元81和目標相鄰像素讀取單元84。運動矢量預測/補償單元75將作為目標塊和基準塊(預測圖像)之間的差分的一階餘差提供給目標塊差分緩衝器87。基準塊地址計算單元81根據來自運動矢量預測/補償單元75的目標塊地址(X， y)和目標塊的運動矢量(dx，dy)確定基準塊地址(x+dx，y+dy)。基準塊地址計算單元81 將確定的基準塊地址(x+dX，y+dy)提供給基準相鄰地址計算單元82。基準相鄰地址計算單元82基於基準塊地址(x+dx，y+dy)和與目標塊相鄰的目標相鄰像素的相對地址計算作為基準相鄰像素的相對地址的基準相鄰地址。基準相鄰地址計算單元82將計算出的基準相鄰地址(x+dx+ δ X，y+dy+ δ y)提供給基準相鄰確定單元77。基準相鄰像素是否存在於基準幀的圖像框內的確定結果被從基準相鄰確定單元 77輸入到基準相鄰像素確定單元83。在相鄰像素存在於基準幀的圖像框內的情況下，基準相鄰像素確定單元83從幀存儲器72中讀取以H. 264/AVC定義的相鄰像素並且將其存儲在未示出的內置緩衝器中。另一方面，在基準相鄰像素不存在於基準幀的圖像框內的情況下，基準相鄰像素確定單元83對不存在的相鄰像素進行端點處理以確定從幀存儲器72中讀取並存儲在未示出的內置緩衝器中的基準相鄰像素的像素值。在此，端點處理例如是取存在於基準幀的圖像框內的另一個像素值作為不存在於圖像框內的相鄰像素的像素值的處理，稍後將參考圖 12詳細描述端點處理。目標相鄰像素讀取單元84使用來自運動預測/補償單元75的基準塊地址(x，y) 從幀存儲器72讀取目標塊的像素值並將其存儲在未示出的內置緩衝器中。相鄰像素差分計算單元85從建立在目標相鄰像素讀取單元84中的內置緩衝器中讀取目標相鄰像素[A』 ]，並且還從建立在相鄰像素差分計算單元85中的內置緩衝器中讀取與目標相鄰像素對應的基準相鄰像素[B』]。然後相鄰像素差分計算單元85計算從各自的內置緩衝器中讀取的目標相鄰像素[A』]和基準相鄰像素[B』]之間的差分，並且將其作為相鄰像素的餘差[A』 -B』 ]存儲在未示出的內置緩衝器中。幀內預測單元86從相鄰像素差分計算單元85的內置緩衝器中讀取相鄰像素的餘差[A』-B』]，並且從目標塊差分緩衝器87中讀取目標塊的一階餘差[A-B]。幀內預測單元 86使用相鄰像素的餘差[A』-B』]以每個幀內預測模式[模式]對目標塊進行幀內預測，並生成幀內預測圖像Ipred(A' -B，)[模式]。然後，幀內預測單元86生成作為目標塊的一階餘差和針對目標塊預測的幀內預測圖像之間的差分的二階餘差，並且將所生成的二階餘差和此時的幀內預測模式的信息提供給運動預測/補償單元75。注意，在圖8的示例中的幀內預測單元86處進行作為二階預測的幀內預測的電路可以與幀內預測單元75共用一個電路。二階預測單元和基準相鄰確定單元的操作說明接下來，參考圖9描述二階預測單元76和基準相鄰確定單元77的操作。注意，以下描述針對目標塊的塊尺寸為4 X 4像素的情況。在圖9的示例中，示出目標幀和基準幀，在目標幀中示出目標塊A和與目標塊A相鄰的目標相鄰像素A』。此外，在目標幀和基準幀之間示出在基準幀處取得的關於目標幀A 的運動矢量(dx，dy)。此外，在基準幀中示出通過運動矢量mv(dx，dy)與目標塊A相關聯的基準塊B和與基準塊B相鄰的基準相鄰像素B』。注意，在附圖中，用陰影線示出目標相鄰像素A』和基準相鄰像素B』，以與目標塊A和基準塊B的像素區分。首先，在二階預測單元76進行上面參考圖1描述的二階預測處理。此時，由基準相鄰確定單元77對基準塊B的基準相鄰像素B』是否存在於圖像框內進行確定，並且在二階預測單元76處進行如下設置。也就是說，如圖9中所示，如果將位於目標塊A的左上的像素的地址(坐標)定義為(x，y)，則位於基準塊B的左上的像素的地址因運動矢量mv(dX，dy)而被定義為(x+dx， y+dy)。此時，利用如下表達式(7)，將目標相鄰像素A』的地址定義為(χ+ δ χ, y+Sy)，並且將目標相鄰像素B，的地址定義為(x+dx+ δ χ，y+dy+ δ y)。(δ χ, δγ) = {(-1，-1)，(0，-1)，(1，-1)，(2，-1)，(3，-1)，(4，-1)，(5，-1)， (6，-1)，(7，-1)，(-1,0), (-1,1), (-1,2), (_1，3)}…(7)接下來，參考圖10和圖11描述使用這些地址設置基準塊B的基準相鄰像素B』。 注意，目標塊A的目標相鄰像素Α』的定義符合H.264/AVC的定義。也就是說，稍後將參考圖13和圖14描述其細節。首先，在圖10中的A的示例中，示出與基準塊B相鄰的基準相鄰像素B』的一部分從基準幀的圖像框的左側伸出到外部的示例。在圖10中的B的示例中，示出與基準塊B相鄰的基準相鄰像素B』的一部分從基準幀的圖像框的上側伸出到外部的示例。在這些情況下，S卩，對於如下表達式(8)成立時的基準相鄰像素B』，二階預測單元 76將像素值設置為211-1。在此，我們稱像素值被表示為η個比特，並且在8個比特的情況下， 像素值是128。 x+dx+ δ χ 0... (8)接下來，在圖11中的A的示例中，示出基準相鄰像素B』的一部分以及基準塊B的一部分從基準幀的圖像框的下側伸出到外部的示例。在圖11中的B的示例中，示出與基準塊B相鄰的基準相鄰像素B』的一部分從基準幀的圖像框的右側伸出到外部的示例。此時，我們稱目標幀和基準幀的圖像框尺寸為WIDTHXHEIGHT。如果圖像框尺寸為WIDTHXHEIGHT，在例如圖11中的A中所示的情況下，S卩，對於如下表達式(9)成立時的基準相鄰像素B』，二階預測單元76將地址(WIDTH-l，y+dy+Sy)指示的像素設置為基準相鄰像素。x+dx+ δ χ > WIDTH-I... (9)此外，如果圖像框尺寸為WIDTHX HEIGHT，在例如圖11中的B中所示的情況下，即， 如下表達式(10)成立時，二階預測單元76將地址(x+dx+δ X，HEIGHT-1)指示的像素設置為基準相鄰像素。y+dy+ δ y > HEIGHT—1... (10)此外，如果圖像框尺寸為WIDTHXHEIGHT，在表達式(9)和(10) 二者都成立的情況下，二階預測單元76將地址(WIDTH-1，HEIGHT-1)指示的像素設置為基準相鄰像素。也就是說，對於如圖11中的A和圖11中的B中的箭頭表示的從圖像框伸出到外部的基準相鄰像素，二階預測單元76設置基準相鄰像素的處理僅是使用與存在於圖像框內的基準相鄰像素的值相同的值，這是端點處理的一個類型。該處理被稱為保持處理。注意，可以採用作為端點處理的另一個類型的鏡像處理，代替保持處理。接下來，參考圖12描述作為端點處理的保持處理和鏡像處理。注意，圖11中的B 中所示的E的範圍在圖12中的A的示例中被放大示出作為保持處理的示例，並且在圖12 中的B的示例中被放大示出作為鏡像處理的示例。從圖像框邊界起至圖中左側的基準相鄰像素存在於圖像框內，並且例如從圖像框邊界側起依次具有像素值a0、al和a2。然而，從圖像框邊界起至圖中右側的基準相鄰像素存在於圖像框的外部。因此，在圖12中的A中所示的保持處理中，使用圖像框內最靠近圖像框邊界的基準相鄰像素的像素值aO虛擬生成圖像框外部的基準相鄰像素的像素值。此外，在圖12中的B中所示的鏡像處理中，像虛擬像素值作為以圖像框邊界為中心的鏡像存在一樣進行處理。也就是說，在鏡像處理中，使用圖像框內部最靠近圖像框邊界的基準相鄰像素的像素值aO虛擬生成圖像框外部最靠近圖像框邊界側的基準相鄰像素的像素值。使用圖像框內部第二靠近圖像框邊界的基準相鄰像素的像素值al虛擬生成圖像框外部第二靠近圖像框邊界的基準相鄰像素的像素值。使用圖像框內部第三靠近圖像框邊界的基準相鄰像素的像素值a2虛擬生成圖像框外部第三靠近圖像框邊界的基準相鄰像素的像素值。注意，在以上描述中，以幀內4X4預測為例進行了描述，但是在幀內8X8預測的情況下，可以通過用如下表達式(11)代替上述表達式(7)進行定義來執行相同的處理。(δχ, δγ) = {(-1，-1)，(O, -1)，(1，-1)，(2，-1)，(3，-1)，(4，-1)，(5，-1)， (6,-1), (7,-1), (8,-1), (9,-1), (10,-1), (11,-1), (12,-1), (13,-1), (14,-1), (15,-1), (-1,0), (-1,1), (-1,2), (-1,3), (-1,4), (-1,5), (-1,6), (_1，7)}…(11)在幀內16X16預測的情況下，如稍後描述的圖24中所示，相鄰像素中位於該塊的右上的相鄰像素的像素值不被用於幀內預測。因此，可以通過用如下表達式(12)代替上述表達式(7)進行定義來執行相同的處理。(δχ, δγ) = {(-1，-1)，(O, -1)，(1，-1)，(2，-1)，(3，-1)，(4，-1)，(5，-1)， (6，-1)， (7，-1)， (8，-1)， (9，-1)， (10，-1),(11,-1),(12，-1)， (13，-1)， (14，-1)， (15，-1)，(-1,0), (-1,1), (-1,2), (-1,3), (-1,4), (-1,5), (-1,6), (-1,7), (-1,8), (-1,9), (-1， 10)，(-1,11), (-1,12), (-1,13), (-1,14), (-1,15)}... (12)同樣對於色差信號，在與幀內16X16預測的情況相同的方式下，相鄰像素中位於該塊的右上的相鄰像素的像素值不被用於幀內預測。因此，可以通過用如下表達式(13)代替上述表達式(7)進行定義來執行相同的處理。(δχ, δγ) = {(-1，-1)，(0，-1)，(1，-1)，(2，-1)，(3，-1)，(4，-1)，(5，-1)， (6，-1)，(7，-1)，(-1,0), (-1,1), (-1,2), (-1,3), (-1,4), (-1,5), (-1,6), (_1，7)}… (13)如上所述，利用圖像編碼設備51，對基準相鄰像素是否存在於圖像框外部進行確定，並且在基準相鄰像素存在於圖像框外部的情況下，對該像素進行保持端點處理或鏡像端點處理。因此，即使在基準相鄰像素存在於圖像框外部的情況下，也可以進行二階預測處理，並且因此可以提高編碼效率。圖像編碼設備的編碼處理說明接下來，參考圖13中的流程圖描述圖3中的圖像編碼設備51的編碼處理。在步驟Sll，A/D轉換器61對輸入圖像進行A/D轉換。在步驟S12，畫面排序緩衝器62存儲從A/D轉換器61提供的圖像，並且對圖片進行從顯示順序到編碼順序的排序。在步驟S13，計算單元63計算在步驟S12中排序的圖像和預測圖像之間的差分。 在進行幀間預測的情況下，經由預測圖像選擇單元78從運動預測/補償單元75向計算單元63提供預測圖像，在進行幀內預測的情況下，經由預測圖像選擇單元78從幀內預測單元 74向計算單元63提供預測圖像。與原始圖像數據的數據量相比，差分數據的數據量較小。因此，與按原樣對圖像進行編碼的情況相比，可以壓縮數據量。在步驟S14，正交變換單元64對從計算單元63提供的差分信息進行正交變換。具體地，進行諸如離散餘弦變換、Karhimen-Lc^ve變換等的正交變換，並且輸出變換係數。在步驟S15，量子化單元65對變換係數進行量子化。按照稍後描述的步驟S25中的處理，控制該量子化的速率。對上述量子化的差分信息進行如下局部解碼。也就是說，在步驟S16，逆量子化單元68利用與量子化單元65的屬性相對應的屬性，對通過量子化單元65量子化的變換係數進行逆量子化。在步驟S17，逆正交變換單元69利用與正交變換單元64的屬性相對應的屬性對在逆量子化單元68處進行了逆量子化的變換係數進行逆正交變換。在步驟S18，計算單元70將經由預測圖像選擇單元78輸入的預測圖像與局部解碼的差分信息相加，並且生成局部解碼圖像(與計算單元63的輸入相對應的圖像)。在步驟S19，解塊過濾器71對從計算單元70輸出的圖像進行過濾。因此，塊噪聲被去除。在步驟S20，幀存儲器72存儲過濾後的圖像。注意，未由解塊過濾器71進行過濾處理的圖像也從計算單元70提供給幀存儲器72，並且被存儲。在步驟S21，幀內預測單元74和運動預測/補償單元75進行它們各自的圖像預測處理。也就是說，在步驟S21，幀內預測單元74以幀內預測模式進行幀內預測處理，並且運動預測/補償單元75以幀間預測模式進行運動預測/補償處理。
此時，基準相鄰確定單元77確定與基準塊相鄰的相鄰像素是否存在於基準幀的圖像框內，二階預測單元76根據其確定結果對基準相鄰像素進行端點處理，之後進行二階預測並生成二階餘差。運動預測/補償單元75確定一階餘差和二階餘差中哪個餘差具有較好的編碼效率。注意，在進行二階預測的情況下，需要向解碼側發送表示將要進行二階預測的二階預測標記和表示用於二階預測的幀內預測模式的信息。在稍後描述的步驟S22中選擇最佳幀間預測模式的預測圖像的情況下，這些信息與最佳幀間預測模式信息等一起被提供給無損編碼單元66。儘管稍後將參考圖14詳細描述步驟S21中的預測處理的細節，但是在該處理中， 以所有候選幀內預測模式的每一個模式進行預測處理，並且計算所有候選幀內預測模式中每一個的成本函數值。基於計算出的成本函數值選擇最佳幀內預測模式，並且將通過最佳幀內預測模式中的幀內預測生成的預測圖像和成本函數值提供給預測圖像選擇單元78。此外，在該處理中，以所有候選幀間預測模式進行預測處理，並且使用確定的餘差分別計算所有候選幀間預測模式的成本函數值。基於計算出的成本函數值從幀間預測模式中確定最佳幀間預測模式，並將用最佳幀間預測模式生成的預測圖像及其成本函數值提供給預測圖像選擇單元78。注意，在關於最佳幀間預測模式進行二階預測的情況下，要進行幀間處理的圖像和二階餘差之間的差分被提供給預測圖像選擇單元78作為預測圖像。在步驟S22，預測圖像選擇單元78基於從幀內預測單元74和運動預測/補償單元75輸出的各自的成本函數值確定最佳幀內預測模式和最佳幀間預測模式之一作為最佳預測模式。然後預測圖像選擇單元78選擇所確定的最佳預測模式的預測圖像，並將其提供給計算單元63和70。該預測圖像(在進行二階預測的情況下，為要進行幀間處理的圖像和二階餘差之間的差分)被用於上述步驟S13和S18中的計算。注意，預測圖像的選擇信息被提供給幀內預測單元74或者運動預測/補償單元 75。在選擇最佳幀內預測模式的預測圖像的情況下，幀內預測單元74將與最佳幀內預測模式有關的信息(即，幀內預測模式信息)提供給無損編碼單元66。在選擇最佳幀間預測模式的預測圖像的情況下，運動預測/補償單元75將與最佳幀間預測模式有關的信息以及必要時與最佳幀間預測模式相對應的信息輸出到無損編碼單元66。與最佳幀間預測模式相對應的信息的示例包括表示要進行二階預測的二階預測標記、表示二階預測中幀內預測模式的信息、基準幀信息等。在步驟S23，無損編碼單元66對從量子化單元65輸出的量子化的變換係數編碼。 也就是說，對差分圖像(在二階預測的情況下為二階差分圖像)進行無損編碼(如可變長編碼、算術編碼等)和壓縮。此時，在上述步驟S22中從幀內預測單元74輸入到無損編碼單元66的與最佳幀內預測模式有關的信息或者來自運動預測/補償單元75的最佳幀間預測模式的信息等也被編碼並且添加至頭信息。在步驟S24，存儲緩衝器67存儲差分圖像作為壓縮圖像。存儲在存儲緩衝器67中的壓縮圖像被適當地讀取，並且經由傳輸路徑傳送給解碼側。在步驟S25，速率控制單元79基於存儲在存儲緩衝器67中的壓縮圖像，控制量子化單元65的量子化操作的速率，使得不出現溢出或下溢。預測處理的說明
接下來，參考圖14中的流程圖描述圖13的步驟S21中的預測處理。在從畫面排序緩衝器62提供的要被處理的圖像是用於幀內處理的塊圖像的情況下，從幀存儲器72中讀取要參考的解碼圖像，並經由開關73將該解碼圖像提供給幀內預測單元74。在步驟S31，幀內預測單元74基於這些圖像針對所有候選幀內預測模式對要處理的塊的像素進行幀內預測。注意，對於要參考的解碼像素，使用未由解塊過濾器71進行解塊過濾的像素。儘管稍後將參考圖27描述步驟S31中的幀內預測處理的細節，但是，以所有候選幀內預測模式進行幀內預測，並且針對所有候選幀內預測模式計算成本函數值。然後基於計算出的成本函數值選擇最佳幀內預測模式，並且將通過最佳幀內預測模式中的幀內預測生成的預測圖像及其成本函數值提供給預測圖像選擇單元78。在從畫面排序緩衝器62提供的要處理的圖像是用於幀間處理的圖像的情況下， 從幀存儲器72讀取要參考的圖像，並且經由開關73將該圖像提供給運動預測/補償單元 75。在步驟S32，運動預測/補償單元75基於這些圖像進行幀間運動預測處理。也就是說， 運動預測/補償單元75參考從幀存儲器72提供的圖像進行所有候選幀間預測模式的運動預測處理。注意，此時，基準相鄰確定單元77使用來自運動預測/補償單元75的基準相鄰像素的地址確定該基準相鄰像素是否存在於基準幀的圖像框內。二階預測單元76根據來自基準相鄰確定單元77的確定結果進行端點處理，並且將作為進行二階預測處理的結果獲得的二階餘差輸出到運動預測/補償單元75。響應於此，運動預測/補償單元75確定一階餘差和二階餘差中哪一個餘差的編碼效率較好，並將其用於後續處理。稍後將參考圖28描述步驟S32中的幀間運動預測處理的細節。在該處理中，針對所有候選幀間預測模式進行運動預測處理，並使用一階差分或二階差分計算所有候選幀間預測模式的成本函數值。在步驟S33，運動預測/補償單元75比較在步驟S32計算出的幀間預測模式的成本函數值。運動預測/補償單元75將給出最小值的預測模式確定為最佳幀間預測模式，並將在最佳幀間預測模式中生成的預測圖像及其成本函數值提供給預測圖像選擇單元78。H. 264/AVC中幀內預測處理的說明接下來，將描述H. 264/AVC中規定的幀內預測模式。首先，描述輝度信號的幀內預測模式。針對用於輝度信號的幀內預測模式，設置幀內4X4預測模式、幀內8X8預測模式和幀內16X16預測模式三個形式。這些是用於確定塊單元的模式，並且是針對每個宏塊設置的。此外，還可以針對每個宏塊設置獨立於輝度信號的色差信號的幀內預測模式。此外，在幀內4 X 4預測模式的情況下，可以為每個4 X 4像素目標塊設置九種預測模式中的一種預測模式。在幀內8X8預測模式的情況下，可以為每個8X8像素目標塊設置九種預測模式中的一種預測模式。此外，在幀內16X16預測模式的情況下，可以為16X16 像素當前宏塊設置四種預測模式中的一種預測模式。注意，在下文中，將幀內4X4預測模式、幀內8X8預測模式和幀內16X 16預測模式分別適當地稱為4X4像素幀內預測模式、8X8像素幀內預測模式和16X 16像素幀內預測模式。
在圖15的示例中，附加到各塊的編號-1至25代表各塊各自的比特流序列(解碼側的處理序列)。注意，對於輝度信號，宏塊被分割為4 X 4像素，並且進行4 X 4像素的DCT。 只有在-1塊中所示的幀內16X16預測模式的情況下，收集各塊的DC分量，生成4X4矩陣， 並且進一步對其進行正交變換。另一方面，對於色差信號，在如塊16和17中所示將宏塊分割為4X4像素並且進行4X4像素的DCT之後，收集各塊的DC分量，生成2X2矩陣，並且進一步對其進行正交變換。注意，對於幀內8X8預測模式，這只可以用於以高輪廓(high profile)或者該輪廓以上的輪廓對當前宏塊進行8X8正交變換的情況。圖16和圖17是示出九種輝度信號4X4像素幀內預測模式(幀內_4x4_預測_ 模式)的圖。除了表示平均值(DC)預測的模式2以外的八種模式分別對應於圖18中由0、 1、3至8表示的方向。將參考圖19描述九種幀內_4x4_預測_模式。在圖19的示例中，像素a至ρ代表要進行幀內處理的目標塊的像素，並且像素值A至M代表屬於相鄰塊的像素的像素值。也就是說，像素a至ρ是從畫面排序緩衝器62讀取的要處理的圖像，像素值A至M是已經從幀存儲器72讀取的要參考的解碼圖像的像素值。在圖16和圖17中的每個幀內預測模式的情況下，使用屬於相鄰塊的像素的像素值A至M如下生成像素a至ρ的預測像素值。注意，在像素值「可用，，的情況下，這代表該像素是可用的，而不具有如處於圖像框的邊緣或者仍未被編碼的原因，並且在像素值「不可用」的情況下，這代表由於如處於圖像框的邊緣或者仍未被編碼的原因，該像素是不可用的。模式0是垂直預測模式，並且只適用於像素值A至D「可用」的情況。在此情況下， 按照如下表達式(14)生成像素a至ρ的預測像素值。像素a，e，i，m的預測像素值=A像素b，f，，η的預測像素值=B像素c，g，k，ο的預測像素值=C像素d，h，1，ρ的預測像素值=D…(14)模式1是水平預測模式，並且只適用於像素值I至L「可用」的情況。在此情況下， 按照如下表達式(15)生成像素a至ρ的預測像素值。像素a，b，c，d的預測像素值=I像素e，f，g，h的預測像素值=J像素i，j，k，1的預測像素值=K像素m，η, ο, ρ的預測像素值=L…(15)模式2是DC預測模式，並且在像素值Α、B、C、D、I、J、K、L均「可用」的情況下，按照表達式(16)生成預測像素值。(A+B+C+D+I+J+K+L+4) >>3...(16)此外，在像素值Α、B、C、D均「不可用」的情況下，按照表達式(17)生成預測像素值。(I+J+K+L+2) >>2— (17)
此外，在像素值I、J、K、L均「不可用」的情況下，按照表達式(18)生成預測像素值。(A+B+C+D+2) > > 2...(18)此外，在像素值々、8、(、0、1、、1(、1^均「不可用」的情況下，生成128作為預測像素值。模式3是對角線_下_左預測模式，並且僅適用於像素值A、B、C、D、I、J、K、L、M 均「可用」的情況。在此情況下，按照下面的表達式(19)生成像素a至ρ的預測像素值。像素a的預測像素值=(A+2B+C+2) >> 2像素b，e的預測像素值=(B+2C+D+2) >>2像素c，f, i 的預測像素值=(C+2D+E+2) >>2像素d，g, j,m 的預測像素值=(D+2E+F+2) >>2像素h，k，η 的預測像素值=(E+2F+G+2) >>2像素1，ο的預測像素值=(F+2G+H+2) >> 2像素ρ的預測像素值=(G+3H+2) >> 2…(19)模式4是對角線_下_右預測模式，並且僅適用於像素值Α、B、C、D、I、J、K、L、M 均「可用」的情況。在此情況下，按照下面的表達式(20)生成像素a至ρ的預測像素值。像素m的預測像素值=(J+2K+L+2) >> 2像素i，η的預測像素值=(I+2J+K+2) >> 2像素e, j,o 的預測像素值=(M+2I+J+2) >> 2像素a, f, k，ρ 的預測像素值=(A+2M+I+2) >>2像素b，g，1 的預測像素值=(M+2A+B+2) >>2像素c，h的預測像素值=(A+2B+C+2) >> 2像素d 的預測像素值=(B+2C+D+2) >>2... (20)模式5是對角線_垂直_右預測模式，並且僅適用於像素值A、B、C、D、I、J、K、L、 M均「可用」的情況。在此情況下，按照下面的表達式(21)生成像素a至ρ的預測像素值。像素a，j的預測像素值=(M+A+1) >> 1像素b，k的預測像素值=(A+B+1) >> 1像素c，1的預測像素值=(B+C+1) >> 1像素d的預測像素值=(C+D+1) >> 1像素e，η的預測像素值=(Ι+2Μ+Α+2) >>2像素f，ο的預測像素值=(M+2A+B+2) >>2像素g，ρ的預測像素值=(A+2B+C+2) >> 2像素h的預測像素值=(B+2C+D+2) >> 2像素i的預測像素值=(M+2I+J+2) >> 2像素m 的預測像素值=(I+2J+K+2) >> 2... (21)模式6是水平_下預測模式，並且僅適用於像素值A、B、C、D、I、J、K、L、M均「可用」的情況。在此情況下，按照下面的表達式(22)生成像素a至ρ的預測像素值。像素a，g的預測像素值=(M+I+1) >> 1像素b，h的預測像素值=(I+2M+A+2) >>2
22
像素c的預測像素值=(M+2A+B+2) >>2像素d的預測像素值=(A+2B+C+2) >> 2像素e，k的預測像素值=(I+J+1) >> 1像素f，1的預測像素值=(M+2I+J+2) >> 2像素i，ο的預測像素值=(J+K+1) >> 1像素j，ρ的預測像素值=(I+2J+K+2) >> 2像素m的預測像素值=(K+L+1) >> 1像素η 的預測像素值=(J+2K+L+2) >> 2...(22)
模式7是垂直_左預測模式，並且僅適用於像素值Α、B、C、D、I、J、K、L、M均「可
用」的情況。在此情況下，按照下面的表達式(23)生成像素a至ρ的預測像素值。像素a的預測像素值=(A+B+1) >> 1像素b，i的預測像素值=(B+C+1) >> 1像素c，j的預測像素值=(C+D+1) >> 1像素d，k的預測像素值=(D+E+1) >> 1像素1的預測像素值=(E+F+1) >> 1像素e的預測像素值=(A+2B+C+2) >> 2像素f，m的預測像素值=(B+2C+D+2) >>2像素g，η的預測像素值=(C+2D+E+2) >> 2像素h，ο的預測像素值=(D+2E+F+2) >>2像素ρ 的預測像素值=(E+2F+G+2) >> 2- (23)模式8是水平_上預測模式，並且僅適用於像素值A、B、C、D、I、J、K、L、M均「可用」的情況。在此情況下，按照下面的表達式(24)生成像素a至ρ的預測像素值。像素a的預測像素值=(I+J+1) >> 1像素b的預測像素值=(I+2J+K+2) >> 2像素c，e的預測像素值=(J+K+1) >> 1像素d，f的預測像素值=(J+2K+L+2) >> 2像素g，i的預測像素值=(K+L+1) >> 1像素h，j的預測像素值=(K+3L+2) >> 2像素k，l，m，n，o，p的預測像素值=L…(24)接下來，將參考圖20描述用於4X4像素輝度信號的幀內預測模式(Intra_4X4_ pred_mode)編碼方法。在圖20的示例中，示出由4X4像素構成的要被編碼的目標塊C，並且還示出由4X4像素構成的並且與目標塊C相鄰的塊A和塊B。在此情況下，目標塊C中的幀內_4 X 4_預測_模式和塊A和塊B中的幀內_4 X 4_ 預測_模式被認為具有高度相關性。使用該相關性進行以下編碼處理可以實現較高的編碼效率。也就是說，在圖20的示例中，通過將塊A和塊B中的幀內_4\4_預測_模式分別作為幀內_4 X 4_預測_模式A和幀內_4 X 4_預測_模式B，最可能模式被定義為如下表達式(25)。最可能模式=Min (幀內_4 X 4_預測_模式A，幀內_4 X 4_預測_模式B)
…(25)也就是說，取塊A和塊B中被分配了較小模式_編號的塊作為最可能模式。存在兩個被定義為比特流中目標塊C的參數的值prev_intra4x4_pred_mode_ flag[luma4x4BlkIdx]禾口 rem_intra4x4_pred_mode[luma4x4BlkIdx]，通過基於以下@達式(26)中示出的偽代碼的處理進行解碼處理，可以獲得目標塊C的值Intra_4X4_pred_ mode, Intra4x4PredMode[luma4x4BlkIdx]。
if(prev_intra4x4_pred_mode flag [luma4x4BlkIdx])
Intr a4x4PredMode [luma4x4BlkIdx] = MostProbableMode else
if(rem_intra4x4_pred_mode[luma4x4BIkIdx] < MostProbableMode)
Intr a4x4PredMode [luma4x4BlkIdx]= rem_intra4x4_pred_mode[luma4x4BlkIdx
else
Intr a4x4PredMode [luma4x4BlkIdx]= rem_intra4x4_pred_mode[luma4x4BlkIdx] +1...(26)接下來，將描述8X8像素幀內預測模式。圖21和圖22是示出用於輝度信號的九種8X8像素幀內預測模式(Intra_8x8_pred_mode)。讓我們假定當前的8X8塊中的像素值被取為ρ[x，y] (O彡χ彡7 ;0彡y彡7)，並且用P[-l，-l]，…，p[-l，15]，p[-l，0]，…，[p-1，7]代表相鄰塊的像素值。對於8X8像素幀內預測模式，在生成預測值之前對相鄰像素進行低通過濾處理。 現在讓我們假定用P[-1，-1]，…，p[-l，15]，p[-l，0]，…，P[-1，7]代表低通過濾處理之前的像素值，並且用P' [_1，-1]，…，P' [-1,15],ρ' [_1，0]，…，ρ' [_1，7]代表該處理之後的像素值。首先，在p[_l，-1] 「可用」的情況下用以下表達式(27)計算ρ，[O, _1]，並且在 P[-l，_l] 「不可用」的情況下用以下表達式(28)計算ρ，
。ρ'
= (p[-l，-l]+2*p
+p[l，-1]+2) >> 2 ...(27)ρ'
= (3*p
+p[l，-l]+2) >> 2...(28)用以下表達式(29)計算ρ' [Χ，-1](Χ = 0，·η，7)。ρ' [χ，-1] = (ρ[χ-1，-1]+2*ρ[χ，-1]+ρ[χ+1，-1]+2) >> 2 ...(29)在ρ[χ，-1](χ = 8，…，15) 「可用」的情況下，用以下表達式(30)計算ρ' [χ,-1] (χ = 8，…，15)。ρ' [χ，-1] = (ρ[χ-1，-1]+2*ρ[χ，-1]+ρ[χ+1，-1]+2) >> 2ρ' [15，-1] = (ρ[14，-1]+3*ρ[15，-1]+2) >> 2...(30)
在p[_l，-1] 「可用」的情況下，按下述計算P』 [-1，-1]。具體地，在p
和 P[_1，0] 二者均「可用」的情況下，用表達式(31)計算ρ』 [-1，-1]，並且在p[_l，0] 「不可用」的情況下，用表達式(32)計算ρ』 [-1，-1]。此外，在p
「不可用」的情況下，用表達式(33)計算ρ』 [_1，-1]。ρ' [-1，-1] = (p
+2*p[-l，-l]+p[_l，0]+2) >>2 ...(31)ρ' [-1，-1] = (3*ρ[-1，-1]+ρ
+2) >> 2— (32)ρ' [-1，-1] = (3*p[-l，-l]+p[_l，0]+2) >> 2...(33)當P[-I，y](y = 0，…，7) 「可用」時，按下述計算 ρ』 [_1，y] (y = 0，…，7)。具體地，首先，在P[_l，-1] 「可用」的情況下，用以下表達式(34)計算ρ』 [_1，0]，並且在 P[-l，_l] 「不可用」的情況下，用表達式(35)計算p』 [-l,0]oρ' [_1，0] = (p[-l，-l]+2*p[-l，0]+p[_l，l]+2) >> 2 …(34)ρ' [-1,0] = (3*p[-l，0]+p[-l，1]+2) >> 2...(35)此外，用以下表達式(36)計算ρ' [-1，y] (y = 1，…，6)，並且用表達式(37)計算 P， [-1，7]。 P [-1，y] = (P [-1，y-1] +2*p [-1，y] +ρ [_1，y+1] +2) > > 2 …(36)ρ' [_1，7] = (p[-l，6]+3*p[_l，7]+2) >> 2— (37)使用由此計算出的P』按下述生成圖21和圖22中所示的幀內預測模式的預測值。模式0是垂直預測模式，並且僅當ρ[χ，-1](χ = 0，…，7) 「可用」時適用。用以下表達式(38)生成預測值pred8X8L[x，y]。pred8X8L[x, y] = ρ' [χ, -1]χ, y = 0, ...，7...(38)模式1是水平預測模式，並且僅當ρ[_1，y] (y = 0，…，7) 「可用」時適用。用如下表達式(39)生成預測值pred8X8L[x，y]。pred8X8L[x, y] = ρ' [-1, y]x, y = 0, ...，7...(39)模式2是DC預測模式，並且按下述生成預測值predSXSjx，y]。具體地，在 p[x,-IKx = O,…，7)和p[_l，y](y = 0，…，7) 二者均「可用」的情況下，用如下表達式 (40)生成預測值 pred8X8L[x, y]。[數學表達式5]
權利要求
1.一種圖像處理設備，包括確定裝置，用於使用與目標幀中的目標塊相鄰的目標相鄰像素的相對地址確定與所述基準幀中的基準塊相鄰的基準相鄰像素是否存在於所述基準幀的圖像框內；端點處理裝置，用於在所述確定裝置確定所述基準相鄰像素不存在於所述圖像框內的情況下對所述基準相鄰像素進行端點處理；二階預測裝置，用於通過在所述目標塊和所述基準塊之間的差分信息與所述目標相鄰像素和已經由所述端點處理裝置對其進行了端點處理的所述基準相鄰像素之間的差分信息之間進行預測來生成二階差分信息；以及編碼裝置，用於對由所述二階預測裝置生成的所述二階差分信息進行編碼。
2.根據權利要求1所述的圖像處理設備，還包括計算裝置，所述計算裝置用於利用所述目標塊的地址(χ，y)、所述目標塊參考所述基準塊的運動矢量信息(dx，dy)和所述目標相鄰像素的相對地址(δχ，δγ)計算所述基準相鄰像素的相對地址(x+dx+δχ，y+dy+δy),其中所述確定裝置確定由所述計算裝置計算出的所述基準相鄰像素的相對地址 (x+dx+ δ X，y+dy+ δ y)是否存在於所述圖像框內。
3.根據權利要求2所述的圖像處理設備，其中在像素值被表示為η個比特的情況下，所述端點處理裝置進行所述端點處理，使得x+dx+ δ χ < 0或y+dy+ δ y < 0成立的所述基準相鄰像素的像素值為211—1。
4.根據權利要求2所述的圖像處理設備，其中在x+dx+δ χ > WIDTH-I成立的情況下， 所述端點處理裝置使用由地址(WIDTH-1，y+dy+ δ y)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理，其中WIDTH代表所述圖像框的水平方向上的像素的數目。
5.根據權利要求2所述的圖像處理設備，其中在y+dy+δ y > HEIGHT-I成立的情況下， 所述端點處理裝置使用由地址(X+dx+δχ，HEIGHT-1)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理，其中HEIGHT代表所述圖像框的垂直方向上的像素的數目。
6.根據權利要求2所述的圖像處理設備，其中在x+dx+δ χ > WIDTH-I和y+dy+ δ y > HEIGHT-1成立的情況下，所述端點處理裝置使用由地址(WIDTH-1，HEIGHT-1)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理，其中WIDTH代表所述圖像框的水平方向上的像素的數目，HEIGHT代表所述圖像框的垂直方向上的像素的數目。
7.根據權利要求2所述的圖像處理設備，其中所述端點處理裝置針對不在所述圖像框內的所述基準相鄰像素進行所述端點處理，在該端點處理中通過鏡像處理在所述圖像框的邊界處對稱地生成像素值。
8.根據權利要求1所述的圖像處理設備，所述二階預測裝置還包括幀內預測裝置，用於使用所述目標相鄰像素和已經由所述端點處理裝置對其進行了端點處理的所述基準相鄰像素之間的差分信息進行預測，以生成關於所述目標塊的幀內預測圖像；以及二階差分生成裝置，用於計算所述目標塊和所述基準塊之間的差分信息和由所述幀內預測裝置生成的所述幀內預測圖像的差分，以生成所述二階差分信息。
9.根據權利要求1所述的圖像處理設備，在所述確定裝置確定所述基準相鄰像素存在於所述圖像框內的情況下，所述二階預測裝置在所述目標塊和所述基準塊之間的差分信息與所述目標相鄰像素和所述基準相鄰像素之間的差分信息之間進行預測。
10.一種圖像處理方法，包括以下步驟 圖像處理設備使用與目標幀中的目標塊相鄰的目標相鄰像素的相對地址確定與所述基準幀中的基準塊相鄰的基準相鄰像素是否存在於所述基準幀的圖像框內，在確定所述基準相鄰像素不存在於所述圖像框內的情況下對所述基準相鄰像素進行端點處理，通過在所述目標塊和所述基準塊之間的差分信息與所述目標相鄰像素和已經對其進行了端點處理的所述基準相鄰像素之間的差分信息之間進行預測來生成二階差分信息，以及對所生成的二階差分信息進行編碼。
11.一種圖像處理設備，包括解碼裝置，用於對被編碼的目標幀中的目標塊的圖像進行解碼； 確定裝置，用於使用與所述目標塊相鄰的目標相鄰像素的相對地址確定與所述基準幀中的基準塊相鄰的基準相鄰像素是否存在於所述基準幀的圖像框內；端點處理裝置，用於在所述確定裝置確定所述基準相鄰像素不存在於所述圖像框內的情況下對所述基準相鄰像素進行端點處理；二階預測裝置，用於通過使用所述目標相鄰像素和已經由所述端點處理裝置對其進行了端點處理的所述基準相鄰像素之間的差分信息進行二階預測來生成預測圖像；以及計算裝置，用於將所述目標塊的圖像、由所述二階預測裝置生成的所述預測圖像和所述基準塊的圖像相加以生成所述目標塊的解碼圖像。
12.根據權利要求11所述的圖像處理設備，還包括計算裝置，所述計算裝置用於利用所述目標塊的地址(χ，y)、所述目標塊參考所述基準塊的運動矢量信息(dx，dy)和所述目標相鄰像素的相對地址(Sx，δγ)計算所述基準相鄰像素的相對地址(x+dx+δχ，y+dy+δy)；其中所述確定裝置確定由所述計算裝置計算出的所述基準相鄰像素的相對地址 (x+dx+ δ χ，y+dy+ δ y)是否存在於圖像框內。
13.根據權利要求12所述的圖像處理設備，其中在將像素值表示為η個比特的情況下， 所述端點處理裝置進行端點處理，使得x+dx+ δ χ < 0或y+dy+ δ y < 0成立的所述基準相鄰像素的像素值為2"-1。
14.根據權利要求12所述的圖像處理設備，其中在x+dx+δ χ > WIDTH-I成立的情況下，所述端點處理裝置使用由地址(WIDTH-1，y+dy+ δ y)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理，其中WIDTH代表所述圖像框的水平方向上的像素的數目。
15.根據權利要求12所述的圖像處理設備，其中在y+dy+δ y > HEIGHT-I成立的情況下，所述端點處理裝置使用由地址(x+dx+δχ，HEIGHT-1)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理，其中HEIGHT代表所述圖像框的垂直方向上的像素的數目。
16.根據權利要求12所述的圖像處理設備，其中在x+dx+δ χ > WIDTH-I和y+dy+ δ y> HEIGHT-I成立的情況下，所述端點處理裝置使用由地址(WIDTH-1，HEIGHT-1)指示的像素值作為所述基準相鄰像素的像素值進行所述端點處理，其中WIDTH代表所述圖像框的水平方向上的像素的數目，HEIGHT代表所述圖像框的垂直方向上的像素的數目。
17.根據權利要求12所述的圖像處理設備，其中所述端點處理裝置針對不在所述圖像框內的所述基準相鄰像素進行端點處理，在該端點處理中通過鏡像處理在所述圖像框的邊界處對稱地生成像素值。
18.根據權利要求11所述的圖像處理設備，所述二階預測裝置還包括預測圖像生成裝置，用於通過使用所述目標相鄰像素和已經由所述端點處理裝置對其進行了端點處理的所述基準相鄰像素之間的差分信息進行二階預測來生成預測圖像。
19.根據權利要求11所述的圖像處理設備，在所述確定裝置確定所述基準相鄰像素存在於所述圖像框內的情況下，所述二階預測裝置使用所述目標相鄰像素和所述基準相鄰像素之間的差分信息進行預測。
20.一種圖像處理方法，包括以下步驟圖像處理設備對被編碼的目標幀中的目標塊的圖像進行解碼，使用與所述目標塊相鄰的目標相鄰像素的相對地址確定與所述基準幀中的基準塊相鄰的基準相鄰像素是否存在於所述基準幀的圖像框內，在確定所述基準相鄰像素不存在於所述圖像框內的情況下對所述基準相鄰像素進行端點處理，通過使用所述目標相鄰像素和已經對其進行了端點處理的所述基準相鄰像素之間的差分信息進行二階預測來生成預測圖像，以及將所述目標塊的圖像、由所述二階預測裝置生成的所述預測圖像和所述基準塊的圖像相加，以生成所述目標塊的解碼圖像。
全文摘要
本發明涉及一種圖像處理設備和方法。即使在與基準塊相鄰的相鄰像素存在於圖像框的外部的情況下，所述圖像處理設備和方法也能夠進行二階預測。基準相鄰像素確定單元83接收來自基準相鄰確定單元77的關於基準相鄰像素是否存在於基準幀的圖像框內的確定結果。在基準相鄰像素存在於基準幀的圖像框內的情況下，基準相鄰像素確定單元83基於H.264/AVC格式的定義確定相鄰像素的像素值。另一方面，在基準相鄰像素不存在於基準幀的圖像框內的情況下，基準相鄰像素確定單元83通過對不存在的相鄰像素進行端點處理來確定基準相鄰像素的像素值。本發明可應用於例如用H.264/AVC格式編碼的圖像編碼設備。
文檔編號H04N7/32GK102396231SQ20108001746
公開日2012年3月28日 申請日期2010年4月22日 優先權日2009年4月24日
發明者佐藤數史 申請人:索尼公司