圖像處理設備和方法

2023-09-20 21:44:40

專利名稱：圖像處理設備和方法
技術領域：
本申請涉及一種圖像處理設備和方法，且更具體地涉及一種被配置成實現並行或流水線幀內預測同時還改進編碼效率的圖像處理設備和方法。
背景技術：
最近，數字地處理圖像信息的設備增加了，且該設備在數字地處理圖像信息時壓縮圖像以求有效的信息傳送和存儲。該設備通過實現利用圖像信息的冗餘特性的編碼格式來壓縮圖像，且藉由諸如離散餘弦變換的正交變換且通過運動補償來壓縮信息。該編碼格式包括例如MPEG (運動圖片專家組)。具體地，MPEG_2(IS0/IEC 13818-2)被定義為通用圖像編碼格式，且是包括隔行掃描圖像和順序掃描圖像、以及標準清晰度圖像和高清晰度圖像的標準。例如，如今在廣範圍的專業和消費者應用中廣泛地使用MPEG-2。通過使用MPEG-2壓縮格式，如果給定具有例如720X480像素的標準清晰度的隔行圖像，則分配4至8Mbps的位速率。此外，通過使用MPEG-2壓縮格式，如果給定具有例如1920X1088像素的高清晰度隔行圖像，則分配18至22Mbps的位速率。通過這樣做,有可能實現高壓縮速率和有利的圖像質量。儘管MPEG-2主要針對適於傳播的高圖像質量編碼，然而其與具有比MPEG-I更低位速率、或換句話說更高壓縮率的編碼格式不兼容。由於行動裝置增加，認為未來針對該編碼格式的需求會增加，且作為響應，MPEG-4編碼格式已被標準化。在1998年12月作為ISO/IEC 14496-2將MPEG-4指定為用於圖像編碼的國際標準。此外，起初用於針對視頻會議的圖像編碼目的的H. 26L的標準化(ITU-TQ6/16VCEG)最近正在進展。與之前的編碼格式如MPEG-2和MPEG-4相比，已知H. 26L對編碼和解碼具有更多的計算需求，但是實現了更高的編碼效率。作為到MPEG-4運動的連結，正在作為聯合模型增強壓縮視頻編碼進行基於該H. 26L的標準化，該標準化引入了 H. 26L不支持的功能並實現了更高的編碼效率。作為標準化方案的一部分，在2003年3月在國際上標準化了 H. 264和MPEG-4第10部分(高級視頻編碼，以下簡稱為H. 264/AVC)。另外，作為以上的擴展，在2005年2月完成了 FRExt (保真度範圍擴展)的標準化。FRExt包括商用需要的編碼工具，如RGB，4 : 2 : 2和4 : 4 : 4，以及MPEG-2中定義的8X8DCT和量化矩陣。這樣，H. 264/AVC可用於能夠有利地表示甚至電影中包括的底片噪聲(film noise)的圖像編碼，這導致其廣泛應用於如藍光碟(商標)的應用中。然而，對在更高壓縮率的編碼、如壓縮具有四倍於高清晰度圖像的約4000X2000像素的圖像，或者在有限傳送能力的環境如網際網路中傳遞高清晰度圖像的需求在增加。因此，在早先討論的ITU-T的管轄下由VCEG(視頻編碼專家組)正在進行關於改進的編碼效率的研究。幀內預測背後的工作原理可被引為確認H. 264/AV格式與傳統格式如MPEG-2相比而言更高的編碼效率的一個因素。以下，將簡略解釋a 264/AV格式中定義的幀內預測技術。
首先，解釋用於亮度信號的幀內預測模式。三種技術被定義為用於亮度信號的幀內預測模式幀內4X4預測模式，幀內8X8預測模式和幀內16X16預測模式。這些是限定塊單位的模式，且在每宏塊的基礎上被設置。還有可能在每宏塊的基礎上與亮度信號無關地對色度信號設置幀內預測模式。此外，在幀內4X4預測模式的情況下，對每4X4像素目標塊可設置九種預測模式中的一種預測模式。在幀內8X8預測模式的情況下，對每8X8像素目標塊可設置九種預測模式中的一種預測模式。此外，在幀內16X16預測模式的情況下，可針對16X16像素目標塊設置四種預測模式中的一種預測模式。然而，以下在適當時幀內4X4預測模式、幀內8X8預測模式和幀內16X16預測模式也將分別被稱作4X4像素幀內預測模式，8X8像素幀內預測模式和16X 16像素幀內 預測模式。在圖I的例子中，分配給單獨塊的從-I到25的數字代表這些單獨塊的位流順序(在解碼末尾其被處理的順序)。在此，對於亮度信號，宏塊被劃分為4 X 4像素，且執行4 X 4像素DCT。另外，僅在幀內16X16預測模式的情況下，單獨塊的DC分量被聚集以生成4X4矩陣，如「-I 」塊所示，且另外地對其應用正交變換。同時，對於色度信號，宏塊被劃分成4X4像素，且然後執行4X4像素DCT，單獨塊的DC分量被聚集以生成2 X 2矩陣，如各個「 16」和「 17」塊所示，且另外地對其應用正交變換。然而,對於巾貞內8X8預測模式,這僅適用於對高端類(high profile)或以上的目標宏塊應用8X8正交變換的情況。在此，給定圖I所示的單獨塊，不能發起針對「I」塊的幀內預測處理，除非例如針對「O」塊的處理序列結束。在此該處理序列指的是幀內預測處理、正交變換處理、量化處理、去量化處理和逆正交變換處理。換句話說，難以通過H. 264/AVC格式中的幀內預測技術以流水線或並行方式處理單獨的塊。因而，在PTL I中提出一種改變編碼順序和作為被壓縮圖像的輸出順序的方法。圖2的A中示出了 PTL I中描述的方法中的編碼順序。在圖2的B中示出了 PTL I中描述的方法中的作為被壓縮圖像的輸出順序。在圖2的A，在從頂部開始的第一行上從左側對單獨的塊按順序分配「0，l，2a，3a」。在從頂部開始的第二行上從左側對單獨的塊按順序分配「2b，3b，4a，5a」。在從頂部開始的第三行上從左側對單獨的塊按順序分配「413，413，6&，7&」。在從頂部開始的第三行上從左側對單獨的塊按順序分配「6b，7b，8，9」。在此，在圖2的A中的例子的情況下，分配相同的數字然而不同字母的塊表示可以以任何順序處理的塊，或換句話說是可以並行處理的塊。在圖2的B中，在從頂部開始的第一行上從左側對單獨的塊按順序分配「0，1,4,5」。在從頂部開始的第二行上從左側對單獨的塊按順序分配「2，3，6，7」。在從頂部開始的第三行上從左側對單獨的塊按順序分配「8，9，12，13」。在從頂部開始的第四行上從左側對單獨的塊按順序分配「10，11，14，15」。換句話說，通過PTL I中描述的方法，以分配給圖2的A中塊的數字的升序順序編碼單獨塊，以分配給圖2的B中塊的數字的升序順序排序該單獨塊，且作為被壓縮圖像輸出該單獨塊。結果，在圖2的A中，有可能與附近塊的可用性無關地處理分配了相同數字然而不同字母的兩個塊(例如分配了「2a」的塊和分配了「2b」的塊)。因而，可以以PTL I中所述方法的編碼處理來執行流水線處理或並行處理。 此外，如早先所述，在H. 264/AVC格式中宏塊尺寸是16X 16像素。然而，將宏塊尺寸採為16 X 16像素對於大圖像尺寸如UHD (超高清晰度；4000 X 2000像素)不是最佳的，該大圖像尺寸是下一代編碼格式的所針對的目標。因而，在如NPL I的文獻中，還提議宏塊尺寸被擴展為如32X32像素的尺寸。在此，上述圖I和圖2以下還將用作描述本發明的圖。引用文獻列表專利文獻PTLl :日本未審專利申請公開No. 2005-130509非專利文獻NPL I " Video Coding Using Extended Block Sizes " , VCE G-AD09,ITU-TeIecommunications Standardization Sector STUDY GROUP Question
16-Contribution 123，Jan 2009。

發明內容
技術問題然而，在PTL I中，由於編碼順序和作為被壓縮順序的輸出順序不同，因此需要用於存儲已編碼數據的緩衝器。此外，在圖2的B中所示的處理順序下，圖2的A中所示的處理順序下可用的相鄰像素值可以是可用的。因此，即使對於PTL I的方法可以並行處理編碼處理，也難以獲得本應作為圖2的A中所示的處理順序的編碼結果獲得的基本編碼效率。考慮該情況設計出的本發明實現了並行或流水線的幀內預測，同時還改進了編碼效率。問題的解決方案本發明的第一方面的圖像處理設備包括地址控制裝置，用於基於與編碼標準不同的順序，從構成圖像的給定塊的塊中確定接下來要處理的一個或更多個目標塊的一個或更多個塊地址；編碼裝置，用於使用一個或更多個目標塊附近的像素進行預測處理，並對與所述地址控制裝置確定的一個或更多個塊地址相對應的一個或更多個目標塊進行編碼；以及流輸出裝置，用於以所述編碼裝置編碼的順序輸出所述一個或多個目標塊作為流。在所述給定塊由16個塊組成，其中取左上塊為(0，0)，且波形括號{}中包圍的塊表明其可通過流水線處理、並行處理或按任何順序來處理的情況下，所述地址控制裝置可基於如下順序確定一個或更多個目標塊的一個或更多個塊地址(0，0)，(1，0)，{(2，0)，(0，
I)}, {(3,0), (1,1)}, {(2,1), (0,2)}, {(3,1), (1,2)}, {(2,2), (0,3)}, {(3,2), (1,3)},(2,3), (3，3)。圖像處理設備還可包括附近像素可用性確定裝置，用於使用所述地址控制裝置確定的一個或更多個塊地址來確定所述一個或更多個目標塊附近的像素是否可用；其中，所述編碼裝置通過以預測模式使用所述一個或更多個目標塊附近的像素進行預測處理來對所述一個或更多個目標塊編碼，所述預測模式使用所述附近像素可用性確定裝置確定為可用的附近像素。圖像處理設備還可包括處理確定裝置，用於使用所述地址控制裝置確定的所述一個或更多個塊地址來確定是否可通過流水線處理或並行處理來處理所述一個或更多個目標塊；其中在所述處理確定裝置確定出可通過流水線處理或並行處理來處理所述一個或更多個目標塊的情況下，所述編碼裝置通過流水線處理或並行處理對所述目標塊進行編碼。所述給定塊是mXm(其中m彡16)像素的宏塊，以及構成所述給定塊的塊是m/4 X m/4像素的塊。 所述給定塊是mXm(其中32)像素的宏塊，或構成宏塊的一部分的子塊，以及構成所述給定塊的塊是16X 16像素的塊。本發明第一方面的圖像處理方法包括圖像處理設備通過其可以進行以下操作的步驟基於與編碼標準的順序不同的順序，從構成圖像的給定塊的塊中確定接下來要處理的一個或更多個目標塊的一個或更多個塊地址；使用一個或更多個目標塊附近的像素進行預測處理，並對與確定的一個或更多個塊地址相對應的一個或更多個目標塊進行編碼；以及以編碼的順序輸出所述一個或更多個目標塊作為流。本發明的第二方面的圖像處理設備包括解碼裝置，用於解碼接下來要處理的一個或更多個目標塊，所述一個或更多個目標塊是已在給定塊中按照與編碼標準的順序不同的順序被編碼且然後作為流輸出的、構成圖像的所述給定塊的塊，其中所述解碼裝置按照所述流順序對所述一個或更多個目標塊進行解碼；地址控制裝置，用於基於所述與編碼標準的順序不同的順序確定所述一個或更多個目標塊的一個或更多個塊地址；預測裝置，用於使用所述一個或更多個目標塊附近的像素來預測與所述地址控制裝置確定的一個或更多個塊地址相對應的一個或更多個目標塊的一個或更多個被預測的圖像；以及添加裝置，用於將所述預測裝置預測的所述一個或更多個目標塊的一個或更多個被預測的圖像添加到所述解碼裝置解碼的所述一個或更多個目標塊的一個或更多個圖像。在所述給定塊由16個塊組成，其中取左上塊為(0，0)，且波形括號{}中包圍的塊表明其可通過流水線處理、並行處理或按任何順序來處理的情況下，所述地址控制裝置基於如下順序確定一個或更多個目標塊的一個或更多個塊地址(0，0)，(1,0), {(2,0), (O,
I)}, {(3,0), (1,1)}, {(2,1), (0,2)}, {(3,1), (1,2)}, {(2,2), (0,3)}, {(3,2), (1,3)},(2,3), (3，3)。圖像處理設備還可包括附近像素可用性確定裝置，用於使用所述地址控制裝置確定的一個或更多個塊地址來確定所述一個或更多個目標塊附近的像素是否可用；其中，所述解碼裝置還解碼用於所述一個或更多個目標塊的預測模式信息，以及所述預測裝置使用所述附近像素可用性確定裝置確定為可用的所述一個或更多個目標塊附近的像素，來以所述預測模式信息所表明的一個或更多個預測模式來預測所述一個或更多個目標塊的一個或更多個被預測的圖像。圖像處理設備還可包括處理確定裝置，用於使用所述地址控制裝置確定的一個或更多個塊地址來確定是否可通過流水線處理或並行處理來處理所述一個或更多個目標塊；其中在所述處理確定裝置確定出可通過流水線處理或並行處理來處理所述一個或更多個目標塊的情況下，所述編碼裝置通過流水線處理或並行處理預測所述目標塊的被預測的圖像。所述給定塊是mXm(其中m彡16)像素的宏塊，以及構成所述給定塊的塊是m/4 X m/4像素的塊。所述給定塊是mXm(其中32)像素的宏塊，或構成宏塊的一部分的子塊，以及構成所述給定塊的塊是16X 16像素的塊。
本發明的第二方面的圖像處理方法包括圖像處理設備通過其可進行以下操作的步驟解碼接下來要處理的一個或更多個目標塊，所述一個或更多個目標塊是已被編碼且然後按照與編碼標準的順序不同的給定塊中的順序作為流輸出的、構成圖像的給定塊的塊，其中按照所述流順序對所述一個或更多個目標塊進行解碼，基於所述與編碼標準的順序不同的順序確定所述一個或更多個目標塊的一個或更多個塊地址，使用所述一個或更多個目標塊附近的像素來預測與所確定的一個或更多個塊地址相對應的一個或更多個目標塊的一個或更多個被預測的圖像，以及將如此預測的所述一個或更多個目標塊的一個或更多個被預測的圖像添加到所解碼的一個或更多個目標塊的一個或更多個圖像。在本發明的第一方面，基於與編碼標準的順序不同的順序確定構成圖像的給定塊的塊中接下來要處理的一個或更多個目標塊的一個或更多個塊地址，進行使用一個或更多個目標塊附近像素的預測處理，編碼與確定的一個或更多個塊地址相對應的一個或更多個目標快，且以編碼的順序作為流輸出一個或更多個目標塊。在本發明的第二方面，解碼接下來要處理的一個或更多個目標塊，所述一個或更多個目標塊是已在給定塊中按照與編碼標準的順序不同的順序被編碼且然後作為流輸出的、構成圖像的所述給定塊的塊，其中按照所述流順序對所述一個或更多個目標塊進行解碼。基於所述與編碼標準的順序不同的順序確定所述一個或更多個目標塊的一個或更多個塊地址，使用所述一個或更多個目標塊附近的像素來預測與所確定的一個或更多個塊地址相對應的一個或更多個目標塊的一個或更多個被預測的圖像。然後，將如此預測的所述一個或更多個目標塊的一個或更多個被預測的圖像添加到所解碼的一個或更多個目標塊的一個或更多個圖像。此外，以上討論的各個圖像處理設備可以是獨立的設備或構成單個圖像編碼設備或圖像解碼設備的一部分的內部塊。本發明的有益效果根據本發明第一方面，可以編碼構成給定塊的塊。此外，根據本發明第一方面，可以實現流水線或並行幀內預測，同時還改進編碼效率。根據本發明第二方面，可以解碼構成給定塊的塊。此外，根據本發明第二方面，可以實現流水線或並行幀內預測，同時改進編碼效率。


[圖I]圖I是用於解釋在16X16像素幀內預測模式的情況下的處理順序的圖。[圖2]圖2是示出示例性編碼順序和流輸出順序的圖。[圖3]圖3是示出應用本發明的圖像編碼設備的實施例的配置的框圖。
[圖4]圖4可是示出地址控制器的示例性配置的框圖。[圖5]圖5是用於解釋並行處理和流水線處理的時序圖。[圖6]圖6是用於解釋本發明的優點的圖。[圖7]圖7是用於解釋圖3中的圖像編碼設備的編碼處理的流程圖。[圖8]圖8是用於解釋圖7的步驟S21中的預測處理的流程圖。[圖9]圖9是示出用於亮度信號的4X4像素幀內預測模式的類型的圖。[圖10]圖10是示出用於亮度信號的4X4像素幀內預測模式的類型的圖。[圖11]圖11是用於解釋4X4像素幀內預測的方向的圖。[圖12]圖12是用於解釋4X4像素幀內預測的圖。[圖13]圖13是用於解釋用於亮度信號的4X4像素幀內預測模式的編碼的圖。[圖14]圖14是示出用於亮度信號的8X8像素幀內預測模式的類型的圖。[圖15]圖15是示出用於亮度信號的8X8像素幀內預測模式的類型的圖。[圖16]圖16是示出用於亮度信號的16X16像素幀內預測模式的類型的圖。[圖17]圖17是示出用於亮度信號的16X16像素幀內預測模式的類型的圖。[圖18]圖18是用於解釋16X16像素幀內預測的圖。[圖19]圖19是示出用於色度信號的幀內預測模式的類型的圖。[圖20]圖20是用於解釋圖8的步驟S31中的幀內預測預處理的流程圖。[圖21]圖21是用於解釋圖8的步驟S32中的幀內預測處理的流程圖。[圖22]圖22是用於解釋圖8的步驟S33中的幀間運動預測處理的流程圖。[圖23]圖23是示出應用本發明的圖像解碼設備的實施例的配置的框圖。[圖24]圖24是示出地址控制器的示例性配置的框圖。[圖25]圖25是用於解釋圖23中的圖像解碼設備的解碼處理的流程圖。[圖26]圖26是用於解釋圖25的步驟S138中的預測處理的流程圖。[圖27]圖27是示出示例性擴展的塊尺寸的圖。[圖28]圖28是示出本發明對於擴展的塊尺寸的示例性應用的圖。[圖29]圖29是示出計算機的示例性硬體配置的框圖。[圖30]圖30是應用本發明的電視接收器的示例性基本配置的框圖。[圖31]圖31是示出應用本發明的行動電話的示例性基本配置的框圖。[圖32]圖32是示出應用本發明硬碟記錄器的示例性基本配置的框圖。[圖33]圖33是示出應用本發明的照相機的示例性基本配置的框圖。
具體實施例方式以下參考

本發明的實施例。[圖像編碼設備的示例性配置]圖3示出了作為應用本發明的圖像處理設備的圖像編碼設備的實施例的配置。圖像編碼設備51例如以H. 264和MPEG-4第10部分(高級視頻編碼)格式(以下簡稱為H. 264/AVC)進行圖像的壓縮編碼。在圖3的例子中，圖像編碼設備51包括A/D轉換器61、幀排序緩衝器62、算術單元63、正交變換單元64、量化器65、無損編碼器66、累積緩衝器67、去量化器68、逆正交變、換單元69和算術單元70。圖像編碼設備51還包括解塊濾波器71、幀存儲器72、開關73、幀內預測單元74、地址控制器75、附近像素可用性確定單元76、運動預測/補償單元77、被預測圖像選擇器78和速率控制器79。A/D轉換器61對輸入的圖像進行A/D轉換並將其輸出到幀排序緩衝器62進行存儲。巾貞排序緩衝器62接收所存儲的顯示順序的巾貞的圖像,並根據GOP (Group of Pictures,圖片組)以幀順序對其進行排序以進行編碼。算術單元63從讀自於幀排序緩衝器62的圖像去掉被預測圖像選擇器78選擇的、來自幀內預測單元74的被預測圖像，或來自運動預測/補償單元77的被預測圖像，並將差信息輸出到正交變換單元64。正交變換單元64對來自算術單元63的差信息施加正交變換如離散餘弦變換或Karhunen-Loeve變換，並輸出變換係數。量化器65對正交變換單元64輸出的變換係數進行量化。
量化器65輸出的被量化的變換係數被輸入到無損編碼器66。在這點上，進行如可變長度編碼和算術編碼的無損編碼，且壓縮量化的變換係數。無損編碼器66從幀內預測單元74獲取指示幀內預測的信息等，並從運動預測/補償單元77獲取指示幀間預測模式的信息等。在此，以下也將表明幀內預測的信息稱為幀內預測模式信息。此外，以下將表示表明幀間預測的信息模式的信息稱為幀間預測模式信
肩、O在圖3的例子的情況下，無損編碼器66由編碼處理器81和流輸出單元82組成。編碼處理器81以與H. 264/AVC中的處理順序不同的處理順序對量化的變換係數進行編碼，並另外地對被作為壓縮圖像中的頭部信息的一部分的、表明幀內預測的信息和指示幀間預測模式的信息等進行編碼。流輸出單元82以與編碼順序相同的輸出順序作為流輸出編碼的數據，輸出到累積緩衝器67以進行存儲。在此，以上討論的處理順序是針對編碼來自幀內預測單元74的被預測圖像的情況的處理順序。儘管以下不具體說明，在來自運動預測/補償單元77的被預測圖像的情況下，認為以H. 264/AVC處理順序進行編碼處理和輸出處理。在此，在無損編碼器66中，進行無損編碼處理如可變長度編碼或算術編碼。可引用H.264/AVC格式中定義的CAVLC(上下文自適應可變長度編碼)作為可變長度編碼。可引用CABAC(上下文自適應二進位算術編碼)作為算術編碼。累積緩衝器67納取從無損編碼器66提供的數據，並將其作為H. 264/AVC格式編碼的壓縮圖像輸出到例如未示出的隨後的記錄設備、傳送路徑等。此外，量化器65輸出的量化的變換係數也被輸入到去量化器68，且在被去量化之後，還經受逆正交變換單元69處的逆正交變換。逆正交變換的輸出通過算術單元70被加到從被預測圖像選擇器78提供的被預測圖像且成為局部解碼的圖像。在從其去除塊偽像之後，解塊濾波器71將解碼的圖像提供給幀存儲器72以進行存儲。在解塊濾波器71進行解塊處理之前的圖像也被提供給且存儲在幀存儲器72中。開關73將幀存儲器72中存儲的參考圖像輸出到運動預測/補償單元77或幀內預測單元74。在該圖像編碼設備51中，來自幀排序緩衝器62的I圖片、B圖片和P圖片例如作為用於幀內預測(也稱為幀內處理)的圖像被提供給幀內預測單元74。此外，從幀排序緩衝器62讀出的B圖片和P圖片作為用於幀間預測(也稱為幀間處理)的圖像被提供給運動預測/補償單元77。幀內預測單元74基於從幀排序緩衝器62讀出的進行幀內預測的圖像和從幀存儲器72提供的參考圖像，以作為候選給出的所有幀內預測模式進行幀內預測處理，並生成被預測圖像。在這點上，幀內預測單元74對地址控制器75提供關於下一個處理編號的信息，該編號指示接下來要處理的宏塊中的塊。作為響應，幀內預測單元74從地址控制器75獲取一個或更多個塊地址以及控制或禁止流水線處理或並行處理的控制信號。幀內預測單元74還從附近像素可用性確定單元76獲取關於要處理的一個或更多個目標塊附近的像素的可用性的信息。幀內預測單元74以幀內預測模式對與來自地址控制器75的一個或更多個塊地址相對應的一個或更多個塊進行幀內預測處理，該幀內預測模式使用附近像素可用性確定單元76確定為可用的附近像素。此外，在從地址控制器75接收到控制流水線處理或並行處理的控制信號的情況下，在該點處幀內預測單元通過流水線處理或並行處理對這些塊進行幀內預測。幀內預測單元74對生成被預測圖像的幀內預測模式計算成本函數值，並選擇其計算的成本函數值給出最小值的幀內預測模式作為最佳幀內預測模式。幀內預測單元74將生成的被預測圖像及其針對最佳幀內預測模式計算的對應的成本函數值提供給被預測圖像選擇器78。在通過被預測圖像選擇器78選擇以最佳幀內預測模式生成的被預測圖像的情況下，幀內預測單元74將指示最佳幀內預測模式的信息提供給無損編碼器66。在從幀內預測單元74傳送信息的情況下，無損編碼器66編碼該信息，該信息被作為被壓縮圖像中的頭部信息的一部分。地址控制器75在從幀內預測單元74獲取處理編號信息後計算接下來要以與H. 264/AVC處理順序不同的處理順序處理的一個或更多個塊地址，並將該一個或更多個塊地址提供給幀內預測單元74和附近像素可用性確定單元76。地址控制器75還使用計算的一個或更多個塊地址來確定目標塊的流水線處理或並行處理是否是可行的。基於確定結果，地址控制器75對幀內預測單元74提供控制信號，該控制信號控制或禁止流水線處理或並行處理。附近像素可用性確定單元76使用來自地址控制器75的一個或更多個塊地址來確定一個或更多個目標塊附近的像素的可用性，並將關於確定的附近像素可用性的信息提供給中貞內預測單元74。運動預測/補償單元77以作為候選給出的所有幀間預測模式進行運動預測/補償處理。換句話說，通過開關73對運動預測/補償單元77提供從幀排序緩衝器62讀出的要幀間處理的圖像、來自幀存儲器72的參考圖像。基於要幀間處理的圖像和參考圖像，運動預測/補償單元77檢測作為候選給出的所有幀間預測模式中的運動向量，並基於運動向量補償參考圖像以生成被預測圖像。 此外，運動預測/補償單元77對作為候選給出的所有幀間預測模式計算成本函數值。運動預測/補償單元77確定最佳幀間預測模式為給出計算的成本函數值中的最小值的預測模式。運動預測/補償單元77將以最佳幀間預測模式生成的被預測圖像及其成本函數值提供給被預測圖像選擇器78。在通過被預測圖像選擇器選擇以最佳幀間預測模式生成的被預測圖像的情況下，運動預測/補償單元77將指示最佳幀間預測模式的信息(幀間預測模式信息)輸出到無損編碼器66。此外，運動向量信息、標記信息和參考幀信息等也在必要時被輸出到無損編碼器66。無損編碼器66同樣地對來自運動預測/補償單元77的信息進行無損編碼處理如可變長度編碼或算術編碼並將其插入到被壓縮的圖像頭部。
被預測圖像選擇器78基於幀內預測單元74和運動預測/補償單元77輸出的各個成本函數值，從最佳幀內預測模式和最佳幀間預測模式之間確定最佳預測模式。然後，被預測圖像選擇器78選擇如此確定的最佳預定模式的被預測圖像，並將其提供給算術單元63和70。在該點上，被預測圖像選擇器78將被預測圖像選擇信息提供給幀內預測單元74或運動預測/補償單元77。速率控制器79基於存儲在累積緩衝器67中的被壓縮圖像，控制量化器65進行的量化操作的速率，使得不發生溢出或下溢。[地址控制器的示例性配置]圖4是示出地址控制器的示例性配置的框圖。在圖4中所示的例子的情況下，地址控制器75由塊地址計算單元91和流水線/並行處理控制器92組成。幀內預測單元74對塊地址計算單元91提供關於宏塊中的一個或更多個塊的下一個處理編號的信息。例如，在包括16X 16像素的宏塊由包括4X4像素的16個塊組成的情況下，下一個處理編號是表明第I到第16塊中的哪個塊已被處理以及哪個接下來要被處理的信息。從來自幀內預測單元74的處理編號，塊地址計算單元91計算並確定接下來要以與H. 264/AVC處理順序不同的處理順序處理的一個或更多個目標塊的塊地址。塊地址計算單元91將確定的一個或更多個塊地址提供給幀內預測單元74、流水線/並行處理控制器92和附近像素可用性確定單元76。流水線/並行處理控制器92使用來自塊地址計算單元91的一個或更多個塊地址來確定目標塊的流水線處理或並行處理是否可行。根據確定結果，流水線/並行處理控制器92對幀內預測單元74提供控制信號，該控制信號控制或禁止流水線處理或並行處理。附近像素可用性確定單元76使用來自塊地址計算單元91的一個或更多個塊地址來確定一個或更多個目標塊附近像素的可用性，並將關於確定的附近像素的可用性的信息提供給幀內預測單元74。幀內預測單元74以幀內預測模式對與來自塊地址計算單元91的一個或更多個塊地址對應的一個或更多個目標塊進行幀內預測處理，該幀內預測模式使用附近像素可用性確定單元76確定為可用的附近像素。此外，在該點上，幀內預測單元74基於來自流水線/並行處理控制器92的控制信號通過流水線處理或並行處理對多個塊進行幀內預測，或僅對單個塊進行幀內預測。[圖像編碼設備中的處理順序的說明]
接下來，將再次參考圖2說明圖像編碼設備51中的處理順序。在此，作為例子說明例如包括16X 16像素的宏塊由包括4X4像素的16個塊組成的情況。在圖像編碼設備51中，以分配給圖2的A中各個塊的編號、或換句話說以如下順序編碼宏塊中的各個塊0,1, {2a, 2b}, {3a, 3b}, {4a, 4b}, {5a, 5b}, {6a, 6b}, {7a, 7b} ,8,
9。然後，在圖像編碼設備51中，按照與編碼順序相同的順序作為流輸出編碼的塊。在此，按照圖2的A中的編號的順序的編碼換句話說指的是按照圖2的A中編號的順序進行幀內預測、正交變換、量化、去量化以及逆正交變換。在此，例如{2a，2b}表明任一個可以最先被處理。對於{2a，2b}，即使另一個的處理沒有結束也可以開始處理一個。換句話說，流水線處理是可行的，且並行處理也是可 行的。例如，按照分配給圖2的B中各個塊的編號的順序進行H. 264/AVC編碼。另外，以下也將分配有具體編號的塊稱為塊「(編號)」。在H. 264/AVC的情況下，對於圖2的B中所示的塊「2」和塊「3」，塊「3 「不能被幀內預測，除非完成塊「2」的局部解碼(逆正交變換)，如圖5的A中所示。例如，圖5的A中的例子示出了針對H. 264/AVC編碼順序的情況的時序圖，或換句話說針對圖2的B中所示的塊「2」和塊「3」的時序圖。在圖5的A的情況下，在完成塊「2」的幀內預測、正交變換、量化、去量化和逆正交變化之後發起塊「3」的幀內預測。以這種方式，在H. 264/AVC的情況下，針對幀內預測塊「3」的附近像素值是未知的，直到完成塊「2」的局部解碼(逆正交變換)。因此，進行流水線處理是困難的。與之對照，在圖像編碼設備51的編碼順序和輸出順序的情況下，在圖2的A中所示的塊「2a」和塊「2b」之間不存在附近像素之間的相互依賴，且因而如圖5的後面的B和C中所示的處理是可能的。例如，圖5的B中的例子不出了針對圖像編碼設備51的編碼和輸出順序的情況下的流水線處理時序圖，或換句話說針對圖2的A中所示的塊「2a」和塊「2b」的時序圖。在圖5的B的情況下，在完成塊「2a」的幀內預測之後，發起塊「2a」的正交變換，同時發起塊「2b」的幀內預測，而不受塊「2a」的處理的影響。同樣地執行塊「2a」的隨後的量化、去量化和逆正交變換，而不受塊「2b」的處理的影響，同樣地執行塊「2b」的正交變換、量化、去量化和逆正交變化，而不受塊「2a」的處理的影響。圖5的C中的例子示出了針對圖像編碼設備51的編碼和輸出順序的情況的並行處理時序圖，或換句話說針對圖2的A中所示的塊「2a」和塊「2b」的時序圖。在圖5的C的情況下，同時發起塊「2a」的幀內預測和塊「2b」的幀間預測。也同時分別執行塊「2a」的隨後的正交變換、量化、去量化和逆正交變換，以及塊「 2b 」的正交變換、量化、去量化和逆正
交變換。如上所述，對於圖2的A中所示的塊「2a」和塊「2b」，如圖5的B中所示的流水線處理和圖5的C中所示的並行處理是可行的。同時，在早先討論的PTL I中所述的提議中，編碼處理的順序是圖2的A中分配的編號的順序，然而輸出到流順序是圖2的B中分配的編號的順序。因此，需要用於重排序的緩衝器。與之對照，在圖像編碼設備51中不需要在編碼處理器81和流輸出單元82之間設置緩衝器，因為編碼順序和輸出順序是相同的。
還要考慮圖6示出的塊「3b」或塊「7b」。在圖6的例子中，對各個塊分配表明編碼順序的編號，而與這些編號相鄰的括號中的分配的編號表示PTL I中所述提議中的輸出順序。例如，在處理塊「3b」的情況下，應已完成圖6中被陰影的塊「2a」的處理。針對塊「7b」也是相似的，在處理塊「7b」的情況下，應已完成在圖6中被陰影的塊「6a」的處理。因此，當考慮處理順序時，對於塊「3b」和塊「7b」右上角的附近像素值是可用的。然而，如果使輸出順序是括號中的編號的順序，則塊「3b」是輸出順序中的第3個，而塊「2a」是輸出順序中的第4個，且因而塊「2a」將是塊「3b」之後的輸出。塊「7b」是輸出順序中的第11個，而塊「6a」是輸出順序中的第12個，且因而塊「6a」將是塊「7b」之後的輸出。因此，除非對於塊「3b」和塊「7b」右上角的附近像素被處理為不可用，將難以稍後在解碼末尾解碼這些塊。換句話說，將降低編碼效率。與之對照，在圖像編碼設備51的情況下，輸出順序和編碼順序相同，且因而在解碼末尾的解碼順序也相同，且到塊「3b」和塊「7b」的右上角的附近像素被處理為可用。換句話說，候選幀內預測模式的數目增加。因而，在圖像編碼設備51中有可能以高編碼效率實現流水線處理和並行處理，而不導致編碼效率降低。[圖像編碼設備中的編碼處理的說明]接下來，參考圖7的流程圖描述圖3的圖像編碼設備51中的編碼處理。在步驟Sll中，A/D轉換器61對輸入的圖像進行A/D轉換。在步驟S12，幀排序緩衝器72存儲A/D轉換器61提供的圖像，並將其從顯示單獨的圖片的順序排序為編碼的順序。在步驟S13中，算術單元63計算步驟S12中存儲的圖像和被預測圖像之間的差。通過被預測圖像選擇器78將被預測圖像提供給算術單元63，且在幀間預測的情況下從運動預測/補償單元77提供，在幀內預測的情況下從幀內預測單元74提供。差數據與原始圖像數據相比具有更小的數據尺寸。因此，與直接編碼圖像的情況相比可壓縮數據尺寸。在步驟S14，正交變換單元64對從算術單元63提供的差信息應用正交變換。具體地，應用如離散餘弦變換或Karhunen-Loeve變換的正交變換，且輸出變換係數。在步驟S15，量化器65對變換係數進行量化。在該量化期間控制速率，如在稍後討論的步驟S25中的處理中所述。如下局部地解碼以這種方式量化的差信息。也就是說，在步驟S16，去量化器68去量化已被量化器65量化的變換係數，特性對應於量化器65的特性。在步驟S17，逆正交變換單元69對已被去量化器68逆量化的變換係數應用逆正交變換，特性對應於正交變換單元64的特性。在步驟S18，算術單元70將通過被預測圖像選擇器78輸入的被預測圖像加到局部解碼的差信息，並生成局部解碼的圖像(與到算術單元63的輸入相對應的圖像)。在步驟S19，解塊濾波器71對算術單元70輸出的圖像濾波。這樣，去除了塊偽像。在步驟S20中，幀存儲器72存儲濾波的圖像。同時，也將沒有被解塊濾波器71濾波的圖像從算術單元70、提供給幀存儲器72並進行存儲。在步驟S21中，幀內預測單元74和運動預測/補償單元77分別進行圖像預測處理。換句話說，在步驟S21中，幀內預測單元74以幀內預測模式進行幀內預測處理，而運動預測/補償單元77以幀間預測模式進行運動預測/補償處理。稍後將參考圖8討論步驟S21中的預測處理的細節，然而作為該處理的結果，分別以作為候選給出的所有預測模式進行預測處理，且對作為候選給出的所有預測模式分別計算成本函數值。然後，基於計算的成本函數值選擇最佳幀內預測模式，且以最佳幀內預測模式通過幀內預測生成被預測圖像，且其成本函數值被提供給被預測圖像選擇器78。同時，基於計算的成本函數值確定幀間預測模式之中的最佳幀間預測模式，且以最佳幀間預測模式生成的被預測圖像及其成本函數值被提供給被預測圖像選擇器78。
在步驟S22中，被預測圖像選擇器78基於從幀內預測單元74和運動預測/補償單元77輸出的其各自的成本函數值從最佳幀內預測模式和最佳幀間預測模式之間確定最佳預測模式。然後，被預測圖像選擇器78選擇如此確定的最佳預測模式的被預測圖像，並將其提供給算術單元63和70。如早先討論的，在步驟S13和S18的計算中使用該被預測圖像。在此，將該被預測圖像選擇信息提供給幀內預測單元74或運動預測/補償單元77。在選擇最佳幀內預測模式的被預測圖像的情況下，幀內預測單元74將指示最佳幀內預測模式的信息(或換句話說幀內預測模式信息)提供給無損編碼器66。在選擇最佳幀間預測模式的被預測圖像的情況下，運動預測/補償單元77將指示最佳幀間預測模式的信息、以及如果有必要基於最佳幀間預測模式的信息輸出到無損編碼器66。運動向量信息、標記信息和參考幀信息等可被引為基於最佳幀間預測模式的信息。換句話說，當選擇被作為最佳幀間預測模式的幀間預測模式給出的被預測圖像時，運動預測/補償單元77將幀間預測模式信息、運動向量信息和參考幀信息輸出到無損編碼器66。在步驟S23中，編碼處理器81對量化器65輸出的被量化的變換係數進行編碼。換句話說，通過可變長度編碼或算術編碼等對差圖像進行無損編碼和壓縮，在該點上，在上述步驟S22中被輸入到編碼處理器81中的、來自幀內預測單元74的幀內預測模式信息和來自運動預測/補償單元77的基於最佳幀間預測模式的信息等也被編碼且被加到頭部信息。通過流輸出單元82將編碼處理器81編碼的數據以與編碼順序相同的輸出順序作為流輸出到累積緩衝器67。在步驟S24中，累積緩衝器67存儲差圖像作為壓縮圖像。在適當時讀出存儲在累積緩衝器67中的被壓縮圖像，並通過傳送路徑將其傳送到解碼器。在步驟S25中，速率控制器79基於累積緩衝器67中存儲的被壓縮圖像，控制量化器65進行的量化操作的速率，使得不出現溢出或下溢。[預測處理的說明]接下來，參考圖8的流程圖描述圖7的步驟S21中的預測處理。在從幀排序緩衝器62提供的要處理的圖像是要幀內處理的塊的圖像的情況下，從幀存儲器72讀出要參考的已解碼的圖像，且通過開關73將其提供給幀內預測單元74。幀內預測單元74對地址控制器75提供關於下一個處理編號的信息，該編號指示接下來要處理宏塊中的哪個塊。
在步驟S31中，地址控制器75和附近像素可用性確定單元76進行幀內預測預處理。稍後將參考圖20討論步驟S31中的幀內預測預處理的細節。作為該處理的結果，對與處理編號相對應的且接下來要以圖2的A中所示的處理順序處理的一個或更多個塊確定塊地址。此外，使用確定的一個或更多個塊地址來確定目標塊的流水線處理或並行處理是否可行，並確定一個或更多個目標塊附近的像素的可用性。然後，將接下來要處理的一個或更多個塊的塊地址、控制或禁止流水線處理或並行處理的控制信號以及指示附近像素的可用性的信息提供給幀內預測單元74。在步驟S32，幀內預測單元74使用提供的圖像來以作為候選給出的所有幀內預測模式對一個或更多個處理目標塊中的像素進行幀內預測。在此，使用沒有被解塊濾波器71濾波的像素作為要參考的已解碼像素。稍後參考圖21討論步驟S32中的幀內預測的細節，然而作為該處理的結果，以作 為候選給出的所有幀內預測模式進行幀內預測。此外，在該點上，幀內預測單元74以如下幀內預測模式對於地址控制器75確定的一個或更多個塊地址相對應的一個或更多個目標塊進行幀內預測處理，該幀內預測模式使用附近像素可用性確定單元76確定為可用的附近像素。在該點處，在從地址控制器75接收到控制流水線處理或並行處理的控制信號的情況下，幀內預測單元74在該點處通過流水線處理或並行處理對這些塊進行幀內預測。然後，對作為候選給出的所有幀內預測模式計算成本函數值，且基於計算的成本函數值確定最佳幀內預測模式。將最佳幀內預測模式的生成的被預測圖像和成本函數值提供給被預測圖像選擇器78。在從幀排序緩衝器62提供的要處理的圖像是要幀間處理的圖像的情況下，從幀存儲器72讀出要參考的圖像並通過開關73將其提供給運動預測/補償單元77。基於這些圖像，在步驟S33中運動預測/補償單元77進行幀間運動預測處理。換句話說，運動預測/補償單元77參考從幀存儲器72提供的圖像並以作為候選給出的所有幀間預測模式執行運動預測處理。稍後參考圖22討論步驟S33中的幀間運動預測處理的細節，然而作為該處理的結果，以作為候選給出的所有幀間預測模式執行運動預測處理，且對作為候選給出的所有幀間預測模式計算成本函數值。在步驟S34中，運動預測/補償單元77比較步驟S33中計算的用於幀間預測模式的成本函數值，並確定最佳幀間預測模式是給出最小值的預測模式。然後，運動預測/補償單元77將以最佳幀間預測模式生成的被預測圖像及其成本函數值提供給被預測圖像選擇器78。[H. 264/AVC格式的幀內預測處理的說明]接下來，將描述以H. 264/AVC格式定義的各個幀內預測模式。首先，描述用於亮度信號的幀內預測模式。三種技術被定義為用於亮度信號的幀內預測模式幀內4X4預測模式，幀內8X8預測模式和幀內16X16預測模式。這些是定義塊單位的模式，且在每宏塊的基礎上設置。還有可能在每宏塊的基礎上與亮度信號無關地設置用於色度信號的幀內預測模式。此外，在幀內4 X 4預測模式的情況下，可對每個4 X 4像素目標塊設置九種預測模式中的一個預測模式。在幀內8X8預測模式的情況下，可對每個8X8像素目標塊設置九種預測模式中的一個預測模式。此外，在幀內16X16預測模式的情況下，可針對16X16像素目標塊設置四種預測模式中的一個預測模式。然而，以下在適當時幀內4X4預測模式、幀內8X8預測模式和幀內16X16預測模式也將分別被稱作4X4像素幀內預測模式、8X8像素幀內預測模式和16X 16像素幀內預測模式。
圖9和圖10是示出用於亮度信號的九種4X4像素幀內預測模式(Intra_4X4_pred_mode)的圖。除了指示平均值(DC)的模式之外的八個相應模式各自對應於圖11中的數字0、1和3至8示出的方向。將參考圖12說明九種Intra_4X4_pred_mode模式。在圖12的例子中，像素a至P表示要幀內處理的目標塊中的像素，而像素值A至M表示屬於相鄰塊的像素的像素值。換句話說，像素a至P是已從幀排序緩衝器62讀出的要處理的圖像，而像素值A至M是已從幀存儲器72讀出的要參考的已解碼圖像的像素值。在圖10和圖11所示的各個幀內預測模式的情況下，使用屬於相鄰塊的像素值A至M如下生成用於像素a至P的被預測像素值。在此，像素值可用意味著其可被參考且不是處在幀的邊緣的或者尚待編碼的。與之對照，像素值不可用意味著由於處在幀的邊緣或尚待編碼而不能被參考。模式O是垂直預測模式，且僅應用在像素值A-D可用的情況下。在這種情況下，如在以下等式(I)中所示生成像素a-p的被預測像素值。像素a，e，i，m的被預測像素值=A像素b，f，j，η的被預測像素值=B像素c，g，k，O的被預測像素值=C像素d，h，1，P的被預測像素值=D(I)模式I是水平預測模式，且僅應用在像素值I至L可用的情況下。在這種情況下，如以下等式(2)中所示生成像素a至P的被預測像素值。像素a，b，c，d的被預測像素值=I像素e，f，g，h的被預測像素值=J像素i，j，k，I的被預測像素值=K像素m，η, ο, ρ的被預測像素值=L(2)模式2是DC預測模式，且當像素值A、B、C、D、I、J、K和L都可用時如以下等式(3)中所示生成被預測像素值。(A+B+C+D+1 +J+K+L+4) > > 3(3)此外，當像素值A、B、C和D都不可用時如在表達式(4)中所示生成被預測像素值。(I+J+K+L+2) >>2(4)此外，當像素值I、J、K和L都不可用時如在表達式(5)中所示生成被預測像素值。(A+B+C+D+2) > > 2(5)同時，當像素值A、B、C、D、I、J、K和L都不可用時，128用作被預測像素值。模式3是對角左下預測模式，且僅應用在像素值A、B、C、D、I、J、K、L和M都可用的情況下。在這種情況下，如以下表達式(6)中所示生成像素a-p的被預測像素值。像素a的被預測像素值=(A+2B+C+2) >>2
像素b、e的被預測像素值=(B+2C+D+2) >>2像素c、f、i的被預測像素值=(C+2D+E+2) >>2像素d、g、j、m的被預測像素值=(D+2E+F+2) >>2像素h、k、η的被預測像素值=(E+2F+G+2) >> 2像素I、ο的被預測像素值=(F+2G+H+2) >>2像素P的被預測像素值=(G+3H+2) >> 2(6)模式4是對角右下預測模式，且僅應用在像素值Α、B、C、D、I、J、K、L和 M都可用的情況下。在這種情況下，如以下表達式(7)中所示生成像素a-p的被預測像素值。像素m的被預測像素值=(J+2K+L+2) >>2像素i、η的被預測像素值=(I+2J+K+2) >>2像素e、j、ο的被預測像素值=(M+2I+J+2) >>2像素a、f、k、ρ的被預測像素值=(A+2M+I+2) >>2像素b、g、I的被預測像素值=(M+2A+B+2) >>2像素C、h的被預測像素值=(A+2B+C+2) >> 2像素d的被預測像素值=(B+2C+D+2) >> 2(7)模式5是對角垂直右預測模式，且僅應用在像素值A、B、C、D、I、J、K、L和M都可用的情況下。在這種情況下，如以下表達式(8)中所示生成像素a-p的被預測像素值。像素a、j的被預測像素值=(M+A+1) >> I像素b、k的被預測像素值=(A+B+1) >> I像素C、I的被預測像素值=(B+C+1) >> I像素d的被預測像素值=(C+D+1) >> I像素e、η的被預測像素值=(Ι+2Μ+Α+2) >>2像素f、ο的被預測像素值=(M+2A+B+2) >>2像素g、ρ的被預測像素值=(A+2B+C+2) >>2像素h的被預測像素值=(B+2C+D+2) >>2像素i的被預測像素值=(M+2I+J+2) >>2像素m的被預測像素值=(I+2J+K+2) >> 2(8)模式6是水平下預測模式，且僅應用在像素值A、B、C、D、I、J、K、L和M都可用的情況下。在這種情況下，如以下表達式(9)中所示生成像素a-p的被預測像素值。像素a、g的被預測像素值=(M+I+1) >> I像素b、h的被預測像素值=(I+2M+A+2) >>2像素c的被預測像素值=(M+2A+B+2) >>2像素d的被預測像素值=(A+2B+C+2) >>2像素e、k的被預測像素值=(I+J+1) >> I像素f、I的被預測像素值=(M+2I+J+2) >>2像素i、O的被預測像素值=(J+K+1) >> I像素j、ρ的被預測像素值=(I+2J+K+2) >> 2像素m的被預測像素值=(K+L+1) >> I像素η的被預測像素值=(J+2K+L+2) >> 2(9)
模式7是垂直左預測模式，且僅應用在像素值A、B、C、D、I、J、K、L和M都可用的情況下。在這種情況下，如以下表達式(10)中所示生成像素a-p的被預測像素值。像素a的被預測像素值=(A+B+1) >> I像素b、i的被預測像素值=(B+C+1) >> I像素c、j的被預測像素值=(C+D+1) >> I像素d、k的被預測像素值=(D+E+1) >> I像素I的被預測像素值=(E+F+1) >> I像素e的被預測像素值=(A+2B+C+2) >>2像素f、m的被預測像素值=(B+2C+D+2) >>2 像素g、η的被預測像素值=(C+2D+E+2) >>2像素h、ο的被預測像素值=(D+2E+F+2) >>2像素P的被預測像素值=(E+2F+G+2) >> 2(10)模式8是水平上預測模式，且僅應用在像素值A、B、C、D、I、J、K、L和M都可用的情況下。在這種情況下，如以下表達式(11)中所示生成像素a-Ρ的被預測像素值。像素a的被預測像素值=(I+J+1) >> I像素b的被預測像素值=(I+2J+K+2) >>2像素c、e的被預測像素值=(J+K+1) >> I像素d、f的被預測像素值=(J+2K+L+2) >>2像素g、i的被預測像素值=(K+L+1) >> I像素h、j的被預測像素值=(K+3L+2) >>2像素k、l、m、n、o、p的被預測像素值=L(11)接下來，參考圖13描述用於亮度信號的4X4像素幀內預測模式(幀內_4X4_pred_mode)的編碼格式。圖13的例子示出了包括4X4像素的要編碼的目標塊C，以及與目標塊C相鄰的、包括4 X 4像素的塊A和塊B。在這種情況下，可設想目標塊C中的Intra_4x4_pred_mode模式以及塊A和塊B中的Intra_4x4_pred_mode模式之間的高相關性。通過如下使用該相關性進行編碼，可實現更高的編碼效率。也就是說,在圖13的例子中，適用於塊A和塊B的Intra_4x4_pred_mode模式分別是 Intra_4x4_pred_modeA 和 Intra_4x4_pred_modeB,MostProbableMode 如以下等式(12)中所限定。MostProbableMode = Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)(12)換句話說，在塊A和塊B之間，使分配有最小mode_number的一個成為MostProbableMode。在位流中，稱為prev_intra4x4_pred_mode_flag[luma4x4BlkIdx]和 rem_intra4x4_pred_mode[luma4x4BlkIdx]的兩個值被定義為用於目標塊C的參數。通過如以下等式(13)中所示基於偽碼進行處理來進行解碼，且對目標塊C獲得Intra_4x4_pred_mode 和 Intra4x4PredMode [luma4x4BlkIdx]的值。如果(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])，則
Intra4x4PredMode [luma4x4BlkIdx] =MostProbableMode,否則
如果(rem_intra4x4_pred_mode [luma4x4BlkIdx] < MostProbableMode),貝IjI n t r a4X 4Pr e dMo de [ I uma4 X4B I k I dX ] = r em_ i n t r a4x4_p r e d_mode[luma4x4BlkIdx],否則I n t r a4X 4Pr e dMo de [ I uma4 X4B I k I dX ] = r em_ i n t r a4x4_p r e d_mode[luma4x4BlkIdx]+1(13)接著，說明8X8像素幀內預測模式。圖14和15是示出用於亮度信號的九種8X8像素巾貞內預測模式(Intra_8x8_pred_mode)。使在目標8X8塊中的像素值表達為ρ [x，y] (O ^ x ^ 7 ；0 ^ y ^ 7)，且相鄰塊中的像素值表達為 P [_1，_1]，· · ·，ρ [-1，15], ρ [-1,0], · · · , [p-1，7]。對於8X8像素幀內預測模式，在生成被預測值之前對相鄰像素施加低通濾波。在此，將施加低通濾波之如的像素值表不為P [_1，_1]，...，ρ [-1，15], ρ [-1,0],...，ρ [-1，7],且將施加低通濾波之後的像素值表示為P' [-1，-1]，. . .，P' [-1,15], Pi [-1,0],...,P' [_1，7]。首先，在p[-l，_l]可用的情況下如以下表達式(14)中所示計算P'
，且在其不可用的情況下如以下表達式(15)中所示計算V [O, -I]。ρ'
= (ρ [~1, _1] +2 ρ [O, _1]+ρ[1，_1] +2) >>2(14)ρ'
= (3 * ρ
+ρ[1，_1]+2) >>2(15)如以下表達式(16)中所示計算P ' [χ, -I] (χ = O至7)。ρ ' [χ, -I]=(ρ[χ_1，_1] +2 * ρ [χ, _1] +ρ [χ+1, _1] +2) >> 2 (16)在p[x,-I] (χ = 8至15)不可用的情況下如以下等式(17)中所示計算p' [x,_l](χ = 8 至 15)。ρ1 [χ, -I] = (ρ [χ-1, -I] +2 * ρ [χ, _1]+ρ[χ+1，-I] +2) >>2p' [15，-1] = (ρ[14，_1]+3 * ρ[15，_1]+2) >>2(17)在P [_1，_1]可用的情況下如下計算P' [_1，_1]。也就是說，在P [O, _1]和ρ [_1，
O]可用的情況下如等式(18)中所示計算P' [-1，-1]，且在？[-1，0]不可用的情況下如等式(19)中所示計算P' [-1,-1].此外，在ρ
不可用的情況下如等式(20)中所示計算 P' [_1，_1]。ρ' [-1, -I] = (ρ [O, _1] +2 ρ [-1, _1]+ρ [I, O]+2) >>2(18)ρ' [-1, -I] = (3 ρ[-1, _1] +ρ[O, _1] +2) >>2(19)
ρ' [-1, -I] = (3 ~k ρ [-1, _1] +ρ [_1,0] +2) >>2(20)當Ρ[-1, y] (y = 0-7)可用時如下計算P' [_1, y] (y = 0-7)。也就是說，首先在P[_l，-I]可用的情況下如等式(21)中所示計算P' [_1，0]，且在其不可用時如等式(22)中所示計算P' [_1，0]。ρ' [—I，O] = (ρ [—I，—I] +2 女 ρ [—I，O] +ρ [—I，I] +2) > > 2(21)p' [-1,0] = (3 * ρ[-1，0]+ρ[-1，1]+2) >> 2(22)此外，如以下等式(23)中所示計算P' [-1，y] (y = 1_6)，且如等式(24)中所示計算 P' [-1，7]。P' [-1, y] = (p[-l, y-l]+2 * p[_l, y]+p[_l，y+l]+2) >>2(23)p' [-1,7] = (p[_l，6]+3 * p[_l，7]+2) >> 2(24)使用以這種方式計算的p』，如下生成圖14和15中所示的各個幀內預測模式中的
被預測值。模式O是垂直預測模式，且僅在ρ[X，-I] (χ = 0-7)可用時被施加。如以下等式
(25)中所示生成被預測值pred8x8L[x,y]。pred8x8L[x, y] = p' [χ, -I]for χ, y = O to 7(25)模式I是水平預測模式，且僅在p[_l，y] (y = 0-7)可用時被施加。如以下等式
(26)中所示生成被預測值pred8x8L[x,y]。pred8x8L[x, y] = p' [-1，y]for x, y = Oto 7(26)模式2是DC預測模式，且如下生成被預測值predSxSjx^]。也就是說，在p[x，-l](X = 0-7)和p[-l，y] (y = 0-7)可用的情況下以如下等式(27)中所示生成被預測值pred8x8L[x, y]。[公式I]
權利要求
1.一種圖像處理設備，包括 地址控制裝置，用於基於與編碼標準的順序不同的順序，從構成圖像的給定塊的塊中確定接下來要處理的一個或更多個目標塊的一個或更多個塊地址； 編碼裝置，用於使用一個或更多個目標塊附近的像素進行預測處理，並對與所述地址控制裝置確定的一個或更多個塊地址相對應的一個或更多個目標塊進行編碼；以及流輸出裝置，用於以所述編碼裝置編碼的順序輸出所述一個或更多個目標塊作為流。
2.根據權利要求I所述的圖像處理設備，其中， 在如下情況下所述給定塊由16個塊組成，其中左上塊為(O，O)，且波形括號{}中包圍的塊表明其可由流水線處理、並行處理或任何順序來處理，所述地址控制裝置基於如下順序確定一個或更多個目標塊的一個或更多個塊地址(0，0)，(1，0)，{(2，0)，(0，1)}，{(3，O), (1,1)}, {(2,1), (0,2)}, {(3,1), (1,2)}, {(2,2), (0,3)}, {(3,2), (1,3)}, (2,3), (3，3)。
3.根據權利要求2所述的圖像處理設備，還包括 附近像素可用性確定裝置，用於使用所述地址控制裝置確定的一個或更多個塊地址來確定所述一個或更多個目標塊附近的像素是否可用； 其中，所述編碼裝置通過以預測模式使用所述一個或更多個目標塊附近的像素進行預測處理來對所述一個或更多個目標塊編碼，所述預測模式使用所述附近像素可用性確定裝置確定為可用的附近像素。
4.根據權利要求2所述的圖像處理設備，還包括 處理確定裝置，用於使用所述地址控制裝置確定的所述一個或更多個塊地址來確定是否可通過流水線處理或並行處理來處理所述一個或更多個目標塊； 其中 在所述處理確定裝置確定出可通過流水線處理或並行處理來處理所述一個或更多個目標塊的情況下，所述編碼裝置通過流水線處理或並行處理對所述目標塊進行編碼。
5.根據權利要求2所述的圖像處理設備，其中 所述給定塊是mXm像素的宏塊,其中m彡16,以及 構成所述給定塊的塊是m/4 X m/4像素的塊。
6.根據權利要求2所述的圖像處理設備，其中 所述給定塊是mXm像素的宏塊，或構成宏塊的一部分的子塊，其中m ^ 32，以及 構成所述給定塊的塊是16X 16像素的塊。
7.一種圖像處理方法，包括圖像處理設備通過其可以進行以下操作的步驟 基於與編碼標準的順序不同的順序，從構成圖像的給定塊的塊中確定接下來要處理的一個或更多個目標塊的一個或更多個塊地址； 使用一個或更多個目標塊附近的像素進行預測處理，並對與所確定的一個或更多個塊地址相對應的一個或更多個目標塊進行編碼；以及 以編碼的順序輸出所述一個或更多個目標塊作為流。
8.一種圖像處理設備，包括 解碼裝置，用於解碼接下來要處理的一個或更多個目標塊，所述一個或更多個目標塊是已在圖像的給定塊中按照與編碼標準的順序不同的順序被編碼且然後作為流輸出的、構成圖像的所述給定塊的塊，所述解碼裝置按照流順序對所述一個或更多個目標塊進行解碼； 地址控制裝置，用於基於所述與編碼標準的順序不同的順序確定所述一個或更多個目標塊的一個或更多個塊地址； 預測裝置，用於使用所述一個或更多個目標塊附近的像素來預測與所述地址控制裝置確定的一個或更多個塊地址相對應的、一個或更多個目標塊的一個或更多個被預測的圖像；以及 添加裝置，用於將所述預測裝置預測的所述一個或更多個目標塊的一個或更多個被預測的圖像添加到所述解碼裝置解碼的所述一個或更多個目標塊的一個或更多個圖像。
9.根據權利要求8所述的圖像處理設備，其中 在如下情況下所述給定塊由16個塊組成，其中左上塊為(0，0)，且波形括號{}中包圍的塊表明其可由流水線處理、並行處理或任何順序來處理，所述地址控制裝置基於如下順序確定一個或更多個目標塊的一個或更多個塊地址(0，0)，(1，0)，{(2，0)，(0，1)}，{(3，0)，(1,1)}, {(2,1), (0,2)}, {(3,1), (1,2)}, {(2,2), (0,3)}, {(3,2), (1,3)}, (2,3), (3，3)。
10.根據權利要求9所述的圖像處理設備，還包括 附近像素可用性確定裝置，用於使用所述地址控制裝置確定的一個或更多個塊地址來確定所述一個或更多個目標塊附近的像素是否可用； 其中，所述解碼裝置還解碼用於所述一個或更多個目標塊的預測模式信息，以及所述預測裝置使用所述附近像素可用性確定裝置確定為可用的所述一個或更多個目標塊附近的像素，來以所述預測模式信息表明的一個或更多個預測模式來預測所述一個或更多個目標塊的一個或更多個被預測的圖像。
11.根據權利要求9所述的圖像處理設備，還包括 處理確定裝置，用於使用所述地址控制裝置確定的所述一個或更多個塊地址來確定是否可通過流水線處理或並行處理來處理所述一個或更多個目標塊； 其中 在所述處理確定裝置確定出可通過流水線處理或並行處理來處理所述一個或更多個目標塊的情況下，所述編碼裝置通過流水線處理或並行處理預測所述目標塊的被預測的圖像。
12.根據權利要求9所述的圖像處理設備，其中 所述給定塊是mXm像素的宏塊,其中m彡16,以及 構成所述給定塊的塊是m/4 X m/4像素的塊。
13.根據權利要求9所述的圖像處理設備，其中 所述給定塊是mXm像素的宏塊，或構成宏塊的一部分的子塊，其中m ^ 32，以及 構成所述給定塊的塊是16X 16像素的塊。
14.一種圖像處理方法，包括圖像處理設備通過其可進行以下操作的步驟 解碼接下來要處理的一個或更多個目標塊，所述一個或更多個目標塊是已在圖像的給定塊中按照與編碼標準的順序不同的順序被編碼且然後作為流輸出的、構成圖像的所述給定塊的塊，按照流順序對所述一個或更多個目標塊進行解碼，基於所述與編碼標準的順序不同的順序確定所述一個或更多個目標塊的一個或更多個塊地址， 使用所述一個或更多個目標塊附近的像素來預測與確定的一個或更多個塊地址相對應的一個或更多個目標塊的一個或更多個被預測的圖像，以及 將這樣預測的所述一個或更多個目標塊的一個或更多個被預測的圖像添加到所解碼的一個或更多個目標塊的一個或更多個圖像。
全文摘要
本發明涉及一種能夠實現並行或流水線的幀內預測同時還改進編碼效率的圖像處理設備和方法。幀內預測單元74以幀內預測模式、按照與H.264/AVC處理順序不同的處理順序對與地址控制器75確定的一個或更多個塊地址對應的一個或更多個目標塊進行幀內預測處理，該幀內預測模式使用附近像素可用性確定單元76確定為可用的附近像素。在該點上，幀內預測單元74基於來自流水線/並行處理控制器92的控制信號，通過流水線處理或並行處理對多個塊進行幀內預測，或對單個塊進行幀內預測。本發明可應用於例如以H.264/AVC格式進行編碼的圖像編碼設備。
文檔編號H04N7/32GK102648630SQ201080034618
公開日2012年8月22日 申請日期2010年8月4日 優先權日2009年8月12日
發明者佐藤數史 申請人:索尼公司