圖像解碼裝置、圖像編碼裝置及其方法和程序的製作方法
2023-10-09 06:35:54 2
專利名稱：圖像解碼裝置、圖像編碼裝置及其方法和程序的製作方法
技術領域：
本發明涉及圖像解碼裝置、圖像編碼裝置及其方法和程序。更具體地，將通過執行預測運動向量的優化來實現編碼效率和圖像質量的提高。
背景技術：
近年來，在廣播和一般家用設備中，為了即時執行高效的信息傳輸和存儲，已經開始廣泛使用對圖像信息進行數位化處理的裝置，例如符合諸如MPEG等格式以通過諸如離散餘弦變換等正交變換和運動補償來壓縮圖像。
特別地，MPEG2 (IS0/IEC 13818-2)被定義為通用圖像編碼格式，因此現在被大範圍的應用廣泛地用於專業用途和消費用途。通過採用MPEG2壓縮格式，例如在具有 720X480像素的標準解析度的隔行掃描圖像的情況下分配4至8Mbps的編碼量(比特率)， 由此可實現出色的圖像質量。另外，在具有1920X1088像素的高解析度的隔行掃描圖像的情況下分配18至22Mbps的編碼量(比特率)，由此可實現出色的圖像質量。
關於MPEG2,適合於廣播用途的聞圖像質量編碼是主要目標，但是不處理比MPEGl 的編碼量更低的編碼量(比特率)，即具有更高壓縮率的編碼格式。由於個人數字助理的流行，已預期今後對這樣的編碼格式的需求將增加，並且響應於此，已進行了 MPEG4編碼格式的標準化。關於圖像編碼格式，其規範在1998年12月被確認為國際標準IS0/IEC14496-2。
另外，近年來，被稱為H. 26L(ITU-T Q6/16VCEG)的標準的標準化已有進展，其最初旨在用於視頻會議用途的圖像編碼。關於H. 26L，已知的是，與諸如MPEG2或MPEG4的傳統編碼格式相比，儘管其編碼和解碼需要更多的計算量，但是實現了更高的編碼效率。另外， 當前，作為MPEG4的活動的一部分，用以實現更高編碼效率的基於該H. 26L的標準化正被執行為增強壓縮視頻編碼的聯合模型。關於標準化的時間表，不晚於2003年3月，這已成為被稱為H. 264和MPEG-4第10部分(高級視頻編碼，下文中寫作H. 264/AVC)的國際標準。
另外，關於H. 264/AVC格式，因為在多個塊大小的每個中執行運動向量的搜索，計算量巨大，因此處理時間增加並且計算電路需要更高的處理能力。因此，已做出了根據PTLl 的發明，從而通過使用相鄰塊的運動向量的中值作為預測運動向量，在搜索運動向量的時候縮短處理時間並且減少計算量。
引用列表
專利文獻
PTLl 日文未審查專利申請公開第2006-025033號發明內容
技術問題
順便提及，關於圖像數據的編碼，通過獲取要編碼的塊的預測運動向量與運動向量之間的差分，以及對其差分運動向量進行編碼並且將其包括在流信息中，來進行編碼量的減少。這裡，在使用例如H. 264/AVC格式的相鄰塊中的運動向量的中間值(中值)作為預測運動向量的情況下，中值不必是最佳的預測運動向量。
圖I是圖示預測運動向量的傳統判定方法的圖。注意，在與要編碼的塊相鄰的相鄰塊中，關於在要編碼的塊正進行編碼處理的時候已經執行了編碼處理的編碼塊，例如左側上的相鄰塊的運動向量將被稱為運動向量MV_A。另外，上側和右上側上的相鄰塊的運動向量將被分別稱為運動向量MV_B和MV_C。
如圖I中的(A)所示，在預測塊大小(運動補償塊大小)為小的情況下，存在許多這樣的情況，其中在要編碼的塊的運動向量MVob與相鄰塊的運動向量MV_A、MV_B和MV_C之間存在很小的差分。也就是說，當使用中間值MV_md時，預測精度更高。相反，如圖I中的 (B)所示，在預測塊大小為大的情況下，相鄰塊包括與要編碼的塊更遠的區域。因此，出現這樣的情況，其中在中間值MV_md與要編碼的塊的運動向量MVob之間存在大的差分。與預測塊大小更小的情況相比，這將導致預測精度的劣化。
因此，本發明的目標是提供一種圖像解碼裝置、圖像編碼裝置及其方法和程序，其可通過執行預測運動向量的優化，來實現編碼效率和圖像質量的提高。
問題的解決方案
本發明的第一方面是一種圖像解碼裝置，包括第一解碼處理單元，被配置為通過執行編碼流的解碼獲得差分運動向量；第二解碼處理單元，被配置為通過對所述編碼流進行解碼獲得預測運動向量選擇信息；運動向量選擇單元，被配置為針對要解碼的塊設定預測運動向量候選，以及從預測運動向量候選中選擇所述預測運動向量選擇信息中指示的運動向量作為預測運動向量；以及相加單元，被配置為通過將所述差分運動向量加上所述預測運動向量來計算所述要解碼的塊的運動向量。
關於本發明，針對要解碼的塊，使用已解碼的並且與所述要解碼的塊相鄰的相鄰塊的運動向量來設定預測運動向量候選。另外，例如，在根據已解碼的相鄰塊的運動向量的差分執行情況分類的每個情況下，設定預測運動向量候選。這裡，在塊的大小為大的情況下，與塊大小更小的情況相比，設定更多的預測運動向量候選。另外，例如，根據已解碼的相鄰塊的運動向量的差分來執行情況分類，以及在每個情況下設定預測運動向量候選。另外， 具有超過閾值的差分出現的運動向量各自被作為預測運動向量候選。從這些候選中選擇通過對編碼流進行解碼獲得的預測運動向量選擇信息中所指示的運動向量作為預測運動向量。將該預測運動向量和通過對編碼流進行解碼獲得的差分運動向量相加來計算要解碼的塊的運動向量。
本發明的第二方面是一種圖像解碼方法，包括通過對編碼流進行解碼獲得差分運動向量的處理；通過對所述編碼流進行解碼獲得預測運動向量選擇信息的處理；針對要解碼的塊設定預測運動向量候選，以及從預測運動向量候選中選擇所述預測運動向量選擇信息中指示的運動向量作為預測運動向量的處理；以及通過將所述差分運動向量加上所述預測運動向量來計算所述要解碼的塊的運動向量的處理。
本發明的第三方面是一種使計算機執行圖像解碼的程序，所述程序使計算機執行通過對編碼流進行解碼獲得差分運動向量的過程；通過對所述編碼流進行解碼獲得預測運動向量選擇信息的過程；針對要解碼的塊設定預測運動向量候選，以及從預測運動向量候選中選擇所述預測運動向量選擇信息中指示的運動向量作為預測運動向量的過程；以及通過將所述差分運動向量加上所述預測運動向量來計算所述要解碼的塊的運動向量的過程。
本發明的第四方面是一種圖像編碼裝置，包括運動向量選擇單元，被配置為針對要編碼的塊設定預測運動向量候選，以及從所述候選中選擇編碼效率最好的運動向量作為預測運動向量；第一編碼處理單元，被配置為執行差分運動向量的編碼，其中，所述差分運動向量指示由所述運動向量選擇單元選擇的所述預測運動向量與所述要編碼的塊的運動向量之間的差分；以及第二編碼處理單元，被配置為執行預測運動向量選擇信息的編碼，其中，所述預測運動向量選擇信息指示已從所述預測運動向量候選中選擇了哪個運動向量。
關於本發明，針對要編碼的塊，使用已解碼的並且與要解碼的塊相鄰的相鄰塊的運動向量來設定預測運動向量候選。另外，例如，在根據已解碼的相鄰塊的運動向量的差分執行情況分類的每個情況下，設定預測運動向量候選。這裡，在塊大小為大的情況下，與塊大小更小的情況相比，設定更多的預測運動向量候選。另外，例如，根據相鄰塊的運動向量的差分來執行情況分類，並且在每個情況下設定預測運動向量候選。另外，具有超過閾值的差分出現的運動向量各自被作為預測運動向量候選。從這些候選中選擇預測運動向量，以及對差分運動向量進行編碼，其中差分運動向量指示所選擇的預測運動向量與要編碼的塊的運動向量之間的差分。另外，在存在多個預測運動向量候選的情況下，對預測運動向量選擇信息進行編碼，其中預測運動向量選擇信息指示已從多個候選中選擇了哪個運動向量。 另外，關於從候選中選擇預測運動向量，將編碼效率最好的運動向量選擇為預測運動向量。
本發明的第五方面是一種圖像編碼方法，包括針對要編碼的塊設定預測運動向量候選的處理，以及從所述候選中選擇編碼效率最好的運動向量作為預測運動向量的處理；執行差分運動向量的編碼的處理，其中，所述差分運動向量指示所選擇的預測運動向量與要編碼的塊的運動向量之間的差分；以及執行預測運動向量選擇信息的編碼的處理，其中，所述預測運動向量選擇信息指示已從所述預測運動向量候選中選擇了哪個運動向量。
本發明的第六方面是一種使計算機執行圖像編碼的程序，所述程序使計算機執行針對要編碼的塊設定預測運動向量候選的過程，以及從所述候選中選擇編碼效率最好的運動向量作為預測運動向量的過程；執行差分運動向量的編碼的過程，其中，所述差分運動向量指示所選擇的預測運動向量與要編碼的塊的運動向量之間的差分；以及執行預測運動向量選擇信息的編碼的過程，其中，所述預測運動向量選擇信息指示已從所述預測運動向量候選中選擇了哪個運動向量。
注意，例如，根據本發明的程序是可由記錄介質、通信介質和諸如光碟、磁碟、和半導體存儲器的存儲介質、或者諸如網絡的通信介質提供的程序，其針對可執行各種程序的通用計算機系統以計算機可讀形式來提供。以計算機可讀形式提供這樣的程序使得能夠根據計算機系統上的程序來實現處理。
發明的有益效果
根據本發明，在圖像解碼中，針對要解碼的塊，使用要解碼的塊和已解碼的相鄰塊的運動向量來設定預測運動向量候選。另外，從候選中選擇通過對編碼流執行無損解碼獲得的預測運動向量選擇信息中所指示的運動向量作為預測運動向量。通過將差分運動向量相加來計算要解碼的塊的運動向量，其中差分運動向量是通過對這些預測運動向量和編碼流執行無損解碼而獲得的。另外，關於圖像的編碼，針對要編碼的塊設定預測運動向量候選，以及從該候選中選擇編碼效率最好的運動向量作為預測運動向量。另外，執行差分運動向量和預測運動向量選擇信息的編碼，其中，差分運動向量指示預測運動向量與要編碼的塊的運動向量之間的差分，預測運動向量選擇信息指示已從候選中選擇了哪個運動向量。 因此，從預測運動向量候選中選擇和使用編碼效率最好的運動向量，從而實現了運動向量的傳輸所需要的編碼量的減少，由此提高了編碼效率。另外，隨著運動向量的傳輸所需要的編碼量的減少，可以使得能夠提高量化數據的比特率，並且可以提高圖像質量。
圖I是圖示預測運動向量的傳統判斷方法的框圖。
圖2是圖示圖像編碼裝置的配置的圖。
圖3是圖示根據預測塊大小進行情況分類以及每個情況下的預測運動向量候選的圖。
圖4是圖示無損編碼單元的關於運動向量的配置的圖。
圖5是圖示圖像編碼處理中使用的預測塊大小的圖。
圖6是圖示圖像編碼處理的操作的流程圖。
圖7是圖示預測處理的流程圖。
圖8是圖示幀內預測處理的流程圖。
圖9是圖示幀間預測處理的流程圖。
圖10是圖示由無損編碼單元執行的關於運動向量的編碼處理的流程圖。
圖11是圖示圖像解碼裝置的配置的圖。
圖12是圖示無損解碼單元的關於運動向量的配置的圖。
圖13是圖示圖像解碼處理的操作的流程圖。
圖14是圖示由無損解碼單元執行的關於運動向量的解碼處理的流程圖。
圖15是圖示預測處理的流程圖。
圖16是圖示根據相鄰塊的運動向量的差分進行情況分類以及每個情況下的預測運動向量候選的圖。
圖17是圖示無損編碼單元的關於運動向量的另一配置的圖。
圖18是圖示由無損編碼單元執行的關於運動向量的其它編碼處理的流程圖。
圖19是圖示無損解碼單元的關於運動向量的配置的圖。
圖20是圖示由無損解碼單元執行的關於運動向量的其它解碼處理的流程圖。
圖21是圖示根據發生等同運動的塊的連續性進行情況分類的圖。
圖22是圖示每個情況下的預測運動向量候選的圖。
圖23是圖示由無損編碼單元執行的關於運動向量的其它編碼處理的流程圖。
圖24是圖示由無損解碼單元執行的關於運動向量的其它解碼處理的流程圖。
圖25是例示每個預測運動向量候選的發生概率的圖。
圖26是例示電視接收機的示意性配置的圖。
圖27是例示蜂窩電話的示意性配置的圖。
圖28是例示記錄/回放裝置的示意性配置的圖。
圖29是例示成像設備的示意性配置的圖。
具體實施方式
在下文中，將描述本發明的實施例。注意，將按照下面的順序進行說明。
I.圖像編碼裝置的配置
2.運動向量的預測方法
3.無損編碼單元的配置
4.圖像編碼裝置的操作
5.圖像解碼裝置的配置
6.無損解碼單元的配置
7.圖像解碼裝置的操作
8.運動向量的其它預測方法
9.無損編碼單元的其它配置
10其它配置的無損編碼單元的操作
11無損解碼單元的其它配置
12具有其它配置的無損解碼單元的操作
13運動向量的其它預測方法
14無損編碼單元的其它配置和操作
15無損解碼單元的其它配置和操作
16預測運動向量標識信息的編碼處理
17軟體處理的情況
18應用於電子設備的情況
〈I圖像編碼裝置的配置>
圖2圖示圖像編碼裝置的配置。圖像編碼裝置10包括模擬/數字轉換單元(A/D轉換單元)11、屏幕重新排列緩衝器12、相減單元13、正交變換單元14、量化單元15、無損編碼單元16、存儲緩衝器17、和速率控制單元18。另外，圖像編碼裝置10包括逆量化單元21、逆正交變換單元22、相加單元23、去塊濾波器24、幀存儲器25、選擇器26、幀內預測單元31、運動預測/補償單元32、和預測圖像/最佳模式選擇單元33。
Α/D轉換單元11執行模擬圖像信號到數字圖像信號的轉換，並且輸出到屏幕重新排列緩衝器12。
屏幕重新排列緩衝器12針對從Α/D轉換單元11輸出的圖像數據執行幀的重新排列。屏幕重新排列緩衝器12根據關於編碼處理的GOP (圖像組)結構來執行幀的重新排列， 並且將重新排列後的圖像數據輸出到相減單元13、幀內預測單元31和運動預測/補償單元32。
從屏幕重新排列緩衝器12輸出的圖像數據和由稍後描述的預測圖像/最佳模型選擇單元33選擇的預測圖像數據被供應到相減單元13。相減單元13計算預測誤差數據， 並且輸出到正交變換單元14，其中，預測誤差數據為從屏幕重新排列緩衝器12輸出的圖像數據與從預測圖像/最佳模型選擇單元33供應的預測圖像數據之間的差分。
正交變換單元14針對從相減單元13輸出的預測誤差數據執行正交變換處理，例如離散餘弦變換(DCT :離散餘弦變換)、Karhunen-Loeve變換等。正交變換單元14將通過執行正交變換處理獲得的變換係數數據輸出到量化單元15。9
從正交變換單元14輸出的變換係數數據和來自稍後描述的速率控制單元18的速率控制信號被供應到量化單元15。量化單元15執行變換係數數據的量化，並且將量化數據輸出到無損編碼單元16和逆量化單元21。另外，量化單元15根據來自速率控制單元18 的速率控制信號來切換量化參數(量化尺度)，從而改變量化數據的比特率。
從量化單元15輸出的量化數據和來自稍後描述的幀內預測單元31、運動預測/補償單元32和預測圖像/最佳模式選擇單元33的預測模式信息被供應到無損編碼單元16。 注意，根據幀內預測或幀間預測，在預測模式信息中包括有指示預測塊大小的宏塊類型、預測模式、運動向量信息、參考圖像信息等。例如，無損編碼單元16使用可變長度編碼、算術編碼等，針對量化數據執行無損編碼處理以生成編碼流，編碼流然後輸出到存儲緩衝器17。 另外，無損編碼單元16對預測模式信息執行無損編碼，並且例如加到編碼流的頭信息上。 另外，無損編碼單元16設定預測運動向量 候選，並且從這些候選中選擇編碼效率最好的運動向量作為預測運動向量。無損編碼單元16執行差分運動向量和預測運動向量選擇信息的無損編碼，並且加到編碼流上，其中，差分運動向量指示該預測運動向量與要編碼的塊的運動向量之間的差分，預測運動向量選擇信息指示已從預測運動向量候選中選擇了哪個運動向量。
存儲緩衝器17存儲來自無損編碼單元16的編碼流。另外，存儲緩衝器17以根據傳輸路徑的傳輸速度輸出所存儲的編碼流。
速率控制單元18執行存儲緩衝器17的可用容量的監控，根據可用容量生成速率控制信號，並且輸出到量化單元15。例如，速率控制單元18從存儲緩衝器17獲得用於指示可用容量的信息。在存在很小的可用容量的情況下，速率控制單元18通過速率控制信號降低量化數據的比特率。另外，在存儲緩衝器17上存在很多可用容量的情況下，速率控制單元18通過速率控制信號增加量化數據的比特率。
逆量化單元21執行從量化單元15供應的量化數據的逆量化處理。逆量化單元21 將通過執行逆量化處理獲得的變換係數數據輸出到逆正交變換單元22。
逆正交變換單元22將通過執行從逆量化單元21供應的變換係數數據的逆變換處理獲得的數據輸出到相加單元23。
相加單元23將從逆正交變換單元22供應的數據與從預測圖像/最佳模式選擇單元33供應的預測圖像數據相加，以生成解碼圖像數據，並且輸出到去塊濾波器24和幀存儲器25。
去塊濾波器24執行濾波處理，以減少在圖像編碼的時候發生的塊失真。去塊濾波器24執行濾波處理，以從自相加單元23供應的解碼圖像數據中去除塊失真，並且將濾波處理之後的解碼圖像數據輸出到幀存儲器25中。
幀存儲器25保持從相加單元23供應的解碼圖像數據和從去塊濾波器24供應的濾波處理之後的解碼圖像數據。
選擇器26將已從幀存儲器25讀出以執行幀內預測的濾波處理之前的解碼圖像數據供應到幀內預測單元31。另外，選擇器26將已從幀存儲器25中讀出以執行幀間預測的濾波處理之後的解碼圖像數據供應到運動預測/補償單元32。
幀內預測單元31使用從屏幕重新排列緩衝器12輸出的要編碼圖像的圖像數據和從幀存儲器25讀出的濾波處理之前的解碼圖像數據，來執行所有候選幀內預測模式的幀內預測處理。另外，幀內預測單元31針對每個幀內預測模式計算代價函數值，並且選擇所計算的代價函數值最小的幀內預測模式，即編碼效率變得最好的幀內預測模式，作為最佳幀內預測模式。幀內預測單元31將在最佳幀內預測模式下生成的預測圖像數據、關於最佳幀內預測模式的預測模式信息、和最佳幀內預測模式的代價函數值輸出到預測圖像/最佳模式選擇單元33。另外，為了獲得稍後描述的在計算代價函數值的時候使用的生成編碼量，幀內預測單元31在每個幀內預測模式的幀內預測處理中，將關於幀內預測模式的預測模式信息輸出到無損編碼單元16。
運動預測/補償單元32針對與宏塊對應的所有預測塊大小(運動補償塊大小)執行運動預測/補償處理。運動預測/補償單元32使用從幀存儲器25中讀出的濾波處理之後的解碼圖像數據，來檢測從屏幕重新排列緩衝器12中讀出的要編碼圖像中的每個預測塊大小的每個圖像的運動向量。另外，運動預測/補償單元32根據檢測到的運動向量，對解碼圖像執行運動補償處理以生成預測圖像。另外，運動預測/補償單元32計算每個預測塊大小的代價函數值，並且選擇所計算的代價函數值最小的預測塊大小，即編碼效率最好的預測塊大小，作為最佳幀間預測模式。運動預測/補償單元32將在最佳幀間預測模式下生成的預測圖像數據、和關於最佳幀間預測模式的預測模式信息、以及最佳幀間預測模式的代價函數值輸出到預測圖像/最佳模式選擇單元33。另外，為了獲得在計算代價函數值的時候使用的生成編碼量，運動預測/補償單元32在每個預測塊大小的幀間預測處理中， 將關於幀間預測模式的預測模式信息輸出到無損編碼單元16。注意，運動預測/補償單元 32執行跳過的宏塊和直接模式的預測、以及幀間預測模式的預測。
另外，為了在無損編碼單元16處從預測運動向量候選中選擇編碼效率最好的運動向量，運動預測/補償單元32計算每個預測運動向量候選的代價函數值。運動預測/補償單元32將所計算的代價函數值通知給無損編碼單元16。可在按照每個預測塊大小計算代價函數值時，計算每個預測運動向量候選的代價函數值，並且可在所判定的最佳幀間預測模式下計算每個預測運動向量候選的代價函數值。
預測圖像/最佳模式選擇單元33以宏塊為單位將從幀內預測單元31供應的代價函數值與從運動預測/補償單元32供應的代價函數值進行比較，並且選擇代價函數值比其它模式小的模式，作為編碼效率將是最好的最佳模式。另外，預測圖像/最佳模式選擇單元 33將在最佳模式下生成的預測圖像數據輸出到相減單元13和相加單元23。另外，預測圖像/最佳模式選擇單元33將最佳模式下的預測模式信息輸出到無損編碼單元16。注意，預測圖像/最佳模式選擇單元33以片(slice)為單元執行幀內預測或幀間預測。
<2.運動向量的預測方法〉
在本申請中，根據預測塊大小(運動補償塊大小)執行情況分類,並且預先針對每個情況設定預測運動向量候選。然後，使用候選來執行編碼量的計算，並且將編碼效率最好的候選，即編碼量最小的候選判定為預測運動向量。這裡，如使用圖I所描述的，在預測塊大小為大的情況下，與預測塊大小為小的情況相比，運動向量的預測精度會劣化。所以，在情況分類中，當預測塊大小為大時，增加預測運動向量候選，從而選擇編碼效率最好的運動向量。
圖3指示根據預測塊大小進行的情況分類和每個情況下的預測運動向量候選。例如，在預測塊大小等於或小於8X8像素的情況下，這將被稱為情況S0(例如圖3中的(A))，在預測塊大小等於或大於8X8像素並且等於或小於16X 16像素的情況下，被稱為情況SI (例如圖3中的(B))，以及在預測塊大小等於或大於16X16像素的情況下，被稱為情況S2 (例如圖3中的(C))。
在情況SO下，將已編碼的相鄰塊中的一個塊的運動向量、或者已編碼的相鄰塊的運動向量的中間值作為候選。注意，在圖3中，例示了如下情況，其中將左側上的相鄰塊的運動向量MV_A、或者左側、上側和右上側上的相鄰塊的運動向量MV_A、MV_B和MV_C的中間值MV_md作為候選。
在情況SI下，將已編碼的相鄰塊中的任意兩個塊的運動向量作為候選。這裡，在運動向量被作為候選的兩個塊之間的距離短的情況下，存在的擔心是，可能不選擇編碼效率最好的預測運動向量。例如，在將圖3的(B)中所示的運動向量定為候選的情況下，在要編碼的塊的運動向量接近運動向量MV_A的情況下，無法選擇編碼效率最好的預測運動向量。所以，在相鄰塊的多個運動向量被選擇性地使用並且用作預測運動向量候選的情況下，選擇已編碼的相鄰塊中相互分開的塊的運動向量。例如，舉例來說，左側相鄰塊的運動向量MV_A是第一候選，並且右上側上的相鄰塊的運動向量MV_C是第二候選。
在情況S2下，將比情況SI下的候選更多的候選，即已編碼的相鄰塊的所有運動向量作為候選。例如，舉例來說，左側相鄰塊的運動向量MV_A是第一候選，並且上側相鄰塊的運動向量MV_B是第二候選，並且右上側上的相鄰塊的運動向量MV_C是第三候選。而且，將與參考圖像中要編碼的塊相同的塊的運動向量MV_Co作為第四候選。
因此，根據預測塊大小(運動補償塊大小)來執行情況分類，並且從可應用情況的候選中將編碼效率最好的運動向量判定為預測運動向量。
〈3.無損編碼單元的配置〉
圖4圖示無損編碼單元的關於運動向量的配置。無損編碼單元16包括運動向量存儲單元161、運動向量選擇單元165、相減單元166、第一編碼處理單元167、和第二編碼處理單元168。
運動向量存儲單元161使用已編碼的並且與要編碼的塊相鄰的相鄰塊的運動向量，來存儲每個塊的運動向量以設定預測運動向量候選。注意，運動向量存儲單元161可存儲與參考圖像中要編碼的塊相同的塊的運動向量，以處理直接模式。
運動向量選擇單元165根據從運動預測/補償單元32和預測圖像/最佳模式選擇單元33供應的預測塊大小信息，從存儲在運動向量存儲單元161中的相鄰塊的運動向量和與參考圖像中要編碼的塊相同的塊的運動向量中，設定預測運動向量候選。另外，運動向量選擇單元165根據在運動預測/補償單元32處計算的代價函數值，從預測運動向量候選中判定預測運動向量。運動向量選擇單元165將判定的預測運動向量輸出到相減單元166。
相減單元166計算差分運動向量，差分運動向量是在來自運動預測/補償單元32 或預測圖像/最佳模式選擇單元33的運動向量信息中指示的運動向量與從運動向量選擇單元165輸出的預測運動向量之間的差分。相減單元166將用於指示差分運動向量的差分運動向量信息輸出到第一編碼處理單元167。
第一編碼處理單元167使用可變長度編碼(VLC)表或算術編碼，來執行差分運動向量信息的編碼。另外，第二編碼處理單元168使用VLC表或算術編碼，來執行預測塊大小信息和預測運動向量選擇信息的編碼。注意，例如，預測運動向量選擇信息是採用所使用的標記來指示已從預測運動向量候選中將哪個運動向量判定為預測運動向量的信息。如上所述，將在第一編碼處理單元167和第二編碼處理單元168中編碼的信息加到編碼流的頭信息上。
<4.圖像編碼裝置的操作〉
接下來，將說明關於圖像編碼處理的操作。圖5圖示與圖像編碼處理一起使用的預測塊大小。關於H. 264/AVC格式，如圖5的(C)和(D)中所示的，規定了 16X16像素至 4X4像素的預測塊大小。另外，在使用比H. 264/AVC格式更進一步擴展的宏塊的情況下，例如當使用32X32像素的宏塊時，規定了例如圖5的(B)中所示的預測塊大小。另外，例如， 當使用64X64像素的宏塊時，例如規定了圖5的(A)中所示的預測塊大小。
注意，在圖5中，「跳過/直接」表示當在運動預測/補償單元32處已選擇跳過宏塊或直接模式時的預測塊大小。另外，「ME」表示它是運動補償塊大小。另外，「P8X8」表示宏塊的大小可被進一步分割為更低的子層次級別。
圖6是圖示圖像編碼處理的操作的流程圖。在步驟ST11，A/D轉換單元11對輸入圖像信號執行Α/D轉換。
在步驟ST12，屏幕重新排列緩衝器12執行圖像重新排列。屏幕重新排列緩衝器 12存儲從Α/D轉換單元11供應的圖像數據，並且執行從用於顯示圖像的順序到用於編碼的順序的重新排列。
在步驟ST13，相減單元13生成預測誤差數據。相減單元13計算在步驟ST12中重新排列的圖像的圖像數據與在預測圖像/最佳模式選擇單元33處選擇的預測圖像數據之間的差分，以生成預測誤差數據。預測誤差數據的數據量小於原始圖像數據的數據量。所以，與對圖像按照其原來的樣子進行編碼的情況相比，可以壓縮數據量。
在步驟ST14，正交變換單元14執行正交變換處理。正交變換單元14對從相減單元13供應的預測誤差數據執行正交變換。具體地，針對預測誤差數據執行離散餘弦變換、 Karhunen-Loeve變換等，以輸出變換係數數據。
在步驟ST15，量化單元15執行量化處理。量化單元15將變換係數數據量化。如在稍後描述的步驟ST25的處理中所描述的，在量化的時候執行速率控制。
逆量化單元21在步驟ST16執行逆量化處理。逆量化單元21以與量化單元15的屬性對應的屬性，對由量化單元15量化的變換係數數據執行逆量化。
在步驟ST17，逆正交變換單元22執行逆正交變換處理。逆正交變換單元22以與正交變換單元14的屬性對應的屬性，對經過逆量化單元21的逆量化的變換係數數據執行逆正交變換。
在步驟ST18，相加單元23生成解碼圖像數據。相加單元23將從預測圖像/最佳模式選擇單元33供應的預測圖像數據和對應位置的逆正交變換之後的數據加到該預測圖像上，以生成解碼圖像數據。
在步驟ST19，去塊濾波器24執行濾波處理。去塊濾波器24對從相加單元23輸出的解碼圖像數據進行濾波，並且去除塊失真。
在步驟ST20，幀存儲器25存儲解碼圖像數據。幀存儲器25存儲濾波處理之前的解碼圖像數據和濾波處理之後的解碼圖像數據。
在步驟ST21，幀內預測單元31和運動預測/補償單元32各自執行預測處理。也就是說，幀內預測單元31執行幀內預測模式的幀內預測處理，而運動預測/補償單元32執行幀間預測模式的運動預測/補償處理。以下參考圖7描述預測處理的細節，其中，各自執行所有候選預測模式下的預測處理，並且通過該處理各自計算所有候選預測模式下的代價函數值。另外，根據計算的代價函數值，選擇最佳幀內預測模式和最佳幀間預測模式，並且將在所選擇的預測模式下生成的預測圖像和代價函數及預測模式信息供應到預測圖像/ 最佳模式選擇單元33。
在步驟ST22，預測圖像/最佳模式選擇單元33選擇預測圖像數據。預測圖像/最佳模式選擇單元33根據從幀內預測單元31和運動預測/補償單元32輸出的每個代價函數值，來判定編碼效率最好的最佳模式。另外，預測圖像/最佳模式選擇單元33選擇所判定的最佳模式的預測圖像數據，並且供應到相減單元13和相加單元23。如上所述，該預測圖像用於步驟ST13和步驟ST18中的計算。注意，將對應於所選擇的預測圖像數據的預測模式信息輸出到無損編碼單元16。
在步驟ST23，無損編碼單元16執行無損編碼處理。無損編碼單元16對從量化單元15輸出的量化數據執行無損編碼。即，針對要進行數據壓縮的量化數據執行無損編碼， 例如可變長度編碼或算術編碼。此時，對在上述步驟ST22中輸入到無損編碼單元16中的預測模式信息(例如包括宏塊類型和預測模式、以及參考圖像信息)和關於運動向量的信息等進行無損編碼。另外，將諸如預測模式信息的無損編碼數據加到通過對量化數據執行無損編碼而生成的編碼流的頭信息上。
在步驟ST24，存儲緩衝器17執行存儲處理。存儲緩衝器17存儲從無損編碼單元 16輸出的編碼流。存儲在該存儲緩衝器17中的編碼流被適當地讀出，並且通過傳輸路徑被傳輸到解碼側。
在步驟ST25，速率控制單元18執行速率控制。在將編碼流存儲在存儲緩衝器17 中的情況下，速率控制單元18控制量化單元15的量化操作的速率，使得在存儲緩衝器17 中不發生上溢或下溢。
接下來，將參考圖7的流程圖來描述圖6的步驟ST21中的預測處理。
在步驟ST31，幀內預測單元31執行幀內預測處理。幀內預測單元31在所有候選幀內預測模式下對要編碼的塊的圖像執行幀內預測。注意，關於幀內預測中涉及的解碼圖像的圖像數據，使用存儲在幀存儲器25中的沒有經過去塊濾波器24的濾波處理的解碼圖像數據。以下將描述幀內預測處理的細節，其中，由於該處理，在所有候選幀內預測模式下執行幀內預測，並且針對所有候選幀內預測模式計算代價函數值。然後，根據所計算的代價函數值，從所有幀內預測模式中選擇編碼效率最好的幀內預測模式。
在步驟ST32，運動預測/補償單元32執行幀間預測處理。運動預測/補償單元 32使用存儲在幀存儲器25中的濾波處理之後的解碼圖像數據，來執行所有候選幀間預測模式(所有預測塊大小)的幀間預測處理。以下將描述幀間預測處理的細節，其中，由於該處理，在所有候選幀間預測模式下執行預測處理，並且針對候選幀間預測模式計算代價函數值。然後，根據所計算的代價函數值，從所有幀間預測模式中選擇編碼效率最好的幀間預測模式。
將參考圖8的流程圖來描述圖7的步驟ST31中的幀內預測處理。
在步驟ST41，幀內預測單元31執行每個預測模式的幀內預測。幀內預測單元31使用存儲在幀存儲器25中的濾波處理之前的解碼圖像數據，生成每個幀內預測模式下的預測圖像數據。
在步驟ST42，幀內預測單元31計算每個預測模式的代價函數值。如在JM(聯合模型)中所規定的，根據高複雜度模式或低複雜度模式中的任意技術執行代價函數值的計算， 其中JM是H. 264/AVC格式的參考軟體。
也就是說，在高複雜度模式下，關於步驟ST41中的處理，暫時地直至針對作為候選的所有預測模式執行了無損編碼處理，並且針對每個預測模式計算由下面的表達式(I) 表示的代價函數值。
Cost (Mode e Ω ) =D+ λ · R. · · (I)
Ω表示用來對塊或宏塊進行編碼的候選預測模式的全體組。D表示在預測模式下已執行了編碼的情況下的解碼圖像與輸入圖像之間的差分能量(失真)。R是所生成的編碼量，包括正交變換係數、預測模式信息等，而λ是作為量化參數QP的函數給出的拉格朗日乘子。
即，在執行高複雜度模式下的編碼的時候，計算以上參數D和R，因此需要暫時地使用所有的候選預測模式來 一次執行編碼處理，因此需要更高的計算量。
另一方面，在低複雜度模式下，關於步驟ST41的處理，直到針對所有候選預測模式執行了預測圖像的生成和諸如運動向量信息和預測模式信息的頭部比特的計算，並且針對每個預測模式計算由下面的表達式(2)表示的代價函數值。
Cost(Mode e Ω ) =D+QPtoQuant (QP) · Header_Bit· ·· (2)
Ω表示用來對塊或宏塊進行編碼的候選預測模式的全體組。D表示在預測模式下已執行了編碼的情況下的解碼圖像與輸入圖像之間的差分能量(失真XHeaderjDit是預測模式的頭部比特，而QPtoQuant是作為量化參數QP的函數給出的函數。
S卩，在低複雜度模式下，需要關於每個預測模式執行預測處理，然而進行處理直至不需要解碼圖像，由此實現比高複雜度模式更低的計算量。
在步驟ST43，幀內預測單元31判定最佳幀內預測模式。幀內預測單元31根據步驟ST42中計算的代價函數值，選擇代價函數值最小的幀內預測模式，其被判定為最佳幀內預測模式。
接下來，將參考圖9中的流程圖來描述圖7的步驟ST32中的幀間預測處理。
在步驟ST51，運動預測/補償單元32判定每個預測模式的運動向量和參考圖像中的每個。即，運動預測/補償單元32判定要在每個預測模式下處理的塊的運動向量和參考圖像中的每個。
在步驟ST52，運動預測/補償單元32針對每個預測模式執行運動補償。運動預測 /補償單元32關於每個預測模式(每個預測塊大小)，根據步驟ST51中判定的運動向量，針對參考圖像執行運動補償，並且生成關於每個預測模式的預測圖像數據。
在步驟ST53，運動預測/補償單元32生成每個預測模式的運動向量信息。運動預測/補償單元32生成用於指示在每個預測模式下判定的運動向量的運動向量信息。所生成的運動向量信息用於接下來的步驟ST54中的代價函數值的計算，並且在預測圖像/最佳模式選擇單元33處選擇了對應的預測圖像的情況下，這被包括在預測信息中並且輸出到無損編碼單元16。
在步驟ST54，運動預測/補償單元32計算每個幀間預測模式的代價函數值。運動預測/補償單元32使用所描述的表達式(I)或(2)來執行代價函數值的計算。關於代價函數值的計算，使用所生成的編碼量，包括在第一編碼處理單元167和第二編碼處理單元168處編碼的信息。注意，幀間預測模式的代價函數值的計算包括H. 264/AVC格式中規定的跳過模式和直接模式的代價函數值的估計。在步驟ST55，運動預測/補償單元32判定最佳幀間預測模式。運動預測/補償單元32根據步驟ST54中計算的代價函數值選擇代價函數值最小的預測模式，並且判定最佳幀間預測模式。接下來，將使用圖10的流程圖來描述由無損編碼單元16執行的關於運動向量的編碼處理。注意，圖10圖示已執行了如圖3所示的情況分類和候選設定的情況。在步驟ST61，無損編碼單元16獲取預測塊大小信息。在步驟ST62，無損編碼單元16區分這是否對應於情況S0。在預測塊大小等於或小於8X8像素的情況下，無損編碼單元16區分這對應於情況S0，並且前進到步驟ST63，但是如果預測塊大小不是等於或小於8X8像素，則前進到步驟ST64。無損編碼單元16在步驟ST63針對預測運動向量判定情況SO的候選。無損編碼單元16針對預測運動向量判定運動向量MV_A (或運動向量MV_md)作為情況SO的候選,並且前進到步驟ST69。在步驟ST64，無損編碼單元16區分這是否對應於情況SI。在預測塊大小等於或小於16X 16像素的情況下，無損編碼單元16區分這對應於情況SI並且前進到步驟ST65，但是如果預測塊大小不是等於或小於16X16像素，則前進到步驟ST67。在步驟ST65，無損編碼單元16從情況SI的候選中判定預測運動向量。如圖3所示，在無損編碼單元16是情況SI的情況下，將運動向量MV_A和運動向量MV_C作為預測運動向量候選。所以，無損編碼單元16將在使用作為第一候選的運動向量MV_A時的代價函數值與在使用作為第二候選的運動向量MV_C時的代價函數值進行比較，並且將代價函數值更小的運動向量判定為預測運動向量。在步驟ST66，無損編碼單元16生成預測運動向量選擇信息。無損編碼單元16生成預測運動向量選擇信息，該預測運動向量選擇信息指示在步驟ST65中判定的編碼效率最好的預測運動向量。例如，無損編碼單元6使用標記作為預測運動向量選擇信息，並且在運動向量MV_A被判定為預測運動向量時將標記設定為「O 」，而在運動向量MV_C被判定為預測運動向量時將標記設定為「 I 」。在步驟ST67，無損編碼單元16從情況S2的候選中判定預測運動向量。如圖3所示，在無損編碼單元16是情況S2的情況下，將運動向量MV_A、運動向量MV_B、運動向量MV_C和運動向量MV_co作為候選。所以，無損編碼單元16將在各自使用作為第一至第四候選的運動向量MV_A、MV_B、MV_(^P MV_co時的代價函數進行比較，並且將代價函數值最小的運動向量判定為預測運動向量。在步驟ST68，無損編碼單元16生成預測運動向量選擇信息。無損編碼單元16生成預測運動向量選擇信息，該預測運動向量選擇信息指示在步驟ST67中判定的編碼效率最好的預測運動向量。例如，無損編碼單元16使用標記作為預測運動向量選擇信息，並且在運動向量MV_A被判定為預測運動向量時將標記設定為「0」，而在運動向量MV_B被判定為預測運動向量時將標記設定為「I」。另外，無損編碼單元16在運動向量MV_C被判定為預測運動向量時將標記設定為「2」，而在運動向量MV_co被判定為預測運動向量時將標記設定為 「3，，。在步驟ST69，無損編碼單元16執行無損編碼處理。無損編碼單元16對這樣的信息進行無損編碼，該信息指示在步驟ST63、65和67中判定的預測運動向量與要編碼的塊的運動向量之間的差分運動向量。另外，無損編碼單元16還對用於指示預測運動向量選擇信息和預測塊大小的信息等執行無損編碼。因此，關於根據本發明的圖像編碼裝置和方法，根據預測塊尺寸的大小設定預測運動向量候選，並且從候選中將編碼效率變為最好的運動向量判定為預測運動向量。所以，可以實現運動向量的傳輸所需要的編碼量的減少，由此提高編碼效率。另外，隨著運動向量的傳輸所需要的編碼量的減少，可以增加量化數據的比特率，由此提高圖像質量。另外，在預測運動向量候選為一個的情況下，例如關於情況S0，不需要預測運動向量選擇信息。所以，僅當存在多個預測運動向量候選時，才進行預測運動向量選擇信息的傳輸，這進一步提高了編碼效率。<5.圖像解碼裝置的配置〉經由預定的傳輸路徑、記錄介質等將通過對輸入圖像進行編碼而生成的編碼流供應到圖像解碼裝置，並且進行解碼。圖11示出圖像解碼裝置的配置。圖像解碼裝置50包括存儲緩衝器51、無損解碼單元52、逆量化單元53、逆正交變換單元54、相加單元55、去塊濾波器56、屏幕重新排列緩衝器57、數字/模擬轉換單元(D/A轉換單元)58。另外，圖像解碼裝置50包括幀存儲器61、選擇器62和65、幀內預測單元63和運動補償單元64。存儲緩衝器51存儲已傳輸的編碼流。無損解碼單元52按照與圖2的無損編碼單元16的編碼格式對應的格式對從存儲緩衝器51供應的編碼流進行解碼。無損解碼單元52將通過對編碼流的頭部信息進行解碼而獲得的預測模式信息輸出到幀內預測單元63和運動補償單元64，並且輸出到去塊濾波器56。另外，無損解碼單元52使用要解碼的塊的運動向量和已解碼的相鄰塊的運動向量來設定預測運動向量候選。無損解碼單元52根據通過對編碼流進行無損解碼而獲得的預測運動向量選擇信息，從預測運動向量候選中選擇運動向量，並且將所選擇的運動向量作為預測運動向量。另外，無損解碼單元52將預測運動向量加上通過對編碼流進行無損解碼而獲得的差分運動向量，並且計算要解碼的塊的運動向量，以及輸出到運動補償單元64。逆量化單元53按照與圖2中的量化單元15的量化格式對應的格式，對由無損解碼單元52解碼的量化數據執行逆量化。逆正交變換單元54按照與圖2中的正交變換單元14的正交變換格式對應的格式，對逆量化單元53的輸出進行逆正交變換，並且輸出到相加單元55。相加單元55將逆正交變換之後的數據加上要從選擇器65供應的預測圖像數據以生成解碼圖像數據，並且輸出到去塊濾波器56和幀存儲器61。去塊濾波器56針對從相加單元55供應的解碼圖像數據執行濾波處理，去除塊失真，然後供應並存儲到幀存儲器61，以及輸出到屏幕重新排列緩衝器57。屏幕重新排列緩衝器57執行圖像的重新排列。即，將為了圖2的屏幕重新排列緩衝器12的編碼而重新排列的幀順序重新排列為用於顯示的原始順序，並且輸出到D/A轉換單元58。D/A轉換單元58對從屏幕重新排列緩衝器57供應的圖像數據執行D/A轉換，從而通過輸出到未示出的顯示器來顯示圖像。幀存儲器61保持從相加單元55供應的濾波處理之前的解碼圖像數據和從去塊濾波器24供應的濾波處理之後的解碼圖像數據。當根據從無損解碼單元52供應的預測模式信息來執行已執行了幀內預測的預測塊的解碼時，選擇器62將從幀存儲器61中讀出的濾波處理之前的解碼圖像數據供應到幀內預測單元63。另外，當根據從無損解碼單元52供應的預測模式信息來執行已執行了幀間預測的預測塊的解碼時，選擇器62將從幀存儲器61中讀出的濾波處理之後的解碼圖像數據供應到運動補償單元64。幀內預測單元63根據從無損編碼單元52供應的預測模式信息生成預測圖像，並且將所生成的預測圖像數據輸出到選擇器65。 運動補償單元64根據從無損解碼單元52供應的預測模式信息和運動向量來執行運動補償，以生成預測圖像數據，該預測圖像數據輸出到選擇器65。即，運動補償單元64根據從無損解碼單元52供應的運動向量和參考幀信息，針對參考幀信息中所指示的參考圖像，根據運動向量來執行運動補償，並且生成預測塊大小的預測圖像數據。選擇器65將由幀內預測單元63生成的預測圖像數據供應到相加單元55。另外，選擇器65將由運動補償單元64生成的預測圖像數據供應到相加單元55。〈6.無損解碼單元的配置〉圖12圖示無損解碼單元的關於運動向量的配置。無損解碼單元52包括第一解碼處理單元521、第二解碼處理單元522、運動向量存儲單元523、運動向量選擇單元525和相加單元526。第一解碼處理單元521執行與第一編碼處理單元167中已執行的編碼對應的解碼處理。第一解碼處理單元521使用VLC表或算術編碼來執行編碼流的無損解碼處理，並且生成差分運動向量信息。第二解碼處理單元522執行與第二編碼處理單元168中已執行的編碼對應的解碼處理。第二解碼處理單元522使用VLC表或算術編碼來執行編碼流的無損解碼處理，並且生成預測塊大小信息、預測運動向量選擇信息等。為了使用與要解碼的塊相鄰的、已解碼的相鄰塊的運動向量來判定預測運動向量，運動向量存儲單元523存儲每個塊的運動向量。注意，在處理直接模式的情況下，運動向量存儲單元523存儲與參考圖像中要編碼的塊相同的塊的運動向量。運動向量選擇單元525根據從第二解碼處理單元522輸出的預測塊大小信息來執行情況分類，並且根據存儲在運動向量存儲單元161中的相鄰塊的運動向量和與參考圖像中要編碼的塊相同的塊的運動向量，來設定預測運動向量候選。該情況分類和預測運動向量候選的設定等同於編碼側的運動向量選擇單元165。另外，運動向量選擇單元525根據從第二解碼處理單元522輸出的預測運動向量選擇信息，從預測運動向量候選中選擇運動向量，並且輸出到相加單元526作為預測運動向量。相加單元526將從運動向量選擇單元525輸出的預測運動向量加上在從第一解碼處理單元521輸出的差分運動向量信息中所指示的差分運動向量，以及相應地計算要解碼的塊的運動向量並且輸出到運動補償單元64。<7.圖像解碼裝置的操作〉 接下來，將參考圖13中的流程圖來描述由圖像解碼裝置50執行的圖像解碼處理的操作。在步驟ST81，存儲緩衝器51存儲已傳輸的編碼流。在步驟ST82，無損解碼單元52執行無損解碼處理。無損解碼單元52對從存儲緩衝器51供應的編碼流進行解碼。S卩，獲得由圖2中的無損編碼單元16編碼的每個圖像的量化數據。另外，無損解碼單元52執行包括在編碼流的頭部信息中的預測模式信息的無損解碼，並且將所獲得的預測模式信息供應到去塊濾波器56、以及選擇器62和65。另外，在預測模式信息是關於幀內預測模式的信息的情況下，無損解碼單元52將預測模式信息輸出到幀內預測單元63。另外，在預測模式信息是關於幀間預測模式的信息的情況下，無損解碼單元52將預測模式信息輸出到運動補償單元64。在步驟ST83，逆量化單元53執行逆量化處理。逆量化單元53按照與圖2中的量化單元15的屬性對應的屬性，對由逆解碼單元52解碼的量化數據執行逆量化。在步驟ST84，逆正交變換單元54執行逆正交變換處理。逆正交變換單元54按照與圖2的正交變換單元14的屬性對應的屬性，對經過逆量化單元53的逆量化的變換係數數據執行逆正交變換。在步驟ST85,相加單元55生成解碼圖像數據。相加單元55將通過執行逆正交變換處理而獲得的數據加上在稍後描述的步驟ST89中選擇的預測圖像數據，並且生成解碼圖像數據。因此，對原始圖像進行解碼。在步驟ST86，去塊濾波器56執行濾波處理。去塊濾波器56執行從相加單元55輸出的解碼圖像數據的濾波處理，並且去除包括在解碼圖像中的塊失真。在步驟ST87，幀存儲器61執行解碼圖像數據的存儲處理。在步驟ST88，幀內預測單元63和運動補償單元64執行預測處理。幀內預測單元63和運動補償單元64各自執行與從無損解碼單元52供應的預測模式信息對應的預測處理。即，當從無損解碼單元52供應幀內預測的預測模式信息時，幀內預測單元63根據預測模式信息執行幀內預測處理，並且生成預測圖像數據。另外，在從無損解碼單元52供應幀間預測的預測模式信息的情況下，運動補償單元64根據預測模式信息執行運動補償，並且生成預測圖像數據。在步驟ST89，選擇器65選擇預測圖像數據。即，選擇器65選擇從幀內預測單元63供應的預測圖像和由運動補償單元54生成的預測圖像數據，並且供應到相加單元55，從而執行如上所述的步驟ST85中的逆正交變換單元54的輸出和相加。在步驟ST90，屏幕重新排列緩衝器57執行圖像重新排列。也就是說，在屏幕重新排列緩衝器57中，為了圖2中的圖像編碼裝置10的屏幕重新排列緩衝器12的編碼而重新排列的幀順序被重新排列為用於顯示的原始順序。在步驟ST91，D/A轉換單元58對從屏幕重新排列緩衝器57到D/A轉換單元58的圖像數據執行D/A轉換。該圖像輸出到未示出的顯示器並且顯示圖像。
接下來，將使用圖14中的流程圖來描述在無損解碼單元52中執行的關於運動向量的解碼處理。注意，，圖14還圖示如圖3所示的執行情況分類和候選的指定的情況。在步驟STlO I，無損解碼單元52獲取預測塊大小信息。無損解碼單元52對存儲在存儲緩衝器51中的編碼流進行解碼，並且獲取關於要解碼的塊的預測塊大小信息。在步驟ST102，無損解碼單元52區分這是否對應於情況S0。在作為要解碼的塊的大小的預測塊大小等於或小於8X8像素的情況下，無損解碼單元52區分這對應於情況S0,前進到步驟ST103，而在預測塊大小不是等於或小於8X8像素的情況下，前進到步驟ST104。在步驟ST103，無損解碼單元52將情況SO的候選判定為預測運動向量。無損解碼單元52將作為情況SO的候選的運動向量MV_A (或運動向量MV_md)判定為預測運動向量，並且前進到步驟ST109。在步驟ST104，無損解碼單元52區分這是否對應於情況SI。在預測塊大小等於或小於16X 16像素的情況下，無損解碼單元52區分這對應於情況SI，前進到步驟ST105，而在預測塊大小不是等於或小於16X 16像素的情況下，前進到步驟ST107。在步驟ST105，無損解碼單元52獲取預測運動向量選擇信息。無損解碼單元52對存儲在存儲緩衝器51中的編碼流進行解碼，並且獲取關於要解碼的塊的預測運動向量選擇信息。在步驟ST106，無損解碼單元52從情況SI的候選中判定預測運動向量。無損解碼單元52判定在情況SI下的預測運動向量選擇信息中所指示的預測運動向量，並且前進到步驟ST109。例如，在預測運動向量信息是標記「O」的情況下，無損解碼單元52將運動向量MV_A作為預測運動向量。另外，在預測運動向量信息是標記「 I 」的情況下，無損解碼單元52將運動向量MV_C作為預測運動向量。在步驟ST107，無損解碼單元52獲取預測運動向量選擇信息。無損解碼單元52對存儲在存儲緩衝器51中的編碼流進行解碼，並且獲取關於要解碼的塊的預測運動向量選擇信息。在步驟ST108，無損解碼單元52從情況S2的候選中判定預測運動向量。無損解碼單元52將在情況S2下的預測運動向量選擇信息中所指示的候選判定為預測運動向量，並且前進到步驟ST109。例如，在預測運動向量信息是標記「O」的情況下，無損解碼單元52將運動向量MV_A作為預測運動向量。在預測運動向量信息是標記「 I 」的情況下，無損解碼單元將運動向量MV_B作為預測運動向量。在預測運動向量信息是標記「 2 」的情況下，無損解碼單元52將運動向量MV_C作為預測運動向量。另外，在預測運動向量信息是標記「3」的情況下，無損解碼單元52將運動向量MV_co作為預測運動向量。在步驟ST109，無損解碼單元52執行運動向量計算處理。無損解碼單元52將在步驟ST103U06和108中判定的預測運動向量加上通過執行編碼流的無損解碼而獲得的要解碼的塊的差分運動向量，並且計算要解碼的塊的運動向量。無損解碼單元52將所計算的運動向量輸出到運動補償單元64。接下來，將參考圖15的流程圖來描述圖13的步驟ST88中的預測處理。在步驟ST111，無損解碼單元52確定是否已對當前塊進行了幀內編碼。在通過執行無損解碼而獲得的預測模式信息是幀內預測模式信息的情況下，無損解碼單元52將預
20測模式信息供應到幀內預測單元63，並且前進到步驟ST112。另外，在預測模式信息不是幀內預測模式信息的情況下，無損解碼單元52將預測模式信息供應到運動補償單元64，並且前進到步驟STl 13。在步驟ST112，幀內預測單元63執行幀內預測處理。幀內預測單元63使用經由選擇器62供應的預測模式信息和解碼圖像數據來執行幀內預測，並且生成預測圖像數據。在步驟STl 13，運動補償單元64執行幀間預測處理。運動補償單元64根據來自無損解碼單元52的預測模式信息和運動向量來執行經由選擇器62供應的解碼圖像數據的運動補償。另外，運動補償單元64將通過運動補償生成的預測圖像數據輸出到選擇器65。因此，關於本發明的圖像解碼裝置和方法，根據預測塊尺寸的大小設定預測運動向量候選，並且從候選中將在圖像解碼裝置中選擇的運動向量判定為預測運動向量。所以，關於圖像解碼裝置，即使通過最佳運動向量實現了編碼效率和圖像質量的提高，也可以在圖像解碼裝置處正確地執行編碼流的解碼，其中，最佳運動向量是從根據預測塊尺寸的大小而設定的預測運動向量候選中選擇的。<8.運動向量的其它預測方法〉現在，關於上述運動向量預測方法，預測運動向量候選是根據預測塊大小而提供的，並且在候選中，編碼效率最好的運動向量被判定為預測運動向量。然而，預測運動向量候選可根據已編碼或已解碼的相鄰塊的運動向量的差分來設定，並且該布置不限於預測塊大小。另外，預測運動向量候選可根據預測塊大小和相鄰塊的差分來提供。圖16圖示根據相鄰塊的運動向量的差分進行的情況分類和每個情況下的預測運動向量候選。如圖16中的(A)所示，舉例來說，情況MO是如下情況，其中，在左側上的相鄰塊的運動向量MV_A、上側上的相鄰塊的運動向量MV_B和右上側上的相鄰塊的運動向量MV_C之間存在很小的差分。另外，如圖16中的(B)所示，舉例來說，情況Ml是如下情況，其中，在運動向量MV_A、運動向量MV_B和運動向量MV_C中，運動向量MV_A與其它運動向量之間的差分大於預先設定的閾值。另外，如圖16中的(C)所示，舉例來說，情況M2是如下情況，其中，在運動向量MV_A、運動向量MV_B和運動向量MV_C中，運動向量MV_C與其它運動向量之間的差分大於閾值。另外，如圖16中的(D)所示，舉例來說，關於情況M3，關於運動向量MV_A、運動向量MV_B和運動向量MV_C中的每個，運動向量的差分大於閾值。因此，根據相鄰塊的運動向量的差分執行情況分類，並且如圖16中的(E)所示，在每個情況下設定預測運動向量候選。關於預測運動向量候選的設定，將其中出現了差分超過預先已設定的閾值的運動向量中的每個作為預測運動向量候選。在情況MO下，相鄰塊之間存在運動向量的很小差分，所以將相鄰塊的運動向量中的任一個作為預測運動向量候選。例如，將上側上的相鄰塊的運動向量MV_B作為預測運動向量候選。可替選地，也可將其它相鄰塊的運動向量作為候選。在情況Ml下，將其中出現了差分超過預先設定的閾值的運動向量，例如左側相鄰塊的運動向量MV_A作為第一候選，並且將右上側相鄰塊的運動向量MV_C作為第二候選。注意，即使運動向量MV_A與運動向量MV_B之間的差分超過閾值，運動向量MV_B與運動向量MV_C之間的差分為小，所以可將運動向量MV_B和運動向量MV_C中的任一個作為候選。在情況M2下，例如，將左側上的相鄰塊的運動向量MV_A作為第一候選，並且將右上側上的相鄰塊的運動向量MV_C作為第二候選。在情況M3下，例如，每個相鄰塊之間的運動向量的差分都超過了閾值，所以將左側上的相鄰塊的運動向量MV_A作為第一候選，將上側上的相鄰塊的運動向量MV_B作為第二候選，並且將右上側上的相鄰塊的運動向量MV_C作為第三候選。〈9.無損編碼單元的其它配置〉圖17圖示無損編碼單元的關於運動向量的另一配置。無損編碼單元16包括運動向量存儲單元161、情況分類單元162、運動向量選擇單元165a、相減單元166、第一編碼處理單元167、和第二編碼處理單元168。運動向量存儲單元161存儲每個塊的運動向量，以使用在要編碼的塊之前已執行了編碼的相鄰塊的運動向量來判定預測運動向量。注意，當處理直接模式時，運動向量存儲單元161存儲與參考圖像中要編碼的塊相同的塊的運動向量。情況分類單元162根據相鄰塊的運動向量的差分執行情況分類，並且將情況分類結果供應到運動向量選擇單元165a。運動向量選擇單元165a根據情況分類結果，從存儲在運動向量存儲單元161中的相鄰塊的運動向量和與參考圖像中要編碼的塊相同的塊的運動向量中設定預測運動向量候選。另外，運動向量選擇單元165a根據從預測/補償單元32供應的代價函數值，從預測運動向量候選中判定預測運動向量。運動向量選擇單元165a將判定的預測運動向量輸出到相減單元166。另外，還在根據預測塊大小執行情況分類的情況下，運動向量選擇單元165a根據預測塊大小信息和情況分類結果，從存儲在運動向量存儲單元161中的相鄰塊的運動向量和與參考圖像中要編碼的塊相同的塊的運動向量中設定預測運動向量候選。將由運動向量選擇單元165a判定的預測運動向量輸出到相減單元166。例如，在預測塊大小等於或小於16X 16像素的情況下，根據預測塊大小執行情況分類，而在預測塊大小是16X16像素或更大的情況下，關於在每個情況下設定的預測運動向量候選，根據相鄰塊的運動向量的差分執行情況分類。因此，在預測塊大小更大並且預測精度降低的情況下，可根據運動向量的差分執行情況分類，當相鄰塊的運動向量的差分為小時，候選的數目減少，因此可有效地判定預測運動向量。相減單元166計算差分運動向量，該差分運動向量是來自運動預測/補償單元32或預測圖像/最佳模式選擇單元33的運動向量信息中所指示的運動向量與從運動向量選擇單元165a輸出的預測運動向量之間的差分。相減單元166將用於指示所計算的差分運動向量的差分運動向量信息輸出到第一編碼處理單元167中。第一編碼處理單元167使用VLC表或算術編碼來執行差分運動向量信息的編碼。另外，第二編碼處理單元168使用VLC表或算術編碼來執行預測塊大小信息和預測運動向量選擇信息的編碼。將在第一編碼處理單元167和第二編碼處理單元168中編碼的信息加到如上所述的編碼流的頭部信息上。接下來，將參考圖18中的流程圖來描述由無損編碼單元16執行的關於運動向量的其它編碼處理。注意，圖18圖示已執行如圖16所示的情況分類和候選的設定的情況。另外，在根據相鄰塊的運動向量的差分和預測塊大小提供預測運動塊的候選的情況下，例如在要編碼的塊的預測塊大小大於16X16像素的情況下，可執行圖18中的處理。
在步驟ST121，無損編碼單元16計算相鄰塊的運動向量之間的差分。例如，無損編碼單元16計算左側上的相鄰塊的運動向量MV_A與上側上的相鄰塊的運動向量MV_B之間的差分運動向量MVD_AB。另外，無損編碼單元16計算上側上的相鄰塊的運動向量MV_B與右上側上的相鄰塊的運動向量MV_C之間的差分運動向量MVD_BC。在步驟ST122，無損編碼單元16區分差分運動向量MVD_AB是否小於閾值。在差分運動向量MVD_AB的水平分量MVD_ABx小於閾值Thabx並且差分運動向量MVD_AB的垂直分量MVD_ABy小於閾值Thaby的情況下，無損編碼單元16前進到步驟ST123。另外，無損編碼單元16在其它情況下前進到步驟ST127。在步驟ST123，無損編碼單元16區分差分運動向量MVD_BC是否小於閾值。在差分運動向量MVD_BC的水平分量MVD_BCx小於閾值Thbcx並且差分運動向量MVD_BC的垂直分量MVD_BCy小於閾值Thbcy的情況下，無損編碼單元16前進到步驟ST124。另外，無損編碼單元16在其它情況下前進到步驟ST125。在步驟ST124，無損編碼單元16將情況MO的候選判定為預測運動向量。當滿足步驟ST122和步驟ST123的條件時，這對應於情況MO，因此無損編碼單元16將作為情況MO的候選的運動向量MV_B判定為預測運動向量，並且前進到步驟ST132。在步驟ST125，無損編碼單元16從情況M2的候選判定預測運動向量。當滿足步驟ST122的條件但是不滿足步驟ST123的條件時，這對應於情況M2，因此無損編碼單元16從情況M2的候選中判定預測運動向量。關於無損編碼單元16，在情況M2時，如圖16所示，將運動向量MV_A和運動向量MV_B作為預測運動向量候選。所以，無損編碼單元16比較在使用作為第一候選的運動向量MV_A和使用作為第二候選的運動向量MV_C時的代價函數值,以將代價函數值最小的運動向量判定為預測運動向量。在步驟ST126，無損編碼單元16生成預測運動向量選擇信息。無損編碼單元16生成用於指示在步驟ST125判定的預測運動向量的預測運動向量選擇信息。例如，無損編碼單元16使用標記作為預測運動向量選擇信息。關於無損編碼單元16，當運動向量1^_八被判定為預測運動向量時，標記被設定為「0」，而當運動向量MV_C被判定為預測運動向量時，標記被設定為「1」，並且前進到步驟ST132。從步驟ST122前進到步驟ST127，無損編碼單元16區分差分運動向量MVD_BC是否小於閾值。在差分運動向量MVD_BC的水平分量MVD_BCx小於閾值Thbcx並且差分運動向量MVD_BC的垂直分量MVD_BCy小於閾值Thbcy的情況下，無損編碼單元16前進到步驟ST128。另外，無損編碼單元16在其它情況下前進到步驟ST130。在步驟ST128，無損編碼單元16從情況Ml候選中判定預測運動向量。當滿足步驟ST127的條件而不滿足步驟ST122的條件時，這對應於情況Ml，因此無損編碼單元16從情況Ml的候選中判定預測運動向量。關於無損編碼單元16，在情況Ml時，如圖16所示，將運動向量MV_A和運動向量MV_C作為預測運動向量候選。所以，無損編碼單元16比較在使用作為第一候選的運動向量MV_A時的代價函數值與在使用作為第二候選的運動向量MV_C時的代價函數值，並且將代價函數值最小的運動向量判定為預測運動向量。在步驟ST129，無損編碼單元16生成預測運動向量選擇信息。無損編碼單元16生成用於指示在步驟ST128判定的預測運動向量的預測運動向量選擇信息。例如，無損編碼單元16使用標記作為預測運動向量選擇信息。當運動向量MV_A被判定為預測運動向量時，無損編碼單元16將標記設定為「0」，而當運動向量MV_C被判定為預測運動向量時，無損編碼單元16將標記設定為「1」，並且前進到步驟ST132。在步驟ST130，無損編碼單元16從情況M3候選中判定預測運動向量。當不滿足步驟ST122和步驟ST127的條件時，這對應於情況M3，所以無損編碼單元16從情況M3的候選中判定預測運動向量。關於無損編碼單元16，在情況M3時，如圖16所示，將運動向量MV_A、運動向量MV_B和運動向量MV_C作為預測運動向量候選。所以，無損編碼單元比較在使用作為第一候選的運動向量MV_A時的代價函數值、在使用作為第二候選的運動向量MV_B時的代價函數值、和在使用作為第三候選的運動向量MV_C時的代價函數值。無損編碼單元16根據比較結果將代價函數值最小的運動向量判定為預測運動向量。在步驟ST131，無損編碼單元16生成預測運動向量選擇信息。無損編碼單元16生成用於指示在步驟ST130判定的預測運動向量的預測運動向量選擇信息。例如，無損編碼單元16使用標記作為預測運動向量選擇信息。當運動向量MV_A被判定為預測運動向量時，無損編碼單元16將標記設定為「O」。另外，當運動向量MV_B被判定為預測運動向量時，無損編碼單元16將標記設定為「 I 」，而當運動向量MV_C被判定為預測運動向量時，無損編碼單元16將標記設定為「2」，並且前進到步驟ST132。在步驟ST132，無損編碼單元16執行無損編碼處理。無損編碼單元16執行預測運動向量與在步驟ST124、125、128和130確定的要編碼的塊的運動向量之間的差分的無損編碼。另外，無損編碼單元16對用於指示預測運動向量選擇信息和預測塊大小的信息執行無損編碼。因此，關於本申請的圖像編碼裝置和方法，在候選中，根據相鄰塊的運動向量的差分將編碼效率最好的運動向量的預測運動向量候選設定和判定為預測運動向量。所以，可以提高編碼效率和圖像質量。另外，關於情況MO，在存在預測運動向量候選的情況下，不需要預測運動向量選擇信息。所以，僅在存在多個預測運動向量候選的情況下，才傳輸預測運動向量選擇信息，由此進一步提高了編碼效率。<11.無損解碼單元的其它配置〉圖19圖示無損解碼單元的關於運動向量的另一配置。無損解碼單元52包括第一解碼處理單元521、第二解碼處理單元522、運動向量存儲單元523、情況分類單元524、運動向量選擇單元525a和相加單元526。第一解碼處理單元521執行與第一編碼處理單元167中已執行的編碼對應的解碼處理。第一解碼處理單元521使用VLC表或算術編碼來執行編碼流的無損解碼，並且生成差分運動向量信息。第二解碼處理單元522執行與第二編碼處理單元168中已執行的編碼對應的解碼處理。第二解碼處理單元522使用VLC表或算術編碼來執行編碼流的無損解碼處理，並且生成預測塊大小信息、預測運動向量選擇信息等。運動向量存儲單元523存儲每個塊的運動向量，以使用在要編碼的塊之前已執行了編碼的相鄰塊的運動向量來判定預測運動向量。注意，當對應於直接模式時，運動向量存儲單元523還存儲與參考圖像中要編碼的塊相同的塊的運動向量。情況分類單元524根據相鄰塊的運動向量的差分執行情況分類，並且該情況分類等同於編碼側的情況分類單元162。該情況分類等同於編碼側的情況分類單元162。
運動向量選擇單元525a根據情況分類結果，從存儲在運動向量存儲單元523中的相鄰塊的運動向量和與參考圖像中要編碼的塊相同的塊的運動向量中設定預測運動向量候選。該預測運動向量候選的設定等同於編碼側的運動向量選擇單元165a。另外，運動向量選擇單元525a根據從第二解碼處理單元522輸出的預測運動向量選擇信息，從預測運動向量候選中選擇運動向量，並且輸出到相加單元526作為預測運動向量。另外，在根據預測塊大小執行情況分類的情況下，運動向量選擇單元525a還根據預測塊大小信息、情況分類結果和預測運動向量選擇信息，從存儲在運動向量存儲單元523中的相鄰塊的運動向量中設定預測運動向量候選。另外，運動向量選擇單元525a根據預測運動向量選擇信息，從預測運動向量候選中判定預測運動向量，並且輸出到相加單元526。因此，例如，在預測塊大小大於16X16像素的情況下，即使根據相鄰塊的運動向量的差分執行情況分類並且設定在每個情況下的預測運動向量候選，以及判定了編碼效率最好的預測運動向量，也可在圖像解碼裝置中使用該預測運動向量來實現解碼處理。相加單元526將從運動向量選擇單元525a輸出的預測運動向量加上在從第一解碼處理單元521輸出的差分運動向量信息中所指示的差分運動向量。相加單元526通過將差分運動向量加上預測運動向量，來計算要編碼的塊的運動向量並且輸出到運動補償單元64。〈12.無損解碼單元的其它配置的操作>接下來，將通過圖20的流程圖來描述由無損解碼單元52執行的關於運動向量的解碼處理。注意，圖20圖示執行如圖16所示的情況分類和候選的設定的情況。另外，在圖像編碼中，例如，當在要編碼的塊的預測塊大小大於16 X 16像素的情況下執行圖18中的處理時，如果預測模式信息中所指示的預測塊大小大於16X 16像素，則執行圖20中的處理。在步驟ST141，無損解碼單元52計算已解碼的相鄰塊的運動向量的差分。例如，無損解碼單元52計算左側上的相鄰塊的運動向量MV_A與上側上的相鄰塊的運動相鄰MV_B之間的差分運動向量MVD_AB。另外，無損解碼單元52計算上側上的相鄰塊的運動向量MV_B與右上側上的相鄰塊的運動向量的運動向量MV_C之間的差分運動向量MVD_BC。在步驟ST142，無損解碼單元152區分差分運動向量MVD_AB是否小於閾值。在差分運動向量MVD_AB的水平分量MVD_ABx小於閾值Thabx並且差分運動向量MVD_AB的垂直分量MVD_ABy小於閾值Thaby的情況下，無損解碼單元52前進到步驟ST143。另外，在其它情況下，無損解碼單元52前進到步驟ST147。在步驟ST143，無損解碼單元52區分差分運動向量MVD_BC是否小於閾值。在差分運動向量MVD_BC的水平分量MVD_BCx小於閾值Thbcx並且差分運動向量MVD_BC的垂直分量MVD_BCy小於閾值Thbcy的情況下，無損解碼單元52前進到步驟ST144。另外，在其它情況下，無損解碼單元52前進到步驟ST145。在步驟ST144，無損解碼單元52將情況MO的候選判定為預測運動向量。當滿足步驟ST142和步驟ST143的條件時，這對應於情況MO，因此無損編碼單元52將作為情況MO的候選的運動向量MV_B判定為預測運動向量，並且前進到步驟ST152。在步驟ST145，無損解碼單元52獲取預測運動向量選擇信息。無損解碼單元52執行存儲在存儲緩衝器51中的編碼流的解碼，並且獲取關於要解碼的塊的預測運動向量選擇信息。
在步驟ST146，無損解碼單元52從情況M2的候選中判定預測運動向量。當滿足步驟ST142的條件而不滿足步驟ST143的條件時，這對應於情況M2，因此無損編碼單元52將在情況M2下的預測運動向量選擇信息中所指示的候選判定為預測運動向量。例如，當預測運動向量選擇信息指示標記「O」時，無損解碼單元52將運動向量MV_A判定為預測運動向量。另外，當預測運動向量選擇信息指示標記「 I 」時，無損編碼單元52將運動向量MV_C判定為預測運動向量。當從步驟ST142前進到步驟ST147時，無損解碼單元52區分差分運動向量MVD_BC是否小於閾值。在差分運動向量MVD_BC的水平分量MVD_BCx小於閾值Thbcx並且差分運動向量MVD_BC的垂直分量MVD_BCy小於閾值Thbcy的情況下，無損解碼單元52前進到步驟ST148。另外，無損解碼單元52在其它情況下前進到步驟ST150。在步驟ST148，無損解碼單元52獲取預測運動向量選擇信息。無損解碼單元52執行存儲在存儲緩衝器51中的編碼流的解碼，並且獲取關於要解碼的塊的預測運動向量選擇信息。在步驟ST149，無損解碼單元52從情況Ml的候選中判定預測運動向量。當不滿足步驟ST142的條件並且滿足步驟ST143的條件時，這對應於情況Ml，因此無損編碼單元52將在情況Ml下的預測運動向量選擇信息中所指示的候選判定為預測運動向量。例如，在預測運動向量選擇信息示出標記「O」的情況下，無損解碼單元52將運動向量MV_A判定為預測運動向量。另外，在預測運動向量選擇信息指示標記「I」的情況下，無損編碼單元52將運動向量MV_C判定為預測運動向量。在步驟ST150，無損編碼單元52獲取預測運動向量選擇信息。無損編碼單元52對存儲在存儲緩衝器61中的編碼流進行解碼，並且獲取關於用於解碼的塊的預測運動向量選擇信息。在步驟ST151，無損解碼單元52從情況M3的候選中判定預測運動向量。當不滿足步驟ST142和步驟ST147的條件時，這對應於情況M3，因此無損解碼單元52將在情況M3下的預測運動向量選擇信息中所指示的候選判定為預測運動向量。例如，當預測運動向量選擇信息指示標記「O」時，無損解碼單元52將預測運動向量MV_A判定為預測運動向量，而當預測運動向量選擇信息指示標記「 I 」時，無損解碼單元52將預測運動向量MV_B判定為預測運動向量。另外，在預測運動向量選擇信息指示標記「2」的情況下，無損解碼單元52將運動向量MV_C判定為預測運動向量。在步驟ST152，無損解碼單元52執行運動向量計算處理。無損解碼單元52將在步驟ST144、146、149和151判定的預測運動向量與通過執行編碼流的無損解碼而獲得的要解碼的塊的差分運動向量相加，並且計算要解碼的塊的運動向量。無損解碼單元52將所計算的運動向量輸出到運動補償單元64。因此，關於本發明的圖像解碼裝置和方法，根據已解碼的相鄰塊的運動向量的差分來設定預測運動向量候選，並且從候選中，將由圖像編碼裝置選擇的運動向量判定為預測運動向量。因此，即使通過最佳運動向量實現了編碼效率和圖像質量的提高，也可以由圖像解碼裝置正確地執行編碼流的解碼，其中，最佳運動向量是從根據相鄰塊的運動向量的差分而設定的預測運動向量候選中選擇的。另外，根據相鄰塊的運動向量的差分執行情況分類，因此關於相鄰塊的信息不需要包括在編碼流中。
<13.運動向量的其它預測方法〉接下來，作為運動向量的另一預測方法，將描述如下情況，其中，根據已編碼或已解碼的相鄰塊的運動向量，區分發生等同運動的塊的連續性，並且根據區分結果提供預測運動向量候選。圖21是描述根據發生等同運動的塊的連續性進行的情況分類的圖。使用相鄰塊之間彼此緊鄰的塊的運動向量的差分，來進行發生等同運動的塊的連續性的判定。注意，在連續性的確定中，也可包括位於右上側的相鄰塊與位於左側的相鄰塊之間的運動向量的差分。在兩個塊指示等同運動的情況下，所計算的差分運動向量的大小(運動的量)為小。所以，如此進行連續性的區分當兩個塊之間的差分運動向量的大小小於閾值時，這些是正發生等同運動的塊，而當差分運動向量的大小大於閾值時，這些是正發生不同運動的塊。例如，關於連續性的區分，如圖21所示，計算左側上的相鄰塊的運動向量MV_A與左上側上的相鄰塊的運動向量MV_D之間的差分運動向量MVD_AD。當該差分運動向量MVD_AD等於或小於閾值Tjad時，將確定結果(MoD_AD)作為「0」，而當該差分運動向量MVD_AD是閾值Tjad或更大時，將確定結果(MoD_AD)作為「I」。注意，確定結果「O」指示兩個塊是發生等同運動的連續塊。另外，確定結果「I」指示兩個塊是發生不同運動的非連續塊。以相同的方式，計算左上側上的相鄰塊的運動向量MV_D與上側上的相鄰塊的運動向量MV_B之間的差分運動向量MVD_DB，並且根據差分運動向量MVD_DB與閾值Tjdb之間的比較來判定MoD_DB。另外，計算上側上的相鄰塊的運動向量MV_B與右上側上的相鄰塊的運動向量MV_C之間的差分運動向量MVD_BC，並且根據差分運動向量MVD_BC與閾值Tjbc之間的比較來判定MoD_BC。另外，計算右上側上的相鄰塊的運動向量MV_C與左側上的相鄰塊的運動向量MV_A之間的差分運動向量MVD_CA，並且根據差分運動向量MVD_CA與閾值Tjca之間的比較來判定MoD_CA。接下來，使用作為連續性的確定結果的MoD_AD、MoD_DB、MoD_BC和MoD_CA來執行情況分類。另外，根據分類的情況來判定預測運動向量候選。注意，通過預先學習，在每個情況下判定預測運動向量候選。圖22例示了每個情況下的預測運動向量候選。例如，情況m0是MoD_AD=0、MoD_DB=O, MoD_BC=0以及MoD_CA=0的情況，其中將預測運動向量的第一候選作為運動向量MV_A。另外，情況m8是MoD_AD=I、MoD_DB=0、MoD_BC=0以及MoD_CA=0的情況，其中將預測運動向量的第一候選作為運動向量MV_A並且將第二候選作為運動向量MV_C。另外，情況ml5是MoD_AD=l、MoD_DB=l、MoD_BC=l以及MoD_CA=l的情況，其中將預測運動向量的第一候選作為運動向量MV_A，將預測運動向量的第二候選作為運動向量MV_B，以及將預測運動向量的第三候選作為運動向量MV_C。在根據發生等同運動的塊的連續性的區分結果來提供預測運動向量候選的情況下，關於圖17作出了根據無損編碼單元的關於運動向量的另一配置。注意，圖17中的情況分類單元162根據發生等同運動的塊的連續性的區分結果來執行情況分類，並且將情況分類結果供應到運動向量選擇單元165a。另外，如圖22所示，運動向量選擇單元165a根據情況分類結果設定預測運動向量候選。圖23是圖示由無損編碼單元16執行的關於運動向量的其它編碼處理的流程圖。
在步驟ST161，無損編碼單元16計算相鄰塊的運動向量的差分。無損編碼單元16計算相鄰塊之間彼此緊鄰的塊的運動向量的差分。另外，無損編碼單元16計算位於右上側的相鄰塊與位於左側的相鄰塊的運動向量的差分。即，無損編碼單元16計算差分運動向量MVD_AD、MVD_DB、MVD_BC 和 MVD_CA，並且前進到步驟 ST162。在步驟ST162，無損編碼單元16判定MoD。無損編碼單元16將閾值Tjad與差分運動向量MVD_AD進行比較，並且判定MoD_AD。當差分運動向量MVD_AD是閾值Tjad或更小時，無損解碼單元16將MoD_AD作為「O」。另外，當差分運動向量MVD_AD大於閾值Tjad時，無損解碼單元16將MoD_AD作為「I」。以相同的方式，無損解碼單元將閾值Tjdb、Tjbc、Tjca 與差分運動向量 MVD_DB、MVD_BC、MVD_CA 進行比較，判定 MoD_DB、MoD_BC 和 MoD_CA，並且前進到步驟ST163。在步驟ST163，無損解碼單元16執行情況分類。例如，無損解碼單元16根據MoD_AD、MoD_DB、MoD_BC和MoD_CA的值執行圖22的情況分類，並且前進到步驟ST164。在步驟ST164，從所區分的情況下的候選中判定預測運動向量。無損編碼單元16從在步驟ST163區分的情況下的預測運動向量候選中判定預測運動向量。當預測運動向量候選的數目在區分的情況下為一時，無損編碼單元16將該候選判定為預測運動向量。例如，如圖22所示，在MoD_AD=0、MoD_DB=0、MoD_BC=0以及MoD_CA=0的情況m0下，預測運動向量候選是一個運動向量MV_A。所以,運動向量MV_A被判定為預測運動向量。當在區分的情況下存在多個預測運動向量候選時，無損編碼單元16計算在使用每個候選時的代價函數值，並且將代價函數值最小的候選判定為預測運動向量。例如，如圖22所示，在MoD_AD=l、MoD_DB=0、MoD_BC=0 以及MoD_CA=0 的情況m8 下，預測運動向量候選是兩個運動向量MV A和MV_C。所以，無損編碼單元16將在使用作為第一候選的運動向量MV_A時的代價函數值與在使用作為第二候選的運動向量MV_C時的代價函數值進行比較，並且將代價函數值最小的運動向量判定為預測運動向量。在步驟ST165，無損編碼單元16生成預測運動向量選擇信息。無損編碼單元16生成用於指示在步驟ST164判定的預測運動向量的預測運動向量選擇信息。例如，無損編碼單元16使用標記作為預測運動向量選擇信息。當第一候選已被判定為預測運動向量時，無損編碼單元16將標記設定為「0」，而當第二候選已被判定為預測運動向量時，將標記設定為「1」，以及當第三候選被判定為預測運動向量時，將標記設定為「2」，並且前進到步驟ST166。在步驟ST166，無損編碼單元16執行無損編碼處理。無損編碼單元16執行在步驟ST164判定的預測運動向量與要在步驟ST164進行編碼的塊的運動向量之間的無損編碼。另外，無損編碼單元16對用於指示預測運動向量選擇信息和預測塊大小等的信息執行無損編碼。因此，根據發生等同運動的塊的連續性的區分結果，設定預測運動向量候選，並且從候選中將編碼效率最好的運動向量判定為預測運動向量。所以，可實現編碼效率和圖像質量的提高。另外，在存在預測運動向量候選的情況下，不需要預測運動向量選擇信息。所以，僅當存在多個預測運動向量候選時才傳輸預測運動向量選擇信息，這可進一步提高編碼效率。<15.無損解碼單元的其它配置和操作〉
在根據發生等同運動的塊的連續性的區分結果提供預測運動向量候選的情況下，無損編碼單元中的關於運動向量的另一配置與圖19相同。注意，圖19中的情況分類單元根據發生等同運動的塊的連續性的區分結果執行情況分類，並且將情況分類結果供應到運動向量選擇單元525a。另外，運動向量選擇單元525a根據情況分類結果設定如圖22所示的預測運動向量候選。圖24是指示由無損解碼單元52執行的關於運動向量的其它解碼處理的流程圖。注意，圖24還圖示如圖21和圖22所示地執行的情況分類和候選的設定。另外，在圖像編碼中，例如，當在要編碼的塊的預測塊大小大於16X16像素的情況下執行圖23中的處理時，在預測模式信息中所指示的預測塊大小大於16X 16像素的情況下執行圖24中的處理。在步驟ST171，無損編碼單元52計算已解碼的相鄰塊的運動向量的差分。例如，無損解碼單元52計算相鄰塊之間彼此緊鄰的塊的運動向量的差分。另外，無損解碼單元16計算位於右上側的相鄰塊與位於左側的相鄰塊之間的運動向量的差分。即，無損解碼單元16計算差分運動向量MVD_AD、MVD_DB、MVD_BC和MVD_CA，並且前進到步驟ST172。在步驟ST172，無損解碼單元52對MoD進行解碼。無損解碼單元52將閾值Tjad與差分運動向量MVD_AD進行比較，並且判定MoD_AD。當差分運動向量MVD_AD是閾值Tjad或更小時，無損解碼單元52將MoD_AD作為「O」。另外，當差分運動向量MVD_AD大於閾值Tjad時，無損解碼單元52將MoD_AD作為「I」。以相同的方式，無損解碼單元52比較差分運動向量 MVD_DB、MVD_BC、MVD_CA 和閾值 Tjdb、Tjbc 與 Tjca，並且判定 MoD_DB、MoD_BC、MoD_CA，並且前進到步驟ST173。在步驟ST173，無損解碼單元52執行情況分類。例如，無損解碼單元52根據MoD_AD、MoD_DB、MoD_BC和MoD_CA的值來執行例如圖21和圖22中的情況分類，並且前進到步驟 ST174。在步驟ST174，無損解碼單元52獲取預測運動向量選擇信息。無損解碼單元52執行存儲在存儲緩衝器51中的編碼流的解碼，並且獲取關於要解碼的塊的預測運動向量選擇信息，以及前進到步驟ST175。在步驟ST175，無損解碼單元52從所區分的情況下的候選中判定預測運動向量。無損解碼單元52從步驟ST173中判定的情況下的預測運動向量候選中，根據步驟ST174中獲取的預測運動向量選擇信息來判定預測運動向量。當存在的預測運動向量候選的數目在區分的情況下為一時，無損解碼單元52將該候選判定為預測運動向量。例如，在MoD_AD=0、MoD_DB=0、MoD_BC=0和MoD_CA=0的情況mO下，預測運動向量候選是一個運動向量MV_A。所以，運動向量MV_A被判定為預測運動向量。另外，在所區分的情況下存在多個預測運動向量候選的情況下，無損解碼單元52將預測運動向量候選判定為預測運動向量。例如，在MoD_AD=I、MoD_DB=0、MoD_BC=0和MoD_CA=O的情況m8下,預測運動向量候選是兩個運動向量MA^^PMV_C。這裡，當預測運動向量選擇信息指示標記「O」時，將作為第一候選的運動向量1乂_麼判定為預測運動向量。另外，當預測運動向量選擇信息指示標記「 I 」時，將作為第二候選的運動向量MV_C判定為預測運動向量。在步驟ST176，無損解碼單元52執行運動向量計算處理。無損解碼單元52將在步驟ST175判定的預測運動向量和通過執行編碼流的無損解碼而獲得的要編碼的塊的差分運動向量相加，並且計算要解碼的塊的運動向量。無損解碼單元52將所計算的運動向量輸出到運動補償單元64。因此，關於本發明的圖像解碼裝置和方法，關於解碼的相鄰塊區分發生等同運動的塊的連續性，以及根據區分結果設定預測運動向量候選。另外，從候選中，將由圖像編碼裝置選擇的運動向量判定為預測運動向量。所以，關於圖像編碼裝置，即使根據發生等同運動的塊的連續性從針對預測運動向量設定的候選中選擇了最佳運動向量，並且實現了編碼效率和圖像質量的提高，也可以由圖像解碼裝置正確地執行編碼流的解碼。另外，根據相鄰塊的運動向量的差分來執行分類，因此不需要將關於情況分類的信息包括在編碼流中。<16.預測運動向量標識信息的編碼處理〉另外，在根據相鄰塊的運動向量執行情況分類的情況下，預先針對每個候選計算發生概率，並且可通過根據發生概率執行編碼，進一步在第二編碼處理單元處減少編碼量。圖25例示每個預測運動向量候選的發生概率。例如,舉例來說,在情況Ml下,運動向量MV_A的發生概率是「30%」，而運動向量MV_C的發生概率是「70%」。另外，舉例來說，在情況M2下，運動向量MV_A的發生概率是「70%」，而運動向量MV_C的發生概率是「30%」。另外，在情況M3下，運動向量MV_A的發生概率是「35%」，而運動向量MV_B的發生概率是「35%」，而運動向量MV_C的發生概率是「 30%」。在預測運動向量信息的的編碼中，當預測運動向量是具有更高發生概率的運動向量時，與具有低發生概率的運動向量的情況相比，第二編碼處理單元168縮短比特長度。即，在情況Ml的情況下，在預測運動向量是向量MV_C的情況下，與運動向量是MV_A的情況相比，執行編碼從而縮短比特長度。另外，在情況M2的情況下，在預測運動向量是向量MV_A的情況下，與運動向量是MV_C的情況相比，執行編碼從而縮短比特長度。因此，預先針對每個預測運動向量候選計算發生概率，並且與用於指示具有低發生概率的運動向量的預測運動向量選擇信息相比，用於指示具有高發生概率的運動向量的預測運動向量選擇信息減少了所分配的編碼量。因此，可提高預測運動向量信息的壓縮。<17.軟體處理〉說明書中描述的處理序列可由硬體、軟體或兩者的組合配置來執行。在執行軟體的處理的情況下，其中記錄有處理序列的程序安裝在內建到專用硬體中的計算機中並且被執行。可替選地，程序可安裝在可執行各種處理的通用計算機中。例如，程序可預先記錄在作為記錄介質的硬碟或ROM (只讀存儲器)中。可替選地，程序可暫時或永久地存儲(記錄)在可移除記錄介質上，例如軟盤、CD-ROM (緊湊盤只讀存儲器)、M0 (磁光)盤、DVD (數字萬用盤)、磁碟和半導體存儲器。這樣的可移除記錄介質可被提供為所謂的套裝軟體。注意，除了將程序從上述可移除介質安裝到計算機以外，程序也可從下載網站無線地傳輸到計算機，或者通過諸如LAN (區域網)或/和網際網路的網絡通過電纜傳輸到計算機，以及計算機可接收以此方式傳輸的程序並且可安裝在諸如內置硬碟等記錄介質上。不用說，描述程序的步驟包括按照所描述的時間序列順序執行的處理，並且即使不必以時間序列進行處理，也包括並行地或獨自地執行的處理。<18.應用於電子裝置的情況〉另外，以上已將H. 264/AVC格式用作編碼格式/解碼格式，但是本發明也可應用於使用用於執行其它運動預測/補償處理的編碼格式/解碼格式的圖像編碼裝置/圖像解碼裝直。另外，關於MPEG、H. 26x等，本發明可應用於在經由諸如衛星廣播、有線TV (電視)、網際網路、蜂窩電話等網絡介質接收通過諸如離散餘弦變換的正交變換和運動補償進行壓縮的圖像信息(比特流)時使用的、或者在諸如光碟和磁碟、以及閃速存儲器上進行處理時使用的圖像編碼裝置和圖像解碼裝置。上述圖像編碼裝置10和圖像解碼裝置50可應用於任何電子裝置。以下描述了示例。圖26例示本發明所應用於的電視設備的示意性配置。電視設備90具有天線901、調諧器902、多路分離器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908和外部接口單元909。另外，電視設備90具有控制單元910、用戶接口單元911等。調諧器902通過從天線901接收到的廣播波信號中選擇期望的通道來執行解調，並且將所獲得的流輸出到多路分離器903。多路分離器903從流中提取要觀看的節目的視頻和音頻的包，並且將所提取的包的數據輸出到解碼器904。另外，多路分離器903將諸如EPG (電子節目指南)的數據包供應到控制單元910。注意，在已執行了加擾的情況下，由多路分離器等執行去擾。解碼器904執行包的解碼處理，並且將經過解碼處理而生成的視頻信號輸出到視頻信號處理單元905，並且將音頻信號輸出到音頻信號處理單元907。視頻信號處理單元905根據噪聲降低和用戶設定，對視頻數據執行視頻處理。視頻信號處理單元905根據基於通過網絡供應的應用的處理來生成用於將節目顯示在顯示單元906上的視頻數據和圖像數據。另外，視頻信號處理單元905生成用於顯示菜單屏幕等(例如用於項目的選擇)的視頻數據，並且將其疊加在節目的視頻數據上。視頻信號處理單元905根據以此方式生成的視頻數據來生成驅動信號，並且驅動顯示單元。顯示單元906根據來自視頻信號處理單元905的驅動信號來驅動顯示裝置(例如，液晶顯示裝置等)，從而顯示節目的視頻。音頻信號處理單元907對音頻數據進行諸如噪聲降低的預定處理，並且通過執行在處理之後的音頻數據的D/A轉換處理和放大處理來執行音頻輸出，並且供應到揚聲器908。外部接口單元909是要連接到外部設備或網絡的接口，並且執行例如視頻數據或音頻數據的數據傳輸和接收。用戶接口單元911連接到控制單元90。用戶接口單元911配置有操作開關或遠程控制信號接收器等，並且將根據用戶操作的操作信號供應到控制單元910。使用CPU(中央處理單元)、存儲器等來配置控制單元910。存儲器存儲要由CPU執行的程序、和CPU為執行處理所需要的各種數據、EPG數據、經由網絡獲得的數據等。以預定的定時，例如在啟動電視設備90時由CPU將存儲在存儲器中的程序讀出並且執行。CPU控制每個部分，使得電視設備90通過執行程序，根據用戶操作來進行操作。注意，關於電視設備90，提供了總線912來連接調諧器902、多路分離器903、視頻信號處理單元905、語音信號處理單元907、外部接口單元909和控制單元910。
關於如此配置的電視設備，將本申請的圖像解碼裝置(圖像解碼方法)的功能提供到解碼器904。所以，即使提高了編碼效率和圖像質量，並且通過在廣播站側使用本申請的圖像編碼裝置的功能來執行編碼流的生成，也可在電視設備處正確地執行編碼流的解碼。圖27例示本發明所應用於的蜂窩電話的示意性配置。蜂窩電話92具有通信單元922、音頻編解碼器923、攝像機單元926、圖像處理單元927、復用分離單元928、記錄再現單元929、顯示單元930和控制單元931。這些通過總線933彼此連接。另外，天線921連接到通信單元922，並且揚聲器924和麥克風925連接到音頻編解碼器923。另外，操作單元932連接到控制單元931。蜂窩電話92在諸如音頻呼叫模式或數據通信模式的各種模式下執行各種操作，例如音頻信號的傳輸和接收、電子郵件和圖像數據的傳輸和接收、圖像拍攝、數據記錄等。在音頻呼叫模式下，在麥克風925處生成的音頻信號在音頻編解碼器923處被轉換為音頻數據和數據壓縮，並且供應到通信單元922。通信單元922執行音頻數據的解調處理和音頻數據的頻率轉換處理，以生成產生信號。另外，通信單元922將傳輸信號供應到天線921，從而傳輸到未示出的基站。另外，通信單元922執行天線921接收到的接收信號的放大、頻率轉換處理和解調處理，並且將所獲得的音頻數據供應到音頻編解碼器923。音頻編解碼器923執行音頻數據的數據解壓縮和到模擬音頻信號的轉換，並且輸出到揚聲器924。另外，在數據通信模式下，在執行電子郵件傳輸的情況下，控制單元931接收通過操作單元932的操作而輸入的文本數據，並且將所輸入的文本顯示到顯示單元930。另外，控制單元931根據操作單元932處的用戶指令生成電子郵件數據，並且供應到通信單元922。通信單元922執行電子郵件數據的調製處理、頻率轉換處理等，並且從天線921發送所獲得的傳輸信號。另外，通信單元922執行利用天線921接收到的接收信號的放大、頻率轉換處理、和解調處理，並且恢復電子郵件數據。將該電子郵件數據供應到顯示單元930，以顯示電子郵件的內容。注意，蜂窩電話92可將所接收到的電子郵件數據存儲在記錄/回放單元929中的存儲介質中。存儲介質是可讀/可寫的任意存儲介質。例如，存儲介質是半導體存儲器，例如RAM或內置閃速存儲器；可移除介質，例如硬碟、磁碟、MO盤、光碟、USB存儲器、存儲卡
坐寸ο在數據通信模式下傳輸圖像數據的情況下，將在攝像機單元926處生成的圖像數據供應到圖像處理單元927。圖像處理單元927執行圖像數據的編碼處理，並且生成編碼數據。多路分離單元928對在圖像處理單元927處生成的編碼數據和以預定格式從音頻編解碼923供應的音頻數據進行多路復用，並且供應到通信單元922。通信單元922執行多路復用數據的解調處理、頻率轉換處理等，並且將所獲得的傳輸信號傳輸到天線921。另外，通信單元922執行天線921接收到的接收信號的放大、頻率轉換處理、解調處理等，並且恢復多路復用數據。將該多路復用數據供應到多路分離單元928。多路分離單元928執行多路復用數據的分離，並且將音頻信號供應到圖像處理單元927。圖像處理單元927執行編碼數據的解碼處理，並且生成圖像數據。將該圖像數據供應到顯示單元930，以顯示所接收到的圖像。音頻編解碼923將音頻數據轉換為模擬音頻信號，並且供應到揚聲器924以輸出所接收到的音頻。關於如此配置的蜂窩電話裝置，圖像處理單元927具有本申請的圖像編碼裝置(圖像編碼方法)和圖像解碼裝置(圖像解碼方法)的功能。所以，可在執行圖像數據的通信時提高編碼效率和圖像質量。圖28例示本發明所應用於的記錄回放裝置的示意性配置。例如，記錄/回放裝置94將所接收到的廣播節目的音頻數據和視頻數據記錄到記錄介質，並且以根據用戶指令的定時將所記錄的數據提供給用戶。另外，例如可如此進行布置，使得記錄/回放裝置94可從其它裝置獲取音頻數據和視頻數據，從而記錄到記錄介質。另外，可如此進行布置，使得記錄/回放裝置94可通過對記錄在記錄介質中的音頻數據和視頻數據進行解碼，將音頻輸出和圖像顯示輸出在監視裝置上。記錄/回放裝置94具有調諧器941、外部接口單元942、編碼器943、HDD (硬碟驅動器)單元944、盤驅動器94、選擇器946、解碼器947、OSD (屏上顯示)單元948、控制單元949和用戶接口單元950。調諧器941從未示出的天線接收到的廣播信號中選擇期望頻道的站。調諧器941將通過對期望頻道的接收信號進行解調而獲得的編碼流輸出到選擇器946。外部接口單元942配置有IEEE1394接口、網絡接口單元、USB接口、閃速存儲器接口等中的至少任一個。外部接口單元942是要連接到外部裝置和網絡、存儲卡等的接口，並且執行要記錄的諸如視頻數據或音頻數據的數據接收。當從外部接口單元942供應的音頻數據未以預定格式進行編碼時，編碼器943執行編碼，並且將編碼流輸出到選擇器946。將諸如視頻或音頻的內容數據、各種程序、其它數據等記錄在內置硬碟中，並且HDD單元944還在從硬碟進行回放的時候將這些讀取出來。盤驅動器645執行信號到安裝的光碟的記錄或回放。光碟例如是DVD盤(DVD-視頻，DVD-RAM, DVD-R, DVD-Rff, DVD+R, DVD+RW 等)或藍光碟等。在視頻和音頻的記錄的時候，選擇器946從調諧器941或編碼器943選擇任意流，並且供應到HDD單元944和盤驅動器945中的任一個。另外，在視頻和音頻的回放的時候，選擇器946將從HDD單元944或盤驅動器945輸出的流供應到解碼器947。解碼器947執行流的解碼處理。解碼器947通過執行解碼處理將所生成的視頻數據供應到OSD單元948。另外，解碼器947通過執行解碼處理輸出所生成的音頻數據。OSD單元948將視頻數據生成到顯示菜單屏幕等(例如用於項目的選擇)，以及將其疊加在從解碼器947輸出的視頻數據上並且輸出。用戶接口單元950連接到控制單元949。用戶接口單元950配置有操作開關或遠程控制信號接收器等，並且將根據用戶操作的操作信號供應到控制單元949。使用CPU或存儲器來配置控制單元949。存儲器存儲由CPU執行的程序和當CPU執行處理時所需的各種數據。以預定的定時，例如在啟動記錄/回放裝置94時讀出存儲在存儲器中的程序，並且由CPU來執行。CPU控制每個部分，使得記錄/回放裝置94通過執行程序根據用戶操作來進行操作。關於如此配置的記錄/回放裝置將本申請的圖像編碼裝置(圖像編碼方法)的功能提供到編碼器943，將圖像解碼裝置(圖像解碼方法)的功能提供到解碼器947，因此提高了編碼效率和圖像質量，由此有效地執行視頻的記錄和回放。圖29例示本申請所應用於的成像設備的示意性配置。成像設備96對對象進行成像，從而將對象的圖像顯示在顯示單元上，並且將其記錄在記錄介質中作為圖像數據。成像裝置96具有光學塊961、成像單元962、攝像機信號處理單元963、圖像數據處理單元964、顯示單元965、外部接口單元966、存儲器單元967、介質驅動器968、0SD單元969和控制單元970。另外，用戶接口單元971連接到控制單元970。另外，圖像數據處理單元964和外部接口單元966、存儲器單元967、介質驅動器968、OSD單元969和控制單元970等經由總線972進行連接。光學塊961配置有聚焦透鏡、光圈機構等。光學塊961將對象的光學圖像成像在成像單元962的成像表面上。使用CXD或CMOS成像傳感器來配置成像單元962，並且通過光電轉換來生成對應於光學圖像的電子信號，並且供應到攝像機信號處理單元963。攝像機信號處理單元963對從成像單元962供應的電子信號執行各種攝像機信號處理，例如KNEE校正和伽馬校正、顏色校正等。攝像機信號處理單元963將攝像機信號處理之後的圖像數據供應到圖像數據處理單元964。圖像數據處理單元964執行從攝像機信號處理單元963供應的圖像數據的編碼處理。圖像數據處理單元964通過執行編碼處理，將所生成的編碼數據供應到外部接口單元966和介質驅動器968。另外，圖像數據處理單元964執行從外部接口單元966和介質驅動器968供應的編碼數據的解碼處理。圖像數據處理單元964通過執行解碼處理，將所生成的圖像數據供應到顯示單元965。另外，圖像數據處理單元964執行用於將從攝像機信號處理單元963供應的圖像數據供應到顯示單元963的處理、以及用於將從OSD單元969獲取的用於顯示的數據疊加到圖像數據上並供應到顯示單元965的處理。OSD單元969生成用於顯示的數據，例如由符號、文本或形狀構成的菜單屏幕或圖標，並且輸出到圖像數據處理單元964。例如，外部接口單元966配置有USB輸入和輸出端子，並且在執行圖像的列印的情況下，連接到印表機。另外，驅動器根據需要連接到外部接口單元966，並且根據需要安裝諸如磁碟、光碟等可移除介質，以及根據需要安裝從其讀出的電腦程式。另外，外部接口單元969具有網絡接口，該網絡接口連接到諸如LAN或網際網路的預定網絡。例如，根據來自用戶接口單元971的指令，控制單元970從存儲器單元967讀出編碼數據，從而供應到經由網絡從外部接口單元966連接的其它裝置。另外，控制單元970通過外部接口單元966獲取經由網絡從其它裝置供應的編碼數據和圖像數據，從而將其供應到圖像數據處理單元964。例如，關於由介質驅動器968驅動的記錄介質，可使用可讀和可寫的任意可移除介質，例如磁碟、MO盤、光碟和半導體存儲器。另外，關於記錄介質，可移除介質的種類也是可選的，並且可為帶裝置、可為盤以及可為存儲卡。當然，這可為非接觸IC卡等。另外，例如可進行將介質驅動器968和記錄介質相集成的布置，配置有非可攜式存儲介質，例如內置硬碟驅動器或SSD (固態驅動器)等。使用CPU、存儲器等來配置控制單元970。存儲器存儲要由CPU執行的程序、以及(PU執行處理所需要的各種數據。由CPU以預定的定時，例如在成像裝置96啟動時，讀出存儲在存儲器中的程序並且執行。CPU控制每個部分，從而通過執行程序使成像裝置96的操作對應於用戶操作。
關於如此配置的成像裝置，圖像數據處理單元964配置有本申請的圖像編碼裝置(圖像編碼方法)和圖像解碼裝置(圖像解碼方法)的功能。所以，在將成像圖像記錄到存儲單元967或記錄介質時，可實現編碼效率和圖像質量的提高，並且可有效地執行成像圖像的記錄/回放。另外，本發明不應被解釋為限於上述實施例。例示性地公開了實施例，並且應清楚地理解，在不偏離本發明的實質的情況下，本領域技術人員可實現實施例的修改和替代。即，應當考慮權利要求來判斷本發明的實質。工業應用關於本發明中的圖像解碼裝置和圖像編碼裝置及其方法和其程序，在圖像的解碼中，使用要解碼的塊和已解碼的相鄰塊的運動向量，針對要解碼的塊設定預測運動向量候選。另外，從候選中將由預測運動向量選擇信息所指示的運動向量選擇為預測運動向量，其中，預測運動向量選擇信息是通過執行編碼流的無損解碼而獲得的。通過將差分運動向量和編碼流相加，來計算要解碼的塊的運動向量，其中，差分運動向量是通過執行該預測運動向量的無損解碼而獲得的。另外，關於圖像的編碼，針對要編碼的塊設定預測運動向量候選，並且從這些候選中將編碼效率最好的運動向量選擇為預測運動向量。另外，執行差分運動向量和預測運動向量選擇信息的編碼，其中，差分運動向量指示預測運動向量與要編碼的塊的運動向量之間的差分，而預測運動向量選擇信息指示已從候選中選擇了哪個運動向量。所以，從預測運動向量候選中選擇和使用編碼效率最好的運動向量，因此使得能夠減少運動向量的傳輸所需要的編碼量，由此提高編碼效率。另外，連同運動向量的傳輸所需要的編碼量的減少一起，使得能夠提高量化數據的比特率，由此實現圖像質量的提高。所以，關於MPEG、H. 26x等，這適合於在經由諸如衛星廣播、有線TV、網際網路、蜂窩電話等網絡介質傳輸和接收通過以塊為單元進行編碼而獲得的圖像信息(比特流)時、或者在諸如光碟、磁碟和閃速存儲器中進行處理時所使用的圖像解碼裝置、圖像編碼裝置等。附圖標記列表10圖像編碼裝置11 A/D轉換單元12，57屏幕重新排列緩衝器13，166相減單元14正交變換單元15量化單元16無損編碼單元17，51存儲緩衝器18速率控制單元21，53逆量化單元22，54逆正交變換單元23，55，526 相加單元24，56去塊濾波器25，61幀存儲器26,62,65,946 選擇器
31，63幀內預測單元32運動預測/補償單元33預測圖像/最佳模式選擇單元50圖像解碼裝置52無損解碼單元58 D/A轉換單元64運動補償單元90電視裝置92蜂窩電話94記錄/回放裝置96成像裝置161,523運動向量存儲單元162，524情況分類單元165，165a，525，525a運動向量選擇單元167第一編碼處理單元168第二編碼處理單元521第一解碼處理單元522第二解碼處理單元901，921 天線902,941 調諧器903多路分離器904,947 解碼器905視頻信號處理單元906 顯示單元907音頻信號處理單元908揚聲器909，942，966 外部 I/F910，931，949，970 控制單元911,932,971 用戶接口單元912，933，972 總線922通信單元923音頻編解碼器924揚聲器925麥克風926攝像機單元927圖像處理單元928多路分離單元929記錄/回放單元930 顯示單元
943編碼器
944HDD單元
945盤驅動器
948，9690SD 單元
961光學塊
962成像單元
963攝像機信號處理單元
964圖像數據處理單元
965顯示單元
967存儲器單元
968介質驅動器
權利要求
1.一種圖像解碼裝置，包括第一解碼處理單元，被配置為通過執行編碼流的解碼獲得差分運動向量；第二解碼處理單元，被配置為通過對所述編碼流進行解碼獲得預測運動向量選擇信運動向量選擇單元，被配置為針對要解碼的塊設定預測運動向量候選，以及從預測運動向量候選中選擇所述預測運動向量選擇信息中指示的運動向量作為預測運動向量；以及相加單元，被配置為通過將所述差分運動向量加上所述預測運動向量來計算所述要解碼的塊的運動向量。
2.根據權利要求I所述的圖像解碼裝置，其中，所述運動向量選擇單元使用已解碼的並且與所述要解碼的塊相鄰的相鄰塊的運動向量來設定所述預測運動向量候選。
3.根據權利要求2所述的圖像解碼裝置，其中，所述第二解碼處理單元對所述編碼流進行解碼，並且獲得所述要解碼的塊的大小，以及其中，所述運動向量選擇單元根據所述要解碼的塊的大小執行情況分類，並且針對每個情況設定所述預測運動向量候選。
4.根據權利要求3所述的圖像解碼裝置，其中，在所述要解碼的塊的大小較大的情況下，與所述塊大小較小的情況相比，所述運動向量選擇單元增加所述預測運動向量候選的數目。
5.根據權利要求2所述的圖像解碼裝置，還包括情況分類單元，被配置為根據所述相鄰塊的運動向量的差分來執行情況分類，其中，所述運動向量選擇單元針對由所述情況分類單元區分的每個情況設定所述預測運動向量候選。
6.根據權利要求5所述的圖像解碼裝置，其中，所述運動向量選擇單元將其中出現差分超過預先設定的閾值的每個運動向量作為所述預測運動向量候選。
7.一種圖像解碼方法，包括通過對編碼流進行解碼獲得差分運動向量的處理；通過對所述編碼流進行解碼獲得預測運動向量選擇信息的處理；針對要解碼的塊設定預測運動向量候選，以及從預測運動向量候選中選擇所述預測運動向量選擇信息中指示的運動向量作為預測運動向量的處理；以及通過將所述差分運動向量加上所述預測運動向量來計算所述要解碼的塊的運動向量的處理。
8.一種使計算機執行圖像解碼的程序，所述程序使所述計算機執行通過對編碼流進行解碼獲得差分運動向量的過程；通過對所述編碼流進行解碼獲得預測運動向量選擇信息的過程；針對要解碼的塊設定預測運動向量候選，以及從預測運動向量候選中選擇所述預測運動向量選擇信息中指示的運動向量作為預測運動向量的過程；以及通過將所述差分運動向量加上所述預測運動向量來計算所述要解碼的塊的運動向量的過程。
9.一種圖像編碼裝置，包括運動向量選擇單元，被配置為針對要編碼的塊設定預測運動向量候選，以及從所述候選中選擇編碼效率最好的運動向量作為預測運動向量；第一編碼處理單元，被配置為執行差分運動向量的編碼，其中，所述差分運動向量指示由所述運動向量選擇單元選擇的所述預測運動向量與所述要編碼的塊的運動向量之間的差分；以及第二編碼處理單元，被配置為執行預測運動向量選擇信息的編碼，其中，所述預測運動向量選擇信息指示已從所述預測運動向量候選中選擇了哪個運動向量。
10.根據權利要求9所述的圖像編碼裝置，其中，所述運動向量選擇單元使用已解碼的並且與所述要解碼的塊相鄰的相鄰塊的運動向量來設定所述預測運動向量候選。
11.根據權利要求10所述的圖像編碼裝置，其中，所述運動向量選擇單元根據所述要解碼的塊的大小執行情況分類，並且針對每個情況設定所述預測運動向量候選。
12.根據權利要求11所述的圖像編碼裝置，其中，在所述要解碼的塊的大小較大的情況下，與所述塊大小較小的情況相比，所述運動向量選擇單元增加所述預測運動向量候選的數目。
13.根據權利要求12所述的圖像編碼裝置，其中，所述運動向量選擇單元選擇性地使用所述相鄰塊的多個運動向量作為所述預測運動向量候選，以及在用作候選的運動向量的選擇中，所述相鄰塊中彼此分開的塊的運動向量被選擇。
14.根據權利要求10所述的圖像編碼裝置，還包括情況分類單元，被配置為根據相鄰塊的所述運動向量的差分來執行情況分類，其中，所述運動向量選擇單元針對由所述情況分類單元區分的每個情況設定所述預測運動向量候選。
15.根據權利要求14所述的圖像編碼裝置，其中，所述運動向量選擇單元將其中出現差分超過預先設定的閾值的每個運動向量作為所述預測運動向量候選。
16.根據權利要求9所述的圖像編碼裝置，其中，在所述預測運動向量候選的數目為多個的情況下，所述第二編碼處理單元執行所述預測運動向量選擇信息的編碼，其中，所述預測運動向量選擇信息指示已從所述候選中選擇了哪個運動向量。
17.根據權利要求9所述的圖像編碼裝置，其中，針對每個預測運動向量候選，預先計算發生概率；以及其中，與用於指示發生概率較低的運動向量的預測運動向量選擇信息相比，所述第二編碼處理單元減少要分配給用於指示發生概率較高的運動向量的預測運動向量選擇信息的編碼量。
18.一種圖像編碼方法，包括針對要編碼的塊設定預測運動向量候選，以及從所述候選中選擇編碼效率最好的運動向量作為預測運動向量的處理；執行差分運動向量的編碼的處理，其中，所述差分運動向量指示所選擇的預測運動向量與所述要編碼的塊的運動向量之間的差分；以及執行所述預測運動向量選擇信息的編碼的處理，其中，所述預測運動向量選擇信息指示已從所述預測運動向量候選中選擇了哪個運動向量。
19.一種使計算機執行圖像編碼的程序，所述程序使所述計算機執行針對要編碼的塊設定預測運動向量候選，以及從所述候選中選擇編碼效率最好的運動向量作為預測運動向量的過程；執行差分運動向量的編碼的過程，其中，所述差分運動向量指示所選擇的預測運動向量與所述要編碼的塊的運動向量之間的差分；以及執行所述預測運動向量選擇信息的編碼的過程，其中，所述預測運動向量選擇信息指示已從所述預測運動向量候選中選擇了哪個運動向量。
全文摘要
第一解碼器單元(521)對編碼流進行解碼以獲取差分運動向量。第二解碼器單元(522)對編碼流進行解碼以獲取預測運動向量選擇信息。運動向量選擇單元(525)針對要解碼的塊設定預測運動向量候選，以及從這些候選中選擇由預測運動向量選擇信息指示的運動向量作為預測運動向量。相加單元(526)將差分運動向量加上預測運動向量，由此計算要解碼的塊的運動向量。以此方式，預測運動向量被優化以提高編碼效率和圖片質量。
文檔編號H04N7/32GK102939758SQ20118002721
公開日2013年2月20日 申請日期2011年5月31日 優先權日2010年6月9日
發明者近藤健治 申請人:索尼公司