圖像數據處理裝置與方法

2023-11-30 15:44:36 2

專利名稱：圖像數據處理裝置與方法
技術領域：
本發明例如可應用於根據H.264/MPEG-4AVC(ITU-T Rec.II.264ISO/IEC 14496-10AVC)標準對視頻數據的編碼與解碼。本發明通過如下方式減小了在並行地利用多個用於編碼處理和解碼處理的算術處理裝置來同時處理圖像數據的配置中緩存存儲器的容量順序並循環分配條帶(slice)到多個算術處理部分，利用多個算術處理部分來並行地同時編碼和解碼圖像數據，並且設置每個條帶的處理以建立這樣一種關係，在這種關係中，在每個條帶中進行處理的宏塊的參考宏塊可能與緊接著的前一條帶中的宏塊的參考宏塊部分重疊。
背景技術：
在現有技術中，在各種視頻設備中，利用H.264/MPEG-4AVC(在下文中稱之為H.264/AVC)、WMV9(視窗媒體視頻9)、MPEG-4(ISO/IEC 14496信息技術-音頻-可視對象的通用編碼)、MPEG-2(ISO/IEC 13818-2國際標準MPEG-2視頻)、MPEG-1(ISO/IEC 11172-2國際標準MPEG-1視頻)等對運動圖像的圖像數據執行編碼處理和解碼處理。在這些編碼處理和解碼處理中，宏塊按光柵掃描(raster scan)順序被順序處理。
就是說，如圖41A到41D所示，在視頻信號例如是所謂的4∶2∶0的情況下，在這種類型的編碼處理中，亮度信號Y和色差信號Cr、Cb被分別劃分成16像素×16像素和8像素×8像素的宏塊。對於亮度信號Y，對每個8像素×8像素塊執行離散餘弦變換處理，其中所述8像素×8像素塊是通過將一個宏塊分別在水平方向和垂直方向上分成兩半而形成的。對於色差信號Cr、Cb，對每個宏塊執行離散餘弦變換處理。在H.264/AVC中，對每個4像素×4像素塊執行正交變換處理和離散Hadamard變換處理，其中所述4像素×4像素塊是通過將各個塊進一步分成兩半而形成的。在這種類型的編碼處理中，對作為離散餘弦變換處理結果的各個係數數據執行量化處理和變長編碼處理。
因此，在這種類型的編碼處理和解碼處理中，如圖42A所示，每個宏塊(MB)是利用二維地址，即水平和垂直地址(X，Y)來標識的。此外，在這種處理中，如圖42B所示，水平和垂直地址(X，Y)被轉換成用於訪問存儲器的一維地址，並且保存在存儲器中的各個宏塊的圖像數據被順序處理。
在處理中，通過參考相鄰宏塊的處理結果來提高傳輸效率。具體而言，在MPEG-1、2的幀內預測中，如圖43所示，參考在同一條帶的掃描開始端一側的相鄰宏塊(X-1，Y)的處理結果，後一宏塊(X，Y)被處理。在圖43以及隨後的附圖中，參考關係用箭頭示出。如下，將被參考的宏塊被稱為參考宏塊。因此，在圖43的示例中，宏塊(X-1，Y)是宏塊(X，Y)的參考宏塊。這裡，條帶是條帶層的處理單元，並且由多個水平方向上連續的宏塊構成。
在MPEG-4的幀內預測中，如圖44所示，在同一條帶的掃描開始端一側的相鄰宏塊(X-1，Y)、緊接著的前一條帶中的正上方相鄰宏塊(X，Y-1)和在包含該正上方相鄰宏塊(X，Y-1)的條帶的掃描開始端一側的相鄰宏塊(X-1，Y-1)都被設置為宏塊(X，Y)的參考宏塊，並且宏塊(X，Y)是通過參考宏塊(X-1，Y)、(X，Y-1)或(X-1，Y-1)的處理結果來處理的。
在MPEG-4的運動向量預測中，如圖45所示，在同一條帶的掃描開始端一側的相鄰宏塊(X-1，Y)、緊接著的前一條帶中的正上方相鄰宏塊(X，Y-1)和在包含該正上方相鄰宏塊(X，Y-1)的條帶的掃描終止端一側的相鄰宏塊(X+1，Y-1)被設置為宏塊(X，Y)的參考宏塊，並且宏塊(X，Y)的運動向量是通過參考宏塊(X-1，Y)、(X，Y-1)或(X+1，Y1)的運動向量來預測的。
在H.264/AVC的幀內預測中，如圖46所示，在同一條帶的掃描開始端一側的相鄰宏塊(X-1，Y)、緊接著的前一條帶中的正上方相鄰宏塊(X，Y-1)、在包含該正上方相鄰宏塊(X，Y-1)的條帶的掃描開始端一側的相鄰宏塊(X-1，Y-1)和在包含該正上方相鄰宏塊(X，Y-1)的條帶的掃描終止端一側的相鄰宏塊(X+1，Y-1)被設置為宏塊(X，Y)的參考宏塊，並且宏塊(X，Y)是通過參考宏塊(X-1，Y)、(X，Y-1)、(X-1.Y-1)或(X+1，Y-1)的處理結果來處理的。
在H.264/AVC的運動向量預測中，如圖47所示，與MPEG-4的運動向量預測類似，相鄰宏塊(X，Y-1)、(X+1，Y-1)和(X-1，Y)被設置為宏塊(X，Y)的參考宏塊，並且宏塊(X，Y)的運動向量是通過參考宏塊(X，Y-1)、(X+1，Y-1)或(X-1，Y)的運動向量而被處理的。
在H.264/AVC的去塊濾波(deblocking filter)處理中，如圖48所示，在同一條帶的掃描開始端一側的相鄰宏塊(X-1，Y)和緊接著的前一條帶中的正上方相鄰宏塊(X，Y-1)被設置為宏塊(X，Y)的參考宏塊，並且宏塊(X，Y)是通過參考宏塊(X，Y-1)或(X-1，Y)的處理結果來處理的。
在上述編碼和解碼處理中，編碼處理和解碼處理可以利用諸如中央處理單元之類的算術處理裝置的算術處理來執行。
在使用算術處理裝置的數據處理系統中，利用緩存存儲器來實現高速處理。
就是說，如圖49所示，在使用算術處理裝置的數據處理系統1中，緩存存儲器2由諸如SRAM之類的可以高速訪問的存儲器構成，並且主存儲器4由具有比緩存存儲器2更低功耗的存儲器構成，但是該存儲器與緩存存儲器2相比較難進行高速訪問。此外，包含數據處理裝置3的命令的數據被存儲在主存儲器4中，並且存儲在主存儲器4中的命令和部分數據被加載並保存在緩存存儲器2中。在緩存存儲器2中，用於管理各個數據的地址的TAG信息被設置，並且命令和數據被存儲。
在數據處理系統1中，當再次使用同樣的命令和數據時，數據處理裝置3首先如箭頭A所示訪問緩存存儲器2並搜索所需命令和數據。當目標命令和數據存在於緩存存儲器2中時，設備取出並使用記錄在緩存存儲器2中的命令和數據。當目標命令和數據未存在於緩存存儲器2中時，設備如箭頭B所示從主存儲器4取出目標命令和數據並使用它們，並且將該命令和數據存儲在緩存存儲器2中。緩存存儲器2可被配置為主存儲器中的軟體，用於以更高速度進行數據管理。
關於用於利用算術處理裝置執行編碼處理和解碼處理的配置，例如，在JP-A-2006-42364(專利文獻1)中提出了一種方案，用於減少從存儲器加載作為處理對象的圖像數據的總周期數。此外，在JP-A-2000-115806(專利文獻2)中提出了一種方案，用於利用緩存存儲器來提高處理圖像數據的速度。
當通過利用多個算術處理裝置並行地同時處理圖像數據來執行編碼處理和解碼處理時，與利用一個算術處理裝置處理圖像數據的情況相比，可以提高處理速度。此外，可以設想，當在通過利用多個算術處理裝置並行地同時處理圖像數據來執行編碼處理和解碼處理的配置中使用緩存存儲器時，處理速度甚至可以更高。在此情況下，如果可以通過有效地利用所述通過利用多個算術處理裝置並行地同時處理圖像數據來執行編碼處理和解碼處理的配置減小緩存存儲器的容量，則可以減小電路大小並且可以降低功耗。

發明內容
考慮到上述情況實現了本發明，並且本發明的優點是要提供一種圖像數據處理裝置、圖像數據處理方法、用於圖像數據處理方法的程序和記錄用於圖像數據處理方法的程序的記錄介質，它們能夠通過利用多個算術處理裝置並行地同時處理圖像數據來減小執行編碼處理和解碼處理的配置中的緩存存儲器的容量。
根據本發明一個實施例的圖像數據處理裝置包括多個算術處理部分，它們分別以宏塊為單位編碼或解碼圖像數據；主存儲器，其積累和保存用於所述多個算術處理部分的處理的數據；以及所述多個算術處理部分的緩存存儲器，其保存保存在所述主存儲器中的數據的一部分，其中所述圖像數據的條帶被順序且循環地分別分配給所述多個算術處理部分，並且多個條帶被設置為處理對象，所述多個算術處理部分處理保存在所述緩存存儲器中的數據，並按照光柵掃描的順序在對作為處理對象的所述多個條帶的宏塊的處理序列中並行地同時編碼或解碼所述圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，並且所述一致關係是這樣一種關係當前條帶和緊接著的前一條帶可被並行地同時處理，並且當前條帶中正在處理的宏塊在距緊接著的前一條帶中正在處理的宏塊預定數目個宏塊的光柵掃描開始端一側處，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
根據本發明一個實施例的一種以宏塊為單位編碼或解碼圖像數據的圖像數據處理方法包括以下步驟將數據存儲在用於存儲編碼和解碼所需數據的主存儲器中；將數據存儲在用於存儲在所述主存儲器中存儲的數據的緩存存儲器中；以及使用保存在所述緩存存儲器中的數據來利用多個算術處理裝置分別同時地執行編碼或解碼所述圖像數據的並行處理，從而以宏塊為單位並行地同時處理通過順序且循環地分配圖像數據的條帶而設置的多個處理對象，其中所述同時的並行處理步驟按照光柵掃描的順序在對作為處理對象的所述多個條帶的宏塊的處理序列中編碼或解碼所述圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，並且所述一致關係是這樣一種關係當前條帶和緊接著的前一條帶可被並行地同時處理，並且當前條帶中正在處理的宏塊在距緊接著的前一條帶中正在處理的宏塊預定數目個宏塊的光柵掃描開始端一側處，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
根據本發明一個實施例的一種用於圖像數據處理方法的程序，所述圖像數據處理方法通過算術處理裝置的執行來以宏塊為單位編碼或解碼圖像數據，所述用於圖像數據處理方法的程序包括以下步驟將數據存儲在用於存儲編碼和解碼所需數據的主存儲器中；將數據存儲在用於存儲在所述主存儲器中存儲的數據的緩存存儲器中；以及使用保存在所述緩存存儲器中的數據來利用多個算術處理裝置分別同時地執行編碼或解碼所述圖像數據的並行處理，從而以宏塊為單位並行地同時處理通過順序且循環地分配圖像數據的條帶而設置的多個處理對象，其中所述同時的並行處理步驟按照光柵掃描的順序在對作為處理對象的所述多個條帶的宏塊的處理序列中編碼或解碼所述圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，並且所述一致關係是這樣一種關係當前條帶和緊接著的前一條帶可被並行地同時處理，並且當前條帶中正在處理的宏塊在距緊接著的前一條帶中正在處理的宏塊預定數目個宏塊的光柵掃描開始端一側處，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
根據本發明一個實施例的一種記錄有用於圖像數據處理方法的程序的記錄介質，所述圖像數據處理方法通過算術處理裝置的執行來以宏塊為單位編碼或解碼圖像數據，所述用於圖像數據處理方法的程序包括以下步驟將數據存儲在用於存儲編碼和解碼所需數據的主存儲器中；將數據存儲在用於存儲在所述主存儲器中存儲的數據的緩存存儲器中；以及使用保存在所述緩存存儲器中的數據來利用多個算術處理裝置分別同時地執行編碼或解碼所述圖像數據的並行處理，從而以宏塊為單位並行地同時處理通過順序且循環地分配圖像數據的條帶而設置的多個處理對象，其中所述同時的並行處理步驟按照光柵掃描的順序在對作為處理對象的所述多個條帶的宏塊的處理序列中編碼或解碼所述圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，並且所述一致關係是這樣一種關係當前條帶和緊接著的前一條帶可被並行地同時處理，並且當前條帶中正在處理的宏塊在距緊接著的前一條帶中正在處理的宏塊預定數目個宏塊的光柵掃描開始端一側處，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
根據實施例的配置，圖像數據可以通過使用緩存存儲器被多個算術處理部分並行地同時編碼和解碼。此外，由於在當前條帶中正在處理的宏塊的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊，因此與正在處理的宏塊的所有參考宏塊的數據都被存儲的情況相比，存儲在緩存存儲器中的數據可被減少，並且緩存存儲器的容量可被減小。
根據實施例的配置，在同時的並行處理步驟中，圖像數據可以通過使用緩存存儲器被並行地同時處理。此外，由於在當前條帶中正在處理的宏塊的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊，因此與正在處理的宏塊的所有參考宏塊的數據都被存儲的情況相比，存儲在緩存存儲器中的數據可被減少，並且緩存存儲器的容量可被減小。
根據本發明的實施例，通過利用多個算術處理裝置並行地同時處理圖像數據，可以減小執行編碼處理和解碼處理的配置中的緩存存儲器的容量。


圖1是用於說明本發明實施例1的編碼器中的宏塊處理引擎的處理序列的示意圖。
圖2是示出被應用到本發明實施例1的視頻設備的編碼器的框圖。
圖3是示出圖2中的編碼器的各個宏塊處理引擎的處理程序的流程圖。
圖4是示出宏塊處理引擎和緩衝存儲器相對於用於幀內預測的圖像數據的關係的框圖。
圖5是示出宏塊地址的圖表。
圖6是示出圖4中的配置的另一示例的框圖。
圖7是示出圖4中的配置的不同於圖6中的示例的另一示例的框圖。
圖8是示出圖4中的配置的不同於圖6和7中的示例的另一示例的框圖。
圖9是用於說明MPEG-1、2的幀內預測處理的示意圖。
圖10是示出利用圖1中的處理的宏塊處理的示意圖。
圖11A到11C是用於說明緩存存儲器的容量的示意圖。
圖12是示出被應用到本發明實施例1的視頻設備的解碼器的框圖。
圖13是示出圖12中的解碼器的各個宏塊處理引擎的處理程序的流程圖。
圖14是示出本發明實施例2的視頻設備中的緩衝存儲器的配置的框圖。
圖15是用於說明本發明實施例3的視頻設備中的宏塊處理的示意圖。
圖16A到16C是用於說明圖15的配置中的緩存存儲器的容量的示意圖。
圖17是用於說明本發明實施例4的視頻設備中的宏塊處理的示意圖。
圖18A到18C是用於說明圖17的配置中的緩存存儲器的容量的示意圖。
圖19是用於說明本發明實施例5的視頻設備中的宏塊處理的示意圖。
圖20A到20C是用於說明圖19的配置中的緩存存儲器的容量的示意圖。
圖21是示出本發明實施例6的編碼器的主要部分的框圖。
圖22是示出圖21的配置中的宏塊地址的圖表。
圖23是用於說明圖21的配置中的宏塊處理的示意圖。
圖24是繼續圖23的示意圖。
圖25是繼續圖23和24的示意圖。
圖26是繼續圖23到25的示意圖。
圖27是示出本發明實施例7的編碼器和解碼器的主要部分的框圖。
圖28是用於說明圖27的配置中的宏塊處理的示意圖。
圖29是繼續圖28的示意圖。
圖30是繼續圖28和29的示意圖。
圖31是繼續圖28到30的示意圖。
圖32是用於說明在本發明實施例8的編碼器中用於預處理的宏塊處理引擎的操作的示意圖。
圖33是繼續圖32的示意圖。
圖34是示出本發明實施例9的視頻設備中的緩衝存儲器的配置的框圖。
圖35是用於說明在本發明實施例10的編碼器中用於預處理的宏塊處理引擎的操作的示意圖。
圖36是繼續圖35的示意圖。
圖37是示出本發明實施例11的編碼器和解碼器的主要部分的框圖。
圖38是用於說明在圖37的編碼器中用於預處理的宏塊處理引擎的操作的示意圖。
圖39是繼續圖38的示意圖。
圖40是繼續圖39的示意圖。
圖41A到41D是用於說明宏塊的示意圖。
圖42A和42B是用於說明宏塊地址的示意圖。
圖43是用於說明MPEG-1、2的幀內預測中的參考宏塊的示意圖。
圖44是用於說明MPEG-4的幀內預測中的參考宏塊的示意圖。
圖45是用於說明MPEG-4的運動向量預測中的參考宏塊的示意圖。
圖46是用於說明H.264/AVC的幀內預測中的參考宏塊的示意圖。
圖47是用於說明H.264/AVC的運動向量預測中的參考宏塊的示意圖。
圖48是用於說明H.264/AVC的去塊濾波處理中的參考宏塊的示意圖。
圖49是用於說明緩存的示意圖。
具體實施例方式
在下文中，將通過適當地參考附圖來詳細描述本發明的實施例。
(1)實施例的配置圖2是示出被應用到本發明實施例1的視頻設備的編碼器的框圖。該實施例的視頻設備利用編碼器10對圖像數據執行編碼處理，將數據記錄在記錄介質中，並將數據輸出到傳輸通道。此外，該設備利用解碼器(隨後將描述)對記錄在記錄介質中的圖像數據和從傳輸通道輸入的經編碼的數據執行解碼處理。
這裡，編碼器10由所謂的具有多個中央處理單元的多核處理器構成，並且順序輸入運動圖像的圖像數據像素(Pixel)到緩衝存儲器31中。在圖2中，對圖像數據到緩衝存儲器31的輸入和輸出的描述被簡化。編碼器10被配置為使得多個中央處理單元能夠分別訪問緩衝存儲器31。編碼器10根據H.264/AVC的方法利用多個中央處理單元的算術處理對存儲在緩衝存儲器31中的圖像數據像素執行編碼處理，並輸出經編碼的數據流(Stream)。
在編碼器10中，形成有宏塊處理引擎(MB處理引擎)11A到11N的功能塊，所述宏塊處理引擎11A到11N分別用於利用各自的中央處理單元處理宏塊。此外，在編碼器10中，預處理部分(ME)12和後處理部分13的功能塊由控制整個操作的主中央處理單元構成。編碼器10的程序被預先安裝在視頻設備中並被提供，但是，它們也可以被改為記錄在諸如光碟、磁碟、存儲器卡之類的各種記錄介質中並被提供，或者經由諸如網際網路之類的網絡下載並被提供。
這裡，預處理部分12是這樣的功能塊，其在利用宏塊處理引擎11A到11N執行處理之前，以幀為單位預先一起處理圖像數據像素。具體而言，預處理部分12在幀間預測時，相對於存儲在緩衝存儲器31中的參考幀，利用運動檢測電路21檢測最優預測模式和運動向量。
宏塊處理引擎11A到11N是可並行處理的功能塊，其分別以宏塊為單位處理圖像數據像素。宏塊處理引擎11A到11N響應於在預處理部分12中的設置的最優預測模式和運動向量創建預測值，對各個宏塊的圖像數據執行編碼處理，並輸出數據coef。
就是說，宏塊處理引擎11A到11N將來自緩衝存儲器31的圖像數據像素以宏塊為單位輸入到減法電路22。減法電路22在執行幀內編碼時生成幀內預測電路23中生成的預測值與順序輸入的圖像數據像素之間的差值數據，並且在執行幀間編碼時生成在運動補償電路24中生成的預測值與的圖像數據像素之間的差值數據。
離散餘弦變換電路(DCT)25對從減法電路22輸出的差值數據執行正交變換處理並輸出係數數據。量化電路(Q)26按預定的量化級別對係數數據進行量化並輸出數據。宏塊處理引擎11A到11N將量化電路26的輸出數據coef輸出到後處理部分13。
逆量化電路(Q-1)27對量化電路26的輸出數據coef執行逆量化處理，並解碼出輸入到量化電路26的係數數據。逆離散餘弦變換電路(IDCT)28對逆量化電路27的輸出數據執行逆離散餘弦變換處理，並解碼出輸入到離散餘弦變換電路25的差值數據。加法電路29將由幀內預測電路23或運動補償電路24生成的預測值與在逆離散餘弦變換電路28中解碼出的差值數據相加，並解碼出去塊濾波器30或幀內預測電路23的輸入數據像素。
幀內預測電路23在利用加法電路29解碼的當前幀Fn的圖像數據像素執行幀內編碼時輸出預測值。運動補償電路24輸入由加法電路29解碼並保存在緩衝存儲器31中的圖像數據像素以作為參考幀Fn-1的圖像數據，並且在利用參考幀Fn-1的圖像數據執行幀間編碼時輸出預測值。
對於I圖片(I picture)，宏塊處理引擎11A到11N有選擇地輸出幀內預測電路23的預測值到減法電路22，以按幀內預測的最優預測模式編碼圖像數據像素。對於除了I圖片之外的其他圖片，引擎輸出幀內預測電路23和運動補償電路24的預測值到減法電路22，以按照具有幀內預測的最優預測模式和幀間預測的最優預測模式的較少量代碼的最優預測模式來編碼圖像數據像素。宏塊處理引擎11A到11N可以按以子宏塊作為最優預測模式的預測模式來執行處理，所述子宏塊是通過將一個宏塊劃分成多個塊作為處理單位而形成的。在此情況下，引擎對配置一個宏塊的子宏塊順序執行編碼處理，然後，最終以宏塊為單位對圖像數據像素執行編碼處理。
後處理部分13按一定順序輸入宏塊處理引擎11A到11N的輸出數據coef。該部分利用變長編碼電路(VLC)對輸入數據coef執行變長編碼處理，然後添加量化級別信息、宏塊類型(mb類型)等等，並輸出經編碼的數據流。此外，該部分利用去塊濾波器(去塊操作)30對從宏塊處理引擎11A到11N輸出的圖像數據執行濾波處理以消除塊失真，然後將數據作為參考幀Fn-1存儲在緩衝存儲器31中。
圖3是示出各個宏塊處理引擎11A到11N的處理程序的流程圖。各個宏塊處理引擎11A到11N在主中央處理單元的控制下執行圖3所示的處理程序。
就是說，當各個宏塊處理引擎11A到11N啟動該處理程序時，引擎從步驟SP1移動到步驟SP2，並基於從預處理部分12通知的宏塊類型來確定幀間預測或幀內預測。這裡，在幀間預測的情況下，宏塊處理引擎11A到11N從步驟SP2移動到步驟SP3，並利用運動補償電路24計算預測值，而在幀內預測的情況下，它們從步驟SP2移動到步驟SP4，並且利用幀內預測電路23來計算預測值。
隨後，宏塊處理引擎11A到11N在步驟SP5處利用減法電路22計算差值數據，然後，在隨後的步驟SP6處，利用離散餘弦變換電路25將差值數據變換成係數數據。此外，在隨後的步驟SP7處，引擎利用量化電路26對係數數據執行量化處理，並將處理結果輸出到後處理部分13。此外，宏塊處理引擎11A到11N在隨後的步驟SP8處執行量化處理，並在隨後的步驟SP9處執行逆離散餘弦變換處理。在隨後的步驟SP10處，引擎將預測值添加到逆離散餘弦變換處理的結果並解碼出原始圖像數據。
宏塊處理引擎11A到11N將解碼出的圖像數據輸出到後處理部分13，並且在隨後的步驟SP11處判斷是否存在將要處理的另一宏塊。這裡，當存在將要處理的另一宏塊時，宏塊處理引擎11A到11N從步驟SP11返回步驟SP2，並開始對隨後的宏塊進行處理。相反，當不存在將要處理的其他宏塊時，宏塊處理引擎11A到11N從步驟SP11移動到步驟SP12，並且結束該處理程序。
圖4是示出宏塊處理引擎11A到11N和緩衝存儲器31相對於用於幀內預測的圖像數據的關係的框圖。在圖4以及以下描述中，宏塊處理引擎11A到11N的數目為3的情況將被描述。這裡，各個宏塊處理引擎11A到11C被形成為可經由總線(BUS)獨立訪問緩衝存儲器31。
在緩衝存儲器31中，緩存存儲器32由諸如SRAM之類可高速訪問的存儲器構成，而主存儲器33由具有比緩存存儲器32更低功耗的小存儲器構成，但是該存儲器與緩存存儲器32相比，更難進行高速訪問。此外，緩衝存儲器31在主存儲器33中存儲和保存用於宏塊處理引擎11A到11C中的幀內預測的當前幀的圖像數據、用於運動補償的參考幀的圖像數據和從預處理部分12輸入的將被處理的圖像數據。雖然宏塊處理引擎11A到11C在主中央處理單元的控制下處理一個宏塊，但是緩衝存儲器加載隨後將被宏塊處理引擎11A到11C處理的多個宏塊以及參考宏塊的圖像數據並將數據保存在緩存存儲器32中。當在相應宏塊處理引擎11A到11C的處理中完成的圖像數據被存儲在主存儲器33中時，參考宏塊的圖像數據的緊接前一宏塊的圖像數據被一起存儲在緩存存儲器32中。
此外，如圖5所示，緩衝存儲器31在水平方向和垂直方向上設置二維地址(X，Y)，這些二維地址(X，Y)參照各個宏塊的圖像數據的光柵掃描開始位置來標識各個宏塊的位置，並將當前幀的圖像數據和被預處理部分12處理的圖像數據以宏塊為單位保存在緩存存儲器32中。在這點上，緩衝存儲器31利用主存儲器33中的存儲空間中的一維地址來存儲各個宏塊的圖像數據。因此，當從主存儲器33加載圖像數據並將數據存儲在緩存存儲器32中時，緩衝存儲器31對將被存儲在緩存存儲器32中的圖像數據所屬宏塊的二維地址進行地址轉換以轉換成主存儲器33的一維地址，並從主存儲器33加載圖像數據。
在訪問緩衝存儲器31的方法中，如圖6所示，與圖4相比，二維地址也可被應用到主存儲器33的地址管理，並且在從主存儲器33向緩存存儲器32加載數據時的地址轉換過程可被省略。此外，如圖7所示，與圖4相比，緩存存儲器32的地址管理可以利用一維地址來執行，並且在從主存儲器33向緩存存儲器32加載數據時的地址轉換過程可被省略。注意，在此情況下，當緩衝存儲器31被訪問時，將二維地址轉換成一維地址的地址轉換處理是必需的。此外，如圖8所示，與圖4相比，在緩存存儲器32處可以利用二維地址來執行地址管理，並且在主存儲器33處可以利用一維地址來執行地址管理。
圖1是用於說明這些宏塊處理引擎11A到11C的宏塊處理序列的示意圖。宏塊處理引擎11A到11C在主中央處理單元(未示出)的控制下以宏塊為單位順序處理圖像數據。這裡，主中央處理單元從光柵掃描開始端一側開始順序並循環分配構成一幀的條帶到各個宏塊處理引擎11A到11C。因此，在圖1所示示例中，在垂直方向上的第一條帶SL1被分配到第一宏塊處理引擎11A，並且隨後的第二條帶SL2被分配到隨後的第二宏塊處理引擎11B。此外，隨後的第三條帶SL3被分配到隨後的第三宏塊處理引擎11C，並且隨後的第四條帶SL4被分配到第一宏塊處理引擎11A。
各個宏塊處理引擎11A到11C同步地按光柵掃描的順序順序處理已經分配到該引擎的多個條帶的宏塊。此外，各個宏塊處理引擎11A到11C按照相對於宏塊處理引擎11A到11C對緊接著的前一條帶的處理被延遲預定數目個宏塊的定時來處理各個條帶，從而使得在對各個宏塊的處理開始時，對將被處理的宏塊的參考宏塊的處理已經完成，並且正在處理的宏塊所參考的圖像數據已被存儲在緩衝存儲器31中。
就是說，如圖9所示，在如上參考圖43所述的MPEG-1、2的幀內預測中，由於參考宏塊僅僅是在同一條帶中位於掃描開始端一側的緊接前一相鄰宏塊，因此當各個條帶被各個宏塊處理引擎11A到11C獨立處理時，無論將被處理的條帶是哪個，都能夠僅僅通過在光柵掃描方向上順序處理宏塊來參考當前幀的經編碼的圖像數據來執行宏塊的編碼處理。因此，在MPEG-1、2中，對一幀的圖像數據的編碼處理可以用多個宏塊處理引擎11A到11C來並行地同時執行，而無需考慮各個條帶中的處理的定時。
但是，在本實施例的編碼處理中，圖像數據是根據H.264/AVC的方法被編碼的。在H.264/AVC的幀內預測中，如以下參考圖46所述，不僅處於同一條帶的掃描開始端一側的相鄰宏塊(X-1，Y)是宏塊(X，Y)的參考宏塊，而且緊接著的前一條帶中的相鄰宏塊(X，Y-1)、(X-1，Y-1)和(X+1，Y-1)也是宏塊(X，Y)的參考宏塊。因此，當像在MPEG-1、2情況下一樣在不考慮對先前和隨後條帶的處理的情況下利用多個宏塊處理引擎11A到11C並行地同時執行對各個條帶的宏塊的處理時，各個宏塊處理引擎11A到11C將具有等待時間，用於等待緊接著的前一條帶中的參考宏塊的處理完成。因此，在此情況下，可能無法有效地高速處理宏塊。
為了消除等待時間，必須使得在一個條帶的處理開始之前，對緊接著的前一條帶中的參考宏塊的處理已經完成。
這裡，在H.264/AVC的幀內預測中，由於緊接著的前一條帶中的參考宏塊是正上方宏塊(X，Y-1)和正上方宏塊(X，Y-1)的前一和後一宏塊(X-1，Y-1)和(X+1，Y-1)，因此如果在緊接著的前一條帶中，從光柵掃描開始端一側開始的兩個或更多個宏塊已被處理，則可以開始對後一條帶進行處理。
在該實施例中，各個宏塊處理引擎11A到11C同步地按光柵掃描的順序處理分配到各個引擎的多個條帶的宏塊，從而，相對於在緊接著的前一條帶中的宏塊處理引擎11A到11C的處理延遲預定數目個宏塊的定時開始對各個條帶的處理，並且並行地同時執行對圖像數據的編碼處理。
此外，在該實施例中，後一條帶的處理開始點是相對於緊接著的前一條帶的處理來設置的，從而使得在緊接著的前一條帶的處理中的宏塊的參考宏塊與在後一條帶的處理中的宏塊的參考宏塊可以部分重疊，因此，將被參考的宏塊的處理結果的數目被儘可能地設置為最小。
更具體而言，作為連續條帶中的處理對象的宏塊的位置關係被設置為使得每一條帶中正在處理的宏塊的水平位置可以在這樣的位置上，即該位置在掃描開始端一側相對於在緊接著的前一條帶中正在處理的宏塊之間相距一個宏塊，並且各個條帶的宏塊被順序處理。因此，在圖1的示例中，作為箭頭所示參考關係，在第一條帶中，從左端起第五宏塊的處理結果被同一條帶和後一條帶所參考，並且在後一條帶中，從左端起第三宏塊的處理結果被同一條帶和後一條帶所參考。
因此，各個宏塊處理引擎11A到11C按圖10所示序列順序處理宏塊。就是說，在宏塊處理引擎11A到11C中，第一宏塊處理引擎11A開始第一條帶的處理並且處理宏塊(0，0)。此外，順序地，第一宏塊處理引擎11A參考宏塊(0，0)的處理結果處理後一宏塊(1，0)。
當後一宏塊(1，0)的處理完成時，在後一條帶中，第二宏塊處理引擎11B開始處理，這是因為在緊接著的前一條帶中，在光柵掃描開始端一側的兩個宏塊的處理已經完成。就是說，第一和第二宏塊處理引擎11A和11B分別順序處理宏塊(2，0)和(0，1)。此外，第一和第二宏塊處理引擎11A和11B分別順序處理宏塊(3，0)和(1，1)。
這裡，當宏塊(1，1)的處理完成時，在後一條帶中，第三宏塊處理引擎11C開始處理，這是因為在緊接著的前一條帶中，在光柵掃描開始端一側的兩個宏塊的處理已經完成。就是說，第一、第二和第三宏塊處理引擎11A、11B和11C分別順序處理宏塊(4，0)、(2，1)和(0，2)。此外，第一、第二和第三宏塊處理引擎11A、11B和11C分別順序處理宏塊(5，0)、(3，1)和(1，2)。
因此，假設宏塊處理引擎11A到11C並行地同時處理宏塊，緩衝存儲器31將當前幀Fn的經解碼的圖像數據和從預處理部分12輸入的將被處理的圖像數據存儲在主存儲器33中，並且根據宏塊處理引擎11A到11C的將被處理的宏塊，從主存儲器33順序加載將被處理的宏塊的圖像數據和參考宏塊的當前幀Fn的圖像數據到緩存存儲器32。
就是說，在圖7的示例中，在第一宏塊處理引擎11A處理第一宏塊(0，0)的情況下，緩衝存儲器在緩存存儲器32中預先加載和保存從預處理部分12輸入的宏塊(0，0)的相應圖像數據。此外，在第一宏塊處理引擎11A處理後一宏塊(1，0)的情況下，緩衝存儲器在緩存存儲器32中預先加載和保存從預處理部分12輸入的宏塊(1，0)的相應圖像數據以及先前剛被處理的宏塊(0，0)的當前幀Fn的圖像數據。
在第二宏塊處理引擎11B隨後開始處理的情況下，緩衝存儲器在緩存存儲器32中預先加載和保存將被第一和第二宏塊處理引擎11A和11B處理的宏塊(2，0)和(0，1)的圖像數據以及參考宏塊(0，0)和(1，0)的當前幀Fn的圖像數據。此外，緩衝存儲器隨後在緩存存儲器32中加載和保存將被第一和第二宏塊處理引擎11A和11B處理的宏塊(3，0)和(1，1)以及參考宏塊(0，0)、(1，0)、(2，0)和(0，1)的當前幀Fn的圖像數據。緩衝存儲器從緩存存儲器32中丟棄在隨後宏塊的處理中不再需要被參考的數據。
緩存存儲器32被配置為具有適合於以上圖1所述宏塊處理引擎11A到11C的處理的最小必需存儲容量。這裡，如圖11A到11C所述，當三個宏塊處理引擎11A到11C分別處理宏塊時，各個宏塊處理引擎11A到11C分別利用最多四個參考宏塊之一來處理宏塊(圖11A)。因此，如圖11B所示，如果簡單地計算，緩存存儲器32所需的最小容量M是這樣獲得的(一個宏塊的圖像數據量)×(將被處理的宏塊數目(1)+參考宏塊的最大數目(4))×(宏塊處理引擎11A到11C的數目)。但是，在該實施例中，參考宏塊被設置為在正在處理的宏塊和緊接著的前一宏塊之間有重疊，從而，通過容量M減去對應於重疊的宏塊數目的容量N所獲得的容量(M-N)是緩存存儲器32所需的最小值。
因此，緩存存儲器32的容量被設置為最小必需容量(M-N)，並且與參考宏塊被設置為在將被處理的條帶和緊接著的前一條帶之間沒有重疊的情況相比，容量有所減小。
圖12是示出與圖2相對照，被應用到本發明實施例1的視頻設備的解碼器的框圖。解碼器40是通過用用於解碼器的程序替代將被構成以上參考圖2所述的編碼器10的多個中央處理單元執行的用於編碼器的程序來配置的。解碼器40對來自由圖2的編碼器10生成的經編碼的數據流的圖像數據像素進行解碼。
這裡，在解碼器40中，用於處理宏塊的宏塊處理引擎(MB處理)41A到41N的功能塊是分別利用各個中央處理單元來構成的。此外，在解碼器40中，預處理部分(VLD)42和後處理部分(去塊操作)43的功能塊是利用控制這個操作的主中央處理單元構成的。
這裡，預處理部分42是這樣的功能塊，其在利用宏塊處理引擎41A到41N執行處理之前，以幀為單位預先一起處理經編碼的數據流。具體而言，預處理部分42是對應於編碼器10的後處理部分13的配置，並且對從後處理部分輸出的經編碼的數據流執行變長解碼處理，並且解碼出宏塊處理引擎41A到41N的輸入數據coef。
宏塊處理引擎41A到41N是對應於編碼器10的宏塊處理引擎11A到11N的配置，並且是可並行處理的功能塊，其以宏塊為單位各自處理預處理部分42的輸出數據coef並輸出圖像數據像素。
就是說，宏塊處理引擎41A到41N以來自緩衝存儲器31的宏塊為單元將預處理部分42的輸出數據coef輸入到逆量化電路(Q-1)51。這裡，逆量化電路51按在經編碼的數據流中設置的量化級別對預處理部分42的輸出數據coef執行逆量化處理，並將數據輸入到逆離散餘弦變換電路52。逆離散餘弦變換電路(IDCT)52對逆量化電路51的輸出數據執行逆離散餘弦變換處理。加法電路53將由逆幀內預測電路54或運動補償電路55生成的逆預測值與解碼後的差值數據相加並解碼出圖像數據像素。
逆幀內預測電路54利用加法電路53解碼出的當前幀Fn的圖像數據像素輸出幀內預測的逆預測值。運動補償電路55經由緩衝存儲器31輸入加法電路53解碼出的圖像數據像素，作為參考幀Fn-1的圖像數據，並利用圖像數據輸出逆幀間預測的預測值。
後處理部分43對來自宏塊處理引擎41A到41N的輸出數據像素執行塊濾波處理，並消除塊失真。此外，該部分輸出已經從中消除了塊失真的圖像數據像素，並將數據作為參考幀存儲在緩衝存儲器31中。
圖13是示出各個宏塊處理引擎41A到41N的處理程序的流程圖。各個宏塊處理引擎41A到41N在主中央處理單元的控制下執行圖13所示的處理程序。
就是說，當各個宏塊處理引擎41A到41N啟動該處理程序時，引擎從步驟SP21移動到步驟SP22，並且基於從預處理部分42通知的宏塊類型來判斷是逆幀間預測還是逆幀內預測。這裡，在逆幀間預測的情況下，宏塊處理引擎41A到41N從步驟SP22移動到步驟SP23，並且利用運動補償電路55計算逆預測值，而在逆幀內預測的情況下，它們從步驟SP22移動到步驟SP24，並且利用逆幀內預測電路54計算逆預測值。
隨後，宏塊處理引擎41A到41N在步驟SP25處對從預處理部分42輸入的經編碼的數據流執行逆量化處理，然後在後一步驟SP26處執行逆離散餘弦變換處理。此外，在後一步驟SP27處，引擎將逆預測值與逆離散餘弦變換處理的結果相加並解碼出原始圖像數據像素。宏塊處理引擎41A到41N將解碼出的圖像數據輸出到後處理部分43，並且在後一步驟SP28處判斷是否存在將被處理的另一宏塊。這裡，當存在將被處理的另一宏塊時，宏塊處理引擎41A到41N從步驟SP28返回步驟SP22並開始對隨後宏塊的處理。相反，當不存在將被處理的其他宏塊時，宏塊處理引擎41A到41N從步驟SP28移動到步驟SP29並結束處理程序。
與編碼器10的宏塊處理引擎11A到11C的情況一樣，宏塊處理引擎41A到41N按相對於緊接著的前一條帶被延遲的定時開始每一條帶的處理，從而使得每一條帶中正在處理的宏塊相對於緊接著的前一條帶中正在處理的宏塊在掃描開始端一側彼此間相距一個宏塊，並且使得正在處理的條帶和緊接著的前一條帶之間參考宏塊部分重疊，從而，並行地同時處理連續條帶。
此外，與編碼器10的情況一樣，緩衝存儲器31緩存將被處理的宏塊的圖像數據和來自存儲器33的各個宏塊處理引擎41A到41N的參考宏塊，並將數據保存在緩存存儲器32中，並且當被各個宏塊處理引擎41A到41N訪問時，輸出保存在緩存存儲器32中的圖像數據。
(2)實施例的操作在上述配置中，在實施例的視頻設備中，經編碼的數據流是通過利用例如編碼器10(圖2)編碼從調諧器或光碟設備輸出的圖像數據像素而生成的，並且經編碼的數據流被記錄在記錄介質中或被輸出到傳輸通道。在相反路徑上，圖像數據像素是通過利用解碼器40(圖12)解碼從記錄介質再現的經編碼的數據流或從傳輸通道輸入的經編碼的數據流而生成的，並且圖像數據像素被輸出到監視器設備等等。
在該視頻設備中，編碼器10和解碼器40是通過加載對應於具有多個中央處理單元的所謂的多核處理器的程序來形成的。此外，利用該程序，編碼器10和解碼器40被形成為用於在預處理、對各個宏塊的處理以及後處理中對圖像數據像素和經編碼的數據流執行流水線處理。
就是說，在編碼器10(圖2)中，預處理部分12對順序輸入的圖像數據像素執行預處理，隨後的多個宏塊處理引擎11A到11N生成差值數據並對數據執行正交變換處理和量化處理，並且隨後的後處理部分13將數據轉換成經編碼的數據流(圖2)。此外，在解碼器40(圖12)中，預處理部分42對經編碼的數據流執行變長編碼處理，隨後的宏塊處理引擎41A到41N執行逆量化處理、逆正交變換處理等等以將數據轉換成圖像數據像素，並且隨後的後處理部分43對數據執行濾波處理(圖12)。
通過預處理、對各個宏塊的處理以及後處理中的流水線處理，編碼器10和解碼器40比那些利用一個算術處理設備順序處理圖像數據的情況更高速地執行編碼處理和解碼處理。
但是，由於在某些處理中存在等待時間，因此這些處理的簡單流水線處理浪費功率。因此，在編碼器10和解碼器40中，宏塊處理引擎11A到11N和41A到41N被分配給相對於其他宏塊其流水線處理具有最重處理負載的各個宏塊，並且多個宏塊處理引擎11A到11N和41A到41N並行地順序且同時處理宏塊(圖4和5)。
此外，由於臨時保存圖像數據的緩衝存儲器31是利用緩存存儲器32和主存儲器33來可緩存地配置的並且多個宏塊處理引擎11A到11N和41A到41N緩存處理所需的圖像數據，因此處理速度被進一步提高(圖4和5)。
但是，在利用宏塊處理引擎11A到11N和41A到41N的處理中，各個宏塊是通過參考已經在其上完成了編碼和解碼處理的參考宏塊來處理的，並且參考宏塊是與將被處理的宏塊在同一條帶中的緊接前面的宏塊。因此，在編碼器10和解碼器40中，作為處理對象的條帶被從光柵掃描的開始端一側起順序且循環地分配給各個宏塊處理引擎11A到11N和41A到41N，並且各個宏塊處理引擎11A到11N和41A到41N分別順序處理作為處理對象的條帶的宏塊。
但是，此外，在利用宏塊處理引擎11A到11N和41A到41N的處理中，參考宏塊還存在於緊接著的前一條帶中。因此，如果處理是通過簡單地將各個條帶分別分配給多個宏塊處理引擎11A到11N和41A到41N來執行的，則與MPEG-1、2(圖9)的情況一樣，在多個宏塊處理引擎11A到11N和41A到41N中存在等待時間，用於等待緊接著的前一條帶中的參考宏塊的處理完成，並且數據處理難以高速執行。
因此，在編碼器10和解碼器40中，當作為處理對象的條帶的各個宏塊被處理時，各個條帶的處理開始的定時被設置為相對於緊接著的前一條帶有所延遲，以使得存在於緊接著的前一條帶中的相應參考宏塊的處理可以完成。因此，多個宏塊處理引擎11A到11N和41A到41N可以並行地同時處理各個宏塊(圖1)。
此外，在使用緩衝存儲器31的緩存操作中，各個宏塊處理引擎11A到11N和41A到41N的將被處理的宏塊的圖像數據以及參考宏塊的圖像數據被設置為處理對象，並且在防止緩存存儲器32的容量增大的同時提高了處理速度(圖10)。
但是，當將被處理的宏塊的圖像數據和參考宏塊的圖像數據被簡單地保存和緩存在緩存存儲器32中時，對應於以下數字的容量是緩存存儲器32所必需的，即該數字是這樣獲得的用宏塊處理引擎11A到11N和41A到41N的數目乘以宏塊的數目(1)和參考宏塊的數目之和(圖11A和11B)。
因此，在編碼器10和解碼器40中，宏塊被設置為使得正在處理的宏塊在緊接著的前一條帶中的部分參考宏塊與正在處理的宏塊在後一條帶中的部分參考宏塊可以重疊，更具體而言，作為處理對象的條帶中正在處理的宏塊在水平方向上相對於緊接著的前一條帶中正在處理的宏塊，在光柵掃描開始端其間相距一個宏塊，從而各個條帶中的宏塊被處理(圖1)。
因此，在編碼器10和解碼器40中，與將被處理的宏塊的圖像數據和參考宏塊的圖像數據被簡單地保存和緩存在緩存存儲器32中的情況相比，緩存存儲器32的容量可被減小像重疊的參考宏塊那麼多，功耗可被減小，並且整體形狀可被製造得更小。
(3)實施例的效果根據上述配置，條帶被順序且循環分配給多個宏塊處理引擎，並且編碼處理和解碼處理是由多個算術處理設備並行地同時執行的，並且各個條帶的處理開始的定時被設置為使得正在處理的宏塊在每一條帶中的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊可以部分重疊。因此，在通過利用多個算術處理設備並行地同時處理圖像數據來執行編碼處理和解碼處理的配置中，緩存存儲器的容量可被減小。因此，整體功耗可被減小，並且配置可被簡化，尺寸可被減小。
此外，由於緩存存儲器的容量被設置為對應於如下數字的容量，因此緩存存儲器的容量可被設置為所需的最小值，所述數字是這樣獲得的從作為將被一個算術處理設備處理的宏塊的數目的值「1」與最大參考宏塊的數目之和與算術處理設備的數目相乘的乘積值中減去重疊的參考宏塊的數目。
實施例2圖14是對照圖4示出本發明實施例2的視頻設備中的緩衝存儲器的配置的示意圖。在該實施例中，針對存儲在緩存存儲器32中的各個宏塊的數據設置有共享標誌，並且多個將被處理的宏塊之間重疊的參考宏塊是利用共享標誌來標識的。此外，已經對其設置了共享標誌的參考宏塊調整來自宏塊處理引擎11A到11C和41A到41C的衝突訪問。
標誌的設置可以針對宏塊處理引擎11A到11C和41A到41C米執行，並且可以利用用於分開管理標誌的調度器來執行。除了關於標誌的配置之外，本實施例的編碼器和解碼器具有與實施例1相同的配置。
通過像在本實施例中一樣設置標誌並且控制來自多個算術處理設備的訪問，可以獲得與實施例1相同的效果。
實施例3圖15和16A到16C是對照圖1和11A到11C用於說明本發明實施例3的視頻設備中的宏塊處理的示意圖。在本實施例中，在實施例1中描述的後處理部分13是利用多個用於後處理的宏塊處理引擎43A、43B和43C來配置的。除了利用多個用於後處理的宏塊處理引擎43A、43B和43C所配置的後處理部分13之外，本實施例的編碼器和解碼器具有與實施例1的編碼器和解碼器相同的配置。
這裡，像在實施例1中宏塊處理引擎11A到11N和41A到41N的情況一樣，條帶被順序且循環分配給用於後處理的各個宏塊處理引擎43A、43B和43C，並且分別分配的多個條帶是按光柵掃描的順序來順序處理的。此外，引擎分別利用緩存存儲器執行去塊濾波處理。此外，在各個條帶中，掃描開始的定時被設置為使得緊接著的前一條帶中的參考宏塊與正在處理的宏塊的參考宏塊可以部分重疊。
這裡，在H.264/AVC的去塊濾波處理中，如參考圖48所述，同一條帶的在掃描開始端一側的相鄰宏塊(X-1，Y)和在緊接著的前一條帶中的正上方的相鄰宏塊(X，Y-1)被設置為宏塊(X，Y)的參考宏塊，並且宏塊(X，Y)是通過參考宏塊(X，Y-1)或(X-1，Y)的處理結果來處理的。
因此，在本實施例中，在每一條帶中正在處理的宏塊被設置為這樣的宏塊，該宏塊是在水平方向上相對於緊接著的前一條帶中正在處理的宏塊在光柵掃描開始端一側的相鄰宏塊。因此，在本實施例中，在每個宏塊中，正上方的參考宏塊與緊接著的前一條帶中的參考宏塊重疊，並且多個算術處理部分在緩存存儲器容量被減小了重疊的參考宏塊的情況下並行地同時處理宏塊。
根據本實施例，由於多個算術處理設備在後處理的濾波處理中同樣並行地同時執行處理，並且正在處理的宏塊在每一條帶中的參考宏塊被設置為與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊，因此緩存存儲器的容量可被減小，並且圖像數據可被更高速處理。
實施例4圖17和18A到18C是對照圖1和11A到11C用於說明本發明實施例4的視頻設備中的宏塊處理的示意圖。在本實施例中，圖像數據是按MPEG-4被編碼和解碼的。除了與格式相關的配置之外，本實施例的編碼器和解碼器具有與實施例1的編碼器和解碼器相同的配置。
這裡，在MPEG-4的幀內預測中，如參考圖44所述，同一條帶中在掃描開始端一側的相鄰宏塊(X-1，Y)、緊接著的前一條帶中的正上方相鄰宏塊(X，Y-1)和在包含該正上方相鄰宏塊(X，Y-1)的條帶的掃描開始端一側的相鄰宏塊(X-1，Y-1)被設置為宏塊(X，Y)的參考宏塊。
因此，在本實施例中，像在實施例1中宏塊處理引擎11A到11N和41A到41N的情況一樣，條帶被順序且循環分配給各個宏塊處理引擎，並且分別分配的多個條帶按光柵掃描的順序被順序處理。此外，引擎分別利用緩存存儲器處理宏塊，並且在各個條帶中，掃描開始的定時被設置為使得緊接著的前一條帶中的參考宏塊與正在處理的宏塊的參考宏塊可以部分重疊。
更具體而言，在每一條帶中正在處理的宏塊被設置為這樣的宏塊，該宏塊是在水平方向上相對於緊接著的前一條帶中正在處理的宏塊在光柵掃描開始端一側的相鄰宏塊。因此，在每個宏塊中，正上方的參考宏塊與緊接著的前一條帶中的參考宏塊重疊，並且多個算術處理部分在緩存存儲器容量被減小了重疊的參考宏塊的情況下並行地同時處理宏塊。
根據本實施例，當本實施例被應用到MPEG-4的處理時，可以獲得與實施例1相同的效果。
實施例5圖19和20A到20C是對照圖1和11A到11C用於說明本發明實施例5的視頻設備中的宏塊處理的示意圖。在實施例5中，預處理部分12是在實施例4的MPEG-4編碼器和解碼器中用多個用於預處理的宏塊處理引擎12A、12B和12C來配置的。除了預處理部分12是利用多個用於預處理的宏塊處理引擎12A、12B和12C來配置的之外，本實施例的編碼器和解碼器具有與實施例4的編碼器和解碼器相同的配置。
這裡，像宏塊處理引擎11A到11N和41A到41N的情況一樣，條帶被順序且循環分配給各個用於預處理的宏塊處理引擎12A、12B和12C，並且分別分配的多個條帶是按光柵掃描的順序來順序處理的。此外，引擎分別利用緩存存儲器執行運動向量預測的處理。此外，掃描開始的定時被設置為使得緊接著的前一條帶中的參考宏塊與正在處理的宏塊的參考宏塊可以部分重疊。
這裡，在MPEG-4的運動向量預測處理中，如參考圖45所述，在同一條帶的掃描開始端一側的相鄰宏塊(X-1，Y)、緊接著的前一條帶中的正上方相鄰宏塊(X，Y-1)和在包含該正上方相鄰宏塊(X，Y-1)的條帶的掃描終止端一側的相鄰宏塊(X+1，Y-1)被設置為宏塊(X，Y)的參考宏塊，並且宏塊(X，Y)的運動向量是通過參考宏塊(X-1，Y)、(X，Y-1)或(X+1，Y-1)的運動向量來預測的。
因此，在本實施例中，用於預處理的各個宏塊處理引擎被設置為使得像在實施例1中的宏塊處理引擎11A到11N和41A到41N的情況一樣，每一條帶中正在處理的宏塊在水平方向上相對於緊接著的前一條帶中正在處理的宏塊在光柵掃描開始端一側其間相距一個宏塊。因此，在本實施例中，在每個宏塊中，跟在正上方的參考宏塊後面的參考宏塊與在緊接著的前一條帶中的參考宏塊重疊，並且多個算術處理部分在緩存存儲器容量被減小了重疊的參考宏塊的情況下並行地同時執行運動向量預測處理。
根據本實施例，由於多個算術處理設備在預處理的運動向量預測中同樣並行地同時執行處理，並且每一條帶中正在處理的宏塊的參考宏塊被設置為與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊，因此可以減小緩存存儲器的容量，並且可以更高速地處理圖像數據。
實施例6圖21是對照圖4示出本發明實施例6的編碼器的主要部分的框圖。在本實施例中，提供了兩個由多核處理器獨立配置的編碼器系統。此外，如參考實施例1所述，每個編碼器具有預處理部分12、多個宏塊處理引擎11A到11C以及後處理部分13。在本實施例中，緩衝存儲器31被兩個系統共享，並且兩個系統並行地同時生成具有不同比特率的經編碼數據。在圖21中，第一系統的宏塊處理引擎用符號11AA到11AC示出，而第二系統的宏塊處理引擎用符號11BA到11BC示出。
這裡，如圖22所述，對照圖5，緩衝存儲器31通過利用三維地址(X，Y，Z)的地址管理來管理各個宏塊的圖像數據，其中所述三維地址(X，Y，Z)是通過將用於標識執行處理的系統的一維地址添加到參考實施例1所描述的二維地址(X，Y)而形成的。因此，在本實施例中，當主存儲器33被訪問時，三維地址(X，Y，Z)被地址轉換成一維地址。
如圖23到26所示，各個系統的宏塊處理引擎11AA到11AC以及11BA到11BC分別並行地同時處理已向其分配的多個條帶，從而在各個系統中，像在以上參考實施例1所述的各個宏塊處理引擎11A到11C的情況一樣，在每一條帶中正在處理的宏塊的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊可以部分重疊。此外，在各個系統的預處理部分和後處理部分中，像在以上參考實施例1所述的各個宏塊處理引擎11A到11C的情況一樣，圖像數據是響應於宏塊處理引擎11AA到11AC以及11BA到11BC的處理而被順序處理的。
在本實施例中，當本發明被應用到利用多個系統執行處理的情況時，可以獲得與實施例1相同的效果。
實施例7圖27是對照圖21示出本發明實施例7的編碼器和解碼器的主要部分的框圖。在本實施例中，編碼器和解碼器分別是利用獨立的多核處理器來配置的。這裡，像參考實施例1所描述的那樣，編碼器具有預處理部分12、多個宏塊處理引擎11A到11C和後處理部分13。像參考實施例1所描述的那樣，解碼器具有預處理部分42、多個宏塊處理引擎41A到41C和後處理部分43，並且後處理部分43由多個用於後處理的宏塊處理引擎43A到43C構成。在本實施例中，緩衝存儲器31被編碼器的宏塊處理引擎11A到11C和解碼器的用於後處理的宏塊處理引擎43A到43C共享，並且H.264/AVC的經編碼的數據被解碼，並且分開輸入的圖像數據按H.264/AVC被編碼。
如圖28到31所示，對照圖23到26，宏塊處理引擎11A到11C並行地同時處理已經向其分配的多個條帶，從而如上所述，在每一條帶中正在處理的宏塊的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊可以部分重疊。此外，用於後處理的宏塊處理引擎43A到43C也並行地同時處理已經向其分配的多個條帶，從而如上所述，在每一條帶中正在處理的宏塊的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊可以部分重疊。
在本實施例中，當本發明被應用到利用多個編碼器和解碼器系統來執行處理的情況時，可以獲得與實施例1相同的效果。
實施例8在本實施例中，提供了兩個由多核處理器獨立配置的編碼器系統。此外，如參考實施例1所述，每個編碼器具有預處理部分12、多個宏塊處理引擎11A到11C以及後處理部分13。此外，預處理部分12由多個用於預處理的宏塊處理引擎12AA到12AC和12BA到12BC構成。在本實施例中，緩衝存儲器31被用於預處理的宏塊處理引擎12AA到12AC和12BA到12BC的兩個系統共享，並且在H.264/AVC的預處理中的運動向量預測的處理被執行，並且兩個系統輸出經編碼的數據。
圖32和33是對照圖28到31用於說明用於預處理的宏塊處理引擎12AA到12AC和12BA到12BC的兩個系統的操作的示意圖。在本實施例中，各個系統的用於預處理的宏塊處理引擎12AA到12AC和12BA到12BC分別並行地同時處理已經向其分配的多個條帶，從而在各個系統內，如上所述，在每一條帶中正在處理的宏塊的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊可以部分重疊。
根據本實施例，當本發明被應用到利用兩個編碼器系統的運動向量預測時，可以獲得與實施例1相同的效果。
實施例9圖34是對照圖21示出本發明實施例9的視頻設備中的緩衝存儲器的配置的示意圖。在本實施例中，如以上參考圖14所述，對照圖4，為存儲在緩存存儲器32中的各個宏塊的數據設置了共享標誌，並且在正在處理的多個宏塊之間重疊的參考宏塊用標誌標識出。此外，來自多個宏塊處理引擎的訪問是參考標誌來調整的。
當像該實施例一樣利用多個系統執行處理時，可以通過控制來自多個算術處理設備的訪問來獲得與實施例1相同的效果。
實施例10
在本實施例中，提供了用多核處理器獨立配置的編碼器和解碼器。這裡，如參考實施例1所述，編碼器具有預處理部分12、多個宏塊處理引擎11A到11C以及後處理部分13。此外，預處理部分12由多個用於預處理的宏塊處理引擎12A到12C構成。像參考實施例1所描述的那樣，解碼器具有預處理部分42、多個宏塊處理引擎41A到41C和後處理部分43，並且後處理部分43由多個用於後處理的宏塊處理引擎43A到43C構成。在本實施例中，緩衝存儲器31被編碼器的用於預處理的宏塊處理引擎12A到12C和解碼器的用於後處理的宏塊處理引擎43A到43C共享，並且H.264/AVC的經編碼的數據被解碼出，並且解碼出的圖像數據按MPEG-4被編碼。
此外，在這些編碼器和解碼器中，用於預處理的宏塊處理引擎12A到12C和用於後處理的宏塊處理引擎43A到43C按針對各個宏塊處理分別設置的定時來並行地同時處理所負責的多個條帶，從而，像在上述實施例中的情況一樣，在每一條帶中正在處理的宏塊的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊可以部分重疊。
此外，在本實施例中，如圖35和36所示，編碼器和解碼器被同步操作，並且解碼出的處理結果被保存在緩存存儲器32中。保存在緩存存儲器32中的解碼器的處理結果在它們被保存在緩存存儲器32中之後的用符號A、B、C…所示的宏塊處理周期中被處理。
在本實施例中，由於在緩衝存儲器中使用緩存存儲器將解碼出的圖像數據輸入到編碼器，因此整體存儲容量被進一步減小。
實施例11圖37是對照圖21本發明實施例11的編碼器和解碼器的主要部分的框圖。這裡，如參考實施例1所述，編碼器具有預處理部分12、多個宏塊處理引擎11A到11C以及後處理部分13。此外，預處理部分12由多個用於運動向量檢測的宏塊處理引擎12AA到12AC以及多個用於運動向量預測的宏塊處理引擎12BA到12BC構成，其中所述宏塊處理引擎12AA到12AC分別用於檢測運動向量，而宏塊處理引擎12BA到12BC分別用於執行運動向量預測處理。像參考實施例1所描述的那樣，解碼器具有預處理部分42、多個宏塊處理引擎41A到41C和後處理部分43，並且後處理部分43由多個用於後處理的宏塊處理引擎43A到43C構成。在本實施例中，緩衝存儲器31被編碼器的宏塊處理引擎12AA到12AC和12BA到12BC以及解碼器的用於後處理的宏塊處理引擎43A到43C共享，並且H.264/AVC的經編碼的數據被解碼出，並且解碼出的圖像數據按MPEG-4被編碼。
此外，在這些編碼器和解碼器中，用於運動向量檢測的宏塊處理引擎12AA到12AC、用於運動向量預測的宏塊處理引擎12BA到12BC和用於後處理的宏塊處理引擎43A到43C按針對各個宏塊處理分別設置的定時來並行地同時處理所負責的多個條帶，從而，像在上述實施例中的情況一樣，在每一條帶中正在處理的宏塊的參考宏塊與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊可以部分重疊。
此外，在本實施例中，如圖38到40所示，編碼器和解碼器被同步操作，並且解碼出的處理結果被保存在緩存存儲器32中。保存在緩存存儲器32中的解碼器的處理結果在它們被保存在緩存存儲器32中之後的用符號A到D所示的宏塊處理周期中被傳遞到隨後的編碼處理。
在本實施例中，當本發明被應用到三個連續的解碼和編碼過程時，可以獲得與實施例9相同的效果。
實施例12在上述實施例中，利用已經預先設置的固定功能塊來編碼和解碼圖像數據的情況被描述，但是，不局限於此，即使在功能塊根據將被處理的圖像數據的格式、各個處理的負載等被動態改變時，本發明也可被廣泛地應用。在此情況下，需要設置各個功能塊的算術處理部分的數目，以使得緩存存儲器的容量可以是對應於如下宏塊數目的容量，所述宏塊數目是這樣獲得的用多個算術處理部分的數目乘以一個宏塊的參考宏塊的數目與值「1」之和，然後再從乘積值中減去部分重疊的參考宏塊的數目。
此外，在上述實施例中，描述了利用多個算術處理設備來並行地同時執行幀內預測等處理的情況，但是，不局限於此，本發明可廣泛應用到一起執行預濾波處理、後濾波處理等的情況。此外，本發明可應用於運動向量、宏塊類型等的傳輸。
此外，在上述實施例中，描述了根據H.264/AVC對圖像數據執行編碼處理和解碼處理的情況，但是，不局限於此，本發明可廣泛應用於根據其他各種編碼方法來執行編碼處理和解碼處理的情況。
此外，在上述實施例中，描述了利用多個中央處理單元來配置並行地同時處理圖像數據的多個算術處理部分的情況，但是，不局限於此，本發明可廣泛應用於利用軟體等來配置並行地同時處理圖像數據的多個算術處理部分的情況。在此情況下，軟體程序可以通過預先安裝它們而被提供，或者可以通過將它們記錄在諸如光碟、磁碟和存儲器卡之類的記錄介質中而被提供，或者可以經由諸如網際網路之類的網絡來提供。
本發明可被應用到根據例如H.264/MPEG-4AVC(ITU-T Rec.H.264ISO/IEC 14496-10AVC)標準來編碼和解碼視頻數據的情況。
本領域技術人員應該理解，取決於設計需求和其他因素，可以進行發生各種修改、組合、子組合和替換，只要它們落在所附權利要求或其等同物的範圍中即可。
本發明包含與2006年4月27日遞交到日本專利局的日本專利申請JP2006-122890相關的主題，該日本專利申請的全部內容通過引用被結合於此。
權利要求
1.一種圖像數據處理裝置，包括多個算術處理部分，它們分別以宏塊為單位編碼或解碼圖像數據；主存儲器，其積累和保存用於所述多個算術處理部分的處理的數據；以及所述多個算術處理部分的緩存存儲器，其保存保存在所述主存儲器中的數據的一部分，其中所述圖像數據的條帶被順序且循環地分別分配給所述多個算術處理部分，並且多個條帶被設置為處理對象，所述多個算術處理部分處理保存在所述緩存存儲器中的數據，並按照光柵掃描的順序在對作為處理對象的所述多個條帶的宏塊的處理序列中並行地同時編碼或解碼所述圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，並且所述一致關係是這樣一種關係當前條帶和緊接著的前一條帶可被並行地同時處理，並且當前條帶中正在處理的宏塊在距緊接著的前一條帶中正在處理的宏塊預定數目個宏塊的光柵掃描開始端一側處，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
2.如權利要求1所述的圖像數據處理裝置，其中所述緩存存儲器的容量是對應於如下宏塊數目的容量，其中所述宏塊數目是這樣獲得的用一個宏塊的參考宏塊的數目與值「1」的和乘以所述多個算術處理部分的數目，然後再從乘積值中減去部分重疊的參考宏塊的數目。
3.如權利要求1所述的圖像數據處理裝置，其中所述多個算術處理部分的數目被設置為使得所述緩存存儲器的容量是對應於如下宏塊數目的容量，其中所述宏塊數目是這樣獲得的用一個宏塊的參考宏塊的數目與值「1」的和乘以所述多個算術處理部分的數目，然後再從乘積值中減去部分重疊的參考宏塊的數目。
4.如權利要求1所述的圖像數據處理裝置，還包括所述多個算術處理部分的處理系統的多個系統，其中所述緩存存儲器被所述多個算術處理部分的所述多個系統共享。
5.一種以宏塊為單位編碼或解碼圖像數據的圖像數據處理方法，包括以下步驟將數據存儲在用於存儲編碼和解碼所需數據的主存儲器中；將數據存儲在用於存儲在所述主存儲器中存儲的數據的緩存存儲器中；以及使用保存在所述緩存存儲器中的數據來利用多個算術處理裝置分別同時地執行編碼或解碼所述圖像數據的並行處理，從而以宏塊為單位並行地同時處理通過順序且循環地分配圖像數據的條帶而設置的多個處理對象，其中所述同時並行處理步驟按照光柵掃描的順序在對作為處理對象的所述多個條帶的宏塊的處理序列中編碼或解碼所述圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，並且所述一致關係是這樣一種關係當前條帶和緊接著的前一條帶可被並行地同時處理，並且當前條帶中正在處理的宏塊在距緊接著的前一條帶中正在處理的宏塊預定數目個宏塊的光柵掃描開始端一側處，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
6.一種用於圖像數據處理方法的程序，所述圖像數據處理方法通過算術處理裝置的執行來以宏塊為單位編碼或解碼圖像數據，所述用於圖像數據處理方法的程序包括以下步驟將數據存儲在用於存儲編碼和解碼所需數據的主存儲器中；將數據存儲在用於存儲在所述主存儲器中存儲的數據的緩存存儲器中；以及使用保存在所述緩存存儲器中的數據來利用多個算術處理裝置分別同時地執行編碼或解碼所述圖像數據的並行處理，從而以宏塊為單位並行地同時處理通過順序且循環地分配圖像數據的條帶而設置的多個處理對象，其中所述同時並行處理步驟按照光柵掃描的順序在對作為處理對象的所述多個條帶的宏塊的處理序列中編碼或解碼所述圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，並且所述一致關係是這樣一種關係當前條帶和緊接著的前一條帶可被並行地同時處理，並且當前條帶中正在處理的宏塊在距緊接著的前一條帶中正在處理的宏塊預定數目個宏塊的光柵掃描開始端一側處，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
7.一種記錄有用於圖像數據處理方法的程序的記錄介質，所述圖像數據處理方法通過算術處理裝置的執行來以宏塊為單位編碼或解碼圖像數據，所述用於圖像數據處理方法的程序包括以下步驟將數據存儲在用於存儲編碼和解碼所需數據的主存儲器中；將數據存儲在用於存儲在所述主存儲器中存儲的數據的緩存存儲器中；以及使用保存在所述緩存存儲器中的數據來利用多個算術處理裝置分別同時地執行編碼或解碼所述圖像數據的並行處理，從而以宏塊為單位並行地同時處理通過順序且循環地分配圖像數據的條帶而設置的多個處理對象，其中所述同時的並行處理步驟按照光柵掃描的順序在對作為處理對象的所述多個條帶的宏塊的處理序列中編碼或解碼所述圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，並且所述一致關係是這樣一種關係當前條帶和緊接著的前一條帶可被並行地同時處理，並且當前條帶中正在處理的宏塊在距緊接著的前一條帶中正在處理的宏塊預定數目個宏塊的光柵掃描開始端一側處，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
全文摘要
一種圖像數據處理裝置包括多個算術處理部分；主存儲器；利緩存存儲器，其中圖像數據的條帶被順序且循環地分別分配給所述多個算術處理部分，並且將被處理的多個條帶被設置為處理對象，並且所述多個算術處理部分並行地處理圖像數據，以建立每一條帶的處理與緊接著的前一條帶的處理之間的一致關係，在該一致關係中，當前條帶和緊接著的前一條帶可被並行地同時處理，從而使得在當前條帶中正在處理的宏塊的參考宏塊可以與該正在處理的宏塊在緊接著的前一條帶中的參考宏塊部分重疊。
文檔編號H04N7/50GK101064848SQ20071009764
公開日2007年10月31日 申請日期2007年4月27日 優先權日2006年4月27日
發明者伊東義之, 福島哲哉, 柳田幸雄 申請人:索尼株式會社