尋址處理方法

2023-09-11 23:59:10 2

專利名稱：尋址處理方法
技術領域：
本發明涉及一種在SDRAM型存儲器中存儲數據的尋址處理。
數字視頻處理需要能夠在存儲器中存儲視頻圖像。通常使用兩種類型的存儲器-靜態隨機存取存儲器(SRAM)。這些存儲器的區域可以直接從地址總線訪問。
-動態隨機存儲器(DRAM)，或者，如果它們是同步的話則為，同步動態隨機存儲器(SDRAM)。
該動態存儲器被分為頁，並且存取對應於頁的改變的新頁需要稱為「時間損失」的存取時間。該存儲器地址包括稱為頁地址或「行地址」的第一部分，和稱為位地址或「列地址」的第二部分。在此所提到的在引號內的術語是通常用於DRAM或SDRAM型元件的技術表中的術語。
日益普遍的視頻處理應用需要存取圖像塊，也就是說圖像的一組像素。
例如用於根據MPEG(運動圖像專家組的縮寫)標準的數字視頻數據壓縮是這種情況，其中基本編碼尺寸是構成宏塊的圖像塊。在運動估計中，當前圖像宏塊被與存儲在SDRAM型存儲器中的重構圖像的宏塊相比較，以便於確定重構宏塊，使得與當前圖像宏塊最佳相關。
在MPEG標準中，該宏塊是由四個8×8亮度數據元的塊和(例如對於4∶2∶0格式)兩個8×8色度數據元的塊構成的組，該宏塊從圖像的亮度成分的16×16單元的部分發出。
實際上，運動估計計算是僅僅在亮度值上執行的。然後，該相關塊僅僅是總尺寸為16×16的亮度塊。這些塊被以16像素×8線的塊的形式存儲，總存儲為16×16的亮度塊預先被分為兩個16像素×8線的塊。這些塊對應於上幀的第一塊和下幀的第二塊，以圖像模式分組為兩個幀，或者對應於以幀模式組合最初8線形成的第一塊和組合相同幀的隨後8線形成的第二塊。在下文中，這些16像素×8線的亮度塊被稱為亮度半宏塊或簡稱為半宏塊，以表示它們組合兩個8像素×8線的亮度塊，在MPEG標準中，術語「亮度宏塊」被用於表示4個亮度塊。
通常需要從存儲器中檢索尺寸大於16像素×8線的圖像塊。所檢索的塊的尺寸實際上由應用程式所確定。
例如，運動矢量的計算是利用一半像素的解析度來執行的，這要求對具有附加線和列的圖像塊進行處理，也就是說該圖像塊尺寸為17像素×9線。
另一個實例與重構圖像中的搜索窗口有關，在該窗口中執行塊的相關，並且根據用於運動估計的處理，該窗口具有較大或較小的尺寸。在第一步驟中，根據運動矢量為一個處理過程指定一個搜索窗口的位置，在第二步驟中通常需要精確搜索，以便於執行局部調整，該精確搜索是在小尺寸的窗口上執行的。在一個實施例中，這些搜索窗口具有24×12的尺寸，對應於16×8像素塊的±4的水平飄移和±2的垂直飄移。
對於較大尺寸的整個塊的存取時間通常不是最佳化的，需要存取SDRAM存儲器的幾個頁，以讀取或寫入構成該塊的像素數值。


圖1表示在同一水平行上的16×16尺寸的亮度宏塊、第一個16×16亮度宏塊1和最後一個16×16亮度宏塊2，也就是說，表示在一個圖像寬度上水平連續的宏塊。在通常情況下，一行宏塊對應於一個片段，例如在MPEG標準中所定義的。在下文中，術語「行」將特別用於指在一個圖像寬度上的連續塊或半宏塊，術語「片段」將保持用於宏塊。
在橫坐標軸上表示像素數，在縱坐標軸上表示線數。在720像素的圖像寬度上的16個視頻行對應於16像素的45個宏塊(720∶16)。
半宏塊被根據電視型掃描依次存儲，如在下文中所述的。
圖2表示存儲器頁4、5、6、8，他們被在半宏塊的存儲過程中依次尋址。如上文所述，16×16宏塊在被分為上塊和下塊兩部分之後存儲。
如果上塊對應於一幀，而下塊對應於下一幀，也就是說在圖像模式中，上塊被依次存儲在一個存儲空間中，並且下塊被依次存儲在另一個存儲空間中，因此每個存儲空間對應於一幀。
如果上塊和下塊對應於相同的一幀，也就是說在幀模式中，它們被依次存儲，也就是說首先是行的(半宏塊的)上塊，然後是對應於下一行的下塊。該下一幀被存儲在另一個存儲空間中。
該存儲過程是對幀模式進行描述的，並且毫無困難地推廣到圖像模式。它被應用於每個存儲空間，對它們中的每一個僅僅分別考慮被存儲於其中的半宏塊。
在本實施例中，頁4可以存儲標號為3的8個半宏塊MB。接下來的8個半宏塊MB在下一頁5中存儲，如此等等。因此，每8個半宏塊中有一頁更換或跳躍7，這在技術文獻中稱為「頁丟失」。對應於第一行末端的第45號半宏塊被存儲在標號為6的一頁的中間，更確切地是作為該頁的8個半宏塊中的第5個半宏塊。
下一個半宏塊對應於該幀的第二行的開始處的半宏塊，被存儲在該存儲器的新頁8的開始處，把行開頭的半宏塊存儲在頁開頭處是處理該尋址的最簡單的解決方法。
圖3示出這種現有技術的一個缺點。存儲空間被簡略地表示為所存儲的半宏塊13的一個函數。粗線12對應於尺寸為8個16×8像素的塊組成的頁的頁邊界。3個完全重疊的頁被表示對應於該幀中3個連續行的重疊半宏塊的組。需要存取比所存儲的半宏塊尺寸更大的圖像塊，需要存取幾個頁以便於讀取一個圖像塊。因此，對17線×9像素的塊(標號為9)的存取需要4頁的更換，對相同尺寸的塊10的存取需要兩頁的更換，並且對尺寸為24線×12像素的塊11的存取需要6頁的更換。該計算考慮到必須執行的第一頁更換，這僅僅是存取該塊。
在這種結構中，對於尺寸為17×9的塊的頁更換的最大數目是4，對於尺寸為24×12的塊的頁更換的最大數目是6。
存儲器寫入/讀取設備必須這樣構成，以便於考慮最大可能的頁更換數目。因此，該數目越大，則存取時間越長，即使對於存取單個頁來說也是如此。
這些頁更換或者更加確切地說是頁更換的最大可能數目，需要一種系統結構，它損失用於所存儲數據的存儲時間，從而減小存儲總線的通頻帶，該通頻帶對應於可以在給定時間段中存取的像素數目。頁更換需要一定數目的時間周期，從而降低存取時間。
本發明的目的是減輕上述的缺點。
為此目的，本發明的主題是用於存儲圖像的數字視頻數據的處理過程，該圖像被分為由h像素的v線構成的圖像塊(h，v)，在該圖像寬度上的塊組構成一行，數據被按照對應於電視型掃描的次序作為連續圖像塊存儲在動態隨機存儲器的連續頁中，用於由H像素的V行所構成的圖像塊(H，V)的讀取，其特徵在於，當考慮在該圖像中的塊和構成它們的頁的位置時，對應於圖像的行I的頁邊界相對對應於行I+a的頁邊界的水平位移過的塊(h，v)的數目DI，I+a等於DI，I+a＝aD，正整數a小於RM＝INT[(V-2)/v]+2，(INT對應於該除法的整數部分)對應於兩個相鄰行之間的位移的數值D被選擇使得D≥(BM-1)，其中BM＝INT[(H-2)/h]+2。
根據一個特定的實施方式，該處理的特徵在於，該位移是通過在存儲行的最後塊的頁中保留對應於一個或多個塊(h，v)的空白存儲空間而獲得的。
本發明還涉及一種處理過程，其用於估計運動，存儲尺寸為h，v的塊(h，v)，以便於在存儲器中獲得重構圖像，並進行當前圖像的塊與所存儲的重構圖像的尺寸H，V的塊(H，V)的比較，其特徵在於，根據上述處理中的一個把塊(h，v)存儲在SDRAM型存儲器的頁中。
本發明還涉及一種相關處理，其執行尺寸為h，v的圖像塊(h，v)的存儲，以便於在存儲器中獲得重構圖像，並且讀取尺寸為H，V的重構圖像的搜索窗口(H，V)，以便於執行當前圖像的塊與位於搜索窗口中的圖像塊之間的相關，其特徵在於，根據上述處理中的一個把塊(h，v)存儲在SDRAM型存儲器的頁中。
本發明還涉及一種處理過程，其用於預測在重構圖像中的圖像塊，執行尺寸為h，v的圖像塊(h，v)的存儲，以便於獲得一重構圖像，根據運動矢量預測以便於在重構圖像中確定一個尺寸為(H，V)的塊，讀取該塊(H，V)，其特徵在於，根據上述處理中的一個塊(h，v)存儲在SDRAM型存儲器的頁中。
利用本發明的優點，頁更換的最大數目受到限制並且相應地改善通頻帶。對像素塊的存取時間被優化。由於整體傳送時間的減小，特別有利於使用數據總線的時間的最小化，通頻帶是當前所採用的存儲器存取設備的性能的一個重要限制。
從下文中通過實例並結合附圖給出的描述中將有助於更好地理解本發明的特徵和優點，其中圖1表示圖像的一個宏塊片段的第一個和最後一個宏塊，圖2表示根據現有技術在一存儲器中的半宏塊的存儲，圖3表示要被從根據現有技術構成的存儲器中讀取的塊，圖4表示根據本發明的存儲空間的結構，圖5表示要被從根據本發明構成的存儲器中讀取的塊，圖6表示在根據本發明的存儲器中的半宏塊的存儲。
圖4表示根據本發明的存儲空間的結構。
上文給出的實例中的頁尺寸是16×8像素的8個半宏塊。從一行半宏塊到下一行，由粗線所表示並對應於頁跳躍的頁的垂直邊界14被位移等於兩個半宏塊的距離(或移動兩個宏塊，因為它們的寬度是相同的)。因此，幀的半宏塊位於屬於另一頁的一頁的第一和第二半宏塊之下。
圖5被於圖3相比較並表示在存儲器中的相同圖像塊9、10、11。通過移動頁的邊界，對17×9像素塊(標號為9)的存取，需要3個頁更換而不是4個，對相同尺寸的塊10的存取需要2個頁更換，並且對尺寸為24×12像素的塊11的存取需要4個頁更換而不是6個。
在這種結構中，對於尺寸為17×9的塊的頁更換的最大數目是3，對於尺寸為24×12的塊的頁更換的最大數目是4。因此通過利用這種結構，頁更換的數目可以減少2個，即，在本應用中獲得12個存儲器時鐘周期。
該所進行的位移實際上取決於要被讀取的圖像塊的尺寸，與所存儲的那些塊相關。
所存儲塊的尺寸是h、v，也就是說由h像素的v線所構成，並被稱為塊(h，v)。
要被讀取的塊是尺寸為H、V，也就是說由H像素的V線所構成，並被稱為塊(H，V)。
在存儲器中，可以在其上分配垂直尺寸V的塊(H，V)的最大行數是RM＝INT[(V-2)/v]+2INT(取整)表示該除法的整數部分。
水平尺寸H的塊(H，V)可以水平分布的最大塊數是BM＝INT[(H-2)/h]+2在塊的兩個連續行之間，對構成存儲器的一頁的水平位移D(以所存儲塊的數目為單位)的限制條件保持為D≥(BM-1)例如，對於最多在兩個尺寸為H的連續行(RM＝2)之上垂直分布的(H，V)塊(標號為9或10)在1和h+1之間，也就是說，一個塊最多水平分布在兩個塊(h，v)上(BM＝2)，位移D等於1。
當塊(H，V)可以分布在幾個行上時，該限制條件可以推廣到對該塊計算的行RM的最大數目設D是在兩個連續行之間選擇的位移數值，該數值滿足如下不等式D≥(BM-1)設a是範圍在1和RM-1之間的整數變量，該限制條件則可以寫為DI，I+a＝aD，a，RM＞a≥1。
在任何行I和行I+a之間位移DI，I+a。
例如，對於標號為11的塊(H，V)最多垂直分布在3個連續行(RM＝3)上，並且其尺寸H在h+2和2h+1之間，也就是說一個塊最多水平分布在3個塊(h，v)上(BM＝3)，位移DI，I+a等於2，並且位移DI，I+2等於4。
為了實現這一位移，在存儲空間中產生不被使用的區域。要被與圖2相比較的圖6在一條實線上表示一系列存儲頁4、5、6、8，例如它們在被半宏塊的存儲過程中尋址。當到達第一行的最後半宏塊時，它是存儲在標號為6的頁中的第5個半宏塊，尺寸對應於一個半宏塊的存儲區域15被保持空白，以在該頁中的第7和第8個半宏塊的位置記錄下一行的第一和第二半宏塊。因此下一頁8記錄該下一行的第三的半宏塊。在該幀中，位於頁8中的第一半宏塊之上的已經被存儲作為上行的相應頁3的第3個半宏塊。
三個半宏塊的位移對應於沒有空白的存儲空間，單個半宏塊的位移對應於兩個半宏塊尺寸的存儲空間。
通常，存儲在下一行的第一頁中的半宏塊的數目對應於該位移，前一行以一個新頁為開始，8個半宏塊的數目對應於沒有位移。
該描述已經根據所存儲的半宏塊給出。當然這是一個示例性的實施例，並且該半宏塊可以由任何類型任何尺寸的圖像塊所代替，而該處理過程不脫離本發明的範圍。
該存儲已經在一圖像的幀的級別上進行描述。它可以在完整圖像的級別上進行，例如從連續掃描中得出的圖像。然後，該圖像分割為塊是根據完整圖像執行的，並且該圖像塊被存儲在單個存儲空間中。
本發明的應用例如涉及在一重構圖像中根據一運動矢量對被預測塊的存取，在運動估計的計算過程中存取與當前塊相關的搜索窗口。
所存儲的塊還可以應用於在一MPEG解碼器中重構的塊的存儲。例如當運動矢量被精確到半個像素之內時，要被從存儲器中讀取和由該運動矢量所確定的被預測塊通常是具有比所存儲塊更大的尺寸。然後，這些讀取塊被通過應用當前圖像塊的計算的插值而重新定尺寸。
權利要求
1.用於存儲圖像的數字視頻數據的處理，圖像被分為由h像素的v線構成的圖像塊(h，v)(1，2)，在該圖像寬度上的塊組構成一行，數據被按照對應於電視型掃描的次序作為連續圖像塊(3，13)存儲在動態隨機存儲器的連續頁(4，5，6，8)中，用於由H像素的V行所構成的圖像塊(H，V)(9，10，11)的讀取，其特徵在於，當考慮在該圖像中的塊和構成它們的頁的位置時，對應於圖像的行I的頁邊界相對對應於行I+a的頁邊界的水平位移過的塊(h，v)的數目DI，I+a等於DI，I+a＝aD，正整數a小於RM＝INT[(V-2)/v]+2，(INT對應於該除法的整數部分)對應於兩個相鄰行之間的位移的數值D被選擇使得D≥(BM-1)，其中BM＝INT[(H-2)/h]+2。
2.根據權利要求1所示的處理，其特徵在於，該位移是通過在存儲行(6)的最後塊的頁中保留對應於一個或多個塊(h，v)的空白存儲空間(15)而獲得的。
3.根據權利要求1或2所述的處理，其特徵在於，該塊(h，v)是在MPEG標準中定義的宏塊的一部分。
4.根據權利要求1或2所述的處理，其特徵在於，該圖像是偶數或奇數幀。
5.一種處理過程，其用於估計運動，存儲尺寸為h，v的塊(h，v)，以便於在存儲器中獲得重構圖像，並進行當前圖像的塊與所存儲的重構圖像的尺寸H，V的塊(H，V)的比較，其特徵在於，根據權利要求1或2的處理把塊(h，v)存儲在SDRAM型存儲器的頁中。
6.一種相關處理，其執行尺寸為h，v的圖像塊(h，v)的存儲，以便於在存儲器中獲得重構圖像，並且讀取尺寸為H，V的重構圖像的搜索窗口(H，V)，以便於執行當前圖像的塊與位於搜索窗口中的圖像塊之間的相關，其特徵在於，根據權利要求1或2的處理把塊(h，v)存儲在SDRAM型存儲器的頁中。
7.一種處理過程，其用於預測在重構圖像中的圖像塊，執行尺寸為h，v的圖像塊(h，v)的存儲，以便於獲得一重構圖像，根據運動矢量預測以便於在重構圖像中確定一個尺寸為(H，V)的塊，讀取該塊(H，V)，其特徵在於，根據權利要求1或2的處理把塊(h，v)存儲在SDRAM型存儲器的頁中。
全文摘要
一種處理過程,其用於在存儲器的頁中存儲由h像素的v線構成的圖像塊(h,v)(1,2),用於由H像素的V行所構成的圖像塊(H,V)(9,10,11)的讀取,其中對應於圖像的行I的頁邊界相對對應於行I+a的頁邊界的水平位移過的塊(h,v)的數目D
文檔編號G06T1/60GK1258044SQ9912637
公開日2000年6月28日 申請日期1999年12月17日 優先權日1998年12月22日
發明者阿蘭·索蘭, 弗雷德裡克·普利索諾, 讓－馬克·阿拉爾 申請人:湯姆森多媒體公司