堅固的時域塊解碼的製作方法

2023-05-27 18:14:31

專利名稱：堅固的時域塊解碼的製作方法
背景技術：
本發明涉及信號傳輸和錯誤校正的領域。
背景技術：
用於圖像壓縮的通用技術(諸如MPEG和JPEG)依賴於分塊變換。雖然這些標準方法很適用於壓縮，但它們並未提供堅固的(Robust)重建技術。現實世界的圖像的大多數能量往往集中在低頻段。也就是，大多數信息內容被存儲在變換的圖像的低頻係數中。把這個信息合併到這些相當少的係數中，在圖像壓縮算法中已證明是有利的。只要這些低頻係數被正確地傳輸，圖像就能以高逼真度被恢復。
然而，把NxN圖像段變換到頻域或從頻域變換成圖像段的花費需要大約2N3次運算。如果N很大，這變得不可能實現。為了保持複雜性是可控制的，N通常被選擇為小的數目(例如8)，並且一次一個塊地變換圖像。這樣，運算次數隻隨圖像尺寸線性增長。
塊變換(它們也是單式的(unitary))對於圖像的變換編碼是特別有吸引力的，因為在頻域中的係數的均方值等於它在時域中的均方值。對於編碼器，這意味著，係數在頻域中的幅度越大，它對於時域重建的貢獻越大。同樣地，頻域中幅度的誤差相應於時域中的誤差。
傳統的變換編碼方法的一個缺點在於，這些方法對於錯誤不是堅固的。堅固性的缺乏，部分地可歸因於通常在編碼時使用的可變長度壓縮方法，以及部分地可歸因於在頻域中分量之間的相關性的缺乏。由於可變長度編碼引起的同步的丟失可以通過加上重新同步點或通過使用偽固定長度編碼而被克服。然而，在頻域中相關性的缺乏是更根本的問題，它還沒有由傳統的編碼方法適當地解決。
其他研究者，特別是Edward Chang和Keng-Kuan Lin，」ErrorConcealment and Recons truction Schemes for Image Transmissionon a Wireless Network(在無線網上用於圖像傳輸的錯誤隱藏和重建方案)」，Stanford University，March 1997和Sheila S.Hemami，」Reconstruction-Optimized Lapped Orthogonal Transforms forRobust Image Transmission(用于堅固的圖像傳輸的重建-最佳化的搭接的正交變換)」，Cornell University，April 1996，過去研究了頻域中相關性的缺乏的問題。這些研究者通過使用對來自周圍塊的相應分量進行加權平均來估值丟失的頻率分量而解決這個問題。
然而，這個處理過程根本地受到隨增加塊尺寸時遇到的總是減小的相關性的限制。例如，如果DC分量受到損害，試圖通過對周圍的DC係數進行平均來估值它，類似於通過對周圍的象素進行平均而從小的圖像來估值丟失的象素。因為從DC分量形成的圖像比起原先的圖像是小的，故空間相關性是低的。所以，平均處理過程並不是有效的。
發明概要揭示了一種用于堅固的時域塊解碼的方法。在一個實施例中，該方法包括接收變換域係數的塊和相關的錯誤標記，從變換域係數解碼象素數值，確定對於每個有錯誤的象素值的第一估值，以及更新解碼的象素值。
附圖簡述本發明是通過附圖中的例子而不是限制被說明的，圖上相同的參考數字表示相同的單元，其中

圖1顯示圖像數據塊的實施例。
圖2顯示與其他的塊的象素相鄰的象素的實施例。
圖3和4顯示用於恢復丟失數據的方法的實施例。
圖5顯示相應於圖4的方法的、恢復丟失數據的裝置的實施例。
圖6顯示包括恢復丟失數據的裝置的系統的實施例。
圖7顯示圖像到塊的變換的實施例。
圖8顯示圖像到塊的變換的另一個實施例。
詳細描述揭示了用于堅固的時域塊解碼的方法。在一個實施例中，方法包括接收變換域係數的塊和相應的錯誤標記，從變換域係數解碼象素數值，確定對於每個有錯誤的象素值的第一估值，解決約束條件下最小化問題以及更新解碼的象素值。
為了克服頻域中相關性缺乏的問題，用于堅固的時域塊解碼的方法重新定出時域中的丟失，然後利用最高的可能的解的相關性來恢復每個丟失的係數。因為不管塊的尺寸，使用最高的解的數據，故性能不會隨增加塊尺寸而降低。
堅固的時域塊解碼實施用於解碼時域中的塊數據的方法，以減小錯誤的影響。不像以前的方法，在堅固的時域塊解碼中使用的變換是基於由標量係數參量化的時域公式，這些標量係數可以通過求解最小平方問題而被估值。可被包括在用來執行堅固的時域塊解碼的方法中的塊變換的例子包括DCT和Haar小波變換。
下面討論用來描述堅固的時域塊解碼的數學公式。為了便於進行這個討論，回顧以下的符號。黑體字型被使用來表示矩陣或矢量，普通字型被使用來表示分量。例如，A∈RN×N表示A是具有實數分量Aij，i，j∈{0，1，..，N-1}，的NxN矩陣。上標T，諸如AT，表示轉置。A的逆矩陣是A-1，以及A的轉置的逆矩陣是A-T。
時域公式令X∈RN×N是象素的矩陣，H∈RN×N是非奇異變換矩陣，以及Y∈RN×N是以下變換的結果Y＝H×HT(1)N2指示符矩陣C(k)∈RN×N被定義為 以及具有N2個分量的矢量y被定義為矩陣Y的一維的重新排列，以使得yk＝Yi，j′k＝iN+j (3)矩陣Y可以根據矢量y和指示符矩陣被擴展為Y=k=0N2-1ykC(k)---(4)]]>通過倒置公式(1)和代入公式(4)，圖像部分X可以按以下的方式從變換的象素Y被恢復
X=H-1YH-T---(5)]]>=H-1(k=0N2-1ykC(k))H-T---(6)]]>=k=0N2-1yk(H-1C(k)H-T)---(7)]]>=k=0N2-1ykP(k)---(8)]]>P(k)∈R×N是從矩陣H-1的列i和j的外部乘積得到的、秩為1的矩陣，其中k＝iN+j，i，j＝0，...，N-1。在重要的特例下，當H是單式矩陣時，則H-1=HTPp,q(k)=Hi,pHj,'---k=iN+j---(9)]]>公式(8)是用于堅固的重建的基礎。假設yk個象素的某些象素在通信信道中被丟失。來自解碼的域的相鄰的關係式可被使用來估值丟失的yk。
最小平方恢復令I＝{k0，k1，...，kM-1}是一組包含Y的M個未知值的下標。然後，把X分離成已知的和未知的部分。
X=kIN2-1ykP(k)+k1N2-1ykP(k)---(10)]]>=X^+kIN2-1ykP(k)---(11)]]>雖然 和P(k)是已知的，但X是未知的，以及yk不能直接求解。為了克服這一點，根據本地相關值，確定X的預測值E(X)，以及它被使用來代替X。
因為所執行的數值的預測是不完美的，公式(11)不一定有解。代之以，求解以下的最小平方問題。
最小平方問題給定部分解碼X^RNN,]]>預測解碼E(X)∈RN×N，和一組預先確定的矩陣P(k)，找出yk，Vk∈I，使得下式最小化，||X^+kIN2-1ykP(k)-E(X)||F2---(12)]]>其中下標F表示Frobenius模。
通過重新排列矢量形式的項，很容易看到公式(12)的解，其中Frobenius模相應於通常的矢量-2模。令α＝[yk0，yk1，...，ykM-1]∈RM是Y的未知的數值的列矢量，以及令x和 分別是X和 的矢量版本。矢量現在可被表示為已知的矢量 和矩陣-矢量乘積的和值，x=x^+F---(13)]]>其中F的列j∈(0，...，M-1)包含以矢量形式重新排列的P(k)的分量。最小化問題現在可依據未知的矢量α被寫。函數f(α)被最小化f=||x^+F-E(x)||22---(14)]]>=(x^+F-E(x))T(x^+F-E(x))---(15)]]>=[F+(x^-E(x))]T[F+(x^-E(x))]---(16)]]>=T(FTF)+2(x^E(x))TF+(x^-E(x))T(x^-E(x))---(17)]]>在未約束的最小點，梯度消失。
f'=2(FTF)+2(x^-E(x))TF=0---(18)]]>所以，滿足以下公式的α被確定。
(FTF)=FT(E(x)-x^)---(19)]]>方程(19)的解需要0(M3)浮點運算。
E(X)的確定為了求解方程(12)，必須具有E(X)的第一預測。為了保持複雜性為合理程度，E(X)多半是基於周圍的象素的、X的未約束的估值。這個未約束的估值在方程(12)中被使用來估值丟失的yk係數值，這樣，重建的X被限制為如公式(11)表示的、X的已知的和未知的項的和值。
解碼器的堅固性來自於這一事實整個數據塊被使用來估值每個yk數值。無論如何，E(X)的預測值應當合理地接近於yk的實際的預期的估值。確定E(X)的簡單的和有效的方法是通過把圖像的子樣本變換成塊而形成每個圖像塊和使用相鄰的象素的平均值作為丟失的象素的估值。這個方法在編碼器使用如圖1所示的子樣本塊結構的情形下被改進。圖1的變換塊包括來自水平和垂直方向上圖像的每個其他象素的樣本。如圖2所示，E(X)的每個象素可被計算為從其他的塊取得的相鄰的象素的平均值。例如，象素x1可以通過使用來自其他的塊的相鄰的象素z1、z2、z3和z4，而被估值。
恢復方法圖3上顯示用於恢復丟失數據的方法。編碼的圖像數據的塊被解碼器305接收。圖像數據在變換域中被編碼，以及由變換域係數代表。某些變換域係數可能在傳輸期間丟失或損壞。所以，當解碼圖像時，從丟失或損壞的係數得到的象素值將丟失或損壞，310。每個丟失的或損壞的係數被識別，315。確定對於每個丟失或損壞的象素的初始的估值，320。在一個實施例中，估值的象素值是預期的數值估值，它是如上面討論的、與丟失或損壞象素相鄰的象素的平均值。估值的象素值被用來確定每個相應的丟失或損壞變換域係數的初始值。編碼的圖像數據塊然後通過使用變換域係數的初始值被解碼，325。
然後，確定對於每個丟失或損壞的係數的更新的值，330。更新的係數值可以通過使得最小平方問題最小化而被確定。例如，滿足以下公式的α的數值可被確定。
(FTF)=FT(E(x)-x^)]]>公式(19)α的這個估值可被用來更新對於損壞的象素值的估值，335。通過使用上面討論的公式(13)，可以進行象素值更新。
x=x^+F]]>公式(13)所以，對於丟失或損壞的係數Yk的更新的估值可以通過使用下式被確定x^+kIN2-1ykP(k)]]>公式(11)然而，與丟失或損壞的象素相鄰的、一個或多個象素也可能丟失或損壞。與給定的丟失或損壞的象素相鄰的、丟失或損壞的象素將減小給定的丟失或損壞的象素的初始執行的數值估值的精度。所以，在整個圖像上迭代進行圖3的方法，將進一步改進估值的數值。
E(X)的改進如果與X的象素相鄰的象素是無錯誤的，則很容易確定E(X)。然而，相鄰的象素也可能是有錯誤的。在這種情形下，在整個圖像上迭代進行圖3的方法，將改進這些損壞的相鄰的象素。這些象素的改進將產生E(X)的相應的改進。這使得能夠求解方程(12)，以計算yk的改進的數值。因此，當相鄰的塊包含錯誤時，在整個圖像上進行的迭代可以產生對於圖像的改進。
替換的恢復方法根據前面的公式，堅固的解碼算法的另一個實施例被顯示於圖4。圖3的方法被重複進行給定次數的迭代。編碼的圖像數據由解碼器在變換域中接收，405。每個圖像塊的損壞的或丟失的係數初始地被設置為它們的預期的數值，410。通過使用初始的係數值解碼圖像數據，415。然後，對於每個塊，確定丟失的或損壞的係數的更新值，420。
更新的數值被用來更新解碼的圖像的象素值，430。可以發生一個延時，以使每個圖像塊的更新的數值能夠被確定，435。然後，步驟405到435可以重複進行給定次數的迭代，以進一步改進解碼的圖像，440。
圖4的方法使用對於使用級聯結構的、簡單的解碼器硬體實施方案作出的固定數目的迭代，如圖5所示。延時可被包括在系統中，以允許在E(X)被重新計算之前有時間更新相鄰的塊。然而，不必嚴格遵循預先規定的迭代次數。迭代可以在任何時間停止而不受傷害。而且，如果沒有相鄰塊的錯誤，迭代則無效。
如圖5所示，輸入的圖像數據被邏輯510接收，它以掃描次序接收圖像和重建變換塊。重建的圖像被發送到邏輯520，它解碼每個NxN塊。另外，邏輯530檢測出現在NxN塊中的錯誤。該塊被邏輯540接收，它確定對於變換塊的更新的數值。延時邏輯540使得在進一步改進NxN塊的更新的數值之前能夠有時間解碼相鄰的塊。然後，邏輯550通過使用來自相鄰的塊的數據來更新變換塊的數值，以增強解析度。延時邏輯560使得能夠有時間解碼相鄰的塊，以及邏輯570再次更新NxN塊的數值，然後輸出圖像數據。
硬體概況信號編碼、傳輸和以後的解碼由圖6所示的設備執行。信號600是被輸入到編碼器610的數據流。編碼器610遵循壓縮算法，諸如自適應動態範圍編碼(」ADRC」)壓縮算法。在指派給本發明的代理人的、題目為「High Efficiency Coding Apparatus(高效率編碼設備)」的美國專利No.4,722,003和題目為「High Efficiency CodingApparatus(高效率編碼設備)」的美國專利No.4,845,560中揭示了ADRC編碼和緩衝的進一步的說明。編碼器產生分組1，...，N，用於沿著傳輸媒體635傳輸。解碼器620接收來自傳輸媒體635的分組1，...，N，以及產生信號630。信號630是信號600的重建。
編碼器610和解碼器620可以以各種方式被實施，以執行編碼和解碼功能。在一個實施例中，編碼器610和/或解碼器620以被存儲在媒體和由通用或專門配置的計算機系統執行的軟體來實施，該計算機系統典型地包括中央處理機，存儲器，和一個或多個輸入/輸出設備以及共同處理器。替換地，編碼器610和/或解碼器620可以以執行這些功能的硬體邏輯電路被實施。另外，編碼器610和/或解碼器620可以以硬體、軟體或固件的組合被實施。而且，圖5所示的解碼器可被使用來實施圖6所示的解碼器。
在一個實施例中，信號600是具有視頻幀序列的彩色視頻圖像，每個幀包括隔行掃描視頻系統的圖像的信息表示。每個幀由兩個場組成，其中一個場包含圖像的偶數行的數據，以及另一個場包含圖像的奇數行的數據。數據包括象素值，它們描述圖像中相應的位置的彩色分量。例如，在一個實施例中，彩色分量包含亮度信號Y，以及色差信號U和V。容易看到，本發明的處理過程可以施加到不同於隔行掃描視頻信號的信號上。而且，可以看到，本發明並不限於在Y，U，V彩色空間中的實施方案，而是可應用到以其他彩色空間表示的圖像。
回過來參考圖6，編碼器610劃分Y、U和V信號，以及按照壓縮算法獨立地處理每組信號。為了簡化討論，以下的說明描述Y信號的處理；然而，編碼步驟可以被複製用於U和V信號。
在一個實施例中，編碼器610把在信號600的兩個隨後的幀(這裡，稱為一對幀)上的Y信號編組為三維塊(」3D」塊)。對於一個實施例，3D塊是通過從在給定的一對幀上的同一個局部化區域中編組兩個2D塊而生成的，其中二維(2D)塊是通過在一個幀或一個場內編組局部化的象素而產生的。可以預期，這裡描述的處理過程可被應用到不同的塊的結構。在下面的、圖像到塊的變換的一節中將進一步描述信號的編組。
在一個實施例中，單個幀包括5280個2D塊，其中每個2D塊包括64個象素。因此，一對幀包括5280個3D塊，因為來自第一幀的一個2D塊和來自隨後的幀的一個2D塊被合併形成一個3D塊。
圖像到塊的變換被使用來估值E(X)的、圖1的子樣本塊結構可以通過把圖像的子樣本變換成塊結構而被形成，如圖7和8所示。圖像到塊的變換是為了把一個數據幀式數據幀的組分別劃分成2D塊或3D塊而執行的。而且，圖像到塊的變換包括使用互補的和/或互鎖的圖形來劃分一個幀中的象素，以便在傳輸丟失期間容易實行堅固的錯誤校正。
圖7顯示對於圖像的示例性16象素部分的圖像到塊的變換處理過程的一個實施例。圖像700包括形成單個幀的局部化區域的16象素。圖像700中的每個象素由強度值來表示。例如，在圖像的左上方的象素具有等於100的強度值，而在圖像的右下方的象素具有等於10的強度值。
在一個實施例中，來自圖像700的不同的區域的象素被用來產生2D塊710、720、730和740。2D塊710、720、730和740被編碼，被重新排列(如下面說明的)和被發送。在發送後，2D塊710、720、730和740被重新組合，以及被使用來形成圖像750。圖像750是圖像700的重建。
為了確保圖像700的精確的代表，而不管可能的傳輸丟失，圖7是互鎖的互補的塊結構，它的一個實施例顯示於圖7，該結構被使用來重建圖像750。具體地，被用來產生2D塊710、720、730和740的象素選擇保證，互補的和/或互鎖的圖形，在圖像750被重建時，被使用來重新組合這些塊。因此，當特定的2D塊的屬性在傳輸期間丟失時，圖像750的鄰接的段在重建期間不失真。
圖1和圖8顯示其他的互補的和互鎖的2D塊結構。也可以利用其他結構。類似於圖7，這些2D塊結構(如圖8所示的)保證周圍的2D塊是存在的，而不管對於給定的2D塊的傳輸丟失。然而，圖形810a，810b，和810d在象素變換到以後的2D塊期間使用水平和/或垂直移位。水平移位描述在開始新的2D塊邊界之前，把傾斜結構沿水平方向移位預定數目的象素。垂直移位描述在開始新的2D塊邊界之前，把傾斜結構沿垂直方向移位預定數目的象素。在本申請中，可只應用水平移位，可只應用垂直移位，或可應用水平和垂直移位的組合。
圖形810a顯示被用於圖像到塊的變換的螺旋線圖形。在圖像到塊的變換處理過程期間，螺旋線圖形跟隨在水平移位後，以產生以後的2D塊。圖形810a和810d顯示互補的圖形，其中象素選擇通過水平和垂直移位而移動，以便在圖像到塊的變換處理過程期間產生以後的2D塊。另外，圖形810b和810d顯示對2D塊之間象素選擇的交替偏移。圖形810c顯示使用象素的不規則採樣，以產生用於圖像到塊的變換的2D塊。因此，如果象素被變換到2D塊僅僅一次，圖像到塊的變換可採用任何變換結構。
圖7和圖8描述用於2D塊生成的圖像到塊的變換。很容易看到，這個處理可應用於3D塊。如上所述，3D塊的生成遵循與2D塊相同的邊界定義，然而，邊界劃分被擴展到以後的幀，導致3D塊。具體地，通過聚集被用來規定第一幀中的一個2D塊的象素連同來自以後的幀中的一個2D塊的象素，產生一個3D塊。在一個實施例中，來自第一幀的2D塊的象素和來自以後的幀的2D塊的象素都是來自完全相同的位置。
本發明的這些和其他實施例可以按照這些教導被實現，以及應當看到，可以在這些教導中作出各種修正和改變，而不背離本發明的廣義的精神和範圍。因此，本說明和附圖被看作為說明性的，而不是限制性的，以及本發明僅僅依據權利要求來限定。
權利要求
1.一種方法，包括接收變換域係數的塊和相應的錯誤標記；估值對於每個錯誤的係數的初始值；通過使用其中有錯誤的初始的係數值，解碼該塊的象素值；更新每個錯誤的係數的數值；以及通過使用更新的係數值，更新該塊的象素值。
2.權利要求1的方法，其中估值初始值還包括估值每個錯誤係數的預期的值。
3.權利要求1的方法，其中解碼象素值還包括把變換域係數應用到變換。
4.權利要求1的方法，其中更新每個錯誤的係數的數值還包括使得最小平方公式最小化。
5.權利要求1的方法，還包括顯示更新的象素值。
6.一種設備，包括用於接收變換域係數的塊和相應的錯誤標記的裝置；用於估值對於每個錯誤的係數的初始值的裝置；用於通過使用其中有錯誤的初始的係數值來解碼該塊的象素值的裝置；用於更新每個錯誤的係數的數值的裝置；以及用於通過使用更新的係數值來更新該塊的象素值的裝置。
7.權利要求6的設備，其中所述用於估值初始值的裝置還包括用於估值每個錯誤係數的預期的值的裝置。
8.權利要求6的設備，其中所述用於解碼象素值的裝置還包括用於把變換域係數應用到變換的裝置。
9.權利要求6的設備，其中所述用於解碼象素值的裝置還包括用於把變革換域係數應用到變換的裝置。
10.權利要求6的設備還包括用於顯示更新的象素值的裝置。
11.具有指令的計算機可讀媒體，該指令在由處理系統執行時使得系統接收變換域係數的塊和相應的錯誤標記；估值對於每個錯誤的係數的初始值；通過使用其中有錯誤的初始的係數值，解碼該塊的象素值；更新每個錯誤的係數的數值；以及通過使用更新的係數值，更新該塊的象素值。
12.權利要求11的媒體，其中被執行的指令還使得系統通過估值每個錯誤係數的預期的值而估值初始值。
13.權利要求11的媒體，其中被執行的指令還使得系統通過把變換域係數應用到變換而解碼象素值。
14.權利要求11的媒體，其中被執行的指令還使得系統通過使得最小平方公式最小化而更新每個錯誤的係數的數值。
15.權利要求11的媒體，其中被執行的指令還使得系統顯示更新的象素值。
全文摘要
揭示了用于堅固的時域塊解碼的方法。在一個實施例中，該方法包括接收變換域係數的塊(405)，檢測在一個或一個以上的變換域係數中的錯誤，從變換域係數解碼象素數值(415)，確定對於每個有錯誤的象素值的第一估值(420)，以及更新解碼的象素值(425)。
文檔編號H03M7/30GK1502172SQ01822333
公開日2004年6月2日 申請日期2001年10月25日 優先權日2000年11月28日
發明者J·J·卡裡, J J 卡裡 申請人:索尼電子有限公司