基於易碎數字水印技術的誤碼檢測方法及其應用的製作方法
2023-09-22 05:18:30 2
專利名稱：基於易碎數字水印技術的誤碼檢測方法及其應用的製作方法
技術領域：
本發明屬於存在隨機誤碼的視頻圖象通信技術領域，涉及易碎數字水印技術和基於該技術的誤碼檢測方法。
由於國際標準採用了如
圖1所示的混合編碼方法，其熵編碼技術必然帶來碼流對隨機誤碼很敏感，如果碼流中有一個隨機誤碼產生，會引起當前幀一連串的解碼錯誤。更有甚者，當前幀的誤碼由於運動估計和運動補償一連引起後續幀的連串錯誤，導致解碼視頻圖象質量急劇下降。
視頻碼流每個單元的結構基本上都是類似的，首先是頭信息，然後是運動信息等其它的信息，最後是變換係數的編碼。
通常採用的誤碼檢測方法是基於語法語義的誤碼檢測方法，這種方法的缺點在於，通常的錯誤檢出率只有20％～40％，而錯誤正確定位率只有0％～20％。所謂錯誤檢出率，是指被檢測出有誤碼的條帶，即slice的數目與實際被誤碼影響的條帶數目的比值。所謂條帶，它是由連續的宏塊組成。所謂的宏塊，是由若干個相鄰的圖象塊組成，比如由上述的8×8圖象塊組成。所謂錯誤正確定位率，是指在誤碼發生的宏塊立即檢測到錯誤這樣的條帶數目與實際受誤碼影響的條帶數目的比值。
本發明人在此之前發明了並於2001年4月在漢城舉行的Picture CodingSymposium′2001上首次發表了用基於易碎數字水印的誤碼檢測方法，用以檢測視頻混合編碼方法中8×8餘弦變換交流係數中的隨機誤碼，其方法由圖2所示。圖2中的信源編碼模塊是指由圖1所示的混合編碼；其步驟包括1)在編碼端，視頻圖象輸入至信源編碼模塊進行壓縮編碼，在進行壓縮編碼的過程中加入易碎數字水印；2)其輸出碼流經過信道編碼模塊進行糾錯保護；再經過信道的傳輸過程後，接收到的碼流再送到解碼端進行信道解碼和信源解碼；3)在解碼端，對於未被信道解碼糾正的誤碼，首先用傳統的語法語義誤碼檢測方法進行檢測；4)然後用易碎水印誤碼檢測方法進行檢測易碎水印檢測將給出隨機誤碼發生的位置，從而為其後的圖象後處理提供了精確的依據；5)當語法語義檢測和水印檢測都沒有發現錯誤的時候，直接輸出圖像；6)當語法語義檢測或者水印檢測發現存在錯誤的時候，進行後處理，然後再輸出圖像；後處理可以是誤碼隱藏，幀凍結和幀丟棄等。
圖2中所有由N所引的支路為可選路徑。兩個虛線框分別代表信源的編碼端和信源的解碼端，在下文中簡稱為編碼端和解碼端。
上述的基於易碎數字水印誤碼檢測方法的目的是用來檢測8×8餘弦變換中交流係數的誤碼。所謂8×8餘弦變換，是指對一個8×8的圖象塊或者圖象塊的殘差f(x，y)進行下述的數學變換 公式(1)變換後得到的F(u，v)在也是個8×8的矩陣，其中矩陣最左上角的係數F(0，0)被稱為直流係數，其它的係數被稱為交流係數。8×8的變換係數矩陣可以由圖4表示，序號為0的係數是直流係數，即公式(1)中的f(0，0)；序號從1到63的係數為交流係數，隨著序號的增大，係數所代表的頻率隨之增加。
上述編碼解碼過程中，易碎數字水印的加入和檢測方法有兩種FZW，即Force ZeroWatermark和FEW，即Force Even Watermark。FEW是將8×8變換係數從某一序號起而後所有的係數值強制為0。FEW是將是將8×8變換係數從某一序號起而後所有的係數值強制為偶數，如果原係數值為偶數，則不用處理；如果原係數值是奇數，把它變為絕對值較小的相鄰偶數。變化係數矩陣與掃描次序如圖3所示，掃描序號為從圖中左上角的0開始，以之字型順序掃描，直到右下角的63。
該水印檢測技術的局限性在於，1.它只適應於基於8×8變換的視頻標準，而不適用於新的H.26L、H.264等使用基於4×4變換的視頻標準；2.它主要檢測出現在DCT係數上的誤碼，沒有涉及對於DCT係數前面的以變長編碼形式出現的頭信息，運動信息等部分的誤碼檢測並不；因此其實際應用受到局限。
3.它對視頻圖像造成的質量損失較大。
本發明提出的一種基於易碎數字水印技術的誤碼檢測方法，包括編碼端處理方法和解碼端檢測方法，包括以下步驟(1)在編碼端，對視頻圖象按混合編碼方法進行變換編碼/量化後，對變換係數加入易碎數字水印；(2)對加入數字水印的碼流進行信道編碼，將信道編碼後的碼流經過信道送入解碼端；(3)在解碼端，在對碼流進行熵解碼和反量化反變換編碼後，檢測水印的完整性。如果水印被損壞，則認為當前圖象塊有誤碼存在；其特徵在於，所說的步驟(1)中加入易碎數字水印的方法，是改變變換係數的高頻分量的值來滿足預先設定的約束關係(即水印的設計)；所說的步驟(3)中檢測水印的完整性的方法，是檢測變換係數的高頻分量的值，是否符合所說的預先設定的約束關係。
在上述的編碼端中所說的變換編碼，是指數字圖像壓縮當中使用的數學變換，例如離散餘弦變換、哈德馬變換等。
(1)H.26L標準或H.264標準，採用了4×4的離散餘弦變換和4×4的哈德馬(Hadamard)變換；(2)MPEG-1，MPEG-2，MPEG-4，H.261，H.263等標準，採用了8×8的離散餘弦變換；(3)非國際標準的視頻編碼方法，可能採用自定義大小離散餘弦變換或者自定義大小的哈德馬變換或者其它變換。所說的預先設定的約束關係可為以下幾種a.強制設定變換係數排列的最後n個係數(高頻分量)的值為0，該水印被稱為FLZW，即Force Last Zero Watermark。
b.強制設定變換係數排列的最後n個係數(高頻分量)的值為偶數，如果最後n個係數為奇數，則將它變為絕對值較小的相鄰偶數，該水印被稱為FLEW，即Force LastEven Watermark。
c.強制設定變換係數排列的最後n個係數(高頻分量)為0或者偶數，根據當前塊的性質而定。如果當前塊是幀內編碼塊，即編碼時不依賴其它幀信息的塊，則強制最後n個係數為偶數；如果當前塊是幀間編碼塊，即編碼時依賴其它幀信息的塊，則強制最後n個係數為0。強制方法和前述FLZW和FLEW相同。該水印被稱為FLW，即ForceLast Watermark。
d.強制設定變換係數排列的最後n個係數(高頻分量)為奇數或0；如果最後n個係數為非0偶數，則將它變為絕對值較小的相鄰奇數。
e.強制設定變換係數排列的最後n個係數(高頻分量)為奇數；如果最後n個係數為偶數，則將它變為絕對值較小的相鄰奇數，0變成1。
f.強制設定變換係數排列的最後一個係數(高頻分量)，使得所有係數的和為偶數，即變換塊內的偶校驗，如果原來係數和不是偶數，則將最後一個係數變為絕對值較小的相鄰的整數，0則變為1。
g.強制設定變換係數排列的最後一個係數(高頻分量)，使得所有係數的和為奇數，即變換塊內的奇校驗，如果原來係數和不是奇數，則將最後一個係數變為絕對值較小的相鄰的整數，0則變為1。
h.上述幾種數字水印的某種方式的組合，類似於c是a和b的一種組合。
i.利用變換係數排列的最後一個係數(高頻分量)對前一塊做奇/偶校驗。
j.利用變換係數排列的幾種約束關係(高頻分量)對本宏塊的運動矢量做奇/偶校驗。
k.利用變換係數排列的最後一個係數(高頻分量)對前一個宏塊的所有比特做奇/偶校驗。
l.利用變換係數排列的最後一個係數(高頻分量)對當前宏塊到當前塊之前的所有比特做奇/偶校驗。
n.利用變換係數排列的最後n個係數(高頻分量)進行上述j到m四種校驗的某種組合，即利用不同的係數對不同的內容做校驗，例如最後一個係數對前一塊做奇/偶校驗，倒數第二個係數對本宏塊的運動矢量做奇/偶校驗。
上述各種約束關係，當應用於4×4變換的視頻標準時，n＜5；當應用於8×8變換的視頻標準時，n＜20。
本發明所說的易碎數字水印，是指在母信息，即視頻圖象中加入的一種特殊的子信息，在本發明中為對變換係數的某種強制約定關係。當母信息受到破壞或者修改時，子信息幾乎肯定受到破壞；本發明所設計的易碎數字水印主要是利用、修改變換後的高頻變換係數，以儘可能小的圖象質量損失換來儘可能大的誤碼檢測能力；對於H.26L和H.264標準，傾向於使用前面所說的強制約定關係中只改變變換係數排列最後一個係數的方法，儘可能減小視頻圖象的失真；對於其它視頻編碼標準，前面所說的強制約定關係中只改變變換係數排列最後多個係數的方法，以提高水印的誤碼檢出率和錯誤正確定位率；對於高碼率的情況，傾向於使用前面所說的強制約定關係中，強制為偶數或奇數，而不是強制為0的水印。
所述的在解碼端檢驗水印完整性的方法，是檢測變換係數的高頻分量的值，是否符合所說的預先設定的約束關係。例如，
(1)對於約定關係為強制為0，偶數，奇數的水印，直接檢查相應係數的值是否為0，偶數或奇數；(2)對於約定關係為奇偶校驗性的水印，檢查校驗值是否正確；(3)對於約定關係為其它類型的水印，根據水印的設計來檢查水印是否完整。
採用上述這些方法可應用於檢測出現在頭信息、運動信息、變換係數等所有編碼單元的誤碼，只要它們是按變長編碼的形式進行編碼的。本發明的特點1.它不僅適用於基於8×8變換的視頻標準，也適用於新的H.26L、H.264等使用基於4×4變換的視頻標準；2.它對出現在DCT係數上的誤碼和頭信息，運動信息上的誤碼的檢測都很有效，大大提高誤碼檢出率和錯誤正確定位率；3.它對視頻圖像造成的質量損失較小；4.可以適用於各種使用混合編碼的視頻通信系統。
圖2為已有的一種基於易碎水印的誤碼檢測方法框圖。
圖3為傳統的8×8變換係數矩陣與zigzag掃描方法示意圖。
圖4為H.26L變換係數矩陣與兩種不同的zigzag掃描方法示意圖。
圖5為採用本發明方法與傳統方法錯誤正確定位率的對比示意圖。
1)水印的設計H.26L和H.264中的變換係數矩陣的排列如圖4，其中左上角的係數是直流係數，也叫做DC係數，序號為0；其它的係數是交流係數，也叫做AC係數。圖中的數字或字母表示係數的排列順序，序號越小表示該係數所代表的頻率越低，大序號的係數代表高頻分量。
本發明採用圖2的方法框圖，圖2中的信源編碼模塊由圖1所示的混合編碼方法來代替。而圖1所示的變換編碼/量化模塊的輸出將呈現出由圖4所示的變換係數矩陣。對變換係數矩陣進行掃描方式有單掃描和雙掃描兩種。單掃描如圖4的左圖所示，交流係數的序號從1到15；雙掃描如圖4的右圖所示，交流係數的序號分別從A到H和從1到7。本發明的易碎數字水印設計是改變變換係數的高頻分量的方法，但是它並不影響人眼的主觀視覺效果。
本發明中的易碎數字水印設計，以下簡稱水印，是採用改變變換係數的高頻分量的方法實現的，水印設計的實施例主要有以下幾種以下所謂係數即變換係數，適用於如圖4的掃描方式。
a.強制掃描的最後一個係數的值為0，如果是雙掃描，7號係數和H號係數都被強制為0。該水印被稱為FLZW，即Force Last Zero Watermark，強制最後係數為0的數字水印。
b.強制掃描的最後一個係數為偶數，如果是雙掃描，7號係數和H號係數都被強制為偶數；如果最後一個係數為奇數，則將它變為與其最相近的偶數，向0靠攏。該水印被稱為FLEW，即Force Last Even Watermark，強制最後係數為0的數字水印。
c.強制掃描的最後一個係數為0或者偶數，根據當前塊的性質而定。如果當前塊是幀內編碼塊，即編碼時不依賴其它幀信息的塊，則強制最後一個係數為偶數；如果當前塊是幀間編碼塊，即編碼時依賴其它幀信息的塊，則強制最後一個係數為0。強制方法和前述FLZW和FLEW類似。該水印被稱為FLW，即Force Last Watermark，強制最後係數的數字水印。
d.強制掃描的最後一個係數為奇數或0，如果是雙掃描，7號係數和H號係數都被強制為奇數或0；如果最後一個係數為非0偶數，則將它變為與其最相近的奇數，向0靠攏。
e.強制掃描的最後一個係數為奇數，如果是雙掃描，7號係數和H號係數都被強制為奇數；如果最後一個係數為偶數，則將它變為與其最相近的奇數，向0靠攏，0變成1。
f.類似上面的四種情況，只是強制掃描的最後n個係數做相應的變化。
g.強制改變掃描的最後一個係數，使得整個4×4塊的所有係數的和為偶數，即變換塊內的偶校驗，如果原來係數和不是偶數，則將最後一個係數變為相鄰的整數，向0靠攏，0則變為1。
h.強制改變掃描的最後一個係數，使得整個4×4塊的所有係數的和為奇數，即變換塊內的奇校驗，如果原來係數和不是奇數，則將最後一個係數變為相鄰的整數，向0靠攏，0則變為1。
i.採用上述幾種數字水印的某種方式的組合，類似於c是a和b的一種組合。
j.利用掃描的最後一個係數對前一個4×4塊做奇/偶校驗。
k.利用掃描的最後一個係數對本宏塊的運動矢量做奇/偶校驗。
l.利用掃描的最後一個係數對前一個宏塊的所有比特做奇/偶校驗。
m.利用掃描的最後一個係數對當前宏塊到當前塊之前的所有比特做奇/偶校驗。
n.利用掃描的最後n個係數進行上述a到d四種校驗的某種組合，即利用不同的係數對不同的內容做校驗，例如最後一個係數對前一個4×4塊做奇/偶校驗，倒數第二個係數對本宏塊的運動矢量做奇/偶校驗。
當應用於4×4變換的視頻標準時可為n＜5；當應用於8×8變換的視頻標準時可為n＜20。
本方法可以應用於檢測出現在頭信息、運動信息、變換係數等所有編碼單元的誤碼，只要它們是按變長編碼的形式進行編碼的。
2)H.26L中水印的使用和MPEG-1，MPEG-2，H.261，H.263視頻壓縮標準相比，H.26L有以下幾點大的不同a.變換採用了4×4大小的塊，並有兩種不同的zigzag掃描方式，見圖3b.對頭信息也進行了熵編碼考慮到a，在DCT變換之後，對每個4×4的塊存在兩種具體的掃描方式，如圖3所示，(a)是單掃描，掃描的順序從0到15；(b)是雙掃描，掃描的順序是從0到7，從A到H。這使得每次掃描得到的係數數目是8或者16，而不是傳統8×8變換的64。這必須在水印的使用上多加考慮。
考慮到b，由於頭信息也進行了熵編碼，當頭信息發生誤碼錯誤時，就更不容易被基於語法語義檢測的方法所檢測到，這時，基於易碎數字水印的檢測方法就顯得更加重要。
在H.26L中，由於掃描得到的係數為8或者16個，為了儘可能減小使用水印造成的對視頻圖象質量的損失，本發明傾向於僅僅修改最後一個係數來加入水印。為了儘可能不增加編碼的碼率，本發明傾向於使用FLZW、FLEW和FLW三個方案。
3)其它視頻標準中水印的使用在其它視頻標準中，由於掃描得到的係數為64個，為了在視頻圖象損失較小的情況下提高水印檢測的效果，本發明傾向於僅僅修改最後n個係數來加入水印。通常n＜20。
4)在非標準視頻編碼方法中的使用在非標準視頻編碼方法中，仍然可以採用本發明的方法，在高頻變換係數上加入易碎數字水印，用以檢測此高頻係數之前變長編碼，如Huffman編碼和算術編碼，中的誤碼。本發明的特點及效果1.對H.26L的實驗實驗a.在實驗條件為量化參數QP＝30，信道誤碼BER＝1e-4，圖象格式為CIF，測試序列為foreman，每5幀插入一個I幀；使用FLZW數字水印
實驗b.實驗條件為量化參數QP＝15，信道誤碼BER＝1e-4，圖象格式為CIF，測試序列為foreman，每5幀插入一個I幀；使用FLZW數字水印
實驗c.實驗條件為量化參數QP＝5，信道誤碼BER＝1e-4，圖象格式為CIF，測試序列為foreman，每5幀插入一個I幀；使用FLZW數字水印
2.對其它視頻壓縮標準的實驗，以H.263為例實驗a.實驗條件為量化參數QP＝10，信道誤碼BER＝1e-3，圖象格式為CIF，測試序列為Akiyo，每100幀插入一個I幀；限定最後27個係數為偶數
實驗b.實驗條件為量化參數QP＝10，信道誤碼BER＝1e-4，圖象格式為CIF，測試序列為Mother and Daughter，每100幀插入一個I幀；限定最後27個係數為偶數
上述實驗從多個角度顯示了，本發明在基本保持輸出碼率不變和加入水印導致的失真較小的情況下，誤碼檢出率和錯誤正確定位率都比傳統的語法語義誤碼檢測方法有大的提高。
3.錯誤正確定位率的圖示如圖5為錯誤正確定位率的圖示。此圖為對H.26L進行的實驗，實驗條件為量化參數QP＝15，信道誤碼BER＝1e-4，圖象格式為CIF，測試序列為foreman，每5幀插入一個I幀；使用FLZW數字水印；圖中深色條塊為使用傳統檢測方法的結果，淺色條塊為使用本方法的結果。縱坐標為檢測到錯誤宏塊的個數。圖5中橫坐標的數字等於0表示正確檢測到誤碼發生的宏塊。數字等於1表示在實際誤碼發生的宏塊的下一相鄰宏塊檢測到誤碼，數字等於n表示在實際誤碼發生的宏塊後第n個宏塊檢測到誤碼。從圖中明顯可以看出本發明的檢測方法對比傳統語法語義檢測方法在錯誤正確定位率上有的較大的優勢。
權利要求
1.一種基於易碎數字水印技術的誤碼檢測方法，包括編碼端處理方法和解碼端檢測方法，包括以下步驟(1)在編碼端，對視頻圖象按混合編碼方法進行變換編碼/量化後，對變換係數加入易碎數字水印；(2)對加入數字水印的碼流進行信道編碼，將信道編碼後的碼流經過信道送入解碼端；(3)在解碼端，在對碼流進行熵解碼和反量化反變換編碼後，檢測水印的完整性。如果水印被損壞，則認為當前圖象塊有誤碼存在；其特徵在於，所說的步驟(1)中加入易碎數字水印的方法，是改變變換係數的高頻分量的值來滿足預先設定的約束關係；所說的步驟(3)中檢測水印的完整性的方法，是檢測變換係數的高頻分量的值，是否符合所說的預先設定的約束關係。
2.如權利要求1所述的誤碼檢測方法，其特徵在於，所說的預先設定的約束關係為強制設定變換係數排列的最後n個係數的值為0或者奇數或者偶數，當強制為偶數時，如果最後n個係數中的值為奇數的，則將它變為絕對值較小的相鄰偶數。當強制為奇數時，如果最後n個係數中的值為偶數的，則將它變為絕對值較小的相鄰奇數，0變為1。
3.如權利要求1所述的誤碼檢測方法，其特徵在於，所說的預先設定的約束關係為如果當前塊是幀內編碼塊，則強制最後n個係數為偶數；如果當前塊是幀間編碼塊，則強制最後n個係數為0。
4.如權利要求1所述的誤碼檢測方法，其特徵在於，所說的預先設定的約束關係為強制設定變換係數排列的最後一個係數，使得所有係數的和為偶數或者奇數，如果原來係數和不是偶數或者奇數，則將最後一個係數變為絕對值較小的相鄰的整數，0則變為1。
5.如權利要求1所述的誤碼檢測方法，其特徵在於，所說的預先設定的約束關係為利用變換係數排列的最後一個係數對前一塊做奇/偶校驗。
6.如權利要求1所述的誤碼檢測方法，其特徵在於，所說的預先設定的約束關係為利用變換係數排列的最後一個係數對本宏塊的運動矢量做奇/偶校驗。
7.如權利要求1所述的誤碼檢測方法，其特徵在於，所說的預先設定的約束關係為利用變換係數排列的最後一個係數對前一個宏塊的所有比特做奇/偶校驗。
8.如權利要求1所述的誤碼檢測方法，其特徵在於，所說的預先設定的約束關係為利用變換係數排列的最後一個係數對當前宏塊到當前塊之前的所有比特做奇/偶校驗。
9.如權利要求2或3所述的誤碼檢測方法，其特徵在於，當應用於4×4變換的視頻標準時，n＜5；當應用於8×8變換的視頻標準時，n＜20。
10.一種採用如權利要求1、2、3、4、5、6、7、8或9所述的誤碼檢測方法的應用，其特徵在於，所說的方法可以應用於檢測出現在頭信息、運動信息、變換係數等所有編碼單元的誤碼。
全文摘要
本發明屬於存在隨機誤碼的視頻圖象通信技術領域,涉及基於易碎數字水印技術的誤碼檢測方法及其應用,其方法為:在編碼端加入易碎數字水印的方法,是改變變換係數的高頻分量的值來滿足預先設定的約束關係;在解碼端檢測水印的完整性的方法,是檢測變換係數的高頻分量的值,是否符合所說的預先設定的約束關係。本方法可以應用於檢測出現在頭信息、運動信息、變換係數等所有編碼單元的誤碼。本發明使得解碼端能夠及時的發現誤碼的產生位置,並且大大提高誤碼檢出率和錯誤正確定位率,且對視頻圖像造成的質量損失較小;為進一步減少誤碼對視頻圖象質量的影響提供後處理的依據。
文檔編號H04N7/24GK1390058SQ0212425
公開日2003年1月8日 申請日期2002年7月12日 優先權日2002年7月12日
發明者何芸, 周鵬 申請人:清華大學