一種視頻解碼器的時域差錯掩蓋方法

2023-09-22 20:18:40 3

專利名稱：：一種視頻解碼器的時域差錯掩蓋方法
技術領域：
：本發明涉及視頻傳輸差錯恢復領域，更具體地涉及一種視頻解碼器的時域差錯掩蓋方法。
背景技術：
：目前絕大多數的有線和無線通信網絡都不能提供可靠的服務質量保證，而釆用預測編碼技術的視頻壓縮標準產生的碼流對傳輸信道差錯極其敏感，突發比特錯誤、數據丟包等都將嚴重地影響視頻解碼的圖像質量。差錯掩蓋技術利用視頻信號的相關性恢復受損視頻圖像，能有效抑制視頻質量下降,而不需增加額外的編碼比特和傳輸時延，是視頻差錯恢復的關鍵技術之一。對幀間編碼受損區域，現有的差錯掩蓋技術主要採用時域差錯掩蓋，包括"運動向量估算，，和"補償替代，，兩步。如OBMC(overlapblockmotioncompensation,重疊塊運動補償)技術，用多個補償宏塊的組合替代受損宏塊；邊界匹配BMA(boundarymatchingalgorithm)或邊框匹配SMA(sidematchingalgorithm)為每個受損宏塊或宏塊中的每個8xg子宏塊估計一個最佳運動向量然後進行補償替代。上述算法適合物體整體平移或平滑運動的視頻圖像，但視頻圖像是運動劇烈或存在多物體複雜運動時，掩蓋效果很差。
發明內容本發明所要解決的技術問題是提供一種視頻解碼器的時域差錯掩蓋方法，實現視頻圖像是運動劇烈或存在多物體複雜運動時，對宏塊多劃分模式和運動向量的準確估計，顯著改善掩蓋性能。為了解決上述問題，本發明提供了一種視頻解碼器的時域差錯掩蓋方法，包括以下步驟，a、確定受損宏塊的候選運動向量集；b、按指定劃分模式劃分所述受損宏塊得到受損劃分塊，確定所述受損劃分塊的最優運動向量；c、判斷所述受損劃分塊是否滿足指定的分割條件，如果有至少一個受損劃分塊滿足分割條件，轉入步驟d，否則，轉入步驟e;d、對滿足分割條件的受損劃分塊，判斷所述受損劃分塊是否是以指定的最小劃分模式劃分，如果不是，使用另一指定劃分模式繼續劃分所述受損劃分塊，確定所述受損劃分塊的最優運動向量，返回步驟c,否則，轉入步驟e;e、各受損劃分塊用相應的運動補償塊替代。進一步地，上述方法還可具有以下特點，所述步驟a之前，還包括步驟，對所述受損宏塊進行預掩蓋。進一步地，上述方法還可具有以下特點，所述步驟e中，進一步包含步驟，計算所述受損劃分塊與對應的運動補償塊的多權值邊框匹配誤差均值，如果該多權值邊框匹配誤差均值小於閾值72,則該受損宏塊掩蓋完畢，否貝'J,以該受損劃分塊對應的補償運動向量為搜索中心，進行子像素精度的運動向量快速搜索得到最佳運動向量，將該最佳運動向量加入所述候選運動向量集，並用新的對應的運動補償塊替代受損的劃分塊。進一步地，上述方法還可具有以下特點，所述候選運動向量集包括所述塊上下左右相鄰宏塊的可用運動向量。進一步地，上述方法還可具有以下特點，步驟b中，所述受損宏塊指定劃分沖莫式為16x16、16x8、8xi6、8x8、8x4、4x8和4x4中的一種或多種。進一步地，上述方法還可具有以下特點，所述最小劃分模式為4x4。進一步地，上述方法還可具有以下特點，所述步驟d中，當使用另一指定劃分模式繼續劃分所述受損劃分塊時，該劃分模式下的受損劃分塊的像素數目不大於前一次劃分使用的劃分模式下的受損劃分塊。進一步地，上述方法還可具有以下特點，當所述受損宏塊有多個所述受損劃分塊時，每個所述受損劃分塊的運動向量估算需要按順序進行，其原則為從左到右，從外圍到中間，從大分割到小分割，依次對每個所述受損劃分塊利用多權值邊框匹配從所述候選運動向量集中確定所述最優運動向量。進一步地，上述方法還可具有以下特點，所述最優運動向量為所述候選運動向量集中所述受損劃分塊與其對應的運動補償塊的多權值邊框匹配誤差均值最小的運動向量。進一步地，上述方法還可具有以下特點，步驟C中所述分割條件根據所述受損劃分塊和對應的運動補償塊的外圍邊框包含的不匹配區域個數和/或不匹配像素個數確定，當所損劃分塊的不匹配區域個數和/或不匹配像素個數大於指定閾值時，則滿足分割條件。與現有技術相比，本發明採用了視頻解碼器的時域差錯掩蓋方法。該方法是基於多種塊劃分模式的自適應多步時域差錯掩蓋算法，釆用預掩蓋和逐步求精的方法，可以從16x16劃分模式依次到4x4劃分模式，在每個劃分級利用多權值邊框匹配和快速十字搜索方法評估出最優運動向量，並對最優運動向量進行子像素精度搜索，得到子像素精度的最佳運動向量，從而實現了在視頻圖像運動劇烈或存在多物體複雜運動時，對宏塊多劃分模式和運動向量的準確估計，顯著改善了掩蓋性能。圖1是子宏塊的外推運動向量的示意圖2是邊框匹配示意圖3是不匹配像素及不匹配區域的示意圖4是本發明具體實施方式的當前幀出錯示意圖5是本發明具體實施方式的受損子宏塊的外推運動向量的示意圖6是本發明具體實施方式的邊框匹配示意圖7是本發明具體實施方式的受損宏塊和子宏塊分割模式估計過程的示意圖；圖8是本發明具體實施方式的自適應確定受損宏塊的最佳劃分模式並對該模式下的各劃分塊進行掩蓋的流程圖。具體實施例方式下面結合附圖和具體實施方式對本發明作詳細說明。現有的壓縮標準，採用了靈活的塊劃分模式更真實地反映了物體運動細節。在對其解碼圖像進行差錯掩蓋時若充分地利用這個重要特徵，對每個受損宏塊確定出其劃分模式並對該劃分模式下的各個受損劃分塊分別進行掩蓋，可以提高視頻差錯掩蓋性能。本發明給出了一種基於多種塊劃分的自適應多步時域差錯掩蓋方法，依據宏塊劃分模式特徵，充分利用受損宏塊的各種相關信息，採用逐步求精的思想實現對宏塊劃分模式和運動向量的較準確估計。首先對受損宏塊採用預掩蓋，對預掩蓋效果不好的宏塊採取進一步的精細劃分，例如，可以從16x16劃分模式依次進行到8x8或者4x4劃分模式，並對每個受損劃分塊進行多權值邊框匹配，確定最佳匹配的運動向量。當多權值邊框匹配誤差和分割條件同時滿足時，不再進行下一步分割；否則，一直分割直至最小劃分模式。對邊框匹配不滿足條件的受損劃分塊，以其得到的匹配運動向量為搜索中心，再進行子像素精度的運動向量快速十字搜索，得到最佳的運動向量。最後，各個受損劃分塊都用其對應的最佳運動補償塊替代，完成所有受損宏塊的掩蓋。本方法的具體步驟如下第一步，進行預掩蓋。可以採用現有的視頻解碼器的差錯掩蓋算法進行預掩蓋，例如運動向量外推的時域預掩蓋或者邊框匹配時域掩蓋，得到一個初步的視頻圖像差錯掩蓋結果。對受損宏塊計算其子宏塊預掩蓋的多權值邊框匹配值，並計算子宏塊預掩蓋平均誤差值"。若"小於闊值7;,表明掩蓋效果已經達到要求，則該宏塊掩蓋完畢。若"大於或等於閾值S,則繼續下面第二步進行自適應掩蓋。其中關於多權值邊框匹配、子宏塊預掩蓋平均誤差值"的定義和說明如下首先說明外推運動向量，如圖l所示，假設前一幀中的各子宏塊按其運動矢量(MV)方向運動到當前幀中，則當前幀中的各子宏塊可能被從前一幀運動到當前幀的多個子宏塊覆蓋，當前幀子宏塊的外推運動向量取覆蓋其像素最多的從前一幀運動到當前幀的子宏塊的運動向量。圖2是邊框匹配示意圖。受損劃分塊的多權值邊框匹配誤差均值定義為受損劃分塊與其對應的運動補償塊外圍7V層邊框像素的加權均方差D—『A+,+『A+『A其中，P表示塊的不同劃分模式，分割的大小可以為16x16、16x8、8x16、8x8、8x4、4x8、4x4像素大小之中的多種組合或全部組合，『和F表示劃分塊的像素寬度和高度，化、D。、化和2^為該劃分塊上下左右四邊的邊框匹配誤差值，^、rfl、K和K為該劃分塊上下左右四邊的邊框匹配誤差4又重值。簡單的邊框匹配誤差權重值的確定方法是設置所有邊框匹配誤差權重值為1,也可以根據邊框匹配像素的正確程度，對正確的邊框、差錯掩蓋的邊框和未掩蓋的邊框取不同的邊框匹配誤差權重值，例如分別取4、2和1等。邊框匹配誤差值A,、A、A和^的一種計算方法如下formulaseeoriginaldocumentpage8其中，W，^表示運動向量的水平和垂直分量，/(X，力表示P劃分塊左上角像素值，/(x,力表示其對應參考幀中像素值，7V表示邊框的層數。其中i為水平方向的像素坐標索引，j為垂直方向的像素坐標索引。相應地，子宏塊預掩蓋誤差平均值D定義各個劃分子塊的多權值邊框匹配誤差均值(每個子塊對應的應該是一個多權值邊框匹配誤差均值)的平均值。例如在8x8子塊情況下其中，/表示劃分子塊個數，Dp,如,)表示受損劃分子塊的多權值邊框匹配誤差均值。本步驟進一步包含如下步驟步驟sl,確定受損宏塊的子宏塊的預掩蓋運動向量；根據前一幀中的各子宏塊按其運動矢量運動到當前幀出錯子宏塊位置，分別計算覆蓋像素的數目，選取覆蓋數目最多的子宏塊的運動向量作為當前幀的子宏塊的預掩蓋運動向量，如果覆蓋像素數目計算結果為0，則將當前幀的子宏塊的預掩蓋運動向量取為0。步驟s2，根據上述得到的預掩蓋運動向量對受損宏塊E做預掩蓋；步驟s3，計算子宏塊預掩蓋平均值D,若Z)小於閾值;，表明掩蓋效果已經達到要求，則該宏塊掩蓋完畢；若D大於或等於閾值7;,則繼續下面步驟進行自適應掩蓋。其中，閾值z;為預掩蓋成功的門限值，Tl取值的確定與量化步長相關，當量化步長越大時，Tl越大。Tl取值範圍是2到32的整數。第二步，自適應確定受損宏塊的最佳劃分模式並對該模式下的各劃分塊進行掩蓋，如圖8所示，具體步驟如下步驟IIO、確定受損宏塊的候選運動向量集；候選運動向量要充分利用宏塊之間的相關性，本發明具體實施方式採用一種候選運動向量集包括受損宏塊內部上下左右均勻劃分的四個子宏塊的外推運動向量，及受損宏塊上下左右相鄰宏塊的可用運動向量。步驟120、確定受損宏塊和子宏塊繼續劃分的條件；採用自適應的方法劃分受損宏塊E,受損宏塊E可以劃分為16x8、8xl6、8x8、8x4、4x8和4x4等各種模式，受損宏塊E也可以僅僅釆用其中幾種劃分模式，例如只釆用8x8的劃分。另外，還需要確定一最小劃分模式，當劃分至最小劃分模式時，不管是否滿足繼續劃分的條件，停止劃分所述宏塊。不同劃分情況釆用不同的劃分條件，表1描述了確定宏塊和子宏塊是否繼續劃分的一種條件表1tableseeoriginaldocumentpage10表中Ta、Tb、Tc、Td分另'J表示16x16劃分、8x16(16x8)劃分、8x8劃分以及8x4(4x8)劃分下的不匹配4象素閾值，Te、Tf、Tg、Th,分別表示16x16劃分、8x16(16x8)劃分、8x8劃分以及8x4(4x8)劃分下的不匹配區域閾值。例如，Ta為lO,Tb為8，Tc為6,Td為4,Te為2，Tf為2，Tg為2，Th為l。也可以只使用不匹配像素個數和不匹配區域個數中的一個作為判斷是否繼續劃分的條件。關於不匹配區i或和不匹配j象素的i兌明如下邊界上的一個像素z'在受損劃分塊對應的運動補償塊外圍邊界上對應的像素是y，其中像素Z是當前幀上受損宏塊的外圍邊界像素或者預掩蓋後的像素，像素y'是運動補償塊的外圍邊界像素。如果/的像素值,與j'的像素值力滿足|/—力|>7;，則稱像素,'為不匹配像素。其中，T3的確定與視頻編碼用的量化步長相關，當量化步長越大時，T3越大。T3取值範圍是8到32的整數。每個匹配邊界上連續不匹配的像素構成一個不匹配區域。步驟130、自適應劃分受損宏塊和子宏塊；自適應劃分方式之一是從16x16劃分模式依次進行到4x4劃分模式，當受損宏塊有多個劃分塊時，每個受損劃分塊的運動向量估算需要按順序進行，其原則為從左到右，從外圍到中間，從大分割到小分割，依次對每個受損劃分塊利用多權值邊框匹配從候選運動向量集中評估出最優運動向量，這樣能儘可能地利用正確接收和已掩蓋宏塊的信息。最優運動向量定義候選運動向量集中受損劃分塊與其對應的運動補償塊的多權值邊框匹配誤差均值最小的運動向量。根據受損劃分塊和對應的運動補償塊的外圍邊框所包含的不匹配區域個數和不匹配像素個數確定受損宏塊是否做進一步的劃分。若受損宏塊中有至少一個受損劃分塊需要進一步的劃分，首先各受損劃分塊用其對應的運動補償塊(即最優運動向量對應的運動補償塊)進行替代，然後整個劃分進入到下一級的劃分模式並對該劃分模式下的每個劃分重複上述過程。若受損宏塊中所有的受損劃分塊都不需進一步的分割，即所有受損劃分塊都不滿足分割條件，或者已達到最小的分割模式(如本實施例中4x4模式)，則受損宏塊的劃分模式確定下來，各受損劃分塊用相應的運動補償塊替代，然後再計算受損劃分塊與對應的運動補償塊的多權值邊框匹配誤差均值，如果該多權值邊框匹配誤差均值小於閾值72，則受損宏塊掩蓋完畢。否則，繼續以下步驟進行掩蓋。步驟140、進行子像素精度的運動向量快速搜索得到最佳運動向量，將該最佳運動向量加入候選運動向量集，並用新的對應的運動補償塊替代受損的劃分塊。當步驟130中得到的所述多權值邊框匹配誤差均值大於閾值7;時，則以相應的補償運動向量為搜索中心，進行子像素精度的運動向量快速十字方塊搜索得到最佳運動向量，將該最佳運動向量加入候選運動向量集，並用新的對應的運動補償塊替代受損的劃分塊。各個受損的劃分塊都用對應的運動補償塊替代後，則所有受損宏塊掩蓋完畢。其中，T2的確定與視頻編碼用的量化步長相關，當量化步長越大時，T2越大。取值範圍是2到32的整數。下面通過具體應用中的實例來對上述方案進行示例性的說明圖4描述了本發明具體實施方式的當前幀出錯的情況，當前幀的片w未能正確接收，其餘片均正確接收，下面說明對當前正在對受損宏塊E進行掩蓋的過程。首先，確定受損宏塊E的子宏塊的預掩蓋運動向量；圖5中受損子宏塊選擇的預掩蓋運動向量是粗虛線表示的運動向量。接著，根據上述得到的預掩蓋運動向量對受損宏塊E做預掩蓋；圖6是本發明具體實施方式的邊框匹配示意圖，掩蓋的匹配方法為多權值邊框匹配。圖6中、DD、A和A為該劃分塊上下左右四邊的邊框匹配誤差值，然後計算子宏塊預掩蓋平均值D。若"小於閾值7;，表明掩蓋效果已經達到要求，則該宏塊掩蓋完畢；若"大於或等於闊值7;,則繼續下面步驟進行自適應掩蓋。最後，自適應確定受損宏塊E的最佳劃分模式並對該模式下的各塊進行掩蓋，具體步驟如下步驟l、確定候選運動向量集；如圖4的情況，受損宏塊E的候選運動向量集為其內部上下左右均勻劃分的4個子宏塊的外推運動向量和宏塊A、B的運動向量。步驟2、確定受損宏塊E和子宏塊繼續劃分的條件；不同劃分情況採用不同的劃分條件，表2描述了本發明具體實施方式一種包含所有模式的受損宏塊E和子宏塊繼續劃分的條件表2tableseeoriginaldocumentpage13步驟3、受損宏塊E和子宏塊的自適應劃分。圖7描述了根據表2的條件確定受損宏塊E和子宏塊劃分模式的過程。首先確定是否是16x16的分割模式，因為外圍邊框有15個不匹配點和5個不匹配區域，符合表2所給的分割條件，因此要進一步分割；再次嘗試16x8和8x16兩種劃分;f莫式，因為都滿足繼續劃分的條件，所以採用8x8的宏塊劃分模式。進一步確定每個子宏塊的劃分模式，因為預掩蓋按子宏塊進行，子宏塊內沒用可用信息，模式確定根據外圍三邊的邊框信息。下面的兩個8x8劃分塊不滿足繼續劃分的條件，所以停止繼續劃分，而對上面的兩個8x8劃分塊進一步分別嘗試8x4劃分，因為右上的8x8劃分塊在劃分為兩個8x4劃分塊後，沒有哪個8x4劃分塊滿足繼續劃分的條件，因此停止劃分，而對於左上的8x8劃分塊，無論是8x4還是4xg劃分後,都有一個劃分滿足進一步劃分的條件，因此最後採用4x4劃分，即最小的劃分模式。最終得到圖7中的劃分模式，共8個分割。如圖7所示，本發明具體實施方式的八個劃分塊的運動向量估算次序為P7—PI—P4—P2—P5—P8—P3—P6。以上所述僅為本發明示意的具體實施方式，應當知道這可以有許多變型，這種變型不被認為是脫離本發明示意的具體實施方式的精神和範圍，並且所有這樣的本領域普通技術人員顯而易見的變型被包含在所附權利要求的範圍之內。權利要求1、一種視頻解碼器的時域差錯掩蓋方法，包括以下步驟a、確定受損宏塊的候選運動向量集；b、按指定劃分模式劃分所述受損宏塊得到受損劃分塊，確定所述受損劃分塊的最優運動向量；c、判斷所述受損劃分塊是否滿足指定的分割條件，如果有至少一個受損劃分塊滿足分割條件，轉入步驟d，否則，轉入步驟e；d、對滿足分割條件的受損劃分塊，判斷所述受損劃分塊是否是以指定的最小劃分模式劃分，如果不是，使用另一指定劃分模式繼續劃分所述受損劃分塊，確定所述受損劃分塊的最優運動向量，返回步驟c，否則，轉入步驟e；e、各受損劃分塊用相應的運動補償塊替代。2、如權利要求l所述的方法，其特徵在於，所述步驟a之前，還包括步驟，對所述受損宏塊進行預掩蓋。3、如權利要求l所述的方法，其特徵在於，所述步驟e中，進一步包含步驟，計算所述受損劃分塊與對應的運動補償塊的多權值邊框匹配誤差均值，如果該多權值邊框匹配誤差均值小於閾值r2,則該受損宏塊掩蓋完畢，否則，以該受損劃分塊對應的補償運動向量為搜索中心，進行子像素精度的運動向量快速搜索得到最佳運動向量，將該最佳運動向量加入所迷候選運動向量集，並用新的對應的運動補償塊替代受損的劃分塊。4、如權利要求1所述的方法，其特徵在於，所述候選運動向量集包括所述受損宏塊內部上下左右均勻劃分的四個子宏塊的外推運動向量，及該受損宏塊上下左右相鄰宏塊的可用運動向量。5、如權利要求l所述的方法，其特徵在於，步驟b中，所述受損宏塊指定劃分才莫式為16x16、16x8、8xl6、8x8、8x4、4x8和4x4中的一種或多種。6、如權利要求1所述的方法，其特徵在於所述最小劃分模式為4x4。7、如權利要求l所述的方法，其特徵在於，所述步驟d中，當使用另一指定劃分模式繼續劃分所述受損劃分塊時，該劃分模式下的受損劃分塊的象素數目不大於前一次劃分使用的劃分模式下的受損劃分塊。8、如權利要求l所述的方法，其特徵在於，當所述受損宏塊有多個所述受損劃分塊時，每個所述受損劃分塊的運動向量估算需要按順序進行，其原則為從左到右，從外圍到中間，從大分割到小分割，依次對每個所述受損劃分塊利用多權值邊框匹配從所述候選運動向量集中確定所述最優運動向量。9、如權利要求1所述的方法，其特徵在於，所述最優運動向量為所述候選運動向量集中所述受損劃分塊與其對應的運動補償塊的多權值邊框匹配誤差均值最小的運動向量。10、如權利要求l所述的方法，其特徵在於，步驟c中所述分割條件根據所述受損劃分塊和對應的運動補償塊的外圍邊框包含的不匹配區域個數和/或不匹配像素個數確定，當所損劃分塊的不匹配區域個數和/或不匹配象素個數大於指定閾值時，則滿足分割條件。全文摘要本發明公開了一種視頻解碼器的時域差錯掩蓋方法，包括步驟確定受損宏塊的候選運動向量集；確定受損宏塊和子宏塊繼續劃分的條件；自適應劃分受損宏塊和子宏塊；進行子像素精度的運動向量快速搜索得到最佳運動向量，將該最佳運動向量加入候選運動向量集，並用新的對應的運動補償塊替代受損的劃分塊。應用本發明，可以從16×16劃分模式依次到4×4劃分模式，在每個劃分級利用多權值邊框匹配和快速十字搜索方法評估出最優運動向量，並對最優運動向量進行子像素精度搜索，得到子像素精度的最佳運動向量，從而實現了在視頻圖像運動劇烈或存在多物體複雜運動時，對宏塊多劃分模式和運動向量的準確估計，顯著改善了掩蓋性能。文檔編號H04N7/68GK101296381SQ200710097579公開日2008年10月29日申請日期2007年4月27日優先權日2007年4月27日發明者強彭,楊天武,諸昌鈐,睿陳申請人:中興通訊股份有限公司;西南交通大學