一種基於宏塊分類的視頻差錯掩蓋的方法和裝置的製作方法
2023-09-22 20:17:55 1
專利名稱：一種基於宏塊分類的視頻差錯掩蓋的方法和裝置的製作方法
技術領域：
本發明涉及多媒體技術領域，特別是指一種基於宏塊分類的視頻 差錯掩蓋的方法和裝置。
背景技術：
在視頻處理過程中，對現有的宏塊識別出是平滑塊、邊緣塊或者
紋理塊，並對該宏塊進行差錯掩蓋，其中，各種宏塊的定義如下
平滑塊:宏塊內的灰度值基本恆定或者變化比較平緩，即宏塊內沒 有明顯的邊緣信息。邊緣塊:宏塊包含兩個或更多具有不同灰度值區域的邊緣，即，在 宏塊內，部分局部區域內存在明顯的邊緣信息，且方向性唯一或者非 常接近，而邊緣信息以外的區域基本是平滑區域。由於單個宏塊面積 較小，因而，邊緣大多穿越宏塊，而不是嵌入到宏塊中，並且在單個 宏塊內邊緣的方向基本上沒有變化或只有 一 點點的變化。
複雜紋理塊宏塊內的灰度值和邊緣方向都存在明顯的變化，即 在宏塊內，存在多種灰度值，局部區域的邊緣信息分布較多且方向不 唯一。
現有的技術在處理上述宏塊過程中，採用迭代算法對宏塊進行差 錯掩蓋，運輸量較大，且運算過程時間較長，運算複雜。
發明內容
有鑑於此，本發明在於提供一種基於宏塊分類的視頻差錯掩蓋的 方法和裝置，以解決上述技術處理宏塊過程中，運輸量較大，且運算 過程時間較長，運算複雜的問題。
為解決上述問題，本發明提供一種基於宏塊分類的視頻差錯掩蓋 的方法，包括
獲取待修復宏塊邊緣跳變點的像素個數及像素的直方圖，通過像 素個數、複雜紋理跳變點的個數和直方圖的判斷，判斷出該宏塊為平
滑塊、邊緣塊或複雜紋理塊；如果為平滑塊，採用加權平均進行修復， 如果為邊緣塊，採用最小像素跨度準則進行修復，如果為複雜紋理塊， 則判斷複雜紋理塊內的邊緣跳變點像素個數，判斷出邊緣跳變點劃分 出的區域為平滑區域和複雜紋理區域；對平滑區域採用加權平均進行 修復，對複雜紋理區域，獲取該區域各個待修復像素至等照度線、宏 塊邊界的距離權值，按照權值由小至大的順序逐個選擇待修復像素， 選擇與待修復像素最接近的像素匹配塊，使用像素匹配塊內相應位置 的像素覆蓋待修復像素。
優選的，所述通過像素個數、和直方圖的判斷，判斷出該宏塊為 平滑塊、邊緣塊或複雜紋理塊，判斷的過程包括
判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於， 則認定為平滑宏塊；
如果大於，則判斷邊緣跳變點的像素個數是否小於第二閾值、且、 兩兩相鄰的邊緣跳變點之間複雜紋理跳變點個數是否小於第三閾值、 且相鄰邊界上最近一層的像素的直方圖分布是否滿足雙峰分布特性， 如果均小於、並且滿足，則認定為邊緣塊，
如果大於或不滿足，則認定為複雜紋理塊。
優選的，所述判斷複雜紋理塊內的邊緣跳變點像素個數，判斷出 邊緣跳變點劃分出的區域為平滑區域和複雜紋理區域，判斷的過程包 括
判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於， 則認定為平滑區域；如果大於，則認定為複雜紋理區域。
優選的，所述選擇與待修復像素最接近的像素匹配塊，使用像素 匹配塊內相應位置的像素覆蓋待修復像素的過程包括
以待修復像素的位置為中心點，按照預定的窗口大小提取當前位 置的窗口區域內已有的像素樣本，在樣本區域內，尋找當前窗口區域 像素樣本最接近的最佳匹配的樣本塊，對應於當前窗口區域的待修復
像素的位置，將最佳匹配塊中相應像素覆蓋到待修復的位置。
本發明還提供一種基於宏塊分類的視頻差錯掩蓋的裝置，包括
預處理單元，用於獲取待修復宏塊邊緣跳變點的像素個數及像素
的直方宏塊識別單元，用於通過所述像素個數、複雜紋理跳變點的個數 和直方圖的判斷，判斷出該宏塊為平滑塊、邊緣塊或複雜紋理塊；
加權修復單元，用於當宏塊識別單元識別出平滑塊，採用加權平 均進行修復；
最小跨度修復單元，用於當宏塊識別單元識別出邊緣塊，採用最 小像素跨度準則進行修復； 自適應修復單元，包括
判別模塊，用於當宏塊識別單元識別出複雜紋理塊，則判斷複雜 紋理塊內的邊緣跳變點像素個數，判斷出邊緣跳變點劃分出的區域為 平滑區域和複雜紋理區域；
加權修復模塊，用於對判別模塊判別出的平滑區域採用加權平均 進行修復；
複雜紋理修復模塊，包括
排序子模塊，用於對判別模塊判別出複雜紋理區域後，獲取該區 域各個待修復像素至等照度線、宏塊邊界的距離權值，按照權值由小 至大的順序；
修復子模塊，用於從排序子模塊中順序獲得待修復像素，選擇與 待修復像素最接近的像素匹配塊，使用像素匹配塊內相應位置的像素 覆蓋待修復像素。
優選的，包括
所述宏塊識別單元通過像素個數、和直方圖的判斷，判斷出該宏 塊為平滑塊、邊緣塊或複雜紋理塊，判斷的過程包括
判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於，
則認定為平滑宏塊；
如果大於，則判斷邊緣跳變點的像素個數是否小於第二閾值、且、 兩兩相鄰的邊緣跳變點之間複雜紋理跳變點個數是否小於第三閾值、 且相鄰邊界上最近一層的像素的直方圖分布是否滿足雙峰分布特性， 如果均小於、並且滿足，則認定為邊緣塊，
如果大於或不滿足，則認定為複雜紋理塊。
優選的，所述判別模塊判斷複雜紋理塊內的邊緣跳變點像素個數， 判斷出邊緣跳變點劃分出的區域為平滑區域和複雜紋理區域，判斷的 過程包括
判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於， 則認定為平滑區域；如果大於，則認定為複雜紋理區域。
優選的，所述修復子模塊選擇與待修復像素最接近的像素匹配塊， 使用像素匹配塊內相應位置的像素覆蓋待修復像素的過程包括
以待修復像素的位置為中心點，按照預定的窗口大小提取當前位 置的窗口區域內已有的像素樣本，在樣本區域內，尋找當前窗口區域 像素樣本最接近的最佳匹配的樣本塊，對應於當前窗口區域的待修復 像素的位置，將最佳匹配塊中相應像素覆蓋到待修復的位置。
本發明的方法和裝置通過對宏塊的分類，對不同宏塊採用不同的 修複方法，且對於複雜紋理宏塊，採用替換已有像素替換待修復像素， 算法簡單，且易於實現，通過對像素至等照度線距離和至宏塊邊界距 離的權值，依次修復，優先修復權值小的像素，在滿足修復質量的前 提下，提高修復效率。
圖l是方法實施例的流程圖； 圖2是裝置實施例的結構圖。
具體實施例方式
為清楚說明本發明的方法和裝置，下面給出優選的實施例並結合 附圖詳細說明。
參見圖1，本發明的方法包括 步驟ll:獲取待修復的宏塊；
步驟12:通過邊緣像素點和複雜紋理點(像素點)的個數判斷待 修復的宏塊為平滑塊、邊緣塊或複雜紋理塊； 判斷過程如下
首先判斷邊緣跳變點的像素個數Nedge是否小於第一閾值Tflat (閾值一般設定為4),如果小於，則認定為平滑宏塊；
如果大於，則判斷邊緣跳變點的像素個數Nedge是否小於第二閾 值Tedge (閾值一般設定為9)、且、兩兩相鄰的邊緣跳變點之間複雜 紋理跳變點個數Ntexture是否小於第三閾值whatTtexture (閾值為一 般設定為3)、且相鄰邊界上最近一層的像素的直方圖分布是否滿足雙 峰分布特性，即直方圖中存在兩個顯著的局部區域峰值，且直方圖中 的統計值都大多分布在兩個峰值的附近，判斷的過程包括A、先搜 索局部最大值，B、然後將最大值的局部統計中的鄰域從直方圖中去 除，C判斷搜索到的最大值是否小於閾值，如果大於閾值，則回到步 驟A繼續，否則跳出，閾值的選擇可以是一個固定常數，也可以是一 個變量。
如果均小於、並且滿足，則認定為邊緣塊； 如果大於或不滿足，則認定為複雜紋理塊。
步驟13:如果判斷為平滑塊，則採用加權平均進行宏塊處理；如 果判斷為邊緣塊，則採用最小像素跨度準則處理；如果判斷為複雜紋 理塊，則進行相似紋理修復；
對於加權平均處理和最小像素跨度準則的處理過程，由於為現有 技術，因此不在贅述。下面詳細說明相似紋理修復。
對於複雜紋理塊的處理，首先將該宏塊的區域劃分為平滑區域和 複雜紋理區域，劃分時將邊緣點連接在一起，可以在宏塊的四個鄰近 邊緣上找出平滑邊緣點與複雜紋理邊緣點，按照逆時針或者順時針，
將同 一灰度值的邊緣點進行配對，即不同邊緣上的上跳邊緣點與下跳 邊緣點的配對，連接後的區域為三角形或長方形，對於長方形有緊貼 宏塊邊的長方形或在宏塊內的長方形。
將劃分後的各個區域通過邊緣點的個數分為平滑區域和複雜紋 理區域並處理，判斷過程和步驟12中的相同，即依據兩兩相鄰的邊緣
跳變點之間複雜紋理跳變點個數是否小於第三閾值；對於平滑區域， 仍然採用加權平均處理；對於複雜紋理區域，恢復過程採用該區域等 照度線最近、離宏塊邊界最近的像素進行恢復。
其中，等照度線可通過像素的梯度確定，通過對已知的紋理區域 的所有像素的梯度分析，統計各個角度的梯度總和，相同角度的梯度 相加，找出其梯度總和最大的對應的角度最大值，該角度即等照度線 的切線方向。
可分別獲取像素至等照度線距離和至宏塊邊界距離的權值，並獲 取各個待修復像素的權值，按照權值從小到大排序，並依次修復。修 復過程如下
A:提取當位置的窗口區域的樣本信息。
以待修復像素的位置為中心點，按照預定的窗口大小提取當前位 置的窗口區域的樣本信息。
B:利用當前窗口內已有的像素樣本，在樣本區域內，尋找當前 窗口區域的最佳匹配的樣本塊。樣本區域可以是整幀，或者是搜索區 域的固定大小的鄰域範圍，其區域的大小與算法的實際應用場景相關 一_非實時或者實時，內存餘量與計算餘量等；或是採用整幀，中等 的是採用中等範圍的鄰域(如32 x 32 )，最簡單的是採用16 x 8與8 x 16 的矩形鄰域；最佳匹配樣本是使成本函數取最小值的像素匹配小塊， 用於像素匹配的成本代價函數，有很多種，常見的是MSE， SSE， SAD 等，任選其一。在當前窗口內，包括已經已有的像素樣本、未知的像 素樣本和待修復的像素。
C:對應於當前窗口區域的待修復像素的位置，將最佳匹配塊中 相應像素覆蓋到待修復的位置。
D:判斷區域內是否完成所有像素的修復，如果未完成，從步驟A 重新開始〗奮復。
窗口尺寸應該略大於待修復區域中的最大的可鑑別紋理單元(即 複雜紋理的基本結構大小， 一般設定為常量4x4, 8x8的窗口等)。過 小的窗口尺寸，容易導致空域匹配陷入局部最小值；過大的窗口尺寸， 容易導致空域匹配難以找到可接受的結果。 一般默認大小為9x9。窗 口的尺寸，可以是自適應變化的，與空域匹配結合，可以提高空域匹 配的效果。
步驟14:輸出差錯修復後的宏塊。 當所有像素點修復完成後，輸出差錯修復後的宏塊。 本發明的方法通過對宏塊的分類，對不同宏塊採用不同的修複方 法，且對於複雜紋理宏塊，採用替換已有像素替換待修復像素，算法 簡單，且易於實現，通過對像素至等照度線距離和至宏塊邊界距離的 權值，依次修復，優先修復權值小的像素，在滿足修復質量的前提下， 提高修復效率。
上面詳細描述了本發明的方法實施例，下面給出本發明裝置的實 施例並結合附圖詳細說明，參見圖2，
本發明提供一種基於宏塊分類的視頻差錯掩蓋的裝置，包括 預處理單元，用於獲取待修復宏塊邊緣跳變點的像素個數及像素
的直方宏塊識別單元，用於通過所述像素個數、複雜紋理跳變點的個數 和直方圖的判斷，判斷出該宏塊為平滑塊、邊緣塊或複雜紋理塊；
加權修復單元，用於當宏塊識別單元識別出平滑塊，採用加權平 均進行修復；
最小跨度修復單元，用於當宏塊識別單元識別出邊緣塊，採用最小像素跨度準則進行修復； 自適應修復單元，包括
判別模塊，用於當宏塊識別單元識別出複雜紋理塊，則判斷複雜 紋理塊內的邊緣跳變點像素個數，判斷出邊緣跳變點劃分出的區域為 平滑區域和複雜紋理區域；
加權修復模塊，用於對判別模塊判別出的平滑區域採用加權平均 進行修復；
複雜紋理修復模塊，包括
排序子模塊，用於對判別模塊判別出複雜紋理區域後，獲取該區 域各個待修復像素至等照度線、宏塊邊界的距離權值，按照權值由小 至大的順序；
修復子模塊，用於從排序子模塊中順序獲得待修復像素，選擇與 待修復像素最接近的像素匹配塊，使用像素匹配塊內相應位置的像素 覆蓋待修復像素。
優選的，包括
所述宏塊識別單元通過像素個數、和直方圖的判斷，判斷出該宏 塊為平滑塊、邊緣塊或複雜紋理塊，判斷的過程包括
判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於， 則認定為平滑宏塊；
如果大於，則判斷邊緣跳變點的像素個數是否小於第二閾值、且、 兩兩相鄰的邊緣跳變點之間複雜紋理跳變點個數是否小於第三閾值、 且相鄰邊界上最近一層的像素的直方圖分布是否滿足雙峰分布特性， 如果均小於、並且滿足，則認定為邊緣塊，
如果大於或不滿足，則認定為複雜紋理塊。
優選的，所述判別模塊判斷複雜紋理塊內的邊緣跳變點像素個數, 判斷出邊緣跳變點劃分出的區域為平滑區域和複雜紋理區域，判斷的 過程包括
判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於，
則認定為平滑區域；如果大於，則認定為複雜紋理區域。
優選的，所述修復子模塊選擇與待修復像素最接近的像素匹配塊， 使用像素匹配塊內相應位置的像素覆蓋待修復像素的過程包括
以待修復像素的位置為中心點，按照預定的窗口大小提取當前位 置的窗口區域內已有的像素樣本，在樣本區域內，尋找當前窗口區域 像素樣本最接近的最佳匹配的樣本塊，對應於當前窗口區域的待修復 像素的位置，將最佳匹配塊中相應像素覆蓋到待修復的位置。
本發明的裝置通過對宏塊的分類，對不同宏塊採用不同的修複方 法，且對於複雜紋理宏塊，採用替換已有像素替換待修復像素，算法 簡單，且易於實現，通過對像素至等照度線距離和至宏塊邊界距離的 權值，依次修復，優先修復權值小的像素，在滿足修復質量的前提下， 提高修復效率。
對於本發明各個實施例中所闡述的方法和裝置，凡在本發明的精 神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本 發明的保護範圍之內。
權利要求
1、一種基於宏塊分類的視頻差錯掩蓋的方法，其特徵在於，包括獲取待修復宏塊邊緣跳變點的像素個數及像素的直方圖，通過像素個數、複雜紋理跳變點的個數和直方圖的判斷，判斷出該宏塊為平滑塊、邊緣塊或複雜紋理塊；如果為平滑塊，採用加權平均進行修復，如果為邊緣塊，採用最小像素跨度準則進行修復，如果為複雜紋理塊，則判斷複雜紋理塊內的邊緣跳變點像素個數，判斷出邊緣跳變點劃分出的區域為平滑區域和複雜紋理區域；對平滑區域採用加權平均進行修復，對複雜紋理區域，獲取該區域各個待修復像素至等照度線、宏塊邊界的距離權值，按照權值由小至大的順序逐個選擇待修復像素，選擇與待修復像素最接近的像素匹配塊，使用像素匹配塊內相應位置的像素覆蓋待修復像素。
2、 根據權利要求1所述的方法，其特徵在於，所述通過像素個 數、和直方圖的判斷，判斷出該宏塊為平滑塊、邊緣塊或複雜紋理塊， 判斷的過程包括判斷邊緣跳變點的像素個數是否小於第一預定閾值，如果小於， 則認定為平滑宏塊；如果大於，則判斷邊緣跳變點的像素個數是否小於第二閾值、且、 兩兩相鄰的邊緣跳變點之間複雜紋理跳變點個數是否小於第三閾值、 且相鄰邊界上最近一層的像素的直方圖分布是否滿足雙峰分布特性， 如果均小於、並且滿足，則認定為邊緣塊，如果大於或不滿足，則認定為複雜紋理塊。
3、 根據權利要求1所述的方法，其特徵在於，所述判斷複雜紋理 塊內的邊緣跳變點像素個數，判斷出邊緣跳變點劃分出的區域為平滑 區域和複雜紋理區域，判斷的過程包括判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於， 則認定為平滑區域；如果大於，則認定為複雜紋理區域。
4、 根據權利要求1所述的方法，其特徵在於，所述選擇與待修復 像素最接近的像素匹配塊，使用像素匹配塊內相應位置的像素覆蓋待 修復像素的過程包括以待修復像素的位置為中心點，按照預定的窗口大小提取當前位置的窗口區域內已有的像素樣本，在樣本區域內，尋找當前窗口區域 像素樣本最接近的最佳匹配的樣本塊，對應於當前窗口區域的待修復 像素的位置，將最佳匹配塊中相應像素覆蓋到待修復的位置。
5、 一種基於宏塊分類的視頻差錯掩蓋的裝置，其特徵在於，包括預處理單元，用於獲取待修復宏塊邊緣跳變點的像素個數及像素 的直方圖；宏塊識別單元，用於通過所述像素個數、複雜紋理跳變點的個數 和直方圖的判斷，判斷出該宏塊為平滑塊、邊緣塊或複雜紋理塊；加權修復單元，用於當宏塊識別單元識別出平滑塊，採用加權平 均進行修復；最小跨度修復單元，用於當宏塊識別單元識別出邊緣塊，採用最 小像素跨度準則進行修復； 自適應修復單元，包括判別模塊，用於當宏塊識別單元識別出複雜紋理塊，則判斷複雜 紋理塊內的邊緣跳變點像素個數，判斷出邊緣跳變點劃分出的區域為 平滑區域和複雜紋理區域；加權修復模塊，用於對判別模塊判別出的平滑區域採用加權平均 進行修復；複雜紋理修復模塊，包括排序子模塊，用於對判別模塊判別出複雜紋理區域後，獲取該區 域各個待修復像素至等照度線、宏塊邊界的距離權值，按照權值由小 至大的順序； 修復子模塊，用於從排序子模塊中順序獲得待修復像素，選擇與 待修復像素最接近的像素匹配塊，使用像素匹配塊內相應位置的像素 覆蓋待修復像素。
6、 根據權利要求5所述的裝置，其特徵在於，包括 所述宏塊識別單元通過像素個數、和直方圖的判斷，判斷出該宏塊為平滑塊、邊緣塊或複雜紋理塊，判斷的過程包括判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於，則認定為平滑宏塊；如果大於，則判斷邊緣跳變點的像素個數是否小於第二閾值、且、兩兩相鄰的邊緣跳變點之間複雜紋理跳變點個數是否小於第三閾值、且相鄰邊界上最近一層的像素的直方圖分布是否滿足雙峰分布特性，如果均小於、並且滿足，則認定為邊緣塊，如果大於或不滿足，則認定為複雜紋理塊。
7、 根據權利要求5所述的裝置，其特徵在於，所述判別模塊判斷 複雜紋理塊內的邊緣跳變點像素個數，判斷出邊緣跳變點劃分出的區 域為平滑區域和複雜紋理區域，判斷的過程包括判斷邊緣跳變點的像素個數是否小於第 一預定閾值，如果小於， 則認定為平滑區域；如果大於，則認定為複雜紋理區域。
8、 根據權利要求5所述的裝置，其特徵在於，所述修復子模塊選 擇與待修復像素最接近的像素匹配塊，使用像素匹配塊內相應位置的 像素覆蓋待修復像素的過程包括以待修復像素的位置為中心點，按照預定的窗口大小提取當前位置的窗口區域內已有的像素樣本，在樣本區域內，尋找當前窗口區域 像素樣本最接近的最佳匹配的樣本塊，對應於當前窗口區域的待修復 像素的位置，將最佳匹配塊中相應像素覆蓋到待修復的位置。
全文摘要
本發明公開了一種基於宏塊分類的視頻差錯掩蓋的方法，包括獲取待修復宏塊邊緣跳變點的像素個數及像素的直方圖，判斷出該宏塊為平滑塊、邊緣塊或複雜紋理塊；如果為平滑塊，採用加權平均進行修復，如果為邊緣塊，採用最小像素跨度準則進行修復，如果為複雜紋理塊，則判斷複雜紋理塊內的邊緣跳變點像素個數，判斷出邊緣跳變點劃分出的區域為平滑區域和複雜紋理區域；對平滑區域採用加權平均進行修復，對複雜紋理區域，選擇與待修復像素最接近的像素匹配塊，使用像素匹配塊內相應位置的像素覆蓋待修復像素。本發明還公開了一種基於宏塊分類的視頻差錯掩蓋的裝置，本發明採用替換已有像素替換待修復像素，算法簡單，且易於實現。
文檔編號H04N7/68GK101389038SQ200810168860
公開日2009年3月18日 申請日期2008年9月28日 優先權日2008年9月28日
發明者萬守傑, 宋繪宏, 廣 方, 偉 李, 楊黎東, 沈未名, 種衍文, 郭曉雲, 盛 魯, 黃曉平 申請人:湖北科創高新網絡視頻股份有限公司