圖像修複方法
2023-05-29 15:46:01 2
專利名稱：圖像修複方法
技術領域：
本發明是關於一種圖像處理方法，尤其是關於一種錯誤圖像的修複方法。
背景技術：
圖像或是由多張圖像所組成的視頻，在網絡傳輸時若發生封包遺失或位錯誤，則 會導致其內容的錯誤。常見的圖像修複方法，又稱錯誤隱藏方法，基本上可分為三種，其包 含空間錯誤隱藏方法、時間錯誤隱藏方法、以及混合式錯誤隱藏方法。空間錯誤隱藏方法，是取樣同一幅圖像中錯誤區塊鄰近的正確區塊的信息，以修 復該錯誤區塊。在一幅圖像中，一錯誤像素和其鄰近的像素之間在圖像內容上可能具有高 相關性，例如同為天空的一部分、草地的一部分、或人臉的一部分。因此，可以用錯誤區塊上 方、下方、左方以及右方區塊中的像素數值進行內插計算，以求得一替代像素的數值來作為 錯誤像素的數值。然而，有時候部分相鄰像素的相關性太低，則使得內插計算所得的數值誤 差太大，因而降低了修復圖像的質量。時間錯誤隱藏方法，是參考前一張圖像找出適合的移動向量，來替代遺失或錯誤 的移動向量以修復錯誤區塊。常見的時間錯誤隱藏方法有零移動向量法或是邊界配對法。 零移動向量法，是從前一張圖像中找出位置對應於錯誤區塊的一參考區塊，並以該參考區 塊替代當前圖像中的錯誤區塊。邊界配對法，則是利用錯誤區塊四周邊界上的正確像素，用 以搜尋最適合的移動向量。然而，零移動向量法具有準確性不佳的缺點，而邊界配對法則有 計算複雜度太高的缺點。混合式錯誤隱藏方法，則是指同時使用時間與空間錯誤隱藏方法 以修復錯誤區塊。以上所述的時間、空間或混合式錯誤隱藏方法，皆是由多個參考數據中產生一替 代數據以置換錯誤數據。然而，當部分的參考數據與錯誤數據間相關性太低時，則可能降低 修復後的圖像質量。有鑑於此，若能提出一種過濾參考數據的方法，則可以達到提高圖像質 量的效果。
發明內容
本發明的一目的在於提出一種圖像修複方法。在修復圖像時，本方法可以應用一 統計方法過濾參考數據，以提高修復後的圖像質量。於本發明一實施例中提出一種圖像修複方法，用以產生一替代數據以置換一圖像 中的錯誤數據，該圖像修複方法包含(a)取樣與該錯誤數據相關的多個參考數據；(b)根據該多個參考數據以統計方法產生一數值預測區間；(c)根據數值預測區間產生多個修補數據，該多個修補數據的數值是介於該數值 預測區間；以及(d)根據多個修補數據產生替代數據。
圖1顯示本發明的圖像修複方法流程圖。圖2顯示應用本發明的空間錯誤隱藏方法流程圖。圖3顯示應用本發明的空間錯誤隱藏方法示意圖。圖4顯示應用本發明的時間錯誤隱藏方法流程圖。圖5顯示應用本發明的時間錯誤隱藏方法示意圖。[主要元件標號說明]錯誤區塊EB1、EB2區塊 RB像素 Ll L8、pi p4像素距離 dl d4錯誤像素el當前圖像CI前一張圖像PI移動向量數值 MVl MV8
具體實施例方式圖1顯示本發明的圖像修複方法流程圖。首先，在步驟110中是取樣與錯誤數據 相關的多個參考數據。其中，錯誤數據可以是欲修復的錯誤區塊中的其中一像素數值，或是 該錯誤區塊遺失的移動向量。多個參考數據則是與錯誤數據具有相關性的數據，例如空間 上相鄰於該錯誤數據的像素的數值，或是時間上相鄰於該錯誤數據的移動向量數值。步驟120，根據該多個參考數據以統計方法產生一數值預測區間。該數值預測區間 是用以過濾該多個參考數據，以避免低相關性的參考數據被應用於修復錯誤數據。然後在 步驟130，根據數值預測區間產生多個修補數據，該多個修補數據的數值是介於該數值預測 區間。最後，在步驟140中根據該多個修補數據產生替代數據用以置換該錯誤數據。下文 中，將說明本發明的方法如何應用於空間、時間錯誤隱藏方法。請同時參見圖2與圖3，圖2顯示應用本發明的空間錯誤隱藏方法流程圖，圖3顯 示應用本發明的空間錯誤隱藏方法示意圖。當以上所述的圖像修複方法應用於空間錯誤隱 藏方法時，則步驟210所取樣的多個參考數據，是在同一幅圖像中相鄰於錯誤區塊EBl的像 素的數值，例如取樣該錯誤區塊EBl上方、下方、左方以及右方各兩排相鄰的像素Ll L8 的數值作為多個參考數據，其中，像素Ll L8共包含64個像素。實際上，像素Ll L8直 接相鄰於錯誤區塊EB1，圖3中為了方便標記符號所以使像素Ll L8稍微遠離錯誤區塊 EBl。接著，在步驟220中可以根據像素Ll L8的數值應用例如t分配或常態分配等 等的統計方法，產生一像素數值的數值預測區間(V1ot，Vhigh)。其中，V1ot是數值預測區間的 下限值，而Vhigh是數值預測區間的上限值。根據統計理論，該數值預測區間(Vlw，Vhigh)可 涵蓋所有可能出現的像素數值中特定比例的範圍，例如涵蓋95%可能出現的像素數值的範 圍。由於根據特定數目的樣本應用一統計方法求取數值預測區間為已知技術，且並非本發 明的技術特徵，所以在此不多作贅述。
步驟230是對應於圖1中的步驟130，步驟230包含步驟231、232。其中，步驟231 先從多個參考數據中選取部分的參考數據，目的是為了選取與錯誤像素el相關性最高的 像素。例如，從像素Ll L8中，選取位於欲修復的錯誤像素el的左方、上方、右方以及下 方最相近的像素Pl P4的數值。步驟232保留該部分的參考數據(即像素pi p4)中 數值介於該數值預測區間(V1ot，Vhigh)者，作為修補數據。假設在一實施例中，像素Pl的數 值是小於下限值V1ot，則移除像素pi的數值並保留剩餘的三個像素p2 p4的數值作為修 補數據。最後在步驟MO中，空間錯誤隱藏方法可以採用該多個修補數據(即保留的像素 的數值)以已知的內插方法或其它方法產生出一替代數據，用以置換錯誤像素的數值。例 如，在前述實施例中像素Pl被移除，所以僅利用剩餘的三個像素P2 p4以內插方法產生 出用以置換錯誤像素el的像素數值。以下列舉幾種已知的內插方式(1)當4個像素數值介於該數值預測區間(Vlw，Vhigh)，例如像素pi p4在此區 間
,p\*d3 + p3*d\ p2*d4 + p4*d2,修補數據二(+ Μ + ,2 )/2;其中，也 必分別是像素
pi ρ4距離錯誤像素el之間的像素距離。(2)當3個像素數值介於該數值預測區間(Vlw，Vhigh)，例如像素p2 p4在此區 間
修補數據=d4 + d2(3)當2個像素數值介於該數值預測區間(Vlw，Vhigh)，例如像素p2、p4在此區間修補數據=(p2+p4)/2(4)當1個像素數值介於該數值預測區間(Vlw，Vhigh)，例如像素p2在此區間修補數據=P2此外，若4個像素pi p4數值皆未介於該數值預測區間(V1ot，Vhigh)內，則本發明 一實施例中可以數值預測區間的上限值Vhigh與下限值V1ot的平均值作為修補數據修補數據=(Vlow+Vhigh)/2通過以上的方式，則本發明所提出的圖像修複方法應用於空間錯誤隱藏方法時， 可以濾除相關性較低的參考數據以提高修復的圖像質量。請同時參見圖4與圖5，圖4顯示應用本發明的時間錯誤隱藏方法流程圖，圖5顯 示應用本發明的時間錯誤隱藏方法示意圖。圖4中的步驟410是對應於圖1中的步驟110， 當本發明應用於時間錯誤隱藏方法時，則步驟410包含步驟411、412。步驟411，是於前一 張圖像PI中找出位置對應於該錯誤數據的一定位數據。在時間錯誤隱藏方法中，錯誤數據 是指當前圖像CI中一錯誤區塊EB2遺失的移動向量數值。而定位數據，是表示前一張圖像 PI中的一區塊RB，且該區塊RB的位置是對應於當前圖像CI中錯誤區塊EB2的位置。步驟 412，將前一張圖像中位置是環繞該定位數據的移動向量數值，定義為多個參考數據。該多 個參考數據是位於該定位數據(即區塊RB)的左上方、上方、右上方、右方、右下方、下方、左 下方以及左方的區塊的移動向量數值MVl MV8。
步驟420，根據該多個移動向量數值MVl MV8應用例如t分配或常態分配等等的 統計方法產生一數值預測區間。由於一移動向量包含有X分量與1分量，因此可根據該多 個移動向量數值MVl MV8分別求得X分量數值預測區間(XVlw，XVhigh)與y分量數值預測 區間(YV1ot，YVhigh)。由於根據特定數目的樣本應用一統計方法求取預測區間為已知技術， 且並非本發明的技術特徵，所以在此不多作贅述。在步驟430是對應於圖1中的步驟130，步驟430包含步驟431、432。以產生χ分 量為例，在步驟431中，先求出χ分量數值預測區間的上限值XVhigh與下限值XV1ot之間的一 差值》)。然後，在步驟432中根據該下限值XV1ot與該差值》)產生多個χ分量修補數據。 在本發明一實施例中該些χ分量修補數據是定義為XVlOT+0. 5*kx，0 ^kx ^ 2* )，且kx為 整數。由以上公式可知，kx的數值變化範圍介於0到2* )之間，而多個χ分量修補數據是 以下限值XVlw加上0.5*kx為單位的數值變化。例如，假設在一實施例中χ 分量數值預測區間(XVlow = 1，XVhigh = 4)；差值H) = 4-1 = 3 ；0 ≤ kx≤ 2*XD,亦即0≤kx≤6，且kx為整數；χ 分量修補數據=XVlow+0. 5*kx，kx = 0、l、2、3、4、5、6;χ 分量修補數據=1+0. 5*0 ； 1+0. 5*1 ； 1+0. 5*2 ； 1+0. 5*3 ； 1+0. 5*4 ； 1+0. 5*5 ； 1+0. 5*6 ；最後求出χ 分量修補數據=1、1. 5、2、2. 5、3、3. 5、4同理，步驟430也可應用y分量數值預測區間(YV1ot，YVhigh)來產生出多個y分量 修補數據。最後，在步驟440中將所有的χ分量修補數據與y分量修補數據應用一比對方法 選出其中一組X分量與y分量作為替代數據，用以置換錯誤區塊EB2遺失的移動向量數值。 在本發明的實施例中，可以採用已知的邊界配對算法或其它的比對方法。舉例來說，前述的 多個χ分量修補數據與y分量修補數據可組合出多個候選的移動向量。邊界配對算法根據 該些移動向量分別找出前一張圖像PI中相對應的邊界像素數值，再計算每一邊界像素數 值與錯誤區塊EB2相鄰的邊界像素數值之間的平方差值總合。最後，邊界配對算法選擇具 有最小平方差值總合值的移動向量置換錯誤區塊EB2遺失的移動向量。由於邊界配對算法 或其它的比對方法並非本發明的技術特徵，所以在此不多作贅述。由上述內容可知，本發明所提出的圖像修複方法通過取樣多個具有相關性的參考 數據以統計方法求得一數值預測區間。再保留數值介於該數值預測區間的參考數據作為修 補數據，可達到提高修復圖像質量的功效。以上所述僅為本發明的較佳實施例而已，並非用以限定本發明的權利要求範圍； 凡其它未脫離本發明所揭示的精神下所完成的等效改變或修飾，均應包含在上述的權利要 求範圍內。
權利要求
1.一種圖像修複方法，用以產生一替代數據以置換一圖像中的錯誤數據，該圖像修復 方法包含(a)取樣與該錯誤數據相關的多個參考數據；(b)根據該多個參考數據以統計方法產生一數值預測區間；(c)根據該數值預測區間產生多個修補數據，該多個修補數據的數值是介於該數值預 測區間；以及(d)根據該多個修補數據產生該替代數據。
2.根據權利要求1所述的圖像修複方法，其中與該錯誤數據相關的該多個參考數據， 是在空間上相鄰於該錯誤數據。
3.根據權利要求2所述的圖像修複方法，其中該步驟(c)包含 (cl)從該多個參考數據中選取部分的參考數據；以及(c2)保留該部分的參考數據中數值介於該數值預測區間者，作為該多個修補數據。
4.根據權利要求2所述的圖像修複方法，其中該多個參考數據是空間上環繞該錯誤數據。
5.根據權利要求4所述的圖像修複方法，其中該多個參考數據是位於該錯誤數據的上 方、下方、左方以及右方。
6.根據權利要求4所述的圖像修複方法，其中該多個參考數據為像素數值。
7.根據權利要求1所述的圖像修複方法，其中該步驟(b)是應用t分配或常態分配的 統計方法產生該數值預測區間。
8.根據權利要求1所述的圖像修複方法，其中該步驟(d)是採用該多個修補數據以內 插方法產生該替代數據。
9.根據權利要求1所述的圖像修複方法，其中與該錯誤數據相關的該多個參考數據， 是在時間上相鄰於該錯誤數據。
10.根據權利要求9所述的圖像修複方法，其中該步驟(a)包含 (al)在前一張圖像中找出位置對應於該錯誤數據的一定位數據；以及(a2)將前一張圖像中位置系環繞該定位數據的移動向量數值，定義為該多個參考數據。
11.根據權利要求10所述的圖像修複方法，其中該多個參考數據是位於該定位數據的 左上方、上方、右上方、右方、右下方、下方、左下方以及左方。
12.根據權利要求9所述的圖像修複方法，其中該步驟(b)是應用t分配或常態分配的 統計方法產生該數值預測區間。
13.根據權利要求9所述的圖像修複方法，其中該步驟(c)包含 (c3)產生該數值預測區間的上限值與下限值之間的一差值；以及 (c4)根據該數值預測區間的下限值與該差值產生該多個修補數據。
14.根據權利要求9所述的圖像修複方法，其中該步驟(d)是採用一比對方法選出該多 個修補數據其中之一作為該替代數據。
15.根據權利要求14所述的圖像修複方法，其中該比對方法是邊界配對算法。
全文摘要
本發明揭露一種圖像修複方法。當修復圖像時，本方法首先應用一統計方法根據多個參考數據產生一數值預測區間。然後再產生數值介於該數值預測區間的修補數據用來修復圖像。藉此，可濾除低相關性的參考數據，以提高修復後的圖像質量。
文檔編號H04N7/68GK102088613SQ200910247189
公開日2011年6月8日 申請日期2009年12月2日 優先權日2009年12月2日
發明者鄭帆捷, 郭斯彥, 黃士嘉 申請人:宏碁股份有限公司