圖像幀的塊差錯補償裝置及其方法
2023-09-22 20:29:20
專利名稱：圖像幀的塊差錯補償裝置及其方法
技術領域：
本發明的實施例涉及多媒體通信，尤其涉及用於補償圖像幀產生的塊差錯的裝置及其方法。
背景技術：
移動通信包括主要使用聲音信號的通信系統。但是，隨著用於移動通信的技術發展和需求的增加，移動通信發展成為多媒體通信，它不僅包括聲音，還包括數據以及運動圖像。在多媒體通信中，進行處理的數據量可以很大，並可以限制所分配的信道的帶寬或數據傳輸速度。已開發了用於通過壓縮以有限的數據傳輸速度發送/接收大量數據的技術，諸如運動圖像專家組(MPEG)技術。
用於壓縮多媒體信號的MPEG技術可以降低以時間為函數而連續變化的MPEG幀的數據量，並通過使用僅由圖像幀信息解碼的幀內編碼幀(I-幀)、僅包括來自I-幀的運動矢量值的預測編碼幀(P-幀)等發送多媒體信號。這裡，即使通過MPEG方法或其它應用方法而使I幀和P幀具有稍許不同，它們還是可以具有每秒約1∶15的傳輸率。
當塊差錯產生在I幀處時，接收側就會再次接收該I幀，以補償所述塊差錯。當塊差錯產生在P幀處時，接收側就可以對P幀的前一幀和下一幀進行運動估計處理和運動補償處理，以補償塊差錯。將參考圖1描述根據實例性配置的用於補償圖像幀的塊差錯的裝置。
圖1是示出根據實例性配置的圖像幀的塊差錯補償裝置的框圖。
如圖所示，圖像幀的塊差錯補償裝置可包括視頻編解碼解碼器10，它用於解碼輸入的圖像幀，補償被解碼的圖像幀之間所產生的差錯圖像幀，由此進行輸出。該裝置可以包括用於存儲視頻編解碼解碼器10中處理的圖像幀的存儲器12。該裝置可以包括窗口接口14，用於將從視頻編解碼解碼器10輸入的圖像幀轉換成對應於顯示格式並由此輸出。該裝置可以包括顯示窗口16，用於顯示從窗口接口14輸入的圖像幀。
將參考圖2說明根據實例配置的圖像幀的塊差錯補償方法。
圖2是說明根據實例配置的圖像幀的塊差錯補償方法的流程圖。
如圖所示，用於補償圖像幀的塊差錯的方法可以包括檢測解碼的圖像幀中產生差錯塊(S20)。該方法可以包括判斷包括檢測塊的幀是否是P幀(S22)。該方法可以包括當包括檢測塊的幀是P幀時，根據前一幀和下一幀來補償所產生的塊差錯。該方法可以包括顯示已補償塊差錯的幀(S26)，它可以重複。在確定包括檢測塊的幀是否是P幀的過程中(S22)，當包括檢測塊的幀是I幀時，可再次接收該I幀(S23)且產生塊差錯的圖像幀可以由再次接收的I幀來進行補償。
將更詳細地說明根據實例性配置的補償圖像幀的塊差錯的方法。
視頻編解碼解碼器10可以從發送側接收圖像幀並進行解碼，隨後將被解碼的圖像幀存儲在存儲器中，並檢測產生差錯塊的解碼圖像幀(S20)。這裡，圖像幀可以由具有預定區域的塊組成。
當被解碼的圖像幀中沒有檢測到產生差錯塊時，視頻編解碼解碼器10可以將圖像幀輸出到窗口接口14。當在被解碼的圖像幀中檢測到產生差錯塊時，視頻編解碼解碼器10可以判斷包括產生差錯塊的圖像幀是否是P幀(S22)。
當包括產生差錯塊的圖像幀不是P幀而是I幀時，視頻編解碼解碼器10可以再次接收該I幀並通過重新接收的I幀補償產生塊差錯的圖像幀，由此將其輸出到窗口接口14。
另一方面，當包括產生差錯塊的圖像幀是P幀時，視頻編解碼解碼器10可以對前一幀和下一幀進行運動估計過程和運動補償過程，由此將已補償塊差錯的圖像幀輸出到窗口接口14(S24)。
窗口接口14可以將輸入的圖像幀轉換成相應的格式以適合於顯示窗口16，並輸出轉換後的圖像幀。顯示窗口16可以顯示所輸入的被轉換圖像幀(S26)。
如上所述，在圖像幀的塊差錯補償裝置中，可以再次接收產生塊差錯的幀，或可以對前一幀和下一幀進行運動估計過程和運動補償過程，由此補償產生塊差錯的幀。
但是，在圖像幀的塊差錯補償裝置中，由於必須再次接收產生塊差錯的幀，或必須對前一幀和下一幀進行運動估計過程和運動補償過程，就必需具有用於處理大量數據的附加存儲器，但並不需要實時處理數據。
發明概述因此，本發明的實施例提供了一種圖像幀的塊差錯補償裝置及其方法，能通過重新確認產生差錯塊的差錯產生來增強可靠性。
本發明的另一個實施例提供了一種圖像幀的塊差錯補償裝置及其方法，能通過經中值濾波器補償產生塊差錯的圖像幀來補償差錯而無需附加的存儲器。
本發明的又一個實施例提供了一種圖像幀的塊差錯補償裝置及其方法，能通過經中值濾波器補償產生塊差錯的圖像幀來實時補償差錯。
為了實現這些和那些優點並根據本發明實施例的目的，如這裡體現和廣泛描述的，提供了一種圖像幀的塊差錯補償裝置，它包括用於解碼輸入的圖像幀和輸出解碼後的圖像幀的視頻編解碼解碼器。該塊差錯補償裝置可以包括差錯隱蔽塊，它用於檢測被解碼的圖像幀中產生差錯塊，經中值濾波器補償被解碼的差錯塊，和輸出補償後的圖像幀。
為了實現這些和那些優點並根據本發明實施例的目的，如這裡體現和廣泛描述的，提供了一種用於補償圖像幀的塊差錯的方法，它包括解碼輸入圖像幀並由此輸出解碼後的圖像幀。用於補償塊差錯的方法可以包括檢測被解碼的圖像幀的塊差錯和經中值濾波器補償所檢測到的塊差錯，以及輸出補償後的圖像幀。
通過以下本發明的詳細描述並結合附圖閱讀將使本發明的前述和其它目的、特點、方面和優點將變得更加明顯，它們都構成本發明揭示內容的一部分。
本發明的附加優點、目的和特點可以在描述中部分闡述，通過以下的審查或通過實施本發明加以學習，它們對於本技術領域內普通的技術人員來說是顯而易見的。
附圖概述附圖示出了本發明的實施例並結合描述用來說明本發明的原理，其中包含附圖來提供對本發明的進一步理解。
將參考附圖詳細描述本發明的實施例，其中相同的標號表示相同的元件，其中圖1是示出根據實例配置的圖像幀的塊差錯補償裝置的框圖；圖2是示出根據實例配置的圖像幀的塊差錯補償方法的流程圖；圖3是示出根據本發明實例性實施例的圖像幀的塊差錯補償裝置的框圖；和圖4是示出根據本發明實例性實施例的圖像幀的塊差錯補償方法的流程圖。
具體實施例方式
現在將參考本發明的實例性實施例，其實例在附圖中示出。
以下，將參考
採用中值濾波器補償產生塊差錯的圖像幀的實時補償差錯和/或沒有附加存儲器的圖像幀的塊差錯補償裝置和其方法。
圖3是示出根據本發明實例性實施例的圖像幀的塊差錯補償裝置的框圖。
如圖所示，根據本發明實施例的圖像幀或視頻的塊差錯補償裝置可以包括視頻編解碼解碼器30，它用於解碼所輸入的圖像幀和輸出解碼後的圖像幀。該裝置可以包括用於存儲視頻編解碼解碼器30中處理的圖像幀的存儲器32。該裝置可以包括差錯隱蔽塊33，它用於檢測從視頻編解碼解碼器30輸入的幀中的塊差錯或視頻塊差錯，經中值濾波器補償檢測到的塊差錯，和輸出補償後的幀。該裝置可以包括窗口接口34，用於將從差錯隱蔽塊33輸入的幀轉換成適用於顯示裝置的格式並輸出轉換後的幀。該裝置可以包括顯示窗口36，用於顯示從窗口接口34輸入的幀。
差錯隱蔽塊33可以包括差錯檢測塊331，它用於檢測輸入的圖像幀中的產生差錯塊。差錯隱蔽塊33可以包括差錯精化塊332，用於對鄰近(在前和/或在後)於被檢測的差錯塊的一個或多個塊的像素值求平均以便獲得第一平均值或確認平均值，獲得平均值和被檢測的差錯塊的像素值之間的差的絕對值，和將該絕對值和預定值進行比較。差錯隱蔽塊33可以包括差錯校正濾波器333，用於經中值濾波器對鄰近於確認的差錯塊的一個或多個塊的像素值求平均以便獲得第二平均值或補償平均值，並在絕對值大於預定值時將補償平均值輸出作為確認的差錯塊的像素值。差錯隱蔽塊33可以包括幀生成塊334，用於根據輸出的像素值恢復正常或無差錯的圖像幀，和輸出恢復的圖像幀。
將參考圖4詳細說明根據本發明實施例的圖像幀的塊差錯補償方法。
圖4是示出根據本發明實例性實施例的圖像幀的塊差錯補償方法的流程圖。
如圖所示，圖像幀的塊差錯補償方法可以包括檢測被解碼的圖像幀中的產生差錯塊(S40)。該方法可以包括對鄰近於被檢測的差錯塊的塊的像素值求平均以便獲得第一平均值或確認平均值，獲得確認平均值和被檢測差錯塊的像素值之間的差的絕對值，並將絕對值和預定值進行比較(S42)。該方法可以包括當絕對值大於預定值時通過中值濾波器補償被檢測的差錯塊(S44)。該方法可以包括根據補償塊恢復包括所述塊的圖像幀(S46)。
將更加詳細地描述根據本發明實施例的圖像幀的塊差錯補償方法。
首先，視頻編解碼解碼器30可以從發送側接收圖像幀。視頻編解碼解碼器30可以解碼所接收到的圖像幀。被解碼的圖像幀可以存儲在存儲器32中。被解碼的圖像幀可以輸出到差錯檢測塊331。這裡，一個圖像幀或視頻幀可以由具有預定區域的多個視頻塊或像素塊構成。
差錯檢測塊331可以檢測從視頻編解碼解碼器30輸入的圖像幀中的產生差錯塊(S40)。被檢測的塊可以輸出到差錯精化塊332。
差錯精化塊332可以對鄰近(之前和/或之後)於或鄰接於被檢測差錯塊的一個或多個塊的像素值求平均以便獲得第一平均值或確認平均值。可以獲得確認平均值和被檢測差錯塊的像素值之間的差的絕對值。將該絕對值和預定值進行比較。根據比較結果(S42)，可以確定被檢測的塊中是否出現差錯。
可以通過以下方程式獲得鄰近於差錯塊的一個或多個塊的像素值的平均值。
PS(x，y)＝[P(x-1，y-1)+P(x，y-1)+P(x+1，y-1)]/3+[P(x-1，y)+P(x+1，y)]/2+[P(x-1，y+1)+P(x，y+1)+P(x+1，y+1)]/3(方程式1)在方程式1中，P(x，y)可以表示被檢測的差錯塊的像素值，而PS(x，y)可以表示鄰近於被檢測的差錯塊的一個或多個塊的像素值的平均值。方程式1可以修改成包括一個或多個連續塊。
差錯精化塊332可以處理鄰近於被檢測差錯塊的一個或多個塊的像素值的平均值。差錯精化塊332可以獲得P(x，y)和PS(x，y)之間的差的絕對值。差錯精化塊332可以將絕對值和預定值進行比較。
abs[P(x，y)-PS(x，y)]＜α (方程式2)當絕對值小於或等於預定值時，差錯精化塊332可以確定被檢測的差錯塊是正常或無差錯的塊。差錯精化塊332可以將不含差錯的塊輸出到幀生成塊334。當絕對值大於或等於預定值時，差錯精化塊332可以確定被檢測的差錯塊是其中產生決定性的或確認的差錯的塊，即確認的差錯塊或差錯塊。差錯精化塊332可以將差錯塊輸出到差錯校正濾波器(例如，中值濾波器)334。
差錯校正濾波器333可以通過中值濾波器對鄰近(之前或之後)於或鄰接於差錯塊的一個或多個塊的像素值求平均以便獲得平均值或補償平均值，由此通過該補償平均值補償差錯塊的像素值(S44)。可以根據以下方程式進行經由中0值濾波器的求平均過程。
Pgen(x，y)＝[P(x，y-1)+P(x，y-3)+P(x+1，y-2)+P(x-1，y-2)+P(x，y+1)+P(x，y+3)+P(x+1，y+2)]/7 (方程式3)在方程式3中，Pgen(x，y)可以表示經由中值濾波器處理的平均值，而P(x，y)可以表示差錯塊的像素值。方程式3可以修改為包括一個或多個連續塊。
接著，幀生成塊334可以根據從差錯校正濾波器333補償的塊恢復包括補償的塊的圖像幀，由此將恢復的圖像幀輸出到窗口接口34(S46)。
窗口接口34可以將輸入的圖像幀轉換成適用於顯示窗口36的相應格式，並由此將轉換後的圖像幀輸出。顯示窗口36可以顯示輸入的圖像幀。例如，液晶顯示器(LCD)可以用作顯示窗口36。
如上所述，根據本發明實施例的圖像幀的塊差錯補償裝置及其方法，可以對產生差錯塊重新確認是否存在差錯生成，由此增強可靠性。
因此，根據本發明實施例的圖像幀的塊差錯補償裝置及其方法，可以通過中值濾波器補償產生塊差錯的圖像幀，由此就能夠補償塊差錯而無需附加的存儲器。
此外，根據本發明實施例的圖像幀的塊差錯補償裝置及其方法，可以通過中值濾波器補償產生塊差錯的圖像幀，由此就能實時地補償塊差錯。
由於本發明可以按幾種形式體現而不背離其精神或基本特徵，應理解，除非另外說明，上述實施例不受上述任何細節的限制，而是在所附權利要求書所限定的精神和範圍內廣泛限定，因此所附權利要求書的範圍和邊界或這種範圍和邊界的等效物內的所有變化和修改都旨在由所附權利要求書所支持。
上述實施例和優點僅僅是實例性的而不限制本發明。本發明可便於應用到其它類型的裝置中。本發明的描述旨在是示意性的，而不限制權利要求書的範圍。許多可選方案、修改和變化對於本技術領域內熟練的技術人員來說是顯而易見的。在權利要求書中，裝置加功能的短語旨在執行所述功能時覆蓋所述結構且不僅是結構等效物還是等效結構。
權利要求
1.一種塊差錯補償裝置，其特徵在於，包括視頻編解碼解碼器，用於解碼輸入的圖像幀和輸出解碼後的圖像幀；以及差錯隱蔽塊，用於檢測被解碼的圖像幀中產生的差錯塊、通過中值濾波器補償被檢測到的差錯塊、和輸出補償後的圖像幀。
2.如權利要求1所述的裝置，其特徵在於，所述差錯隱蔽塊包括差錯檢測塊，用於檢測輸入的圖像幀中產生的差錯塊；差錯精化塊，用於根據被檢測塊的像素值和鄰近於所述被檢測塊的各塊的像素值來確認所述被檢測塊是否是差錯塊；差錯校正濾波器，用於通過中值濾波器補償已確認的差錯塊以創建補償的塊；以及幀生成塊，用於恢復包括補償的塊的圖像幀。
3.如權利要求2所述的裝置，其特徵在於，所述差錯精化塊通過對鄰近於被檢測的差錯塊的各塊的像素值求平均以便獲得平均值、獲取所述平均值和被檢測的差錯塊的像素值之間差的絕對值、以及將所述絕對值和一預定值進行比較來確認被檢測塊是否是差錯塊。
4.如權利要求3所述的裝置，其特徵在於，當所述絕對值大於預定值時，所述差錯精化塊將被檢測的差錯塊確定成差錯塊，而在絕對值小於預定值時，將被檢測的差錯塊確定成沒有差錯的塊。
5.如權利要求4所述的裝置，其特徵在於，所述差錯精化塊將差錯塊輸出到差錯校正濾波器，並將沒有差錯的塊輸出到幀生成塊。
6.如權利要求2所述的裝置，其特徵在於，所述差錯校正濾波器通過中值濾波器對鄰近於被檢測差錯塊的各塊的像素值求平均以便獲得平均值，並用平均值補償被檢測塊的像素值。
7.一種圖像幀的塊差錯補償方法，其特徵在於，包括解碼輸入圖像幀和輸出解碼後的圖像幀；和檢測被解碼的圖像幀的塊差錯，通過中值濾波器補償被檢測的塊差錯，和輸出補償後的圖像幀。
8.如權利要求7所述的方法，其特徵在於，所述補償包括檢測輸入的圖像幀中的產生差錯塊；根據被檢測的產生差錯塊的像素值和鄰近於被檢測的產生差錯塊的各塊的像素值來確認被檢測的產生差錯塊是否是差錯塊；通過中值濾波器補償差錯塊的差錯以便獲得補償的塊；以及恢復包括補償的塊的圖像幀。
9.如權利要求8所述的方法，其特徵在於，所述確認是通過以下步驟實現的對鄰近於被檢測的塊的各塊的像素值求平均以便獲得平均值，獲得平均值與被檢測塊的像素值之間的差的絕對值，和將絕對值與預定值進行比較。
10.如權利要求9所述的方法，其特徵在於，所述確認是通過以下步驟實現的當所述絕對值大於預定值時將被檢測塊確定為差錯塊，和當所述絕對值小於預定值時將被檢測塊確定為沒有差錯的塊。
11.如權利要求9所述的方法，其特徵在於，所述平均值PS(x，y)由下式給出PS(x，y)＝[P(x-1，y-1)+P(x，y-1)+P(x+1，y-1)]/3+[P(x-1，y)+P(x+1，y)]/2+[P(x-1，y+1)+P(x，y+1)+P(x+1，y+1)]/3其中P(x，y)表示被檢測差錯塊的像素值。
12.如權利要求7所述的方法，其特徵在於，所述補償是通過以下步驟實現的通過中值濾波器對鄰近於被檢測塊的塊的像素值求平均以獲得平均值，和通過所述平均值補償被檢測塊的像素值。
13.如權利要求11所述的方法，其特徵在於，所述平均值Pgen(x，y)由下式給出Pgen(x，y)＝[P(x，y-1)+P(x，y-3)+P(x+1，y-2)+P(x-1，y-2)+P(x，y+1)+P(x，y+3)+P(x+1，y+2)]/7其中P(x，y)表示被檢測差錯塊的像素值。
14.一種處理活動圖像數據的系統，其特徵在於，包括差錯檢測部件，用於檢測被解碼的圖像幀中有差錯的塊；差錯精化部件，用於確定差錯檢測部件檢測的塊是否是差錯塊和無差錯塊之一；差錯校正濾波器，用於用中值濾波器補償差錯塊以形成補償的塊，而無差錯的塊繞過差錯校正濾波器；以及幀生成部件，用於從補償的塊和無差錯的塊之一中恢復被解碼的圖像幀。
15.如權利要求14所述的系統，其特徵在於，實時進行活動圖像數據的處理。
16.如權利要求14所述的系統，其特徵在於，進行活動圖像數據的處理而不重新接收被解碼的圖像幀來補償差錯塊。
17.如權利要求14所述的系統，其特徵在於，進行活動圖像數據的處理而不對鄰近於被解碼的圖像幀的圖像幀進行運動估計過程和運動補償過程來補償差錯塊。
18.如權利要求14所述的系統，其特徵在於，所述被解碼的圖像幀包括I幀和P幀之一。
19.如權利要求14所述的系統，其特徵在於，還包括編解碼解碼器以輸出被解碼的圖像幀。
20.如權利要求14所述的系統，其特徵在於，還包括窗口接口以轉換恢復的圖像幀。
全文摘要
提供了一種用於補償圖像幀中的塊差錯的裝置和方法。它包括視頻編解碼解碼器，用於解碼輸入的圖像幀，和輸出解碼後的圖像幀。差錯隱蔽塊可以檢測被解碼的圖像幀中產生差錯塊和通過中值濾波器補償被檢測的差錯塊，以及輸出補償後的圖像幀。
文檔編號H04N7/68GK1536894SQ20041003246
公開日2004年10月13日 申請日期2004年4月8日 優先權日2003年4月8日
發明者李性圭 申請人:Lg電子株式會社