噪聲消除方法及噪聲消除裝置與流程

2023-05-15 02:50:01

本發明涉及一種影像信號的噪聲消除方法，尤其涉及一種可檢測並消除在編碼過程的量化步驟中產生的噪聲的影像信號的噪聲消除方法。

背景技術：

在現有的視頻轉碼中，使用塊(block)的畫面內編碼模式或運動向量來檢測噪聲，並使用濾波器來消除噪聲。

但是，現有的噪聲消除方法存在無法檢測出在編碼過程中發生的、因量化係數(QP：Quantization Parameter)變化而產生的噪聲的問題。

圖1是用於說明在現有視頻轉碼系統中產生的噪聲的圖。

視頻轉碼系統包括照相機10和轉碼器20。照相機10包括拍攝影像的拍攝部11、為了傳送所拍攝的影像通過任意第一編解碼器轉換比特流的第一編解碼器編碼部12。

接收到通過第一編解碼器轉換的比特流的轉碼器20使用第一編解碼器解碼部21對比特流進行解碼後，使用第二編解碼器編碼部22再次通過第二編解碼器對比特流進行轉換。

在上述轉碼系統的轉碼過程中可能包括通過拍攝部11拍攝影像時所產生的噪聲30、通過第一編解碼器編碼部12執行編碼時所產生的第一量化噪聲40以及通過第二編解碼器編碼部22執行編碼時所產生的第二量化噪聲50。

因此，亟需提出一種能夠消除將比特流從任意第一編解碼器向任意第二編解碼器轉換的過程中產生的量化噪聲的消除噪聲方法。

現有技術文獻

專利文獻：韓國專利公報10-0960742號

技術實現要素：

本發明是為了解決上述問題而提出的，其目的是提供一種能夠消除在量化過程中產生的噪聲的影像信號的噪聲消除方法。

本發明的另一目的是提供一種提取噪聲較大的幀並消除該噪聲，從而提高幀之間 的相似性來提高壓縮率的影像信號的噪聲消除方法。

本發明的技術課題並不限定於上述提及的技術課題，通過以下的記載本發明所屬技術領域的普通的技術人員能夠明確理解未提及的其他技術課題。

用於實現上述目的的本發明的一實施例的噪聲消除方法包括：對通過第一編解碼器編碼的比特流進行解碼的步驟；獲得在通過第一編解碼器編碼的過程中確定的量化係數(QP：Quantization Parameter)的步驟；使用上述量化係數來確定含有噪聲的幀的步驟；以及將確定為含有上述噪聲的幀輸入到預定噪聲濾波器的步驟。

根據本發明的一實施例，使用上述量化係數來確定含有噪聲的幀的步驟可包括：將上述量化係數超過預定閾值的幀確定為含有噪聲的幀的步驟。

根據本發明的一實施例，獲得上述量化係數的步驟可包括：按依序顯示的每一幀分別獲得應用於上述幀的量化係數的步驟。

根據本發明的一實施例，使用上述量化係數來確定含有噪聲的幀的步驟可包括：計算第一幀與第二幀的量化係數的差值即第一差值的步驟；計算第二幀與第三幀的量化係數的差值即第二差值的步驟；以及在上述第一差值和上述第二差值超過預定閾值時，將上述第二幀確定為含有噪聲的幀的步驟。

根據本發明的一實施例，使用上述量化係數來確定含有噪聲的幀的步驟還可包括：計算第一幀與第三幀的量化係數的差值即第三差值，並且在上述第一差值及上述第二差值超過上述第三差值時，將上述第二幀確定為含有噪聲的幀的步驟。

根據本發明的一實施例，該噪聲消除方法還可包括：通過第二編解碼器對上述比特流進行編碼的步驟。

本發明的另一實施例的噪聲消除裝置包括：解碼部，用於對通過第一編解碼器編碼的比特流進行解碼；量化係數獲取部，用於獲得在通過第一編解碼器編碼的過程中確定的量化係數(QP：Quantization Parameter)；噪聲提取部，其使用上述量化係數來確定含有噪聲的幀；以及噪聲濾波部，用於消除確定為含有上述噪聲的幀的噪聲。

根據本發明的一實施例，上述噪聲提取部可將量化係數超過預定閾值的幀確定為含有噪聲的幀。

根據本發明的一實施例，上述量化係數獲取部可針對依次顯示的每一幀分別獲得應用於上述幀的量化係數。

根據本發明的一實施例，上述噪聲提取部可計算第一幀與第二幀的量化係數的差值即第一差值、和第二幀與第三幀的量化係數的差值即第二差值，在上述第一差值和上述第二差值超過預定閾值時，將上述第二幀確定為含有噪聲的幀。

根據本發明的一實施例，上述噪聲提取部還可計算第一幀與第三幀的量化係數的 差值即第三差值，在上述第一差值及上述第二差值超過第三差值時，將上述第二幀確定為含有噪聲的幀。

根據本發明的一實施例，該噪聲消除裝置還可包括：編碼部，用於通過第二編解碼器對上述比特流進行編碼。

本發明的另一實施例的噪聲消除裝置包括：一個以上的處理器；存儲器，用於加載(load)通過上述處理器執行的電腦程式；以及貯存器，用於存儲能夠從影像信號中消除噪聲的電腦程式，上述能夠從影像信號中消除噪聲的電腦程式包括：對通過第一編解碼器編碼的比特流進行解碼的操作；獲得在通過上述第一編解碼器編碼的過程中確定的量化係數(QP：Quantization Parameter)的操作；使用上述量化係數來確定含有噪聲的幀的操作；以及將確定為含有上述噪聲的幀輸入到預定噪聲濾波器的操作。

本發明的另一實施例的電腦程式被存儲於計算機可讀介質，並與計算機裝置結合執行如下步驟：對通過第一編解碼器編碼的比特流進行解碼的步驟；獲得在通過上述第一編解碼器編碼的過程中確定的量化係數的步驟；使用量化係數來確定含有噪聲的幀的步驟；以及將確定為含有上述噪聲的幀輸入到預定噪聲濾波器的步驟。

根據本發明的一實施例的噪聲消除方法，能夠實現消除在量化過程中產生的噪聲的效果。

並且，通過消除噪聲來提高前後幀之間的相似性，從而能夠實現提高影像信號的壓縮率的效果。

附圖說明

圖1是用於說明在現有的視頻轉碼系統中產生的噪聲的圖。

圖2是用於說明本發明的一實施例的噪聲消除方法的流程圖。

圖3是用於說明根據本發明的一實施例獲得每一幀的量化係數的過程的圖。

圖4是用於說明根據本發明的一實施例提取含有噪聲的幀的方法的圖。

圖5是用於說明根據本發明的另一實施例確定含有噪聲的幀的方法的圖。

圖6是用於說明根據本發明的另一實施例確定含有噪聲的幀的方法的圖。

圖7和圖8是用於說明確定含有噪聲的幀後消除噪聲來提高壓縮率的過程的圖。

圖9是用於說明本發明的一實施例的噪聲消除裝置的功能框圖。

圖10是用於說明本發明的另一實施例的噪聲消除裝置1000的功能框圖。

具體實施方式

以下，參照附圖詳細說明本發明的優選實施例。參照附圖和後述的實施例，使本發明的優點、特徵以及實現它們的方法變得更加明確。但是，本發明並不限定於以下所示的實施例，可以通過不同的方式來實現。為了完整地揭示本發明，使本發明所屬技術領域的技術人員完整地理解本發明的宗旨而提供本發明。通過權利要求的範圍來確定本發明。在說明書全文中，相同附圖標記表示相同的結構要素。

若沒有其他定義，則在本說明書中使用的所有術語(包括技術及科技術語)是本發明所屬技術領域的技術人員通常能夠理解的術語。並且，沒有對在一般使用的詞典中定義的術語進行特別定義時，不應理想或過度地進行解釋。

並且，在本說明書中，在語句中沒有特別提及的情況下單數形式還可以包括複數形式。在說明書中使用的「包含(comprises)」和/或「包含的(comprising)」所涉及的結構要素、步驟、動作和/或元件並不排除一個以上的其他結構要素、步驟、動作和/或元件的存在或追加。

圖2是用於說明本發明的一實施例的噪聲消除方法的流程圖。

在本實施例中，以通過任意第一編解碼器(codec)對比特流(bit stream)進行編碼為例進行說明。此時，第一編解碼器可以通過能夠壓縮影像信號的各種方式來實現。

當接收到通過第一編解碼器編碼的比特流時，對該比特流進行解碼(S210)。可以按照與編碼過程相反的順序對編碼的比特流進行解碼。具體而言，①將壓縮的編碼值重新轉換為符號形式，②執行反量化來獲得DCT(Discrete cosine transform，離散餘弦變換)係數後，③執行反DCT來生成空間域的影像信息。

此時，噪聲消除裝置獲得在第一編解碼器的編碼過程中所確定的量化係數(QP：Quantization Parameter)(S220)。

如上所述，為了對轉換為符號形式的值進行反量化來獲得DCT係數，需要使用在量化過程中設定的量化係數。因此，在通過第一編解碼器編碼的比特流中包含通過第一編解碼器壓縮影像信號時所設定的量化係數信息。

在通過編碼器對任意幀的N×N像素塊執行DCT轉換時，能夠得到DCT係數，而為了消除DCT係數中作為非重要信息的高頻成分，需要以特定值除DCT係數，而這一過程即為量化。其中，用於除DCT係數的特定值即為量化係數。

因此，本發明的一實施例的噪聲消除裝置可以從通過第一編解碼器編碼的比 特流中獲得量化係數。具體而言，上述的編碼過程針對形成影像的每一幀實現，因此能夠獲得每一幀所應用的量化係數。

此時，每一幀的量化係數可以取不同的值。例如，在傳送比特流時，根據能夠傳送數據的帶寬大小，需要提高壓縮率的情況下，對其幀應用較大的量化係數，對不需要提高壓縮率的幀應用相對較小的量化係數。

因此，可以由第一量化係數量化第一幀，並由與第一量化係數不同的第二量化係數量化與第一幀不同的第二幀。

在獲得每一幀的量化係數後，使用該量化係數來提取含有噪聲的幀。具體而言，將量化係數超過預定閾值的幀提取為含有噪聲的幀(S230)。

在具有相對大的量化係數的幀的情況下，為了提高壓縮率而損失的數據量也多，因此在對其進行解碼時，因損失的數據產生較多的噪聲。

因此，將具有超過預定閾值的量化係數的幀提取為含有噪聲的幀。

在提取出含有噪聲的幀後，向噪聲濾波器輸入該幀來消除噪聲(S240)。本發明的一實施例的噪聲濾波器可以是低通濾波器(LPF：Low Pass Filter)，但並不限定於此，也可以使用能夠消除噪聲的其他通用濾波器。

通過上述過程，對通過第一編解碼器編碼的比特流進行解碼，在解碼過程中消除由量化係數引起的噪聲後，也可通過第二編解碼器對該比特流進行編碼，從而進行轉碼。

根據本發明的一實施例的噪聲消除方法，能夠實現如下效果：消除由量化係數引起的噪聲，在通過第二編解碼器轉碼時能夠提高壓縮率。

在圖7和圖8中詳細說明通過消除噪聲來提高壓縮率的過程。

圖3是用於說明根據本發明的一實施例獲得每一幀的量化係數的過程的圖。

圖3所示的壓縮數據310可以是通過第一編解碼器編碼的影像信號即比特流。壓縮數據是由「0」和「1」重複組合的代碼，可以包括影像信號的亮度成分和顏色成分等。

熵解碼器(entropy decoder)320接收壓縮數據310，並將其轉換為本來的符號值。符號值是在編碼過程中量化DCT係數而得的值。

反量化部330對符號值進行反量化並輸出DCT係數。為了使反量化部330執行反量化，需要使用在量化過程中應用的量化係數值。

本發明的一實施例的壓縮數據310包括與每一幀所應用的量化係數相關的信息。因此，本發明的一實施例的噪聲消除裝置能夠從壓縮數據310即比特流獲得每一幀的量化係數。

之後，反量化部330輸出量化之前的DCT係數，反離散餘弦變換部340輸出包含空間域的影像信息的影像信號350。

圖4是用於說明根據本發明的一實施例提取含有噪聲的幀的方法的圖。

圖4所示的第一幀410、第二幀420以及第三幀430可以是依次顯示的幀。即，影像信號是在預定時間內連續拍攝的照片的集合，因此在依次顯示第一幀410、第二幀420以及第三幀430時，可以識別為視頻。

本發明的一實施例的噪聲消除裝置對每一幀進行在圖3中說明的解碼過程，其結果，能夠獲得每一幀所應用的量化係數。

之後，在特定幀的量化係數超過預定閾值時，可以將該幀確定為含有噪聲的幀。如上所述，量化係數越大消除的高頻成分越多。即，在壓縮過程中損失的數據變多，因此在對其進行解碼時可能含有較多的噪聲，因此將具有超過預定閾值的量化係數的幀確定為含有噪聲的幀。

例如，在圖4中，若第二幀420的量化係數QPcur超過預定閾值，則將第二幀420確定為含有噪聲的幀。

但是，確定含有噪聲的幀的方法並不限定於此，也可以通過其他方法來實現。

圖5是用於說明根據本發明的另一實施例確定含有噪聲的幀的方法的圖。

如在圖4中說明的那樣，可以依次顯示第一幀410、第二幀420以及第三幀430。即，在第一幀410之後顯示第二幀420，在第二幀420之後顯示第三幀430來播放視頻。

本發明的一實施例的噪聲消除裝置計算第一差值和第二差值，其中，第一差值是第一幀410和第二幀420的量化係數的差值，第二差值是第二幀420與第三幀的量化係數的差值。

具體而言，如圖5所示，通過下式來計算第一差值和第二差值。

[式1]

dQPcur-prev＝|QPcur-QPprev|

[式2]

dQPcur-next＝|QPcur-QPnext|

其中，dQPcur-prev是第一幀410的量化係數與第二幀420的量化係數的差值即第一差值，QPcur是第二幀420的量化係數，QPprev是第一幀410的量化係數，dQPcur-next是第二幀420與第三幀430的量化係數的差值即第二差值，QPnext是第三幀430的量化係數。

之後，若第一差值和第二差值超過預定閾值，則可將第二幀420確定為含有噪聲的幀。

即，第一差值和第二差值都超過預定閾值的情況是第二幀420的量化係數比第一幀410的量化係數和第三幀430的量化係數都非常大的值的情況。

即，量化係數大的第二幀420的比特流與原始影像信號相比，是消除了很多高頻成分的狀態，因此若對第二幀420的比特流進行解碼則包含較多的噪聲。

因此，若執行上述過程，則能夠確定含有較多噪聲的幀。

圖6是用於說明根據本發明的另一實施例確定含有噪聲的幀的方法的圖。

本發明的一實施例的噪聲消除裝置除了第一差值和第二差值外，還計算第一幀410的量化係數與第三幀430的量化係數的差值即第三差值。

如圖6所示，可以通過下式來計算第三差值。

[式3]

dQPprev-next＝|QPprev-QPnext|

其中，dQPprev-next是第一幀410與第三幀430的量化係數的差值即第三差值，QPprev是第一幀410的量化係數，QPnext是第三幀430的量化係數。

若與第一幀410的量化係數及第三幀430的量化係數相比第二幀420的量化係數大，則第一差值或第二差值超過第三差值。

如上所述，量化係數較大的幀含有較多的噪聲，因此在圖6所示的實施例中，將第二幀420確定為含有噪聲的幀。

在通過圖4至圖6中的至少一個方法來確定含有噪聲的幀後，可將該幀輸入到濾波器來消除噪聲。

將含有噪聲的幀輸入到濾波器來消除噪聲的方法對於本發明所屬技術領域的技術人員是明白的技術，因此省略詳細說明。

若通過上述過程確定含有噪聲的幀並消除噪聲，則前後幀之間的相似性提高，因此，通過第二編解碼器對解碼的比特流進行轉碼時，能夠實現提高壓縮率的效果。

圖7和圖8是用於說明確定含有噪聲的幀後消除噪聲來提高壓縮率的過程的圖。

壓縮影像信號的方法之一為使用幀之間的相關關係(temporal correlation，時間相關)的方法。使用幀之間的相關關係的壓縮方法表示著眼於相鄰的幀為非常相似的圖像來縮小影像大小的方法。

若為24FPS(Frame Per second，幀速)的影像信號，則在一秒內包含24個幀。即，在短時間內輸出相似的幀來播放視頻，因此時間上相鄰的幀的像素可能具有非常相似的值。

即，時間上相鄰的幀越相似，壓縮率越高。反之，若任意幀含有較多的噪聲，則以含有較多噪聲的幀為基準前後幀的相似性變差，因此壓縮率下降。

在圖7中，x軸表示依次顯示的幀，y軸表示該幀的比特量即大小。

從圖7可知，與其他幀相比第五幀720具有較大的比特量。這是因為在與第五幀720時間上相鄰的第四幀710中發生了過度的量化。

即，在對第四幀710應用較大量化係數來執行量化時，較多高頻成分被消除，因此損失的數據量變多。若對這樣的第四幀710進行解碼則產生過度的噪聲，因該過度的噪聲造成與第五幀720的相似性下降。

因此，第五幀720的壓縮率下降，與其他幀相比具有較大的比特量。因此，若通過本發明的一實施例的噪聲消除方法來消除第四幀710的噪聲，則第四幀710與第五幀720的相似性提高，第五幀720的比特量減少。

具體而言，根據圖8可確定如下信息：通過消除第四幀710的噪聲，與第五幀720的相似性提高，第五幀720的比特率下降。

圖9是用於說明本發明的一實施例的噪聲消除裝置的功能框圖。

如圖9所示，噪聲消除裝置900包括解碼部910、量化係數獲取部920、噪聲提取部930以及噪聲濾波部940。在圖9中僅示出了與本發明的實施例相關的結構要素。因此，本發明所屬領域的技術人員應能理解除了圖9所示的結構要素外還包括通用的結構要素。

解碼部910對通過第一編解碼器編碼的比特流進行解碼。具體而言，解碼部910①將被壓縮的編碼值重新轉換為符號形式，②執行反量化來獲得DCT(Discrete cosine transform，離散餘弦變換)係數後，③執行反DCT來生成空間域的影像信息。

量化係數獲取部920獲得在第一編解碼器的編碼過程中所確定的量化係數。此時，量化係數被包含在通過第一編解碼器編碼的比特流中。並且，也可以設定為每一幀具有不同的量化係數值。

噪聲提取部930使用量化係數來提取出含有噪聲的幀。本發明的一實施例的噪聲提取部930可將量化係數超過預定閾值的幀確定為含有噪聲的幀。或者，也可以計算前後幀的量化係數之間的差值來確定含有噪聲的幀。

在圖4至圖6中說明了計算前後幀的量化係數之間的差值來確定含有噪聲的 幀的具體方法，因此省略重複的說明。

當噪聲提取部930確定了含有噪聲的幀時，噪聲濾波部940將含有噪聲的幀輸入到濾波器來消除噪聲。

本發明的一實施例的噪聲濾波部940可以由低通濾波器來實現，但並不限定於此，當然也可以通過能夠消除噪聲的其他通用濾波器來實現。

並且，本發明的一實施例的噪聲消除裝置900還可包括編碼部(未圖示)，為了進行轉碼而對通過第一編解碼器編碼的比特流進行解碼後，該編碼部通過第二編解碼器重新對消除噪聲後的影像信號進行編碼。

根據上述的噪聲消除裝置900，能夠實現消除在量化過程中產生的噪聲的效果。並且，還能通過消除該噪聲來實現提高幀之間的相似性並提高壓縮率的效果。

圖10是用於說明本發明的另一實施例的噪聲消除裝置1000的功能框圖。

圖10所示的噪聲消除裝置1000包括處理器1010、貯存器1020、存儲器1030、網絡接口1040以及總線1050。在圖10中僅示出了與本發明的實施例相關的結構要素。因此，本發明所屬領域的技術人員應能理解除了圖10所示的結構要素外還包括其他通用的結構要素。

處理器1010執行從影像信號中消除噪聲的程序。但是，處理器1010能夠執行的程序並不限定於此，也可以執行其他通用的程序。

貯存器1020存儲能夠從影像信號中消除噪聲的程序。並且，還可以預先存儲有用於確定含有噪聲的幀的閾值、即與量化係數相關的信息。根據本發明的一實施例確定含有噪聲的方法通過比較預定閾值與量化係數來實現，因此可將上述的預定閾值存儲在貯存器1020中。

另一方面，能夠消除噪聲的程序執行如下的步驟：對通過第一編解碼器編碼的比特流進行解碼的步驟；獲得在通過上述第一編解碼器編碼的過程中所確定的量化係數(QP：Quantization Parameter)的步驟；使用上述量化係數來確定含有噪聲的幀的步驟；以及將確定為含有上述噪聲的幀輸入到預定噪聲濾波器的步驟。

存儲器1030加載噪聲消除程序，通過處理器1010執行該程序。

網絡接口1040能夠與各種計算裝置連接，總線1050作為連接處理器1010、貯存器1020、存儲器1030以及網絡接口1040的數據移動通道而發揮作用。

另一方面，上述方法可以通過計算機可執行的程序來生成，並在使用計算機可讀記錄介質執行上述程序的通用數字計算機上實現。並且，可以通過各種手段將在上述方法中所使用的數據結構記錄在計算機可讀記錄介質中。上述計算機可讀記錄介質包括磁介質存儲介質(例如，ROM、軟盤、硬碟等)、光學可讀介質 (例如，CD-ROM、DVD等)等存儲介質。

本實施例所屬技術領域的技術人員能夠理解在不脫離上述記載的本質特徵的範圍內可以以變形方式來實現。因此，應認為所公開的方法並不是限定的觀點而是說明性觀點。本發明的範圍並不表現在上述說明，而是表現在權利要求書中，應解釋為與其等同的範圍內的全部不同點都包含在本發明中。