用於使用視點之間的相關性對圖像進行處理的設備和方法
2023-10-27 07:13:47 1
用於使用視點之間的相關性對圖像進行處理的設備和方法
【專利摘要】一種用於使用視點之間的相關性對圖像進行處理的設備和方法可包括：噪聲去除單元，用於從至少一個輸入的深度圖像去除噪聲；視點變換單元，用於執行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；加權均值濾波器單元，用於從第一視點的第一深度圖像和第一視點的深度空間產生至少一個加權係數，並且使用產生的加權係數來產生加權均值濾波器；深度圖像變換單元，用於通過應用產生的加權均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像。
【專利說明】用於使用視點之間的相關性對圖像進行處理的設備和方法
[0001]本申請要求於2012年9月11日提交到韓國知識產權局的第10-2012-0100237號韓國專利申請的優先權利益，其公開通過引用合併於此。
【技術領域】
[0002]下面描述的示例實施例涉及一種用於使用視點之間的相關性對圖像進行處理的設備和方法，更具體地講，涉及一種在深度圖像的壓縮中可支持前置濾波器(pre-filter)和環路濾波器中的恢復功能的圖像處理設備和方法。
【背景技術】
[0003]三維(3D)圖像壓縮系統可被用於對彩色圖像和深度圖像(例如，深度圖)進行壓縮。例如，H.264/先進視頻編碼(AVC)方案、H.264/多視點視頻編碼(MVC)方案、高效率視頻編碼(HEVC)方案可被用於有效地對彩色圖像進行壓縮。然而，深度圖像的圖像特徵與彩色圖像的圖像特徵完全不同。
[0004]用於對圖像進行壓縮或編碼的現有標準可包括例如H.261、H.263、運動圖像專家組(MPEG) -K MPEG-2, MPEG-4, H.264 和 HEVC 等。
[0005]現有壓縮標準彼此稍有不同，但通常配置有相似的結構，其中，所述結構包括運動估計、運動補償、變換編碼和熵編碼。
[0006]具體地，H.264和HEVC被公知為通過在恢復的圖像中最小化塊邊界失真來提高主觀圖像質量並且在運動估計和壓縮處理中使得能夠進行更精確的預測，從而提高總編碼效率。
[0007]上面的去塊濾波器在具有低比特率的圖像中表現出良好的性能。然而，在高質量圖像中，去塊濾波器的性能可能難以表現，或者可能甚至降低編碼性能。
[0008]另外，最近針對壓縮標準採用的自適應環路濾波器(ALF)可被用於最小化原始圖像和恢復的圖像之間的誤差。當ALF和去塊濾波器兩者被應用於高質量圖像時，編碼效率可增加。
[0009]典型的ALF被用作基於維納濾波器的恢復濾波器。
[0010]最近，正提出一種用於通過在去塊濾波器之後設置ALF以提高客觀圖像質量的方法。
【發明內容】
[0011]通過提供一種圖像處理設備來實現前述和/或其他方面，其中，所述圖像處理設備包括:噪聲去除單元，用於從至少一個輸入的深度圖像去除噪聲；視點變換單元，用於執行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；加權均值濾波器單元，用於從第一視點的第一深度圖像和第一視點的深度空間產生至少一個加權係數，並且使用產生的加權係數來產生加權均值濾波器；深度圖像變換單元，用於通過應用產生的加權均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像，其中，變換的第三深度圖像被用於對深度圖像進行編碼。
[0012]噪聲去除單元可使用範圍操作從所述至少一個輸入的深度圖像去除噪聲。
[0013]視點變換單元可將第二深度圖像變換為深度空間，並且可使用所述深度空間將第二深度圖像的第二視點變換到第一視點。
[0014]加權均值濾波器單元可使用第一視點的第一深度圖像和深度空間中的至少一個的標準差、方差、梯度以及解析度中的至少一個來確定閾值，並且可使用確定的閾值來產生加權係數。
[0015]還通過提供一種圖像處理設備來實現前述和/或其他方面，其中，所述圖像處理設備包括:視點變換單元，用於執行至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；加權均值濾波器單元，用於基於第一視點的第一深度圖像和第一視點的深度空間中的至少一個的圖像特徵來確定閾值，並且基於確定的閾值來對深度空間執行加權均值濾波；深度圖像變換單元，用於將經過濾波的深度空間變換為圖像區域的第三深度圖像，並且將第三深度圖像發送到畫面緩衝器。
[0016]加權均值濾波器單元可基於第一視點的第一深度圖像和深度空間中的至少一個的圖像特徵和壓縮條件來確定閾值。
[0017]加權均值濾波器單元可基於第一視點的第一深度圖像和深度空間中的至少一個的圖像特徵和量化參數(QP)，針對每個訪問單元或針對每個條帶來確定閾值。
[0018]通過提供一種圖像處理方法來實現前述和/或其他方面，其中，所述圖像處理方法包括:由噪聲去除單元從至少一個輸入的深度圖像去除噪聲；由視點變換單元執行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；由加權均值濾波器單元從第一視點的第一深度圖像和第一視點的深度空間產生至少一個加權係數；由加權均值濾波器單元使用產生的加權係數產生加權均值濾波器；由深度圖像變換單元通過應用產生的加權均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像，其中，變換的第三深度圖像被用於對深度圖像進行編碼。
[0019]執行視點變換的步驟可包括:由視點變換單元將第二深度圖像變換為深度空間；由視點變換單元使用所述深度空間將第二深度圖像的第二視點變換到第一視點。
[0020]產生所述至少一個加權係數的步驟可包括:由加權均值濾波器單元使用第一視點的第一深度圖像和深度空間中的至少一個的標準差、方差、梯度以及解析度中的至少一個來確定閾值；由加權均值濾波器單元使用確定的閾值來產生加權係數。
[0021]通過提供一種圖像處理方法來實現前述和/或其他方面，其中，所述圖像處理方法包括:由視點變換單元執行至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；由加權均值濾波器單元基於第一視點的第一深度圖像和第一視點的深度空間中的至少一個的圖像特徵和壓縮條件來確定閾值；由加權均值濾波器單元基於確定的閾值對深度空間執行加權均值濾波；由深度圖像變換單元將經過濾波的深度空間變換為圖像區域的第三深度圖像，並且將第三深度圖像發送到畫面緩衝器。[0022]確定閾值的步驟可包括:基於第一視點的第一深度圖像和深度空間中的至少一個的圖像特徵和QP，針對每個訪問單元或針對每個條帶來確定閾值。
[0023]確定閾值的步驟可包括:使用多個閾值對深度空間執行濾波，將所述多個閾值之中的與和原始圖像的圖像質量最相似的圖像質量相應的閾值確定為最終閾值。
[0024]確定閾值的步驟可包括:使用多個權重對深度空間執行濾波，將所述多個權重之中的與和原始圖像的圖像質量最相似的圖像質量相應的權重確定為最終權重。
[0025]示例實施例的另外的方面、特徵和/或優點將在下面的描述中被部分闡明，還有一部分從描述中將是清楚的或可通過本公開的實施而被得知。
【專利附圖】
【附圖說明】
[0026]從下面結合附圖對示例實施例的描述中，這些和/或其他方面和優點將變得清楚並更易於理解，其中:
[0027]圖1示出根據示例實施例的作為預處理位置的視點間濾波器(inter-viewfilter)操作的圖像處理設備的框圖；
[0028]圖2示出根據示例實施例的作為環路位置的視點間濾波器操作的圖像處理設備的框圖；
[0029]圖3示出根據示例實施例的三維(3D)圖像壓縮系統的編碼器的示圖；
[0030]圖4示出根據示例實施例的3D圖像壓縮系統的解碼器的示圖；
[0031]圖5示出根據示例實施例的深度圖像的視點變換的示圖；
[0032]圖6示出根據示例實施例的作為預處理位置的視點間濾波器操作的圖像處理設備的圖像處理方法的流程圖；
[0033]圖7示出根據示例實施例的作為環路位置的視點間濾波器操作的圖像處理設備的圖像處理方法的流程圖。
【具體實施方式】
[0034]現在將詳細參照示例實施例，其示例在附圖中示出，其中，相同的標號始終指示相同的元件。下面通過參照附圖來描述實施例以解釋本公開。
[0035]圖1示出根據示例實施例的作為預處理位置的視點間濾波器操作的圖像處理設備100的框圖。
[0036]圖1的圖像處理設備100可支持前置濾波器和環路濾波器中的恢復功能。圖1與前置濾波器的功能有關，並且示出具有用於提高鄰近視點之間的圖像的相似度並提高圖像的壓縮率的預處理濾波功能的圖像處理設備100。
[0037]預處理濾波可支持通過從原始圖像去除各種噪聲和非重要部分來最小化圖像的比特率以及提高壓縮率的功能，並且可支持通過提高鄰近視點之間的圖像的相似度來最大化圖像的質量以及提高壓縮率的功能。
[0038]在圖1中，可提供聯合視點間濾波器(JVT)方案。JVT方案可被用於當多視點深度圖像被輸入時，通過使用鄰近視點中的深度圖像之間的高相關性來執行濾波，以從深度圖像去除噪聲並提高壓縮效率。
[0039]圖像處理設備100可包括噪聲去除單元110、視點變換單元120、加權均值濾波單元130和深度圖像變換單元140。
[0040]噪聲去除單元110可從至少一個輸入的深度圖像去除噪聲。
[0041]例如，噪聲去除單元110可使用範圍操作(range operation)來從所述至少一個輸入的深度圖像去除噪聲。
[0042]具體地，噪聲去除單元110可使用下面的等式I從所述至少一個輸入的深度圖像去除噪聲:
[0043][等式I]
【權利要求】
1.一種圖像處理設備，包括: 噪聲去除單元，適用於從至少一個輸入的深度圖像去除噪聲； 視點變換單元，適用於執行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間； 加權均值濾波器單元，適用於從第一視點的第一深度圖像和第一視點的深度空間產生至少一個加權係數，並且使用產生的加權係數來產生加權均值濾波器； 深度圖像變換單元，適用於通過應用產生的加權均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像， 其中，變換的第三深度圖像被用於對深度圖像進行編碼。
2.如權利要求1所述的圖像處理設備，其中，噪聲去除單元使用範圍操作從所述至少一個輸入的深度圖像去除噪聲。
3.如權利要求1所述的圖像處理設備，其中，視點變換單元將第二深度圖像變換為深度空間，並且使用所述深度空間將第二深度圖像的第二視點變換到第一視點。
4.如權利要求1所述的圖像處理設備，其中，加權均值濾波器單元使用第一視點的第一深度圖像和深度空間中的至少一個的標準差、方差、梯度以及解析度中的至少一個來確定閾值，並且使用確定的閾值來產生加權係數。
5.如權利要求1所述的圖像處理設備，還包括: 預測單元，適用於使用幀內預測和幀間預測來輸出預測圖像；` 變換和量化單元，適用於輸出差分圖像； 熵編碼單元； 反量化和反變換單元，適用於對差分圖像執行反量化和反變換； 畫面緩衝器，適用於存儲第三深度圖像，使得第三深度圖像可被用作參考圖像。
6.一種圖像處理設備，包括: 視點變換單元，適用於執行至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間； 加權均值濾波器單元，適用於基於第一視點的第一深度圖像和第一視點的深度空間中的至少一個的圖像特徵來確定閾值，並且基於確定的閾值來對第一視點的深度空間執行加權均值濾波； 深度圖像變換單元，適用於將第一視點的經過濾波的深度空間變換為圖像區域的第三深度圖像，並且將第三深度圖像發送到畫面緩衝器。
7.如權利要求6所述的圖像處理設備，其中，加權均值濾波器單元基於第一視點的第一深度圖像和深度空間中的至少一個的圖像特徵和壓縮條件來確定閾值。
8.如權利要求7所述的圖像處理設備，其中，加權均值濾波器單元基於第一視點的第一深度圖像和深度空間中的至少一個的圖像特徵和量化參數QP，針對每個訪問單元或針對每個條帶來確定閾值。
9.一種圖像處理方法，包括: 由噪聲去除單元從至少一個輸入的深度圖像去除噪聲； 由視點變換單元執行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；由加權均值濾波器單元從第一視點的第一深度圖像和第一視點的深度空間產生至少一個加權係數； 由加權均值濾波器單元使用產生的加權係數產生加權均值濾波器； 由深度圖像變換單元通過應用產生的加權均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像， 其中，變換的第三深度圖像被用於對深度圖像進行編碼。
10.如權利要求9所述的圖像處理方法，其中，執行視點變換的步驟包括: 由視點變換單元將第二深度圖像變換為深度空間； 由視點變換單元使用所述深度空間將第二深度圖像的第二視點變換到第一視點。
11.如權利要求9所述的圖像處理方法，其中，產生所述至少一個加權係數的步驟包括: 由加權均值濾波器單元使用第一視點的第一深度圖像和深度空間中的至少一個的標準差、方差、梯度以及解析度中的至少一個來確定閾值； 由加權均值濾波器單元使用確定的閾值來產生加權係數。
12.—種圖像處理方法，包括: 由視點變換單元執行至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間； 由加權均值濾波器單元基於第一視點的第一深度圖像和第一視點的深度空間中的至少一個的圖像特徵和壓縮條件來確定閾值； 由加權均值濾波器單元基於確定的閾值對深度空間執行加權均值濾波； 由深度圖像變換單元將經過濾波的深度空間變換為圖像區域的第三深度圖像，並且將第三深度圖像發送到畫面緩衝器。
13.如權利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:基於第一視點的第一深度圖像和深度空間中的至少一個的圖像特徵和量化參數QP，針對每個訪問單元或針對每個條帶來確定閾值。
14.如權利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:使用多個閾值對深度空間執行濾波，將所述多個閾值之中的與和原始圖像的圖像質量最相似的圖像質量相應的閾值確定為最終閾值。
15.如權利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:使用多個權重對深度空間執行濾波，將所述多個權重之中的與和原始圖像的圖像質量最相似的圖像質量相應的權重確定為最終權重。
【文檔編號】H04N19/597GK103686192SQ201310412382
【公開日】2014年3月26日 申請日期:2013年9月11日 優先權日:2012年9月11日
【發明者】任一淳, 魏浩千, 李在濬 申請人:三星電子株式會社