用於圖像增強的方法和裝置製造方法

2023-10-08 08:25:44 1

用於圖像增強的方法和裝置製造方法
【專利摘要】本發明的實施例涉及用於圖像增強的方法和裝置。特別地，公開了一種用於增強圖像的方法，所述方法包括：估計所述圖像的不清晰度；基於所述不清晰度來確定所述圖像中至少一個像素的保護水平；以及修改所述至少一個像素的值以增強所述圖像，所述修改的量至少部分地基於所述保護水平而確定。還公開了相應的裝置和用戶設備。
【專利說明】用於圖像增強的方法和裝置

【技術領域】
[0001] 本發明的實施例涉及圖像處理技術，更具體地，涉及用於圖像增強的方法和裝置。

【背景技術】
[0002] 在過去數年間，圖像捕獲和處理技術已經獲得了顯著的發展和進步。目前，照相 機、攝像機等圖像捕獲設備已經能夠一體化地集成在諸如行動電話、個人數字助理（PDA)、 平板式計算機、膝上型計算機等各種計算設備中。在目前的圖像捕獲和處理技術中，一個主 要的挑戰來自於拍攝環境對圖像質量的影響。例如，在低光環境或是有霧的自然環境中，所 捕獲圖像的質量通常將會明顯下降，例如表現為圖像中的景物模糊等等。
[0003] 為了緩解這一問題，已經提出了一些解決方案。例如，已經提出每當用戶發出捕獲 圖像的指令時，利用不同的參數（例如，曝光參數，焦距，等等）拍攝一系列圖像並且將這些 合成在一起以獲得最終圖像，從而消除由低光帶來的不利影響。然而，這種方法需要較高的 計算代價，而且並非所有圖像捕獲設備都允許對參數的控制。更重要的是，這種方案無法滿 足實時圖像增強的需求。例如，儘管得到的最終結果圖像的質量可被增強，但是用戶在取景 器中所看到的表示場景的實時圖像的質量卻沒有得到提高。因此，圖像捕獲過程中的用戶 體驗沒有得到改善。可見，這種圖像增強方案不適用於實時的圖像/視頻增強。
[0004] 另一方面，某些已知的方案藉助於純計算機軟體來解決這一問題。例如，可以通過 改進圖像或視頻幀的對比度來增強低光條件下的圖像質量。備選地或附加地，可以執行專 門的去霧（fog removal)過程或者去低光照過程，以基於成像模型來消除圖像中的有霧區 域或者低光照區域。然而，利用這種方法處理的圖像常常包含很多噪聲並且是不穩定的。例 如，在執行去霧和去光照的區域中可能產生鱗片狀的視覺效果，這在圖像增強過程中錯誤 地引入了噪聲。這種現象可以成為"過移除"（over-removal)，它使得圖像增強的結果不穩 定、不可靠，並且會影響結果圖像的視覺效果。
[0005] 有鑑於此，本領域中需要一種能夠適用於實時圖像增強、同時避免過移除的圖像 增強技術。


【發明內容】

[0006] 為了克服現有技術中的上述問題，本發明提出一種用於增強圖像的方法和裝置。
[0007] 在本發明的一個方面，提供一種用於增強圖像的方法。該方法包括：估計所述圖 像的不清晰度；基於所述不清晰度來確定所述圖像中至少一個像素的保護水平；以及修改 所述至少一個像素的值以增強所述圖像，所述修改的量至少部分地基於所述保護水平而確 定。
[0008] 在本發明的另一方面，提供一種用於增強圖像的裝置。該裝置包括：不清晰度估計 單元，被配置為估計所述圖像的不清晰度；修改保護單元，被配置為基於所述不清晰度來確 定所述圖像中至少一個像素的保護水平；以及圖像增強單元，被配置為修改所述至少一個 像素的值以增強所述圖像，所述修改的量至少部分地基於所述保護水平而確定。
[0009] 通過下文描述將會理解，根據本發明的實施例，在對圖像執行增強時，圖像中的不 清晰度（例如，霧的濃度，暗度，等等）被定量地納入考慮。以此方式，在對圖像進行增強 時，對圖像中任何給定像素的修改量可以至少部分地基於圖像的總體不清晰度而自適應地 確定。而且，根據某些可選實施例，修改量還可取決於所修改的像素是否處於不清晰區域 中。根據本發明的實施例，對於具有濃霧和/或光線非常暗淡的圖像，圖像增強的力度被適 當地衰減。這可以有效地防止增強後的圖像中出現過移除的現象，從而獲得更加逼真、自然 和可接受的視覺效果。而且，本發明的實施例適用於實時圖像增強，使得用戶在獲得更好質 量的圖像的同時，還可以對圖像捕獲過程具有更加直觀、方便的控制。

【專利附圖】

【附圖說明】
[0010] 通過參考附圖閱讀下文的詳細描述，本發明實施例的上述以及其他目的、特徵和 優點將變得易於理解。在附圖中，以示例性而非限制性的方式示出了本發明的若干實施例， 其中：
[0011] 圖1示出了根據本發明的示例性實施例的用於增強圖像的方法的流程圖；
[0012] 圖2示出了根據本發明的另一示例性實施例的用於增強圖像的方法的流程圖；
[0013] 圖3示出了根據本發明的示例性實施例的用於估計圖像的不清晰度的示意圖；
[0014] 圖4示出了分別利用根據本發明的示例性實施例和傳統方法對圖像執行去霧處 理的不意圖；
[0015] 圖5示出了分別利用根據本發明的示例性實施例和傳統方法對圖像執行去低光 照處理的示意圖；
[0016] 圖6示出了根據本發明的示例性實施例的用於增強圖像的裝置的框圖；以及 [0017] 圖7示出了可用於實現本發明的示例性實施例的用戶設備的示意性框圖。
[0018] 在各個附圖中，相同或對應的標號表不相同或對應的部分。

【具體實施方式】
[0019] 下面將參考附圖中示出的若干示例性實施例來描述本發明的原理和精神。應當理 解，描述這些實施例僅僅是為了使本領域技術人員能夠更好地理解和實現本發明，並非以 任何方式限制本發明的範圍。
[0020] 首先參考圖1，其示出了根據本發明的一個示例性實施例的用於增強圖像的方法 100的流程圖。請注意，在本申請的上下文中，術語"圖像"可以是靜態圖像，也可以是活動 影像（例如，視頻）中的圖像（即，幀）。圖像可以利用任何適當的捕獲設備/手段來獲取， 並且可以按照任何適當的格式來存儲和處理，本發明的範圍在此方面不受限制。
[0021] 如圖所示，在方法100開始之後，在步驟S101估計所處理的圖像的不清晰度。在 此使用的術語"不清晰度"是指由於捕獲圖像時的環境因素而在圖像中導致的不清晰或者 說模糊的程度。可以理解，例如霧、霾、煙塵、雨雪、低光等各種因素都可能導致圖像中景物 的模糊。在傳統方法中，圖像增強過程並未對圖像中的不清晰度進行定量地考慮，從而導致 了過移除等現象的發生。與此不同，根據本發明的實施例，將定量地估計圖像的總體不清晰 度以便在增強圖像清晰度的同時避免過移除。
[0022] 為討論方便之目的，在下文描述中，可能使用"霧的濃度"作為不清晰度的示例。然 而，這僅僅是示例性的而並非意在限制本發明的範圍。可以理解，下文結合霧的濃度所描述 的各種實施例同樣適用於由於其他因素而引起的圖像模糊。例如，由於低光條件而引起的 不清晰度稱為暗度（darkness)。根據本發明的實施例，可以將暗度轉換為霧的濃度，並且去 霧處理來實現對圖像的增強。例如，可以對低光條件下捕獲的圖像取反，從而將低光區域將 被轉換為高亮度區域。此時，高亮度區域可被視為有霧區域。由此，原始圖像的暗度可以由 取反圖像的霧的濃度來表示。
[0023] 根據本發明的實施例，在步驟S101，可以利用各種方式來估計圖像的圖清晰度。以 霧的濃度為例，圖像中有霧區域中的像素的亮度通常高於其他區域中的像素。因此，根據某 些實施例，可以將圖像中亮度高於特定閾值的多個像素（例如，最亮的前20%的像素）的平 均顏色值定義為霧的濃度。注意，這僅僅是示例性的，任何目前已知或者將來開發的適當方 法都可以用來估計圖像中霧的濃度。這方面的其他示例性實施例將會在下文詳述。
[0024] 接下來，方法100進行到步驟S102,在此基於在步驟S101中確定的圖像的不清晰 度，確定圖像中的至少一個像素的保護水平。這裡所說的"至少一個像素"是指在圖像增強 中其值將被改變的像素。根據某些實施例，可以針對圖像中的所有像素確定相關聯的保護 水平。備選地，可以僅根據圖像中的某些特定區域而確定該區域中的像素的保護水平。這 樣的區域可以是自動確定的，也可以是用戶手工指定的。本發明的範圍在此方面不受限制。
[0025] 在此使用的術語"保護水平"表示在圖像增強中對相關聯的像素的處理力度或幅 度，保護水平越高則處理力度越小。根據本發明的實施例，一般而言，圖像的總體不清晰度 越高，則圖像中各像素的保護水平越高。這樣，對於薄霧條件下捕獲的圖像，將以較大的幅 度執行去霧過程，從而提高圖像中景物的清晰度；另一方面，對於在濃霧條件下捕獲的圖 像，則將以較小的幅度執行去霧過程，從而防止發生現有技術中那樣的過移除現象。根據本 發明的實施例，可以利用任何適當的增函數來建立圖像的不清晰度與像素保護水平之間的 關聯，使得像素保護水平隨著圖像不清晰度的增大而提高。例如，分段函數、階梯函數、線性 函數、指數函數、對數函數等等均可與本發明的實施例結合使用。下文將詳細描述這方面的 若干實施例。
[0026] 備選地或附加地，根據本發明的實施例，像素的保護水平還可以與該像素與圖像 總體不清晰度之間的關係有關。例如，對於給定的霧的濃度，一個像素的值與霧的濃度的差 距越小，則表明該像素處於有霧區域的可能性越大，導致該像素的保護水平越高。反之，一 個像素的值與霧的濃度的差距越大，則該像素處於有霧區域的可能性越小，導致該像素的 保護水平越低。以此方式，可以以較小的力度處理對有霧或濃霧區域中的像素，而以較大的 力度處理無霧或薄霧區域中的像素。
[0027] 接下來，在步驟S103,對圖像中的至少一個像素進行圖像增強處理。在諸如去霧、 去低光照等圖像增強過程中，相關像素的值將被改變以提高圖像的清晰程度。特別地，根據 本發明的實施例，對像素的修改的量至少部分地由步驟S102處確定的保護水平確定。以去 霧處理為例，如上文所述，一個像素的保護水平越高，對該像素的修改量越小；反之，一個像 素的保護水平越低，對該像素的修改量越大。
[0028] 在圖1描述的實施例中，方法103在步驟S103之後結束。根據本發明的實施例， 圖像的不清晰度（例如，霧的濃度）被引入圖像增強（例如，去霧處理）的過程中。由此， 區別於現有技術，在本發明的實施例中，每個像素的處理力度可以根據圖像的總體不清晰 度和該像素所在的區域而動態地、自適應地確定。這樣，可以在圖像增強與視覺效果之間取 得適當的平衡，從而獲得更加逼真、自然和可接受的視覺效果。
[0029] 下面參考圖2描述本發明另一示例性實施例的用於增強圖像的方法200。方法200 可以被認為是上文參考圖1描述的方法1〇〇的一種特定實現。如圖所示，在方法200開始 之後，在步驟S201-S203,估計待增強圖像的不清晰度。換言之，步驟S201-S203在功能上對 應於上文描述的方法100中的步驟S101。
[0030] 具體而言，在步驟S201，從圖像中提取空間結構信息。根據本發明的實施例，空間 結構信息用於描述圖像中所包含的場景的結構化特徵。根據某些實施例，這種空間結構信 息可以通過對圖像執行邊緣提取來實現。換言之，可以利用圖像場景中的邊緣信息作為結 構信息。在此方面，任何目前已知或者將來開發的邊緣提取算法均可與本發明的實施例結 合使用。
[0031] 備選地或附加地，可以通過對圖像執行不同尺度的濾波來實現結構信息的提取。 例如，如圖3所示，可以利用第一尺度的第一濾波器對原始圖像300進行濾波以獲得第一中 間圖像301。另外，利用第二尺度的第二濾波器對原始圖像300進行濾波以獲得第二中間 圖像302,其中第二尺度大於第一尺度。換言之，與第一濾波器相比，第二濾波器是大尺度 濾波器。根據本發明的實施例，第一濾波器和第二濾波器例如可以是線性濾波器、高斯濾波 器，等等。而後，計算第一中間圖像301和第二中間圖像302的差，得到差圖像303。差圖像 303所包含的信息可被用作原始圖像300中場景的空間結構信息。其他從圖像中提取結構 信息的方法也是可行的，本發明的範圍在此方面不受限制。
[0032] 接下來，在步驟S202,基於原始圖像以及在步驟S201處提取的空間結構信息生成 修正圖像（corrected image)。例如，根據某些實施例，可以通過從原始圖像中移除空間結 構信息來獲得該修正圖像。仍然參考圖3,可以從原始圖像300中減去差圖像302來生成修 正圖像304。備選地，也可以通過從原始圖像的派生圖像中移除空間結構信息來生成修正圖 像。例如，根據某些實施例，可以從圖3中所示的第二中間圖像30 1 (通過較大濾波尺度的 第二濾波器得到的中間圖像）中減去差圖像303來生成修正圖像304。其他實施例也是可 行的，本發明的範圍在此方面不受限制。
[0033] 接下來，在步驟S203,基於修正圖像來估計原始圖像的不清晰度。例如，可以選擇 修正圖像中亮度大於閾值的像素。該閾值可以是預先確定的，也可以是動態確定的。例如， 作為一個示例，可以選擇圖像中特定數目的最亮像素，例如亮度排在前20%的像素。被選擇 的像素的值（例如，在一個或多個顏色通道中的值）的平均值被計算，以作為圖像的不清晰 度的定量值。
[0034] 可以理解，在上文描述的步驟S201-S203中，在修正圖像304中移除了原始圖像 300中的結構信息。以此方式，在確定不清晰度時，可以避免由於前景結構中存在某些顏色 較淺的物體而過高地估計圖像的不清晰度。這樣，與直接從原始圖像估計不清晰度相比，所 估計的不清晰度能夠更加準確地反映拍攝原始圖像時的環境因素。
[0035] 繼續參考圖2,如果當前所處理的圖像是一個動態影像（例如，視頻）中的幀，則根 據某些可選實施例，可以在步驟S204處利用視頻中的至少一個先前幀的不清晰度，更新當 前圖像的不清晰度。這種時間軸上的更新有助於提高不清晰度的連續性和平滑性。具體而 言，假設當前圖像的估計的不清晰度為D t，則可以通過如下方式對Dt進行更新：

【權利要求】
1. 一種用於增強圖像的方法，所述方法包括： 估計所述圖像的不清晰度； 基於所述不清晰度來確定所述圖像中至少一個像素的保護水平；W及 修改所述至少一個像素的值W增強所述圖像，所述修改的量至少部分地基於所述保護 水平而確定。
2. 根據權利要求1所述的方法，其中估計所述圖像的不清晰度包括： 從所述圖像中提取空間結構信息；W及 基於所述圖像和所述空間結構信息來估計所述不清晰度。
3. 根據權利要求2所述的方法，其中從所述圖像中提取空間結構信息包括： 利用第一尺度的第一濾波器對所述圖像進行濾波W獲得第一中間圖像； 利用第二尺度的第二濾波器對所述圖像進行濾波W獲得第二中間圖像，所述第二尺度 大於所述第一尺度；W及 計算所述第一中間圖像與所述第二中間圖像的差作為所述空間結構信息。
4. 根據權利要求3所述的方法，其中基於所述圖像和所述空間結構信息來估計所述不 清晰度包括： 從所述第二中間圖像移除所述空間結構信息W生成修正圖像；W及 計算所述修正圖像中亮度大於闊值的像素的平均值作為所述不清晰度。
5. 根據權利要求1所述的方法，其中所述圖像是視頻中的峽，所述方法進一步包括： 利用所述視頻中在所述圖像之前的至少一個峽的所述不清晰度，來更新所述圖像的所 述不清晰度。
6. 根據權利要求1所述的方法，其中確定所述圖像的至少一個像素的保護水平包括： 基於所述至少一個像素的所述值和所述不清晰度，來計算針對所述至少一個像素的調 節因子，所述調節因子至少指示所述至少一個像素屬於所述圖像中的不清晰區域的概率。
7. 根據權利要求6所述的方法，其中修改所述至少一個像素的值包括： 估計大氣光在所述至少一個像素處的反射信息； 基於所述至少一個像素的所述值、所述不清晰度和所述反射信息，計算所述大氣光在 所述至少一個像素處與真實場景福射的偏離程度； 利用所述調節因子來調節所述偏離程度；W及 基於經調節的偏離程度和所述大氣光來修改所述至少一個像素的所述值。
8. 根據權利要求1所述的方法，進一步包括： 迭代地利用隨機分布在所述圖像中的多個種子估計所述圖像的大氣光，W用於對所述 至少一個像素的所述值的所述修改。
9. 根據權利要求8所述的方法，其中所述圖像是視頻中的峽，所述方法進一步包括： 利用所述視頻中在所述圖像之前的至少一個峽的所述大氣光，來更新所述圖像的所述 大氣光。
10. 根據權利要求1至9任一項所述的方法，其中所述圖像的所述不清晰度是所述圖像 中霧的濃度或者暗度。
11. 一種用於增強圖像的裝置，所述裝置包括： 不清晰度估計單元，被配置為估計所述圖像的不清晰度； 修改保護單元，被配置為基於所述不清晰度來確定所述圖像中至少一個像素的保護水 平；W及 圖像增強單元，被配置為修改所述至少一個像素的值W增強所述圖像，所述修改的量 至少部分地基於所述保護水平而確定。
12. 根據權利要求11所述的裝置，進一步包括： 結構提取單元，被配置為從所述圖像中提取空間結構信息， 其中所述不清晰度估計單元被配置為基於所述圖像和所述空間結構信息來估計所述 不清晰度。
13. 根據權利要求12所述的裝置，進一步包括： 第一濾波單元，被配置為利用第一尺度的第一濾波器對所述圖像進行濾波W獲得第一 中間圖像；W及 第二濾波單元，被配置為利用第二尺度的第二濾波器對所述圖像進行濾波W獲得第二 中間圖像，所述第二尺度大於所述第一尺度， 其中所述結構提取單元被配置為計算所述第一中間圖像與所述第二中間圖像的差作 為所述空間結構信息。
14. 根據權利要求13所述的裝置，其中所述不清晰度估計單元被配置為從所述第二中 間圖像移除所述空間結構信息W生成修正圖像，W及計算所述修正圖像中亮度大於闊值的 像素的平均值作為所述不清晰度。
15. 根據權利要求11所述的裝置，其中所述圖像是視頻中的峽，所述裝置進一步包括： 不清晰度更新單元，被配置為利用所述視頻中在所述圖像之前的至少一個峽的所述不 清晰度，來更新所述圖像的所述不清晰度。
16. 根據權利要求11所述的裝置，其中所述修改保護單元包括： 調節因子計算單元，被配置為基於所述至少一個像素的所述值和所述不清晰度，來計 算針對所述至少一個像素的調節因子，所述調節因子至少指示所述至少一個像素屬於所述 圖像中的不清晰區域的概率。
17. 根據權利要求16所述的裝置，進一步包括： 反射估計單元，被配置為估計大氣光在所述至少一個像素處的反射信息； 偏離計算單元，被配置為基於所述至少一個像素的所述值、所述不清晰度和所述反射 信息，計算所述大氣光在所述至少一個像素處與真實場景福射的偏離程度；W及 調節單元，被配置為利用所述調節因子來調節所述偏離程度， 其中所述圖像增強單元被配置為基於經調節的偏離程度和所述大氣光來修改所述至 少一個像素的所述值。
18. 根據權利要求11所述的裝置，進一步包括： 大氣光估計單元，被配置為迭代地利用隨機分布在所述圖像中的多個種子來估計所述 圖像的大氣光，W用於對所述至少一個像素的所述值的所述修改。
19. 根據權利要求18所述的裝置，其中所述圖像是視頻中的峽，所述裝置進一步包括： 大氣光更新單元，被配置為利用所述視頻中在所述圖像之前的至少一個峽的所述大氣 光，來更新所述圖像的所述大氣光。
20. 根據權利要求11至19任一項所述的裝置，其中所述圖像的所述不清晰度是所述圖 像中霧的濃度或者暗度。
21. -種設備，包括： 控制器； 用於捕獲圖像的圖像捕獲裝置；W及 根據權利要求11至20任一項所述的用於增強所述圖像的裝置。
【文檔編號】G06T5/00GK104346774SQ201310327358
【公開日】2015年2月11日 申請日期:2013年7月29日 優先權日:2013年7月29日
【發明者】李江偉, 閻賀, 汪孔橋 申請人:諾基亞公司