一種圖像處理方法及電子設備與流程

2023-04-29 04:36:11

本申請涉及數據處理技術領域，特別涉及一種圖像處理方法及電子設備。

背景技術：

高動態範圍成像(highdynamicrangeimaging，hdr成像)是一種常用在成像、攝影、計算機圖形學等領域的技術，它的目標是在常用的數字顯示設備上(8-bit)去準確地複製、再現人眼視覺所感知的一個寬動態範圍(從太陽光直射到最暗的陰影)的真實世界中的場景。高動態範圍成像一般包含兩個部分：1.高動態圖像或者輻射圖的捕捉、獲取、合成；2.把高動態圖像或輻射圖映射到常用顯示設備上，即色調映射tone-mapping。

目前，為了追求在寬動態範圍內儘可能最大化圖像明暗處的對比度，大部分研究都集中在局部色調映射算法的改進上，即對高動態圖像或輻射圖中部分圖像幀進行色調映射顯示到數字顯示設備上。

而局部色調映射算法會在圖像上出現明暗邊緣出現不自然的光暈現象(halo-artifact)。

技術實現要素：

有鑑於此，本申請的目的是提供一種圖像處理方法及電子設備，用以解決現有技術中的局部色調映射算法會在圖像上出現光暈現象的技術問題。

本申請提供了一種圖像處理方法，包括：

獲得高動態光照渲染hdr圖像；

獲得所述hdr圖像中的亮度參數，所述亮度參數包括：所述hdr圖像中明暗亮度的比例參數及亮度差值參數；

基於所述亮度參數，獲得動態範圍dr因子和動態範圍中心點；

確定所述dr因子和所述中心點對應的目標曲線；

利用所述目標曲線，建立所述hdr圖像中圖像幀與數字顯示設備的顯示像素之間的色調映射關係。

上述方法，優選的，獲得所述hdr圖像中的亮度參數，包括：

提取所述hdr圖像中圖像幀的最大亮度值lmax、最小亮度值lmin、平均亮度值lmean及適應亮度值las；

利用logdr＝log2(lmax/lmin)，獲得所述hdr圖像的明暗亮度比例參數logdr；

利用logdiff＝log2(lmean)-log2(las)，獲得所述hdr圖像的亮度差值參數logdiff。

上述方法，優選的，確定所述dr因子和所述中心點對應的目標曲線，包括：

基於所述dr因子和所述中心點，確定曲線截取方式；

根據所述曲線截取方式，獲得目標曲線。

上述方法，優選的，根據所述曲線截取方式，獲得目標曲線，包括：

根據所述曲線截取方式及所述dr因子，獲得縱坐標段；

根據所述曲線截取方式及所述中心點，獲得橫坐標段；

基於所述縱坐標段和所述橫坐標段，獲得目標曲線。

上述方法，優選的，所述dr因子的大小與所述縱坐標段的縱坐標範圍相對應；

所述中心點的大小與所述橫坐標段的中點橫坐標相對應。

上述方法，優選的，還包括：

基於所述色調映射關係，將所述hdr圖像在所述數字顯示設備上進行顯示。

本申請還提供了一種電子設備，包括：

輸入接口，用於獲得hdr圖像；

數字顯示設備；

處理器，用於獲得所述hdr圖像中的亮度參數，所述亮度參數包括：所述hdr圖像中明暗亮度的比例參數及亮度差值參數，基於所述亮度參數，獲得動態範圍dr因子和動態範圍中心點，在預設的人眼視覺模型中，確定所述dr因子和所述中心點對應的目標曲線，利用所述目標曲線，建立所述hdr圖像中圖像幀與所述數字顯示設備的顯示像素之間的色調映射關係。

上述電子設備，優選的，還包括：

輸出接口，用於基於所述色調映射關係，將所述hdr圖像在所述數字顯示設備上進行顯示。

由上述方案可知，本申請提供的一種圖像處理方法及電子設備，在獲得hdr圖像之後，通過獲得hdr圖像中明暗亮度的比例參數及亮度差值參數來獲得動態範圍的dr因子和中心點，進而確定dr因子和中心點對應的目標曲線，並利用目標曲線建立hdr圖像中圖像幀與數字顯示設備的顯示像素之間的色調映射關係，由此後續能夠基於這一色調映射關係將hdr圖像顯示在數字顯示設備中。本申請通過對hdr圖像採用全局色調映射的實現方案，區別於現有技術中的局部色調映射方案，避免了圖像中局部位置出現不自然的光暈現象。

附圖說明

為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本申請實施例一提供的一種圖像處理方法的流程圖；

圖2及圖3a分別為本申請實施例一的部分流程圖；

圖3b為本申請實施例的應用示例圖；

圖4為本申請實施例二提供的一種圖像處理方法的流程圖；

圖5為本申請實施例三提供的一種電子設備的結構示意圖；

圖6為本申請實施例四提供的一種電子設備的結構示意圖；

圖7～圖10分別為本申請實施例的其他應用示例圖。

具體實施方式

下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。

參考圖1，為本申請實施例一提供的一種圖像處理方法的實現流程圖，適用於將高動態光照渲染hdr圖像映射到普通的數字顯示設備中進行顯示的應用中。

在本實施例中，該方法可以包括以下步驟：

步驟101：獲得hdr圖像。

其中，hdr圖像可以通過對一組連續不同曝光圖片進行合成，來重造出hdrradiancemap，即hdr圖像。

步驟102：獲得hdr圖像中的亮度參數。

其中，亮度參數可以包括有：hdr圖像中明暗亮度的比例參數及亮度差值參數。明暗亮度的比例參數可以用logdr表示，亮度差值參數可以用logdiff表示。

步驟103：基於亮度參數中的logdr及logdiff，獲得動態範圍的dr因子和中心點。

其中，這裡的兩個變量：dr因子和中心點事與色調映射曲線相關的。

步驟104：確定dr因子和中心點對應的目標曲線。

其中，本實施例中可以基於預設的人眼視覺模型來確定dr因子和中心點對應的目標曲線。

需要說明的是，人眼視覺模型是用於預測在給定環境光照下，人眼視網膜上感知色彩和亮度的細胞對光的響應。

步驟105：利用目標曲線，建立hdr圖像中圖像幀與數字顯示設備的顯示像素之間的色調映射關係。

例如，hdr圖像中一個圖像幀具有20個像素，數字顯示設備的顯示像素有5個，那麼基於目標曲線，將hdr圖像的圖像幀中的第1個～第4個像素對應數字顯示設備的第1個顯示像素，將hdr圖像的圖像幀中的第5個～第8個像素對應數字顯示設備的第2個顯示像素，將hdr圖像的圖像幀中的第9個～第12個像素對應數字顯示設備的第3個顯示像素，將hdr圖像的圖像幀中的第13個～第16個像素對應數字顯示設備的第4個顯示像素，將hdr圖像的圖像幀中的第17個～第20個像素對應數字顯示設備的第5個顯示像素。

由上述方案可知，本申請實施例一提供的一種圖像處理方法，在獲得hdr圖像之後，通過獲得hdr圖像中明暗亮度的比例參數及亮度差值參數來獲得動態範圍的dr因子和中心點，進而確定dr因子和中心點對應的目標曲線，並利用目標曲線建立hdr圖像中圖像幀與數字顯示設備的顯示像素之間的色調映射關係，由此後續能夠基於這一色調映射關係將hdr圖像顯示在數字顯示設備中。本實施例通過對hdr圖像採用全局色調映射的實現方案，區別於現有技術中的局部色調映射方案，避免了圖像中局部位置出現不自然的光暈現象。

圖2所示為圖1中步驟102的實現流程圖，步驟102可以通過以下步驟實現：

步驟201：提取hdr圖像中圖像幀的最大亮度值lmax、最小亮度值lmin、平均亮度值lmean及適應亮度值las；

步驟202：利用logdr＝log2(lmax/lmin)，獲得hdr圖像的明暗亮度比例參數logdr。

步驟203：利用logdiff＝log2(lmean)-log2(las)，獲得hdr圖像的亮度差值參數logdiff。

而明暗亮度比例參數logdr和亮度差值參數logdiff與dr因子和中心點有密切關聯。而為了得到更加接近人眼視覺對寬動態範圍環境的感知，本實施例中可以基於預設的人眼視覺對寬動態範圍光照的感知模型來獲得dr因子和中心點。

其中，人眼視覺對寬動態範圍光照的感知模型是基於心理物理學實驗獲得，例如，一項心理物理學實驗中，對40組不同場景和光照環境下的高動態光照範圍圖像進行建模，實現得出圖像高動態特徵和人眼感知之間的模型(具體算法實現時不局限於該模型)如下：

ceterpoint＝logdiff/30+0.4994；

drfactor＝0.0608*logdr+0.031。

需要說明的是，上述心理物理學實驗的原理可以理解為：hdr圖像的輸入對於人眼來說一種物理刺激，而建模過程即為對光的亮度物理刺激和它引起的人眼視覺感知進行數量化的研究過程。例如，光的亮度達到哪個強度才能引起視覺的感知。

本實施例中將明暗亮度比例參數logdr和亮度差值參數logdiff代入上述模型中，得到中心點ceterpoint和dr因子drfactor。

而圖1中的步驟104在確定dr因子和中心點對應的目標曲線時，可以通過以下步驟實現，如圖3a中所示：

步驟301：基於dr因子和中心點，確定曲線截取方式。

其中，本實施例中可以確定基於人眼視覺模型中的曲線r(i)＝in/(in+σn)的曲線截取方式。其中，i為環境光照下光亮度變量，r為人眼感知亮度變量，n為靈敏度常數，σ為半飽和常數，而在具體實現中，n為1，σ為1。

步驟302：根據曲線截取方式，獲得目標曲線。

具體的，步驟302可以通過以下方式實現：

基於人眼視覺模型中的曲線r(i)＝in/(in+σn)及dr因子，獲得縱坐標段，即用dr因子在曲線r(i)＝in/(in+σn)縱坐標上去截取相應縱坐標範圍的坐標段，由此得到的縱坐標段的縱坐標範圍對應於dr因子的大小；

基於人眼視覺模型中的曲線r(i)＝in/(in+σn)及中心點，獲得橫坐標段，即用中心點在曲線r(i)＝in/(in+σn)橫坐標上去確定中心橫坐標為該中心點大小的橫坐標段；

基於縱坐標段和橫坐標段，獲得目標曲線，也就是說，在曲線r(i)＝in/(in+σn)上，獲得的橫坐標段和縱坐標段所對應的曲線即為目標曲線。

如圖3b中所示，曲線的實線部分為目標曲線，該目標曲線橫坐標的中心坐標為中心點，該目標曲線縱坐標的範圍為dr因子的大小範圍。

參考圖4，為本申請實施例二提供的一種圖像處理方法的實現流程圖，在步驟105之後，該方法還可以包括以下步驟：

步驟106：基於色調映射關係，將hdr圖像在數字顯示設備上進行顯示。

由上述方案可知，本申請實施例二提供的一種圖像處理方法，在獲得hdr圖像之後，通過獲得hdr圖像中明暗亮度的比例參數及亮度差值參數來獲得動態範圍的dr因子和中心點，進而確定dr因子和中心點對應的目標曲線，並利用目標曲線建立hdr圖像中圖像幀與數字顯示設備的顯示像素之間的色調映射關係，從而能夠基於這一色調映射關係將hdr圖像顯示在數字顯示設備中。本實施例通過對hdr圖像採用全局色調映射的實現方案，區別於現有技術中的局部色調映射方案，避免了圖像中局部位置出現不自然的光暈現象。

參考圖5，為本申請實施例三提供的一種電子設備的結構示意圖，該電子設備可以為手機、pad等能夠對圖像進行採集及處理的終端。

本實施例中，該電子設備可以包括以下結構：

輸入接口501，用於獲得hdr圖像。

其中，該輸入接口501與圖像採集設備相連接，輸入接口501可以通過與圖像採集設備之間的數據通道來獲得圖像採集設備採集並生成的hdr圖像。

數字顯示設備502，該數字顯示設備可以為具備普通顯示像素(解析度較低)的顯示設備，如顯示屏等。

處理器503，用於獲得hdr圖像中的亮度參數，所述亮度參數包括：所述hdr圖像中明暗亮度的比例參數及亮度差值參數，基於所述亮度參數，獲得動態範圍dr因子和動態範圍中心點，在預設的人眼視覺模型中，確定所述dr因子和所述中心點對應的目標曲線，利用所述目標曲線，建立所述hdr圖像中圖像幀與所述數字顯示設備的顯示像素之間的色調映射關係。

由上述方案可知，本申請實施例三提供的一種電子設備，在獲得hdr圖像之後，通過獲得hdr圖像中明暗亮度的比例參數及亮度差值參數來獲得動態範圍的dr因子和中心點，進而確定dr因子和中心點對應的目標曲線，並利用目標曲線建立hdr圖像中圖像幀與數字顯示設備的顯示像素之間的色調映射關係，由此後續能夠基於這一色調映射關係將hdr圖像顯示在數字顯示設備中。本實施例通過對hdr圖像採用全局色調映射的實現方案，區別於現有技術中的局部色調映射方案，避免了圖像中局部位置出現不自然的光暈現象。

參考圖6，為本申請實施例四提供的一種電子設備的結構示意圖，該電子設備還可以包括以下結構：

輸出接口504，用於基於所述色調映射關係，將所述hdr圖像在所述數字顯示設備502上進行顯示。

其中，輸出接口504與數字顯示設備502相連接，基於處理器503獲得的色調映射關係將hdr圖像輸出到數字顯示設備502上進行顯示。

由上述方案可知，本申請實施例四提供的一種電子設備，在獲得hdr圖像之後，通過獲得hdr圖像中明暗亮度的比例參數及亮度差值參數來獲得動態範圍的dr因子和中心點，進而確定dr因子和中心點對應的目標曲線，並利用目標曲線建立hdr圖像中圖像幀與數字顯示設備的顯示像素之間的色調映射關係，從而能夠基於這一色調映射關係將hdr圖像顯示在數字顯示設備中。本實施例通過對hdr圖像採用全局色調映射的實現方案，區別於現有技術中的局部色調映射方案，避免了圖像中局部位置出現不自然的光暈現象。

在本申請提出前的過去幾年裡，為了追求在寬動態範圍內儘可能最大化圖像明暗處的對比度，大部分研究都集中在對局部tone-mapping算法的改進上。但是局部tone-mapping算法也有劣勢，例如，計算量大，低效，會出現一些不自然、不真實的效果。在用局部tone-mapping算法處理過的高動態圖片通常會在明顯的明暗邊緣出現不自然的光暈現象(halo-artifact)。

儘管全局tone-mapping算法很少被人引起重視，特別是在科研和學術領域。但是因為其高效性，實時性、計算量小、不會產生不自然的效果，全局tone-mapping算法被廣泛地應用於智慧型手機拍攝、安防監控、汽車倒車雷達和行車記錄儀等領域。

本申請中的全局tone-mapping算法基於一個經典的人眼視覺模型，用來預測在給定環境光照下，人眼視網膜上感知色彩和亮度的細胞對光的響應。基本數學表達如下：

r(i)＝in/(in+σn)

i是輸入luminance，r是感知的亮度，n是靈敏度常數，一般n＝0.7～2，σ是半飽和常數。為了簡化模型，取n＝1,σ＝1。

該算法的優勢在於：1.對不同寬動態範圍的hdr圖片可以得到非常consistent的結果；2.計算量小，便於在移動智能設備上給到更好的用戶體驗。3.基於人眼視覺模型衍生出來的，能夠準確的再現人眼對寬動態範圍世界的感知。

以下對本申請實施例的具體實現進行舉例說明：

首先，對於一組連續不同曝光圖片計算重建出hdr圖像；

其次，根據不同動態範圍hdr圖像的統計信息，人眼視覺模型曲線中不同的部分被用於進行tone-mapping(色調映射)。該算法定義了兩個關鍵參數drfactor和centerpoint作為依據，來決定選取曲線中哪一段用於tone-mapping計算。

例如，一張hdr圖像中，明暗亮度的比例(logdr)、平均亮度和adapting亮度的差值(logdiff)與以上兩個參數(drfactor、centerpoint)有著密切的關聯。其中，logdr和logdiff的計算如下：

logdr＝log2(lmax/lmin)；

logdiff＝log2(lmean)-log2(las)。

為了得到更接近人眼視覺對寬動態範圍環境的感知，通過心理物理學實驗對40組不同場景和光照環境下的高動態範圍圖片進行建模。實驗得出圖像高動態特徵和人眼視覺感知之間的模型如下：

ceterpoint＝logdiff/30+0.4994；

drfactor＝0.0608*logdr+0.031。

根據一張hdr圖像計算出logdr和logdiff值，相應的可以計算出和tone-mapping曲線相關的兩個參數drfactor和centerpoint。最後通過兩個參數選取最優的曲線部分用於色調映射tone-mapping。

圖7～圖10列舉了四種不同類別動態範圍hdr圖片所計算出來的tone-mapping曲線，用實線表明。圖7中類線性曲線表明這是張類似標準動態範圍的圖片(8-bitlike)；圖8表明圖片亮處有細節；圖9表明圖片亮處、暗處都有細節；圖10表明圖片暗處有細節。

本實施例可以應用在移動智能設備上，進而基於人眼視覺系統的快速tone-mapping算法，解決其他全局tone-mapping算法在不同動態範圍環境下結果不consistent的問題，同時提供用戶靈活度去調節參數或者選擇roi實時地得到他們想要的tone-mappedimageappearance。

因此，本申請能夠在移動智能設備上實現計算速度快、實時處理、處理後圖像風格穩定、一致的色調映射(tone-mapping)算法，同時，基於本申請的方案，用戶有一定的自由度去調到自己喜好的圖像。

需要說明的是，本說明書中的各個實施例均採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。

最後，還需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

以上對本發明所提供的一種圖像處理方法及電子設備進行了詳細介紹，對所公開的實施例的上述說明，使本領域專業技術人員能夠實現或使用本發明。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發明的精神或範圍的情況下，在其它實施例中實現。因此，本發明將不會被限制於本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的範圍。