基於無參數低秩矩陣恢復的高動態範圍成像去鬼影的方法與流程

2023-05-23 05:32:16

本發明涉及高動態範圍成像領域，具體涉及一種基於無參數低秩矩陣恢復的高動態範圍成像去鬼影的方法。

背景技術：

高動態範圍圖像是圖像處理、計算機圖形學的重要研究方向之一，其層次豐富、圖像動態範圍大，可以更真實地還原出真實場景的光影效果。當前高動態範圍成像方法主要分為輻射域融合和圖像域融合，這兩種方法均要求拍攝的目標場景保持絕對靜止，否則移動物體會導致合成的高動態範圍圖像產生鬼影。無鬼影的高動態範圍圖像在數字視頻、醫療、軍事、衛星氣象、增強現實等領域有著巨大應用價值，因此國內外一直在開展相關研究。高動態範圍成像中鬼影去除算法研究大體分為三類。

第一類是基於參照圖像的方法，cho等人把一系列低動態範圍圖像中的每幅圖像分解成若干個不重疊區域，從相應位置多個候選區域中找到一個曝光度最理想的區塊，然後將所有選出的區塊拼湊後得到高動態範圍圖像，然而當移動物體處於區塊的邊界，仍可能會產生殘影。kalantari等人將曝光等級處於中間的一幅低動態範圍圖像作為參考，其他圖像基於塊與之對齊、合併，通過最小化一個基於塊的能量公式獲得局部最優相似性，但參考圖像的噪聲可能會影響到高動態範圍圖像，不能應用於被運動目標遮擋過的區域。現有文獻通過對輸入圖像之間的密集匹配來對運動區域進行修補或者拼接，以此達到去除鬼影的效果，缺點是計算複雜度高，因從單張低動態範圍圖像中獲得像素信息，在參考圖像過度飽和或者飽和度不足的區域，會存在物體變形或者重影的情況。

第二類是基於動態預測的方法，現有文獻採用梯度域的光流估計方法，首先計算出運動區域的運動向量，接著通過對相鄰幀的圖像做一致性處理來去除鬼影，但該方法不適合運動幅度較大的場景。mangiat等人提出了基於塊的運動估計方法，不僅提高了相鄰幀曝光的一致性，同時根據色彩相似度還優化了飽和區域的運動向量。zimmer提出了基於能量的光流方法，通過計算密集位移域來表示任意複雜的運動，然而當但目標運動幅度較大時，成像效果不佳。通常，該類算法都會直接受到動態預測算法好壞的影響，若動態預測中區域不匹配，則仍會產生一定的鬼影。

第三類是基於像素點的方法，khan通過反覆迭代求解像素點的最優權重因子來去除鬼影，權重因子由灰度值與該像素點屬於移動物體的概率值構成。現有文獻對圖像的像素點進行可見性與一致性測量評價，根據所得的權重地圖對一系列低動態範圍圖像進行融合。該類方法沒有考慮到鬼影的局部特性，當運動目標體積較大時，效果不佳，仍會保留一定的鬼影。

技術實現要素：

鑑於此，本發明的目的是提供一種基於無參數低秩矩陣恢復的高動態範圍成像去鬼影的方法。本發明將鬼影去除抽象成低秩矩陣恢復的最小秩求解問題，使用基於原子分解的最小描述長度準則作為評價標準，不僅可以估計出低秩矩陣(背景)的秩，還能夠得到稀疏矩陣(鬼影)的非零項數目。

本發明的目的是通過以下技術方案實現的，一種基於無參數低秩矩陣恢復的高動態範圍成像去鬼影的方法，將鬼影去除轉換成了求解秩最小化的優化問題，首先將一系列低動態範圍圖像以像素值顯示，變成一個原始數據矩陣y，然後使用基於原子分解的最小描述長度準則，通過求解約束條件下的最優解問題，估計出低秩矩陣的秩與稀疏矩陣非零項數目，然後根據公式(1)，從而得到真實低秩矩陣的最佳近似；

其中參數rank(x)表示低秩矩陣的秩，參數γ＞0表示正則化參數，||e||0表示稀疏矩陣e中非零項個數。

進一步，低秩矩陣恢復問題，其定義公式為：

其中r表示低秩矩陣的秩，k表示稀疏矩陣e中的非零項的真正數量，基於最小描述長度準則的低秩矩陣分解的目標函數表示為：

r＝y-x-e表示殘差矩陣，m表示需要選擇的模型，分別表示低秩矩陣x、稀疏矩陣e、殘差矩陣r的描述長度。

進一步，最小化相當於在集合中尋找能表示低秩矩陣x的最小集合，相當於求解公式(8)：

其中，ψ表示最優原子，atoms(x)表示x的最優原子集合，span(ψ)表示由ψ擴展的空間。rank(x)＝|atoms(x)|

αk為尺度係數向量，ψk為與尺度係數向量αk對應的原子。

進一步，最小化相當於在集合中尋找能表示稀疏矩陣e的最小集合，相當於求解公式(9)：

其中，φ表示最優原子，atoms(e)表示x的最優原子集合，span(φ)表示由ψ擴展的空間。||e||0＝|atoms(e)|

βk為尺度係數向量，φk為與尺度係數向量βk對應的原子。

由於採用了上述技術方案，本發明具有如下的優點：

本發明所採用的方法與現有技術相比，能夠在相同條件下取得更為良好的高動態範圍成像結果，解決了現有技術在去除鬼影方面的不足之處，優於現有技術。

附圖說明

為了使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明作進一步的詳細描述，其中：

圖1為系統框架流程圖；

圖2為高動態範圍成像實驗低秩矩陣x部分，(a)是4張原始低動態範圍圖像，(b)是rpca處理後得到的低秩矩陣x(背景)，(c)是lr-mdl處理後得到的低秩矩陣x，(d)是cogent處理後得到的x，(e)是pssv處理後得到的低秩矩陣x，(f)是採用mdlad處理後得到的低秩矩陣x；

圖3為高動態範圍成像實驗稀疏矩陣e(鬼影)部分，(a)是rpca處理後得到的稀疏矩陣e(鬼影)，(b)是lr-mdl處理後得到是稀疏矩陣e，(c)是cogent處理後得到的稀疏矩陣e，(d)pssv處理後得到的稀疏矩陣e，(e)是採用mdlad處理後得到稀疏矩陣e；

圖4為高動態範圍成像實驗中樹枝部分的細節對比，(a)是rpca處理後的結果，(b)是mdlad處理後的結果。

具體實施方式

以下將結合附圖，對本發明的優選實施例進行詳細的描述；應當理解，優選實施例僅為了說明本發明，而不是為了限制本發明的保護範圍。

對於高動態範圍成像中去除鬼影的問題，本發明將其轉換成了求解秩最小化的優化問題。首先將一系列低動態範圍圖像轉換為一個原始數據矩陣y，然後基於原子分解的最小描述長度準則，估計出低秩矩陣的秩與稀疏矩陣非零項數目，從而得到真實低秩矩陣的最佳近似，其系統框架流程圖如圖1所示。

在低秩矩陣恢復方法中，本發明需要求解一個低秩矩陣和稀疏矩陣的最優化問題。

其中參數rank(x)表示矩陣的秩，參數γ>0，表示正則化參數，||e||0表示稀疏矩陣e中非零項個數。現有研究表明，同時優化矩陣的秩和稀疏矩陣非零項個數是一個np難問題。因此candes等人提出了一種近似解決方案，在一定假設下通過凸優化來解決公式(1)中的優化問題，即將公式(1)中rank(x)鬆弛到x的核範數||x||*，以及將||e||0鬆弛到||e||1，具體公式表示如下：

其中||x||*＝∑iσi(x)，σi(x)表示矩陣x的第i個奇異值。大多數現有方法可以有效地解決公式(2)的優化問題。

最小描述長度準則是用來平衡模型複雜度和擬合度的目標函數，目標是從所有可能的候選模型m集合中尋找一個最優模型m。在mdl框架中，能夠用最少信息量來完全描述所給數據y的模型是最優模型m。因此mdl問題可以被表示成

函數定義為能夠唯一描述(y,m)的理論編碼長度。在mdl框架中，一般本發明使用理想的香農編碼理論，依據概率分配函數p(y,m)來定義

本發明可以獲得mdl優化框架

-logp(m)代表模型複雜度，-logp(y|m)代表擬合度。現有mdl框架使用通用編碼作為核心函數來計算概率模型的編碼長度，這種概率模型不是完全確定的且只屬於其中一類候選模型。

本發明的模型mdlad(minimumdescriptionlengthprinciplebasedlowrankmatrixdecomposition)解決了低秩矩陣恢復問題，其定義公式為

r表示低秩矩陣的秩，k代表了稀疏矩陣e中的非零項的真正數量。根據上面的定義，本發明在mdl框架下的目標函數可寫成

r＝y-x-e表示殘差矩陣，在本發明的mdl框架中，最小化相當於在集合中尋找能表示矩陣x的最小集合，因此公式(7)中的第一項相當於求下列公式：

最小化公式(7)中的第二項相當於：

因此可以得出rank(x)＝|atoms(x)|，||e||0＝|atoms(e)|。

本發明所提出的mdlad方法中，因模型中新增低秩原子和稀疏原子後編碼長度會逐步增加，所以增加的原子只有最大程度減少其他部分編碼長度時，如這個新增原子才有加入模型的意義，所以本發明能精確恢復出低秩矩陣x和稀疏矩陣e。

就跟其他模型選擇算法一樣，在代價函數中考慮原子的個數會導致目標函數是非凸的。對於這種情況，本發明提出了一個優化算法來準確恢復低秩矩陣和稀疏矩陣。在mdlad算法中，本發明從集合中選擇了一個稀疏原子並加入到候選集，然後通過最小化編碼長度來求得最佳的稀疏矩陣。接下來用相同步驟求低秩矩陣x。依次循環，直到得到最小的編碼長度在某種程度上，本發明的算法與交替最小化求解x和e原理很相似。低秩矩陣的精確近似有助於完整地恢復出稀疏噪聲矩陣，同理，如果能精確恢復出稀疏矩陣，也有助於低秩矩陣恢復。

mdlad算法的具體過程為：

步驟1：輸入：觀測矩陣y,原子集合和

步驟2：初始化：低秩矩陣x0＝zeros(m，n)，噪聲矩陣e0＝zeros(m，n)，低秩矩陣原子集合噪聲矩陣原子集合循環次數t←0,描述長度低秩矩陣尺度係數向量噪聲矩陣尺度係數向量

步驟3：執行以下循環；

最小化描述長度函數並得到最優的原子ψ及對應的係數α；

更新低秩矩陣：將原子ψ及對應的係數α分別加入到集合ψ和係數向量cα中；ψ＝ψ∪ψ，cα＝[cαα]；

將尺度係數向量αk∈cα與對應原子ψk相乘並求和得到低秩矩陣xt+1；

最小化描述長度函數並得到最優原子φ及對應的係數β：

更新噪聲矩陣：將原子φ及對應的係數β分別加入到集合φ和係數向量cβ中；φ=φ∪φ，cβ＝[cββ]；

將尺度係數向量βk∈cβ與對應原子φk相乘並求和得到噪聲矩陣et+1；

計算低秩矩陣xt+1,噪聲矩陣et+1和餘下部分y-xt+1-et+1的描述長度並更新

執行下一次循環；t←t+1；

循環結束

步驟4：輸出:xt,et。

魯棒性主成分分析法(rpca)、最小長度描述準則法(lr-mdl)、基於原子範數的方法(cogent)、奇異值部分和最小法(pssv)是近年來常用的低秩矩陣恢復方法，能夠有效解決秩最小化的優化問題，從而去除高動態範圍成像中的鬼影。因此本實驗選取以上四種方法作為實驗比較對象。

本實驗採用了4張森林中拍攝的低動態範圍圖像，行人的出現使得圖片有異常，此外，風的吹動使樹枝擺動並形成鬼影。本發明首先將這四張圖像矢量化，分別處理rgb三個顏色通道，並建立三個獨立觀察矩陣其中m和n分別為像素點和圖片的個數，ii表示輸入矩陣。本發明的目標是從原始數據y中分解得到低秩矩陣x(背景)和稀疏矩陣e(鬼影)。

實驗結果如圖2、3、4所示，圖2(a)是4張原始低動態範圍圖像，圖2(b)與圖3(a)分別是rpca處理後得到的低秩矩陣x(背景)和稀疏矩陣e(鬼影)，圖2(c)與圖3(b)分別是lr-mdl處理後得到的低秩矩陣x和稀疏矩陣e，圖2(d)與圖3(c)分別是cogent處理後得到的x和e，圖2(e)與圖3(d)分別是pssv處理後得到的低秩矩陣x和稀疏矩陣e，圖2(f)與圖3(e)分別是採用mdlad處理後得到的低秩矩陣x和稀疏矩陣e。

如圖2(c)和圖3(b)所示，lr-mdl不能夠分解得到低秩矩陣x和稀疏矩陣e，幾乎沒有去除人影；圖2(d)和圖3(c)所示，由於低動態範圍圖像數量太少，cogent不能很好的排除異常值；rpca、lr-mdl處理後的低秩矩陣x中依舊有或多或少殘影；而採用本發明提出的mdlad，可以完全分解出低秩矩陣x和稀疏矩陣e。

圖4是實驗中得到的低秩矩陣x部分細節對比，圖4(a)中表明，用rpca處理後，不僅沒有去除人影，樹枝部分也比原圖更加濃密；圖4(b)是mdlad處理後的結果，能夠很好地去除樹枝擺動形成的鬼影。

實驗結果表明，在只使用少量低動態範圍圖像的情況下，與rpca、lr-mdl、cogent、pssv相比，本發明提出的mdlad仍然可以很好地恢復低秩矩陣x並排除稀疏矩陣e，能夠在高動態範圍成像中有效地去除鬼影。

以上所述僅為本發明的優選實施例，並不用於限制本發明，顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。