一種有效的圖像鏡面反射移除方法與流程
2024-01-19 04:44:15
本發明涉及圖像恢復領域中的鏡面反射移除，具體涉及一種有效的圖像鏡面反射移除方法。
背景技術：
日常生活中，由於拍攝條件的制約，我們經常需要通過玻璃窗或玻璃板拍攝景物。例如：從行駛的火車內部拍攝車外的自然風光；在室內透過封閉的窗戶拍攝窗外物體；在街邊通過商店櫥窗拍攝店內商品；在博物館拍攝收藏在玻璃櫃中的藏品等。在通過上述情況得到的照片中，我們期望的場景(景物)通常會被相機所在方向的玻璃層的反射影像所幹擾，嚴重影響照片質量。因此需要對獲得的照片進行相應的後處理以去除反射，也就是說需要從獲得的景物疊加的圖片中分離出反射影像。這是很實用的技術，也有著重要的理論意義，但該問題存在嚴重的病態性。這需要涉及到有效的鏡面反射移除算法，利用相應的先驗知識來消除問題的病態性，對反射進行消除。
技術實現要素：
本發明克服了通過玻璃窗或玻璃板拍照存在鏡面反射幹擾的不足，提供解決一種有效的圖像鏡面反射移除方法。
為解決上述的技術問題，本發明採用以下技術方案：
一種有效的圖像鏡面反射移除方法，它包括以下步驟：
步驟1，將鏡面反射圖像中的「鬼影」構建模型，「鬼影」模型建模為反射層R與鬼影核K的卷積，對應模型如下：
Y＝X+R*K
其中，Y為觀測到的圖像，X為真實場景，*為卷積操作；
步驟2，構建圖像塊資料庫；
步驟3，利用期望最大化算法求解高斯混合模型的參數；
步驟4，利用步驟3中所求參數，對圖像層與反射層均構建相應的塊級高斯混合模型約束；
步驟5，利用步驟3中得到的高斯混合模型先驗，並聯合非負約束，得到最終代價函數；
S.T.X≥0，R≤1
其中Pi為塊提取操作矩陣；
步驟6，採用估計方法計算鬼影核K，在本方法假設下，鬼影核K僅存在兩個非零值，鬼影核K可參數化為一個二維的空間偏移向量dk和一個相對的減弱因子ck；
其中，為第一層反射圖像的第i像素，為第二層反射圖像的第i像素；
步驟7，利用估計方法得到的鬼影核K，再結合一個總變分先驗，採用分裂Bregman方法求解得到初始估計值；
步驟8，利用步驟7中的初始估計值，以及步驟5中的代價函數，採用半二次方法求解。
更進一步的技術方案是，所述步驟6中的估計方法具體如下：
步驟6.1，利用的二維自相關映射計算偏移，上述映射在dk對應的地方會有局部最大值，則檢測局部最大映射即可得到偏移估計，如果檢測到局部最大值為零偏移，則置ck為零且返回，否則進行步驟6.2至6.3；
步驟6.2，利用Harris角點檢測算法得到輸入圖Y上的角點；
步驟6.3，提取以角點為中心的5×5塊，並對所有角點塊以及其dk偏移後的塊進行相關性計算，相關性大的認為為鬼影塊，然後求出ck。
本技術方案利用鏡面反射圖像中的「鬼影」(或稱為「重影」)作為先驗知識，構建相應模型對圖像鏡面反射進行去除。「鬼影」或「重影」產生的原因：玻璃窗或玻璃板由兩面組成，內部的玻璃平面產生第一層反射，外部平面產生第二層反射，第二層是第一層的偏移與減弱版本。算法利用的特性：上述提到的「鬼影」現象，其提供了關鍵的分割反射與期望場景的線索。我們可以將鬼影建模為反射層R與鬼影核K的卷積，對應基本模型如下：
Y＝X+R*K
其中，Y為觀測到的圖像，X為真實場景，*為卷積操作。
利用上述模型，可以得到關於反射消除的數據擬合項。接著，為了消除病態性，我們可以採用有效的高斯混合模型(GMM)先驗。初始化階段，我們直接採用基本的總變分(TV)先驗，得到初始圖像估計後，再結合「鬼影」與GMM的方法進行恢復。涉及到的鏡面反射去除算法，其優越性在於可以僅通過一張包含反射幹擾的輸入圖像得到理想的恢復效果，與主流的融合多張包含鏡面反射的圖片信息來進行反射去除的方法有著顯著的差別。在系統實際使用中，用戶可以根據需求選擇在線或離線進行恢復。
與現有技術相比，本發明的有益效果是：
通過本發明的方法，可以很好地提升存在鏡面反射的圖像的質量，並且有離線與在線版本，可使得用戶有更好的體驗。
附圖說明
圖1為本發明一種實施例的一種有效的圖像鏡面反射移除方法的流程圖。
具體實施方式
下面結合附圖對本發明作進一步闡述。
本方法具體實施過程如下：
步驟一：用戶拍照，對存在鏡面反射幹擾的照片可以選擇在線與離線兩種處理，如果選擇在線處理，轉二，否則轉至四；
步驟二：為節省數據量，用戶選取原始照片中存在鏡面反射的區域，並自動進行壓縮(如：JPEG2000)，通過網絡上傳至在線恢復系統；
步驟三：處理完成後，用戶可從網上下載至相機、手機或電腦等，完成全部處理。
步驟四：用戶將照片導入電腦相應軟體，系統自動對照片進行恢復，完成全部處理。
其中涉及的有效的圖像鏡面反射移除方法如圖1所示，它包括以下步驟：
步驟1，將鏡面反射圖像中的「鬼影」構建模型，「鬼影」模型建模為反射層R與鬼影核K的卷積，對應模型如下：
Y＝X+R*K
其中，Y為觀測到的圖像，X為真實場景，*為卷積操作；
步驟2，構建圖像塊資料庫；
步驟3，利用期望最大化算法求解高斯混合模型的參數；
步驟4，利用步驟3中所求參數，對圖像層與反射層均構建相應的塊級高斯混合模型約束；
步驟5，利用步驟3中得到的高斯混合模型先驗，並聯合非負約束，得到最終代價函數；
S.T. X≥0，R≤1
其中Pi為塊提取操作矩陣；
步驟6，採用估計方法計算鬼影核K，在本方法假設下，鬼影核K僅存在兩個非零值，鬼影核K可參數化為一個二維的空間偏移向量dk和一個相對的減弱因子ck；
其中，為第一層反射圖像的第i像素，為第二層反射圖像的第i像素；
估計方法具體如下：
步驟6.1，利用的二維自相關映射計算偏移，上述映射在dk對應的地方會有局部最大值，則檢測局部最大映射即可得到偏移估計，如果檢測到局部最大值為零偏移，則置ck為零且返回，否則進行步驟6.2至6.3；
步驟6.2，利用Harris角點檢測算法得到輸入圖Y上的角點；
步驟6.3，提取以角點為中心的5×5塊，並對所有角點塊以及其dk偏移後的塊進行相關性計算，相關性大的認為為鬼影塊，然後求出ck
步驟7，利用估計方法得到的鬼影核K，再結合一個總變分先驗，採用分裂Bregman方法求解得到初始估計值；
步驟8，利用步驟7中的初始估計值，以及步驟5中的代價函數，採用半二次方法求解。
以上具體實施方式對本發明的實質進行詳細說明，但並不能對本發明的保護範圍進行限制，顯而易見地，在本發明的啟示下，本技術領域普通技術人員還可以進行許多改進和修飾，需要注意的是，這些改進和修飾都落在本發明的權利要求保護範圍之內。