基於二維圖像輔助的深度圖像增強方法與流程
2023-09-17 22:45:37
本發明涉及由ToF相機獲取的深度圖像增強方法，具體是一種基於二維圖像輔助的深度圖像增強方法。
背景技術：
近年來，隨著三維技術的不斷發展，許多的應用諸如：人機互動、三維電視、場景重建、手勢識別等都對獲取場景的深度信息提出了更高的要求。目前主流的獲取深度信息的方式有兩種：被動獲取和主動獲取。被動獲取由於受光線變化、遮擋、複雜度高等因素的影響，還不能滿足多數實際應用的需求。主動獲取中應用較廣泛的是ToF(Time of Flight)相機，它能實時採集場景深度信息，其工作原理是通過發射源發射可控頻率調製光線來進行測距。
ToF相機獲取的深度圖像存在著解析度低、許多細節信息丟失、邊緣處深度測量效果較差、噪聲大等問題。為提高深度圖像的解析度，目前運用較廣泛的方法是結合ToF相機和高解析度彩色相機，以二維彩色圖像輔導重建深度圖像。
這類方法使用一個ToF相機和高清彩色攝像機組成的拍攝陣列採集同一場景的深度和彩色圖。該方法將ToF相機釆集到的深度圖像進行上採樣，然後把深度圖像映射到相應的彩色空間。利用彩色圖像的邊緣信息來對深度圖像進行改進，這種方法對深度圖像的邊緣修復有一定的作用。
例如James Diebel等人在《An application of markov random fields to range sensing》中提出通過定義一個基於馬爾可夫隨機場(Markov Random Field(MRF))的局部能量函數來修正ToF相機得到的深度信息，能夠有效的提高深度圖像空間鄰域內深度圖的一致性，獲取更為稠密的深度圖，但求解該能量函數的構建過於複雜，且邊緣重建信息不準確。Qingxiong Yang等人在《Spatial-depth super resolution for range images》中提出利用雙邊濾波的思想修正深度信息，其主要思路是如果兩個像素點的顏色越相近、在圖像上的距離越鄰近，那麼這兩個像素點的深度值越就越接近的假設，改良最終的深度圖。該方法速度快，實現簡 單，但是對於複雜的場景尤其是色彩反覆的區域效果很差。
技術實現要素：
本發明的目的在於提供一種基於二維圖像輔助的深度圖像增強方法，該方法利用彩色圖像的邊緣信息對二階TGV模型進行改進，不僅能夠提高深度圖像解析度、去噪，同時保持了清晰的邊緣。
實現本發明目的的技術解決方案為：一種基於二維圖像輔助的深度圖像增強方法，包括下列步驟：
步驟1，利用TOF相機和高解析度彩色相機分別獲取同場景的深度圖像DL和彩色圖像CH，並進行初校正，將深度圖像映射到彩色空間得到高解析度稀疏深度圖DS；
步驟2，對彩色圖像作邊緣檢測得到彩色圖像邊緣，利用彩色圖像邊緣定義邊緣指示函數；
步驟3，構造能夠保證待求解的高分辨深度圖像ux和高解析度稀疏深度圖DS之間的相似性的數據項；
步驟4，計算彩色圖像的擴散張量T1/2，利用邊緣指示函數結合擴散張量構造正則約束項；
步驟5，結合數據項和正則約束項構造深度圖像增強的目標函數，根據Legendre-Fenchel變換，得到目標函數的對偶形式，利用原-對偶算法對目標函數的對偶形式進行求解；
步驟6，根據初始值進行迭代，直到|un+1-un|0)：
其中：
步驟6，根據初始值進行迭代，直到|uk+1-uk|<tol(tol為閾值)或迭代次數達到上限，迭代完成，輸出高解析度深度圖像DH。
實施例
為了對本發明算法進行說明，充分展現出該算法不僅能夠提高ToF深度圖像的解析度，而且保證了重構對象內部的深度均勻性，使重建對象間深度過渡具有不連續性，有效地消除了圖像邊緣的毛刺和模糊狀況，使邊緣更加清晰，抑制噪聲，，完成深度圖像增強的實驗如下：
(2)實驗初始條件及參數設置
採用同場景的高解析度彩色圖像和深度圖像進行實驗。測試數據集採用的是Middlebury公開數據集(http://vision.middlebury.edu/stereo/data.)。原始的高解析度彩色圖像和深度圖像的解析度都是1390×1110，圖3輸入的是1390×1110的高分辨彩色圖像和下採樣倍數為8的且加有高斯噪聲的低解析度深度圖。
實驗將雙線性插值算法和本發明算法進行對比，分別從定性(主觀視覺效果)和定量(客觀評價指標)兩個方面進行評估。為了客觀評價本發明算法的優越性，採用了均方根誤差(Root Mean Square Error,RMSE)準則作為圖像客觀質量評價標準，RMSE值越小說明重建效果越好。均方根誤差計算公式如下：
其中M*N表示重建後的深度圖像的像素數，xi是重建得到的實際值，yi是數據集提供的真實值。
本文算法的參數設置為α0＝10，α1＝0.06,β＝9,γ＝0.85,k＝0.001,tol＝0.1
(3)實驗結果分析
圖5是基於Art圖片的三種算法的重建效果圖，為方便觀察，進行了局部放大。從圖中可以看出，圖5(a)雙線性插值算法效果較差，圖5(b)本發明的算法不但能夠抑制噪聲，而且邊緣處更加清晰，細節處能夠恢復出來。
由於Middleburry數據集提供了真實值，可以計算RMSE值，所以對加有高斯噪聲的Art圖片分別進行2、4、8倍的下採樣，然後進行重建，計算對應的RMSE值。表1列出了基於Middleburry數據集的各種方法對應的RMSE值，能夠清楚明了的比較RMSE值得大小，從而分析比較重建效果的優劣，本發明的重建算法效果最好。
表1均方誤差比較