可見光和熱紅外圖像序列自動配準方法
2023-07-02 05:43:26
專利名稱：可見光和熱紅外圖像序列自動配準方法
技術領域：
本發明涉及一種圖像序列自動配準方法，特別是涉及一種可見光和熱紅外圖像序列自動配準方法。
背景技術：
文獻「TorabiA, Masse G, Bilodeau G-A, et al. Feedback scheme for thermal-visible video registration, sensor fusion, and people tracking. In !Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition-fforkshop, 2010,15 22. 」公開了一種基於運動目標軌跡和運動目標剪影的可見光-熱紅外圖像序列配準方法。該方法首先基於RANSAC軌跡匹配使得軌跡對應點和兩類傳感器運動前景重疊最大來估計變換模型參數；然後，在配準參數的基礎上，對兩類傳感器的檢測結果進行sum規則融合，並基於融合檢測結果對可見光-熱紅外序列分別進行跟蹤，根據剪影重疊率判斷是否需要再次配準，對於需要再次配準的情況，基於融合檢測的運動軌跡和剪影對同步序列進行配準和修正。該方法需要較好的運動檢測結果，但在觀測背景複雜，場景中目標的運動檢測結果均較差時，該方法的配準會出現較大誤差，並且無法適應存在頻繁運動的擁擠場景。
發明內容
為了克服現有的可見光-熱紅外圖像序列配準方法配準精度差的不足，本發明提供一種可見光和熱紅外圖像序列自動配準方法。該方法利用圖像像素的歸一化光流時序特徵和三層逐步精細化的相似性度量方法選取候選同名點對。歸一化光流時序特徵，針對圖像像素的運動時序特徵，而非針對整個運動目標，在計算時僅需要目標局部信息，不易受到的陰影、遮擋、目標部分出現及目標擁擠環境等問題的影響。可以解決複雜監控環境下的可見光-熱紅外圖像序列自動配準問題，提高可見光-熱紅外圖像序列配準的精度。本發明解決其技術問題所採用的技術方案是一種可見光和熱紅外圖像序列自動配準方法，其特點是包括以下步驟步驟一、對輸入的可見光和熱紅外同步圖像序列，使用迭代Lucas-Kanade金字塔光流算法對可見光和熱紅外圖像序列計算各幀圖像的光流向量；在光流向量濾波、光流時間序列篩選的基礎上，使用運動方向和運動模值兩類信息，提取具有平移、旋轉、尺度不變性的圖像像素的歸一化光流時序特徵。分別對可見光圖像序列和熱紅外圖像序列中的圖像像素使用迭代Lucas-Kanade 金字塔光流法計算光流向量；設圖像序列像素點(i，j)在第t幀圖像的X和y方向的光流向量用dx(i，j, t)和dy(i，j, t)表示，通過公式⑴獲得t時刻像素點(i，j)運動向量的模值，r(i,j,t)=批(ij J))2 + (dy(i,j,t)f(I)通過公式⑵計算出t時刻像素點(i，j)運動向量的方向角，
權利要求
1.一種可見光和熱紅外圖像序列自動配準方法，其特徵在於包括以下步驟步驟一、對輸入的可見光和熱紅外同步圖像序列,使用迭代Lucas-Kanade金字塔光流算法對可見光和熱紅外圖像序列計算各幀圖像的光流向量；在光流向量濾波、光流時間序列篩選的基礎上，使用運動方向和運動模值兩類信息，提取具有平移、旋轉、尺度不變性的圖像像素的歸一化光流時序特徵；分別對可見光圖像序列和熱紅外圖像序列中的圖像像素使用迭代Lucas-Kanade金字塔光流法計算光流向量；設圖像序列像素點(i，j)在第t幀圖像的X和y方向的光流向量用4(1，]_，0和i(i，j，t)表示，通過公式⑴獲得t時刻像素點(i，j)運動向量的模值，=抓(iJJ))2 + (dy(ij,t)f(I)通過公式(2)計算出t時刻像素點(i，j)運動向量的方向角，
2.根據權利要求I所述的可見光和熱紅外圖像序列自動配準方法，其特徵在於所述閾值e_thd的取值是O. I。
3.根據權利要求I所述的可見光和熱紅外圖像序列自動配準方法，其特徵在於所述低閾值low_thd取值為O. 05。
4.根據權利要求I所述的可見光和熱紅外圖像序列自動配準方法，其特徵在於所述高閾值hgh_thd取值為O. 95。
5.根據權利要求I所述的可見光和熱紅外圖像序列自動配準方法，其特徵在於所述 Manhattan距離的取值範圍是
。
全文摘要
本發明公開了一種可見光和熱紅外圖像序列自動配準方法，用於解決現有的可見光-熱紅外圖像序列配準方法配準精度差的技術問題。技術方案是採用圖像像素的歸一化光流時序特徵和三層逐步精細化的相似性度量方法進行可見光和熱紅外同步圖像序列間的候選同名點對選取，用圖像像素的運動時序特徵代替運動目標的整體特徵。有效的克服了運動檢測不精確帶來的問題，提高了算法的魯棒性，使其可用於具有頻繁運動的擁擠監控環境情況下的圖像序列配準，提高了圖像序列配準的精度，其相對於基準數據的平均像素誤差從現有技術的[2.03，6.9]像素降低到2個像素以內。
文檔編號G06T7/00GK102609945SQ20121002755
公開日2012年7月25日 申請日期2012年2月9日 優先權日2012年2月9日
發明者仝小敏, 餘瑞, 張秀偉, 張豔寧, 楊濤 申請人:西北工業大學