一種基於改進加權融合的運動場景圖像拼接方法

2023-06-07 21:54:36 2

一種基於改進加權融合的運動場景圖像拼接方法
【專利摘要】本發明公開了一種基於改進加權融合的運動場景圖像拼接方法，主要通過利用尺度不變特徵變換算法對源圖像進行圖像配準，然後基於灰度差和邊緣檢測的改進加權融合算法檢測運動物體並進行圖像融合。本發明能夠有效地克服光照、鬼影等客觀因素的幹擾，具有拼接效果優、計算簡潔、參數設置簡便等優點。
【專利說明】一種基於改進加權融合的運動場景圖像拼接方法

【技術領域】
[0001]本發明屬於圖像處理和圖像融合，具體指的是一種基於改進加權融合的運動場景圖像拼接方法。

【背景技術】
[0002]圖像拼接是指將具有重合區域的兩幅或多幅小視域圖像聯接在一起，最終得到一幅大視域的圖像。它廣泛應用於運動分析、虛擬實境技術、醫學圖像分析、數字視頻等領域。圖像拼接的關鍵技術是圖像配準和圖像融合。近年來，國內外對於圖像拼接各細節的研究已取得了一些成果。
[0003]在獲取圖像序列時，場景可能存在運動物體，當它們位於待拼接圖像的重疊區域時，容易使拼接後的圖像中產生鬼影。鬼影是指同一物體互相重疊的現象，可分為配準鬼影和合成鬼影。目前，配準細化的大量工作已經很好地解決了配準鬼影的問題，但是合成鬼影的去除尚無較為穩定的方法。
[0004]為了解決這一問題，現有的主要方法有兩種:1)通過檢測運動物體在待拼接圖像中的位置，將其分割去除後形成拼接全景，但此方法複雜度較高，而且拼接效果對分割精度和圖像連續重複性敏感。2)對待拼接圖像中的重複運動物體，從一幅或幾幅圖像中選取具有代表性的重合區域進行拼接，常用的方法有流形拼接法、頂點覆蓋法和最優縫合線法等。其中，最優縫合線法有複雜度較小、計算簡單等優點，但是，最優縫合線法只在運動物體較少時效果較好，當運動物體數量過多時，並不能很好地解決合成鬼影問題。


【發明內容】

[0005]發明目的:針對現有技術存在的問題，本發明提供了一種顯著提高了圖像拼接的成像效果的基於改進加權融合的運動場景圖像拼接方法。
[0006]
【發明內容】
:本發明提供了一種基於改進加權融合的運動場景圖像拼接方法，包括如下步驟:
[0007]步驟10:採集含有重疊區域的兩幅或者多幅圖像數據；
[0008]步驟20:對步驟10得到的圖像數據進行中值濾波，得到高斯金字塔；
[0009]步驟30:將步驟20得到的高斯金字塔與圖像數據結合卷積，獲得步驟10得到的圖像的尺度空間；
[0010]步驟40:對步驟30得到的尺度空間進行極值點檢測，得到極大極小空間的極值佔.
[0011]步驟50:對步驟40得到的極值點去除對比度小於0.03的關鍵點和不穩定的邊緣響應點，得到確定關鍵點的位置和尺度；
[0012]步驟60:利用步驟50中關鍵點的位置和尺度，確定領域像素的梯度方向，得到關鍵點方向參數；
[0013]步驟70:將步驟60中得到的關鍵點方向參數和步驟5中關鍵點位置和尺度，在每4X4的小塊上計算8個方向的梯度方向直方圖，繪製每個梯度方向的累加值，形成一個種子點；一個關鍵點由2X2共四個種子點組成，每個種子點有8個方向向量信息；得到多組相互匹配的特徵點描述子；
[0014]步驟80:將步驟70中得到的多組相互匹配的特徵點描述子，使用隨機抽樣，並對多組相互匹配的特徵點描述子進行精煉得到兩幅圖像或多幅圖像中相互匹配的特徵點描述子；
[0015]步驟90:利用步驟80中得到的相互匹配的特徵點描述子，使用改進加權融合算法得到圖像拼接的最終拼接結果。
[0016]進一步，步驟80中，所述特徵點描述子匹配的方法為:
[0017]步驟801:隨機選擇4組相互匹配的特徵點描述子組成一個隨機樣本並計算變換矩陣，計算其中的每組匹配點的特徵點之間的距離，隨後計算和變換矩陣一致的內點數，經過多次採樣，選擇內點數最多的變換矩陣，當內點數相等時，選擇內點標準差最小的變換矩陣；
[0018]步驟802:採用迭代的方法精煉變換矩陣，所述迭代方法中採用LM算法最小化代價函數進行迭代精煉；
[0019]步驟803:用步驟802中精煉得到的變換矩陣定義附近的搜索區域，對匹配的特徵點描述子進行精煉；
[0020]步驟804:反覆迭代步驟802-803直到匹配點的特徵點數目穩定。
[0021]採用這種方法可以有效的減少誤匹配的點對。
[0022]進一步，步驟90中，所述改進加權融合算法的方法為:
[0023]步驟901:利用Sobel邊緣檢測算法提取各輸入圖像物體邊緣，由此得到重合區域的邊緣差異；
[0024]步驟902:計算輸入圖像重疊區域的所有匹配特徵點的灰度差，並將之平均化；
[0025]步驟903:對步驟901得到的兩幅圖像重疊區域的物體邊緣進行比較，得到互不重合的邊緣；
[0026]步驟904:計算輸入圖像自有的不重合邊緣兩側像素點的灰度值，分別與輸入圖像中對應位置的像素點灰度值作差，得到的每一個差值都與步驟902中的平均灰度差比較；若不相等，則證明該像素點為輸入圖像中運動物體的構成像素點；依次處理其餘像素點，直到其他邊緣或重合區域邊界為止；
[0027]步驟905:計算另一幅輸入圖像自有的不重合邊緣兩側像素點的灰度值，輸入圖像中對應位置的像素點灰度值與此灰度值作差，得到的每一個差值都與步驟902中的平均灰度差比較。若不相等，則證明該像素點為輸入圖像中運動物體的構成像素點；
[0028]步驟906:通過傳統加權平均公式、計算融合圖像的其他像素點灰度值，最終得到融合圖像。
[0029]採用這種方法更好的實現了消除鬼影的目的。
[0030]有益效果:與現有技術相比，本發明能夠有效地克服光照、鬼影等客觀因素的幹擾，具有拼接效果優、計算簡潔、參數設置簡便等優點。

【專利附圖】

【附圖說明】
[0031]圖1為本發明的方法流程圖；
[0032]圖2為本發明的實施例中兩幅輸入圖像；
[0033]圖3為傳統方法拼接後的圖像；
[0034]圖4為採用本發明方法拼接後的圖像。

【具體實施方式】
[0035]下面結合附圖，對本發明進行詳細說明。
[0036]如圖1所示，本發明的基於改進加權融合的運動場景圖像拼接方法，其步驟如下:
[0037]步驟10，採集含有重疊區域的兩幅或者多幅圖像數據；
[0038]步驟20，對步驟10得到的圖像數據進行中值濾波，得到高斯金字塔；
[0039]步驟30，將步驟20得到的高斯金字塔與圖像數據結合卷積，得到拼接後圖像的尺度空間；
[0040]其中，獲得尺度空間的方法為:
[0041]步驟301:設輸入圖像為I，根據高斯核函數的尺度σ的不同，通過濾波形成高斯金字塔。I的尺度空間定義為L(x，y，σ)，它根據含有不同高斯核函數的尺度σ的高斯核函數與I (X，y)的卷積得到:
[0042]L(x, y, σ ) =I (χ, y) *G (x, y, σ )
[0043]其中，

【權利要求】
1.一種基於改進加權融合的運動場景圖像拼接方法，其特徵在於，包括如下步驟: 步驟10:採集含有重疊區域的兩幅或者多幅圖像數據； 步驟20:對步驟10得到的圖像數據進行中值濾波，得到高斯金字塔； 步驟30:將步驟20得到的高斯金字塔與圖像數據結合卷積，獲得步驟10得到的圖像的尺度空間； 步驟40:對步驟30得到的尺度空間進行極值點檢測，得到極大極小空間的極值點； 步驟50:對步驟40得到的極值點去除對比度小於0.03的關鍵點和不穩定的邊緣響應點，得到確定關鍵點的位置和尺度； 步驟60:利用步驟50中關鍵點的位置和尺度，確定領域像素的梯度方向，得到關鍵點方向參數； 步驟70:將步驟60中得到的關鍵點方向參數和步驟5中關鍵點位置和尺度，在每4X4的小塊上計算8個方向的梯度方向直方圖，繪製每個梯度方向的累加值，形成一個種子點；一個關鍵點由2X2共四個種子點組成，每個種子點有8個方向向量信息；得到多組相互匹配的特徵點描述子； 步驟80:將步驟70中得到的多組相互匹配的特徵點描述子，使用隨機抽樣，並對多組相互匹配的特徵點描述子進行精煉得到兩幅圖像或多幅圖像中相互匹配的特徵點描述子; 步驟90:利用步驟80中得到的相互匹配的特徵點描述子，使用改進加權融合算法得到圖像拼接的最終拼接結果。
2.根據權利要求1所述的一種基於改進加權融合的運動場景圖像拼接方法，其特徵在於，步驟80中，所述對多組相互匹配的特徵點描述子進行精煉的方法為: 步驟801:隨機選擇4組相互匹配的特徵點描述子組成一個隨機樣本並計算變換矩陣，計算其中的每組匹配點的特徵點之間的距離，隨後計算和變換矩陣一致的內點數，經過多次採樣，選擇內點數最多的變換矩陣，當內點數相等時，選擇內點標準差最小的變換矩陣； 步驟802:採用迭代的方法精煉變換矩陣，所述迭代方法中採用LM算法最小化代價函數進行迭代精煉； 步驟803:用步驟802中精煉得到的變換矩陣定義附近的搜索區域，對匹配的特徵點描述子進行精煉； 步驟804:反覆迭代步驟802-803直到匹配點的特徵點數目穩定。
3.根據權利要求1所述的一種基於改進加權融合的運動場景圖像拼接方法，其特徵在於，步驟90中，所述改進加權融合算法的方法為: 步驟901:利用Sobel邊緣檢測算法提取各輸入圖像物體邊緣，由此得到重合區域的邊緣差異； 步驟902:計算輸入圖像重疊區域的所有匹配特徵點的灰度差，並將之平均化； 步驟903:對步驟901得到的兩幅圖像重疊區域的物體邊緣進行比較，得到互不重合的邊緣； 步驟904:計算輸入圖像自有的不重合邊緣兩側像素點的灰度值，分別與輸入圖像中對應位置的像素點灰度值作差，得到的每一個差值都與步驟902中的平均灰度差比較；若不相等，則證明該像素點為輸入圖像中運動物體的構成像素點；依次處理其餘像素點，直到其他邊緣或重合區域邊界為止； 步驟905:計算另一幅輸入圖像自有的不重合邊緣兩側像素點的灰度值，輸入圖像中對應位置的像素點灰度值與此灰度值作差，得到的每一個差值都與步驟902中的平均灰度差比較。若不相等，則證明該像素點為輸入圖像中運動物體的構成像素點； 步驟906:通過傳統加權平均公式、計算融合圖像的其他像素點灰度值，最終得到融合圖像。
【文檔編號】G06T5/50GK104134200SQ201410301742
【公開日】2014年11月5日 申請日期:2014年6月27日 優先權日:2014年6月27日
【發明者】王敏, 劉鵬 申請人:河海大學