一種基於圖像拼接的全景圖合成方法
2023-06-13 02:13:31 1
一種基於圖像拼接的全景圖合成方法
【專利摘要】本發明公開了一種基於圖像拼接的全景圖合成方法，對全景圖分塊拍攝，得到全景圖的分塊拍攝圖像，相鄰的分塊拍攝圖像之間存在影像重合度；將所得分塊拍攝圖像按每一個像素轉換成對應的二維數組矩陣，採用齊次坐標系來表示分塊拍攝圖像中各像素的坐標，採用基於圖像灰度相似度和最大似然估計的算法，計算矩陣M；採用最小化相鄰元素圖像灰度值的平方和來估算矩陣M中的未知變量；採用LM迭代算法來求解相應的非線性最小二乘問題。本發明中採用基於圖像灰度相似度和最大似然估計的算法來計算矩陣M，這種算法確保了所得解的最優性，並且無需提供容易辨識的特徵點。計算量相對較小且匹配誤差小，可以實現精確匹配。
【專利說明】一種基於圖像拼接的全景圖合成方法
【技術領域】
[0001]本發明公開了一種基於圖像拼接的全景圖合成方法，涉及圖像處理【技術領域】。
【背景技術】
[0002]全景圖是一種重要的場景表示方法，在實際應用中主要有兩種方式來獲得，直接法和圖像拼接法。直接法使用特殊的全景相機等器材可以直接獲取，但是拍攝用的器材通常比較昂貴，而且拍照時需要精確地校準攝像機，實用性較差，而採用普通攝像機圖像拼接獲得全景圖是一種低成本而且比較靈活的方法。採用圖像拼接的方式獲取全景圖這種方式對拍照的器材沒有太高的要求，可以使用普通的照相機。
[0003]圖像拼接(Photo graphic mosaic)或稱蒙太奇拼貼,是一種影像處理技術,廣泛應用於虛擬環境構建和電影特效的製作。其基本原理是通過對包含某一大場景部分信息的各小照片的校準，將這些校準和標定後的小照片無縫地合成為一張包含場景全部信息的大圖像。
[0004]圖像拼接技術主要包括兩個關鍵環節即圖像配準和圖像融合對於圖像融合部分，由於其耗時不太大，且現有的幾種主要方法效果差別也不多，所以總體來說算法上比較成熟。而圖像配準部分是整個圖像拼接技術的核心部分，它直接關係到圖像拼接算法的成功率和運行速度，因此配準算法的研究是多年來研究的重點。目前的圖像配準算法基本上可以分為兩類:基於頻域的方法(相位相關方法)和基於時域的方法。
[0005]相位相關法最早是由Kuglin和Hines在1975年提出的，並且證明在純二維平移的情形下，拼接精度可以達到I個像素，多用於航空照片和衛星遙感圖像的配準等領域。該方法對拼接的圖像進行快速傅立葉變換，將兩幅待配準圖像變換到頻域，然後通過它們的互功率譜直接計算出兩幅圖像間的平移矢量，從而實現圖像的配準。由於其具有簡單而精確的特點，後來成為最有前途的圖像配準算法之一。但是相位相關方法一般需要比較大的重疊比例(通常要求配準圖像之間有50%的重疊比例)，如果重疊比例較小，則容易造成平移矢量的錯誤估計，從而較難實現圖像的配準。
[0006]基於時域的方法又可具體分為基於特徵的方法和基於區域的方法。基於特徵的方法首先找出兩幅圖像中的特徵點(如邊界點、拐點)，並確定圖像間特徵點的對應關係，然後利用這種對應關係找到兩幅圖像間的變換關係。這一類方法不直接利用圖像的灰度信息，因而對光線變化不敏感，但對特徵點對應關係的精確程度依賴很大。這一類方法採用的思想較為直觀，大部分的圖像配準算法都可以歸為這一類。基於區域的方法是以一幅圖像重疊區域中的一塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，這種算法精度較高，但計算量過大。
[0007]按照匹配算法的具體實現又可以分為直接法和搜索法兩大類，直接法主要包括變換優化法，它首先建立兩幅待拼接圖像間的變換模型，然後採用非線性迭代最小化算法直接計算出模型的變換參數，從而確定圖像的配準位置。該算法效果較好，收斂速度較快，但是它要達到過程的收斂要求有較好的初始估計，如果初始估計不好，則會造成圖像拼接的失敗。搜索法主要是以一幅圖像中的某些特徵為依據，在另一幅圖像中搜索最佳配準位置，常用的有比值匹配法，塊匹配法和網格匹配法。比值匹配法是從一幅圖像的重疊區域中部分相鄰的兩列上取出部分像素，然後以它們的比值作模板，在另一幅圖像中搜索最佳匹配。這種算法計算量較小，但精度較低；塊匹配法則是以一幅圖像重疊區域中的一塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，這種算法精度較高，但計算量過大；網格匹配法減小了塊匹配法的計算量，它首先要進行粗匹配，每次水平或垂直移動一個步長，記錄最佳匹配位置，然後在此位置附近進行精確匹配，每次步長減半，然後循環此過程直至步長減為O。這種算法較前兩種運算量都有所減小，但在實際應用中仍然偏大，而且粗匹配時如果步長取的太大，很可能會造成較大的粗匹配誤差，從而很難實現精確匹配。
[0008]圖像拼接的關鍵在於對各個元素圖片的標定，即確定變換矩陣M。
【發明內容】
[0009]本發明所要解決的技術問題是:針對現有技術的缺陷，提供一種基於圖像拼接的全景圖合成方法。
[0010]本發明為解決上述技術問題採用以下技術方案:
[0011]一種基於圖像拼接的全景圖合成方法，具體步驟如下:
[0012]步驟一、對全景圖分塊拍攝，得到全景圖的分塊拍攝圖像，相鄰的分塊拍攝圖像之間存在影像重合度；
[0013]步驟二、將步驟一所得分塊拍攝圖像按每一個像素轉換成對應的二維數組矩陣，採用齊次坐標系來表示分塊拍攝圖像中各像素的坐標，分塊拍攝圖像的幾何變換表達式如下:
【權利要求】
1.一種基於圖像拼接的全景圖合成方法，其特徵在於，具體步驟如下: 步驟一、對全景圖分塊拍攝，得到全景圖的分塊拍攝圖像，相鄰的分塊拍攝圖像之間存在影像重合度； 步驟二、將步驟一所得分塊拍攝圖像按每一個像素轉換成對應的二維數組矩陣，採用齊次坐標系來表示分塊拍攝圖像中各像素的坐標，分塊拍攝圖像的幾何變換表達式如下:
其中，m0至m7分別表示像素點的四個主要方向上，該像素點與鄰近像素點的灰度變化情況，即像素點的興趣值；(X，y，w)表示齊次坐標系中分塊拍攝圖像上某一像素的位置，對應的笛卡爾坐標為(x/w，y/w) ；x, y表示像素點舊坐標，《表示尺度參數；(1』，/，《』)表示在其他分塊拍攝圖像中與(x，y，w)相對應的像素坐標； 設定矩陣M為變換矩陣，當發生剛性變換時，表示為:
其中，Θ表示變換矩陣的旋轉角度；τχ、^表示剛體變換矩陣中沿X、y方向的平移量; 當發生線性幾何變換時，矩陣M用仿射變換來表示，即:
步驟三、採用基於圖像灰度相似度和最大似然估計的算法，計算矩陣M，計算公式為:
其中，X'、1'表示求出的像素新坐標； 步驟四、採用最小化相鄰元素圖像灰度值的平方和來估算矩陣M中的未知變量，相應的最小~ 乘問題表不為:
E= Σ [ (X, ,Y' )-1 (x, y)]2 = Σθ2 其中，I(x，y)表示圖像數據在點(x，y)處的灰度值； U丨，y')表示圖像數據在點(X' ,1')處的灰度值；e表示二者灰度差值； 步驟五、採用LM迭代算法來求解上述非線性最小二乘問題； 步驟六、檢查誤差e的大小，並且將其與設定的閾值進行比較，誤差e低於設定的閾值時，計算結束；誤差e高於設定的閾值時，還需要再次迭代運算，直到誤差滿足設定的閾值要求為止。
2.如權利要求1所述的一種基於圖像拼接的全景圖合成方法，其特徵在於:完成步驟一至步驟六之後，用平滑濾波的方法對拼接後的圖像進行再次處理。
3.如權利要求1所述的一種基於圖像拼接的全景圖合成方法，其特徵在於:步驟二中所述像素是指分塊拍攝圖像在當前位置的顏色索引值或顏色值，當分塊拍攝圖像是灰度圖像是，像素用灰度值表示；當分塊拍攝圖像是彩色圖像時，像素用複數個灰度值來表示。
4.如權利要求1所述的一種基於圖像拼接的全景圖合成方法，其特徵在於:步驟二中所述剛性變換包括平移變換和旋轉變換。
5.如權利要求1所述的一種基於圖像拼接的全景圖合成方法，其特徵在於:步驟二中所述線性幾何變換包括平移變換，旋轉變換和尺度變換。
6.如權利要求3所述的一種基於圖像拼接的全景圖合成方法，其特徵在於:對於分塊拍攝圖像中非整數坐標 處的灰度值，採用雙線性插值來進行估算。
【文檔編號】G06T3/40GK104077764SQ201410330763
【公開日】2014年10月1日 申請日期:2014年7月11日 優先權日:2014年7月11日
【發明者】周洪成, 胡豔, 陳存寶, 姜志鵬, 劉海陵 申請人:金陵科技學院