消除拼接縫隙的快速圖像融合方法與流程
2023-06-20 07:58:26
本發明涉及圖像處理領域，用於優化拼接後的圖像，消除拼接圖像的縫隙。
背景技術：
在日常生活中，我們可以使用廣角鏡頭或者掃描式攝像機拍攝寬視野的圖像，但是這種設備一般價格昂貴，而且所拍攝的圖像存在扭曲變形；而普通相機拍攝寬視野場景時，所得到的圖像解析度較低。為了在不降低圖像解析度的基礎上，得到寬視野的圖像，由此產生了圖像拼接技術，圖像拼接技術即利用幾幅小視角的圖像拼接成一幅大視角的圖像，我們可以通過圖像拼接技術得到全景圖像。該技術在海底勘探，遙感技術，醫學圖像處理和軍事領域都有著廣泛的應用。
圖像拼接技術的核心包含圖像配準和圖像融合。圖像配準是指通過對待拼接的兩幅或多幅圖像中的匹配信息進行提取，從而得到最佳的匹配方案。具體過程如下。
通過不同的圖像匹配方法，可以對左右兩幅待配準圖像的特徵分別進行提取，然後進行特徵匹配，即利用圖像相關性算法，在提取出的特徵集之間建立一個對應關係，可用如下等式表示：
其中為仿射矩陣，其中m2代表水平方向的位移，m5代表垂直方向的位移；m0m1m3m4反映了圖像的旋轉、縮放的變化。(x,y)為右圖上的像素點在右圖坐標系上的坐標，(x1,y1)為右圖中像素點經仿射矩陣變換後對應到左圖坐標系後的像素點的坐標。
通過圖像之間特徵值點的匹配關係，我們可以選取三對不共線的特徵點對仿射矩陣中的六個參數進行求解，從而確定兩幅圖的變換關係。利用仿射矩陣我們可以將右圖坐標系中的點的坐標變換到左圖坐標系中，得到重疊區域邊界的坐標。
兩幅圖像拍攝過程中可能存在動態場景，光照條件等不定因素的差異，使拼接後出現相鄰圖像間的強度或顏色不連續的問題，圖像的某些相關特性發生了躍變，從而留下拼接痕跡。
圖像融合的目的就是消除圖像拼接過程中所留下的痕跡，即消除拼接縫隙，減小兩幅圖像拼接後的階躍效應。因此圖像融合算法對整體拼接後的圖像的主觀視覺效果有著一定影響。如何減少圖像融合的處理時間和提高拼接質量成為圖像拼接融合研究的重點。
傳統的加權平均的方法為分別取兩圖像重疊區域x軸方向和y軸方向的最大值和最小值點即ymax、ymin、xmax、xmin，重疊區域的像素值為：
由於旋轉圖像拼接後的重合區域為不規則圖形，若重合區域較大，對重合區域中所有點進行加權平均運算，運算量較大。而且權重的分母相同，會使融合後的像素點的像素值的計算出現誤差。
技術實現要素：
為克服現有技術的不足，本發明旨在提出一種改進的旋轉圖像拼接融合的算法，尤其針對於拼接後重合區域為不規則圖形的情況，可以更加快速、準確的消除圖像拼接後的縫隙。本發明採用的技術方案是，消除拼接縫隙的快速圖像融合方法，步驟如下：
Step1：首先設定一個閾值T，該閾值與兩幅圖亮度差異和重合區域大小相關，閾值範圍為16至64個像素點，左、右圖為待融合的位於左、右位置的兩幅圖；
Step2：搜索重合區域中沿x軸正方向和y軸負方向距離拼接縫隙不大於閾值的區域，A區為與上邊界縫隙距離不大於閾值的區域，B區為與右邊界縫隙不大於閾值的區域，C區為同時與上邊界縫隙和右邊界縫隙不大於閾值的區域，這三個區域為需要進行加權平均運算的區域，定義這個區域為過渡區；重合區域中除A、B、C區以外的其他區域的像素點的像素值，保持左圖中該像素點的像素值不變，不需要進行加權運算，非重合區域中的像素點的像素值保持該位置的原圖像的像素值不變；
Step3：對過渡區中的點進行加權平均運算，經加權平均後的像素點的像素值為：其f(x,y)為融合後的(x,y)點的像素值，f1(x,y)為左圖在(x,y)點的像素值，f2(x,y)為右圖在(x,y)點處的像素值，N為融合區域與縫隙垂直方向的像素點的個數；
權重的分母N為不定值，0＜N≤T；
對於上邊界縫隙融合區域A區域和C區域而言，N＜T的區域，其每一列的像素點的個數小於閾值，此時N取該區域中指定縱坐標下，沿x軸方向實際像素點的總數，0＜N＜T；其餘區域N＝T，i為(x,y)坐標下的該像素點沿x軸負方向到上邊界縫隙的距離，通過計算即得到上邊界縫隙融合區域的像素點的像素值fu(x,y)；
對於右邊界縫隙融合區域B區域和C區域而言，N＝T,i為(x,y)坐標下的該像素點沿y軸正方向到右邊界縫隙的距離，通過計算即得到右邊界縫隙融合區域的像素點的像素值fr(x,y)。
本發明的特點及有益效果是：
本發明所提出的融合算法較傳統算法所需要計算的融合的像素點的個數少，因此速度更快，同時對拼接後圖像重合區域為不規則圖形的情況採用不等權重的方法，使融合後的圖像更接近於實際情況，更加準確的消除圖像拼接後所產生的縫隙。
附圖說明：
圖1圖像拼接縫隙和融合區域說明圖。
圖2融合A區域權重計算說明圖。
圖3實例說明圖。
具體實施方式
傳統算法是對重合區域內所有像素點進行加權平均運算，如果重合區域較大，計算量會很大，而實際上遠離拼接縫隙處的像素點加權平均運算是不必要的。此外重合區域為不規則圖像，若權重的分母相同，會使像素點的像素值的計算出現誤差。
為了解決上述問題，我們提出了一種改進的拼接圖像加權融合算法。圖1中粗線為兩幅圖像拼接後的縫隙。具體算法如下：
Step1：首先我們設定一個閾值T，該閾值與兩幅圖亮度差異和重合區域大小相關，閾值範圍一般為16至64個像素點。
Step2：搜索重合區域中沿x軸正方向和y軸負方向距離拼接縫隙不大於閾值的區域，如圖1所示，A區為與上邊界縫隙距離不大於閾值的區域，B區為與右邊界縫隙不大於閾值的區域，C區為同時與上邊界縫隙和右邊界縫隙不大於閾值的區域。這三個區域為我們需要進行加權平均運算的區域，我們定義這個區域為過渡區；重合區域中除A、B、C區以外的其他區域(圖1中的陰影區域)的像素點的像素值，保持A圖中該像素點的像素值不變，不需要進行加權運算，非重合區域中的像素點的像素值保持該位置的原圖像的像素值不變。
Step3：對過渡區中的點進行加權平均運算，經加權平均後的像素點的像素值為：其f(x,y)為融合後的(x,y)點的像素值，f1(x,y)為左圖在(x,y)點的像素值，f2(x,y)為右圖在(x,y)點處的像素值。
本算法中權重的分母N為不定值，0＜N≤T，N為融合區域與縫隙垂直方向的像素點的個數。
對於上邊界縫隙融合區域A區域和C區域而言，圖2中陰影區域為N＜T的區域，其每一列的像素點的個數小於閾值，此時N取該區域中指定縱坐標下，沿x軸方向實際像素點的總數，0＜N＜T；其餘區域N＝T。i為(x,y)坐標下的該像素點沿x軸負方向到上邊界縫隙的距離。通過計算即可得到上邊界縫隙融合區域的像素點的像素值fu(x,y)。
對於右邊界縫隙融合區域B區域和C區域而言，N＝T,i為(x,y)坐標下的該像素點沿y軸正方向到右邊界縫隙的距離。通過計算即可的到右邊界縫隙融合區域的像素點的像素值fr(x,y)。
由於C區域為上邊界縫隙和右邊界縫隙共同的融合過渡區域，因此C區域中的像素值為
本發明提出一種針對旋轉圖像拼接的快速圖像融合算法。
下面結合如圖3所示的具體實例對本發明作進一步的解釋和說明。假設圖片的尺寸為800*600，經過角點匹配，對仿射矩陣進行了計算後，得到旋轉角度ω＝30°，重合區域四個角點的坐標為(0,799),(414,799),(420,590),(0,548)。取上邊界縫隙和右邊界縫隙閾值為32。
本算法需要計算的像素點的數量遠遠小於重合區域中總的像素點數即小於原始算法所要計算的像素點數，減小了計算時長。
如點(12，780)經檢測距離分別距離上邊界縫隙和右邊界縫隙都在閾值範圍內，因此屬於C區域，所以該點的像素值為：
以此類推即可計算出融合區域每個像素點的像素值，從而完成旋轉拼接圖像的融合，消除兩幅圖像拼接後所產生的階躍現象，一定程度上消除兩幅圖片拼接之後的縫隙，使圖片在視覺效果上的到了優化。