一種基於角點塊提取與匹配的圖像拼接裝置的製作方法

2023-06-03 11:51:31 1

專利名稱：一種基於角點塊提取與匹配的圖像拼接裝置的製作方法
技術領域：
本實用新型屬於計算機應用技術領域，涉及圖像處理的裝置，特別是一種基於角點塊提取與匹配的圖像拼接裝置。
背景技術：
近年來，對於高解析度的全景圖像的需求在一些技術領域越來越突出，比如道路信息檢測中要採集前方路況的全景信息，山區高速公路虛擬仿真中構造虛擬場景都需要有高解析度全景圖像的支持。然而，圖像技術中一直存在著視野和解析度的矛盾，高解析度的圖像往往不能顯示全部的視野，而大視野的圖像有存在著解析度過低的問題，而應用圖像拼接技術可以將同一場景、相互重疊的圖像序列進行拼接，進而得到高解析度的全景圖像。給定某個場景的互相有重疊的一組局部圖像，如何生成包含著這組局部圖像的新的較大的視野圖像，稱為圖像拼接(stitch)問題，有時也稱為圖像鑲嵌(mosaic)。圖像拼接技術的關鍵和核心問題是圖像配準問題，也就是準確的找到相鄰圖像間重疊區域的位置以及範圍。現在圖像拼接研究比較熱門的方法是特徵點的提取研究方法，比如，基於harris 角點的特徵點的研究，該方法可以很快的提取出兩幅圖像上的邊沿特徵點，在依靠圖像在不同的空間上進行變換，來找到對應的特徵點對，這種方法的計算速度快，配準的速度快， 但是就是配準的準確性下降，抗幹擾的能力不強，在圖片上要有較大的背景光變化，以及圖片受到幹擾的情況下，該方法配準的準確性就會急劇下降，不夠健壯。另一種方法是將圖像分成若干個塊，以塊的信息來找重疊的區域，該方法雖然配準的精度很高，但是隨著現在的數位相機的解析度不斷的提高，塊比較的方法就顯得速度太慢，不能適應現在快速拼接的要求。
發明內容本實用新型的目的在於，提供一種基於角點塊提取與匹配的圖像拼接裝置，該裝置可以實現對同一場景，不同角度之間存在相互重疊的圖像序列進行處理，然後進行拼接， 從而形成一張包含更多場景信息的高清圖像。為了實現上述任務，本實用新型採取如下的技術解決方案一種基於角點塊提取與匹配的圖像拼接裝置，其特徵在於，由依次相連的圖像輸入模塊、圖像採集模塊、圖像處理模塊、圖像拼接模塊和圖像輸出模塊組成，其中，圖像處理模塊上連接有角點檢測模塊和角點塊提取模塊，圖像拼接模塊上連接有角點塊匹配模塊和圖像拼接融合模塊。本實用新型的基於角點塊提取與匹配的圖像拼接裝置綜合了 harris角點的特徵點檢測的優勢，以及模塊檢測的配準精度高的優點，拼接的效果很好，並且拼接的時間很短，有很好的抗幹擾能力。

[0008]圖1是本實用新型的基於角點塊提取與匹配的圖像拼接裝置結構框圖；圖2是角點塊提取模塊構成虛擬三角形的原理圖，其中圖2 (a)是第一幅圖片的三個基特徵點組成的三角形，圖2 (b)是第二幅圖片的三個基特徵點組成的三角形。
以下結合附圖和實施例對本實用新型作進一步的詳細說明。
具體實施方式
如圖1所示，本實施例給出一種基於角點塊提取與匹配的圖像拼接裝置，由依次相連的圖像輸入模塊、圖像採集模塊、圖像處理模塊、圖像拼接模塊和圖像輸出模塊組成， 其中，圖像處理模塊上連接有角點檢測模塊和角點塊提取模塊，圖像拼接模塊上連接有角點塊匹配模塊和圖像拼接融合模塊。該裝置可以實現同一場景、不同角度的圖像進行拼接， 得到一張高清的全景圖像。3. 1圖像輸入模塊圖像輸入模塊，用於輸入同一場景不同角度的高清圖像。3. 2圖像採集模塊圖像採集模塊旨在採集同一場景不同角度不同方位的高清圖像序列，採集得到的相鄰的圖片間具有相同的景物，以便用於不同圖片間的特徵點的提取與匹配。3. 3圖像處理模塊圖像處理模塊可以選擇常規的單片機，主要用於對採集所得的高清圖像序列進行處理，圖像處理模塊連接角點檢測模塊和角點塊提取模塊，通過角點檢測與角點塊提取得到圖像序列的特徵點塊，以便進行下一步的處理。1)角點檢測模塊針對基於harris角點檢測的魯棒性不強和基於模塊檢測的速度過慢的問題，在裝置中引用了一種新的角點檢測技術。綜合了 harris角點的特徵點檢測的優勢，以及模塊檢測的配準精度高的優點。依靠採集所得圖像的邊沿信息，採用簡單的邊緣信息閾值法檢測出兩幅圖像上的各自梯度較大的特徵點。具體方法如下首先，角點檢測模塊對兩幅圖片進行預處理，為了取得更好的銳化效果同時把噪音幹擾降到最低，首先對圖像進行平滑濾波，進行銳化增強邊沿細節。以「強強聯合「的原則，選擇在平滑領域表現更好的高斯平滑算子和在銳化領域表現很好的拉普拉斯銳化算子，將這兩個算子結合起來就是高斯一拉普拉斯變換(L0G)，對兩幅圖像通過LOG變換，之後就可以得到邊緣細節很明顯的圖像。其次，對經過預處理後的圖片進行邊緣提取，採用Carmy算子進行邊緣提取。可以設置Carry算子的敏感閥值，可以棄除許多不重要的特徵點，保留一部分重要的特徵點。2)角點塊提取模塊角點塊提取模塊以角點檢測模塊所得的特徵點群中的每個特徵點為中心，選擇一個圖像快，以每塊的梯度信息作為參數在基準圖像和配準圖像之間來選擇相似性最大的塊對，並設置合適的相似閥值來棄掉偽特徵點，保留相似性最大的幾個特徵點對，從而得到用於圖像配準的特徵點快，具體處理過程如下以上一步保留的特徵點為基礎，在相鄰圖片的梯度圖像上以特徵點為中心建立特徵塊，把每一個梯度圖像塊的灰度信息轉化為一個列向量。以第一幅圖像為基準圖像，以第二幅圖像為待配準圖像，將第二幅圖像中的每個特徵塊轉化的列向量放到第一幅圖像中去尋找與該向量最相似的向量塊，並記錄相似係數。Ia (i, j) =vecl*vec2，/(norm(vecl)*norm(vec2))式中，Ia表示特徵向量的相似係數，Ia小於等於1，等於1表示最完全相等，vecl 表示第一幅圖像上由塊轉化來的列向量，vec2表示第二幅圖像上由塊轉化來的列向量的轉置，norm(vecl)，norm(vec2)分別表不 vecl，vec2 的模。可以在第二幅圖片中找到第一幅圖片中每一個列向量所對應的最大相似列向量， 也就是將兩幅圖片中的特徵點配對。可以設置閥值讓Ia大於一個閥值，可以棄除，不重疊區域的特徵點，保留重疊部分的重要特點。有了上面的特徵點群，可以選擇三個特徵點對來構成虛擬三角形如圖2所示，由此，角點塊提取完畢。3. 4圖像拼接模塊圖像拼接模塊通過圖像處理模塊得到的特徵點對為基礎點來對基礎圖像和配準圖像進行配準，在基礎圖像和配準變換後的圖像上進行特徵點的精確定位，最後對圖像進行融合，完成圖像的拼接。在圖像拼接模塊上連接有角點塊匹配模塊和圖像拼接融合模塊通過大量的實驗，拼接的效果很好，並且拼接的時間很短，有很好的抗幹擾能力。1)角點塊匹配模塊角點塊匹配模塊用於對待配準的圖像進行圖像坐標扭轉變換。由基本特徵點所組成的兩三角形是相似的，以這六個點位基礎，得到待配準圖像的的變換矩陣，以這個矩陣關係作為變化關係，將待配準圖像進行變換，從而得到配準圖像。由於在圖像的配準過程中，圖像要發生扭轉變化，因此，配準之後的圖像特徵點位置就會發生變化，因此，必須在做一次特徵點的提取。這次以基礎圖像上的三個點，來形成塊，並轉化為列向量，在配準圖像原特徵點的附近來進行尋找，這樣在配準圖片上用很短的時間就可以找到與基礎圖片上對應的三個點。這次的定位就更加的精確了。2)圖像拼接融合模塊圖像拼接融合模塊主要用於圖像拼接後的邊緣處理，旨在消除明顯的拼接痕跡。 由於在重疊區域直接取兩幅圖像中其中的一幅進行圖像合成，很容易在重疊區域的邊界處形成明顯的拼縫，因此，需要採用圖像融合技術合成全景拼接圖。採用漸入漸出法，將圖像重疊區域的像素值按一漸變係數相加合成全景圖像，以左右拼接的兩幅圖像I (i，j) 1和 I(i, j) 2為例，則重疊區域圖像的像素值I (i，j)可表示為I(i，j )=dl(i, j)l+(l-d)I(i, j )2其中，d為一漸變係數，由上式可以看出，當d由1慢慢變化到0時，圖像從I(i， j)l慢慢過渡到了 I(i，j)2，這樣就可以實現圖像間的平滑過渡，從而消除了拼接的痕跡。3. 5圖像輸出模塊圖像輸出模塊主要用於高清的全景圖像輸出，通過以上設計，就可以把同一場景不同角度不同方位的高清圖像序列運用圖像拼接模塊進行處理，最終輸出一張高清的全景圖像，並應用與各個領域。
權利要求1.一種基於角點塊提取與匹配的圖像拼接裝置，其特徵在於，由依次相連的圖像輸入模塊、圖像採集模塊、圖像處理模塊和圖像輸出模塊組成。
2.如權利要求1所述的基於角點塊提取與匹配的圖像拼接裝置，其特徵在於，所述的圖像處理模塊選擇單片機。
專利摘要本實用新型公開了一種基於角點塊提取與匹配的圖像拼接裝置，由依次相連的圖像輸入模塊、圖像採集模塊、圖像處理模塊、圖像拼接模塊和圖像輸出模塊組成，其中，圖像處理模塊上連接有角點檢測模塊和角點塊提取模塊，圖像拼接模塊上連接有角點塊匹配模塊和圖像拼接融合模塊。該裝置可以實現同一場景、不同角度的圖像進行拼接，得到一張高清的全景圖像。
文檔編號G06T5/50GK202134044SQ201120236408
公開日2012年2月1日 申請日期2011年7月6日 優先權日2011年7月6日
發明者豐延明, 馮源, 趙康, 韓毅 申請人:長安大學