基於特徵和區域匹配相結合的深度信息獲取方法
2023-10-05 20:40:49 2
基於特徵和區域匹配相結合的深度信息獲取方法
【專利摘要】本發明公開了一種基於特徵和區域匹配的深度信息獲取方法，首先採用SIFT（scaleinvariantfeaturetransform）特徵提取方法獲得特徵點，並利用特徵點的空間位置、梯度和方向信息進行匹配。對於非特徵點，利用區域匹配方法進行匹配，以特徵匹配結果為約束，採用視差梯度原理縮小搜索範圍減少運算時間。本發明方法簡單實用，運行速度快匹配準確率高，不需要通過實驗室條件下的特殊儀器即可實現深度信息的獲取，具有很強的實用價值。
【專利說明】基於特徵和區域匹配相結合的深度信息獲取方法
【技術領域】
[0001] 本發明涉及一種深度信息的獲取方法，利用SIFT特徵算法和區域匹配算法相結 合的深度信息獲取方法，其特點是速度快準確度較高。
【背景技術】
[0002] 深度信息獲取技術是用並排的兩部或多部圖像採集裝置對同一物體或場景進行 拍攝，或者用一部採集裝置在對應的不同的角度拍攝同一物體，生成至少左、右兩幅圖像。 這一過程模擬人眼成像，同一物體在不同角度圖像中的位置不同稱為視差。利用視差及拍 攝的角度，就可以計算得到該物體在真實世界中的位置相關信息。隨著計算機科學，人工 智能以及相關學科的進一步發展，深度信息獲取的研究也相應的得到了更深入的發展，它 正廣泛的應用於各個領域中，己經可以逐步代替人類視覺起到關鍵的作用。例如，在航空、 航天、衛星拍攝等應用中，深度信息獲取已經成為不可替代的關鍵技術。我國的深度信息獲 取發展快速，無論軍事領域還是民用工業、農業，深度信息獲取技術都有著廣闊的應用領 域和非常好的發展前景。
[0003] 深度信息獲取技術的關鍵技術包括攝像機標定、圖像採集、立體匹配和視差圖復 原。各部分的算法已經和成熟，國外起步比較早，典型的代表有：Yoon和Kweon提出了一種 結合分割思路並能夠避免劃分困難的窗口匹配方法，方法中根據幾何學以及光度學的思想 可以對窗口中的像素權值進行自由調整，但是該算法在執行過程中複雜度很高。Wang提出 了一種新的選擇窗口的方法，可以動態對窗口進行改變。Veksler提出，區域匹配中不同大 小的窗口適用不同尺度。Haralick將最優曲面擬合的方法引進到匹配算法中，用像素鄰域 為對象進行擬合，然後在擬合的鄰域中根據零交叉原理進行匹配。Canny提出用邊緣作為特 徵進行匹配。SUSAN算子通過最小化像素點周圍區域來檢查角點，它能夠確定圖像的屬性。 Harris在改進角點算法的基礎上提出了 Harris算子。Pritchett和Zisserman在匹配中 引入了齊次矩陣用來反映像素點對間的對應關係，促使了傳統約束條件的改進。M. Pilu將 奇異值分解的思想應用於匹配中。浙江大學設計了基於雙目視覺的高精度動態方法用於多 自由度機器人的檢測；哈爾濱工業大學的異構雙目系統能夠為機器人足球賽實施導航；東 南大學根據雙目視覺理論開發除了可以用於非接觸測量的西匹配算法，提高了對不規則物 體表面檢測的精度；中科院自動化所研發出了對整個物體表面三維重建的技術，可以自動 匹配物體表面的特徵點，將立體匹配技術與數據融合技術的結合。
[0004] 立體匹配過程是深度信息獲取的關鍵點，主要的立體匹配方法有區域匹配算法、 特徵點匹配算法和基於相位的匹配算法等。單純的區域匹配主要假設左右圖像對應點鄰域 內的灰度具有相關性，其特點是簡單易實現，結果是稠密的視差，但精度較低。而特徵點匹 配是利用圖片中的特殊點進行計算，這樣可以大大減少搜索範圍，但是只能得到稀疏的視 差圖，如果需要可以經過內插等方法得到整幅圖像的視差圖。基於相位的匹配根據視差梯 度、單調性等信息來提高效率和準備度。
【發明內容】
[0005] 發明目的
[0006] 為了滿足三維重建所需的稠密點雲又兼顧運算時間，本發明提出了一種特徵點匹 配法和區域法相結合的立體匹配方法，綜合區域匹配法和特徵點匹配法的特點，可以得到 較精確的、稠密的視差深度信息，並且縮短運算時間。
[0007] 技術方案
[0008] 本發明是通過以下技術方案來實現的：
[0009] -種基於特徵和區域匹配相結合的深度信息獲取方法，其特徵在於：利用SIFT特 徵點匹配方法和區域匹配方法結合，利用較少的時間來獲取準確的稠密深度圖，該方法其 具體步驟如下：
[0010] (1)匹配圖像特徵點的提取：
[0011] 在匹配的圖像對上提取 SIFT (scale invariant feature transform)特徵，形成 特徵向量進，並對特徵點進行標記，SIFT特徵點的提取需要對相鄰尺度的高斯圖像相減得 到高斯差分多尺度空間；在高斯差分多尺度空間中求得局部極值點；
[0012] 其具體步驟如下：
[0013] 1)檢測尺度空間極值：圖像的尺度空間定義為一個函數L(x，y，〇)，由可變尺度 高斯函數G(x, y, σ )與輸入圖像I (X，y)卷積得到：
[0014] I(x,y, 〇 ) = I (χ, y) XG(x,y, σ ) (1),
[0015] 其中，
[0016]
【權利要求】
1. 一種基於特徵和區域匹配相結合的深度信息獲取方法，其特徵在於：利用SIFT特徵 點匹配方法和區域匹配方法結合，利用較少的時間來獲取準確的稠密深度圖，該方法其具 體步驟如下： (1) 匹配圖像特徵點的提取： 在匹配的圖像對上提取SIFT(scaleinvariantfeaturetransform)特徵，形成特徵 向量進，並對特徵點進行標記，SIFT特徵點的提取需要對相鄰尺度的高斯圖像相減得到高 斯差分多尺度空間；在高斯差分多尺度空間中求得局部極值點； 其具體步驟如下： 1) 檢測尺度空間極值：圖像的尺度空間定義為一個函數L(x，y，〇 )，由可變尺度高斯 函數G(x，y，〇)與輸入圖像I(x，y)卷積得到： I(x,y, 〇 )=I(x,y)XG(x,y, 〇 ) (I), 其中，
高斯差分尺度空間D(x，y，〇)為存在常數乘性尺度因子k的相鄰尺度高斯函數的差分 與原圖像卷積；D(x，y，〇)可以表示為：
2) 精確定位特徵點：首先獲取候選特徵點處的擬合函數：
求導得到極值點與對應極值，並且不斷修正X求出局部最優點； 3) 利用特徵點鄰域像素的梯度方向分布特徵，為每個特徵點指定方向參數，（x，y)處 的方向和梯度值分別為：
一個特徵點用16個種子點描述，而每個種子點有8個方向向量信息，因此，每一個特徵 點產生128個數據，形成一個128維的描述向量； (2) SIFT特徵點的匹配： 對左、右兩幅圖像分別得到SIFT特徵向量後，計算兩幅圖像的每個特徵點在待匹配圖 像的特徵點中的最相似匹配，這裡最相似定義為特徵向量間的最小歐式距離； (3) 區域匹配： 在特徵匹配結果的約束下，確定非特徵點的所在分塊，利用視差梯度估計搜索範圍，並 進行匹配。
2. 根據權利要求1所述的基於特徵和區域匹配相結合的深度信息獲取方法，其特徵在 於：步驟（3)中區域匹配其具體步驟如下： 1) 匹配分塊的確定：在左圖像上選擇一點P(x，y)，以該點為中心形成nXn的匹配 模板；然後，搜索該模板中是否存在特徵點，如存在則在右圖像中對應的特徵點作為搜 索範圍；如不存在，則利用視差梯度來推算出搜索範圍d，在右圖像中同一極線上的點 P(x+i,y),iG[1，d]計算相度，其中相似度最好的點就認為是P(x,y)的匹配點； 2) 視差梯度約束及收索範圍的估計：所涉及到的匹配圖像是經過校準的，只存在水平 視差，則有y1 = /，在場景中的兩個點P1和P2在左右圖像上的投影p/、Pilr和p/、P/，則它 們的視差梯度的定義如式所示：
設Pi。=(Pj+Pi1)/〗、p2。=(Pj+P21)/^以及(I1 =X11I1'd2 =X21I21公式（7)可以轉 換為：
考慮外極線約束假設左右圖像都經過極線校正，對應的收索範圍應該同極線位於同一 位置和方向上；同時，以左圖像為基準按順序逐點匹配，則有：yi = ^，Xl_\ = 1 ;於是視差 梯度變為：
下一個點在左圖像中的搜索範圍可以通過前一個點在右圖像的位置、視差及視差梯度 預測到；根據前面的推導，視差梯度絕對值在1. 5與2之間是灰度變化劇烈的邊緣區域，反 映出的灰度信息變化較大，則選用4X4的模板進行匹配；視差梯度絕對值小於1. 5時是圖 像的平滑區域，灰度信息較為相似，則需要較大的模板，選用16X16的模板進行匹配； 3) 區域匹配的相似性函數：以檢查點為中心形成匹配模板，如果左圖像的長度為M，右 圖像的長度為N的線段；設左右匹配模板中第i行、第j列像素的灰度分別為IJi，j)和 IK(i，j)，則匹配的代價函數C為：
其中和分別是左、右模板中的灰度方差；
其中ujPuR是左右匹配模板中的灰度均值，^是Iji，j)和IR(i，j)的協方差，表 示為：
C越大說明左右圖像中的對應點的相似性越差。
【文檔編號】H04N13/00GK104268880SQ201410512773
【公開日】2015年1月7日 申請日期:2014年9月29日 優先權日:2014年9月29日
【發明者】魏東, 王帥 申請人:瀋陽工業大學