一種圖像立體匹配方法及其裝置的製作方法

2023-09-16 16:02:05

專利名稱：一種圖像立體匹配方法及其裝置的製作方法
技術領域：
本發明涉及一種圖像立體匹配方法及其裝置。

背景技術：
立體視覺是計算機測距方法中最重要的距離感知技術，它模擬人類視覺處理景物的方式，可以在多種條件下靈活地測量景物的立體信息，其作用是其它計算機視覺方法所不能取代的。立體視覺中最關鍵的部分是進行多幅視覺圖像的對應點匹配問題，即立體視覺匹配，簡稱立體匹配。其中，雙目立體匹配算法就是在兩幅圖像的匹配點之間建立對應關係的過程，它是雙目立體視覺系統的關鍵。實際上，任何基於計算機視覺的三維重建系統中都包含一個作為其核心的匹配算法，基於相位匹配的算法能夠避免計算基本矩陣，但算法的效率較低。基於區域的立體匹配算法難以設定窗口大小，且搜索範圍大，算法效率較低。現有的基於特徵立體匹配算法，雖然算法效率高，但其匹配精度還有待提高。現有的特徵點提取方法不魯棒，一幅圖像的某些特種點，在另一幅圖像與其相對應的特徵點可能不存在。因此，匹配的精度不高，導致立體匹配點對更加稀疏，需進一步處理才能進行三維重建，如一些方法通過立體匹配點的插值技術解決匹配點對的稀疏問題。雖然插值技術能夠在一定程度解決立體匹配點稀疏問題，但插值得到新的匹配點對是建立在插值數據上，插值數據的誤差導致許多點對的誤匹配。


發明內容
本發明的目的是提供一種匹配精度和匹配效率高的圖像立體匹配方法； 本發明的還一目的是提供一種匹配精度和匹配效率高的圖像立體匹配裝置。
本發明的目的是通過實施下述技術方案來實現的 一種圖像立體匹配方法，其特徵在於，包括如下步驟 步驟1、提取上述圖像中檢測圖像一和候選匹配圖像二的特徵點，分別組成圖像一、圖像二的特徵點列，對圖像一的特徵點列的特徵點按特徵點值進行降序排序，排位在前面的特徵點組成一個顯著特徵點列； 步驟2、對上述特徵點列的特徵點使用多種參數描述，計算圖像一和圖像二的特徵參數描述信息，獲得特徵點參數描述的多維向量，每一維向量代表特徵點的一個特徵； 步驟3、按以下步驟對圖像一的顯著特徵點列的每個特徵點參數描述的多維向量進行約簡 步驟31、計算圖像一中顯著特徵點列的每個特徵點與圖像二的特徵點的相似性； 步驟32、根據指定一閾值獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集1； 步驟33、對圖像一中顯著特徵點列的其中一個特徵點的多維向量特徵任意去掉一個特徵；重複步驟31、32，計算約簡後的特徵點與圖像二的特徵點列的特徵點相似性；指定一閾值，獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集2； 步驟34、將候選匹配點集1與候選匹配點集2進行比較，如果二者差異較大，表明所去掉的特徵點的特徵顯著，不能去掉該特徵，如果差異較小，去掉該特徵； 步驟35、重複以上步驟33、34，直到不能再對圖像一的顯著特徵點列的每個特徵點的特徵進行約簡為止； 步驟4、重複步驟31、32，計算多維向量約簡後的圖像一的特徵點列的特徵點與圖像二的特徵點列的特徵點的相似性；指定一閾值，獲得圖像一的特徵點列的每個特徵點在圖像二中的候選匹配點集； 步驟5、根據以上比較步驟的結果，判定檢測圖像一和候選匹配圖像二是否匹配。
上述步驟2所述的特徵點列的特徵點的多種參數描述至少包括灰度信息、多階梯度信息、曲率變化函數。
上述步驟3的對圖像一的顯著特徵點列的每個特徵點參數描述的多維向量進行約簡的方法是使用粗糙集約簡方法對特徵點參數描述的多維向量進行約簡，得到約簡後的特徵點參數描述的多維向量。
上述步驟1所述的圖像一和圖像二的特徵點是採用如下步驟提取的(4-1)計算圖像中每個象素的平均梯度平方矩陣如下 其中I(x，y)為圖像中位置(x，y)處的灰度值，當某點對應的平均梯度平方矩陣的兩個特徵值較大，那麼該點附近有較大的灰度級變化，選取該點作為一個特徵點，特徵點響應函數為 R＝det(N)-k(trace(N))2， 其中det(N)為矩陣的行列式值，trace(N)為矩陣N的跡，k為0.04； 按R值對圖像中的象素點進行降序排序，構成一個數列，確定一個所需特徵點個數F，然後取數列中前F個象素點為特徵點，通過匹配結果可以不斷調整F。
(4-2)對圖像中的象素點(i，j)，分別計算在水平、垂直、左對角和右對角方向上與相鄰像素象素值的差的平方和，並取最小值作為該像點特徵的初值； H＝(f(i，j)-f(i，j-1))2+(f(i，j)-f(i，j+1))2， V＝(f(i，j)-f(i-1，j))2+(f(i，j)-f(i+1，j))2， L＝(f(i，j)-f(i-1，j-1))2+(f(i，j)-f(i+1，j+1))2， R＝(f(i，j)-f(i-1，j+1))2+(f(i，j)-f(i+1，j-1))2， 令F(i，j)＝min{H，V，L，R}，將圖像劃分為大小為n×m的互不重疊的區域Wp，q，計算坐標(x，y)，其計算公式如下 並定義坐標(x，y)上的特徵圖像值為 為進一步消除噪聲，指定一閾值d，重新設計特徵圖像值如下 當G(x，y)大於0，則(x，y)就是對應的特徵點。
(4-3)對圖像一或圖像二，根據以上步驟(4-1)得到特徵點列T1中每個特徵點對應的R值，由步驟(4-2)，得到另一特徵點列T2和每個特徵點對應的G值；對在T1中而不在T2中的特徵點，根據步驟(4-2)獲得其G值；對在T2中而不在T1中的特徵點，根據步驟(4-1)獲得其R值，使T1和T2中的所有特徵點都具有G和R值； 將T1和T2中的所有特徵點作為圖像一或圖像二的特徵點，分別組成圖像一和圖像二的特徵點列TS和Tr； 對圖像一的特徵點按(G+R)的和值進行降序排列，排在前面的特徵點其特徵顯著，取圖像一前m個顯著特徵點組成圖像一的顯著特徵點列，記為Tl。
上述圖像一的特徵點列TS和圖像二的特徵點列Tr中的特徵點採用如下步驟進行參數描述和計算 (5-1)計算特徵點及相鄰點的象素點值 設特徵點位置為(i，j)，以(i，j)為中心，3×3象素區域，直接可得特徵點及相鄰點的象素值向量如下 WF(i，j)＝(I(i，j)，I(i-1，j)，I(i+1，j)，I(i-1，j-1)，I(i-1，j)，I(i-1，j+1)，I(i+1，j-1)，I(i+1，j)，I(i+1，j+1))， 即W(i，j)為3×3區域中象素點值 (5-2)計算特徵點一階梯度信息 設特徵點位置為(i，j)，該點在x方向和y方向的導數gx(i，j)，gy(i，j)分別計算如下 計算梯度權值D(i，j)和方向θ(i，j)，其計算如下 這樣就獲得特徵點(i，j)的梯度信息向量如下 DF(i，j)＝(gx(i，j)，gy(i，j)，D(i，j)，θ(i，j))， (5-3)根據步驟(5-1)和步驟(5-2)獲得特徵點(i，j)參數描述多維向量如下 DS(i，j)＝(WF(i，j)，DF(i，j))， DS(i，j)是一個13維向量，為方便描述，記為 DS(i，j)＝(w1，w2，…，w13)。
(5-4)對圖像一、圖像二中的特徵點列中的特徵點，根據步驟(5-1)、步驟(5-2)和步驟(5-3)，計算所有特徵點的參數描述的多維向量 DF(i，j)＝(gx(i，j)gy(i，j)，D(i，j)，θ(i，j))。
上述步驟31所述的圖像一中顯著特徵點列Tl的每個特徵點與圖像二的特徵點列Tr的特徵點按以下步驟進行相似性計算 (6-1)取圖像一的顯著特徵點列Tl，即Tl[1，2，…，m]，設Tl中特徵點t的參數化描述向量為(t1，t2，....，t13)，圖像二的特徵點列Tr中的特徵點s的參數化描述向量為((s1，s2，...，s13))，則t與s之間的相似性計算如下 (6-2)按步驟(6-1)計算Tl[1，2，…，m]中每個特徵點與圖像二中所有特徵點的相似度，圖像二特徵點列Tr的長度為1，由此可得到m×1的相似性矩陣如下 MS＝(S(t，s))m×l。
上述步驟32、33、34、35的具體步驟如下 (7-1) 根據一指定閾值GH，來獲取Tl[1，2，…，m]中每個特徵點t的候選匹配點集1，即SP(t) SP(t)＝{s|S(t，s)＞GH，s∈Tr}， SP(t)表示與t相似度大於GH的圖像二中的特徵點，也表示了與t可能匹配的特徵點集；根據相似矩陣MS的定義，計算SP(t)；{SP(t)}t∈T[1，2，...，m]看作是粗糙領域關係系統； (7-2)圖像一的顯著特徵點t的描述參數是一個13維向量，將13維看作是13個特徵，記為{1，2，…，13}，設F＝{1，2，…，13}，從F中去掉任意一個特徵i，讓F＝F-{i}，再按照步驟(6-1)計算t與圖像二的特徵點列的特徵點相似性，其公式如下 (7-3)按步驟(7-2)計算的t的相似性，根據步驟(7-1)再次計算Tl[1，2，…，m]中每個特徵點t的候選匹配點集2，記為{SP*(t)}t∈Tl[1，2，...，m]； 對{SP*(t)}t∈Tl[1，2，...，m]和{SP(t)}t∈T[1，2，...，m]，定義 其中W描述了{SP*(t)}t∈Tl[1，2，...，m]與{SP(t)}t∈T[1，2，...，m]之間的差異程度，其值越大，差異越小。
如果W小於某指定的閾值，讓F＝F_{i}，即不能去掉特徵i，否則去掉特徵i。
(7-4)重複步驟(7-2)和步驟(7-3)，直到F中不能再去掉特徵為至，得到約簡後的特徵F。
所述步驟4的候選匹配點集獲取方法如下 在約簡後的特徵F上計算圖像一的特徵點列TS的所有特徵點與圖像二的特徵點列Tr的所有特徵點的相似性 由此相似性及步驟(7-1)計算出經過特徵約簡後的圖像一的顯著特徵點列的每個特徵點的候選匹配點集，記為SP(t)。
所述步驟5按如下方法對檢測圖像一和候選匹配圖像二是否匹配進行判定 所述圖像二中的候選匹配點集的基數等於1，則其為圖像一的特徵點的匹配點；如果圖像二中的候選匹配點集基數大於1，則選擇候選匹配點集中與圖像一的特徵點最相似的特徵點為匹配點；如果候選匹配點集的基數等於0，則圖像二中沒有與圖像一的特徵點匹配的特徵點。
本發明還提供了一種圖像立體匹配裝置，其特徵在於，包括 圖形識別器，用於識別檢測圖像和候選匹配圖像二的特徵點；識別出來的特徵點分別組成圖像一、圖像二的特徵點列TS、Tr，對圖像一特徵點列的特徵點按特徵點值進行降序排序，排位在前面的特徵點組成一個顯著特徵點列Tl； 多維向量識別器，用於對上述特徵點列的特徵點使用灰度信息、多階梯度信息、曲率變化函數進行描述，計算圖像一和圖像二的特徵參數描述信息，獲得特徵點參數描述的多維向量特徵，每一維向量代表特徵點的一個特徵； 數據優化器，用於約簡圖像一的顯著特徵點列的每個特徵點參數描述的多維向量特徵，具體如下 比較上述圖像一的顯著特徵點列的特徵點的參數描述的多維向量特徵與圖像二的特徵點的參數描述的多維向量特徵的相似性，獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集1； 將圖像一中顯著特徵點列的其中一個特徵點的多維向量特徵任意去掉一個特徵；比較約簡後的圖像一的特徵點的參數描述的多維向量特徵與圖像二的特徵點的參數描述的多維向量特徵的相似性，獲得約簡後圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集2； 將所述匹配點集1和2進行比較，如果二者差異較大，表明所去掉的特徵點的特徵顯著，不能去掉該特徵，如果差異較小，去掉該特徵； 重複本步驟以上所述，直到不能再去掉圖像一的顯著特徵點列的每個特徵點的多維向量特徵為止，得到約簡後的特徵F； 在約簡後的特徵F上計算圖像一的特徵點列TS的所有特徵點與圖像二的特徵點列Tr的所有特徵點的相似性；獲得圖像一的特徵點列的每個特徵點在圖像二中的候選匹配點集； 分類器，用於對以上比較結果進行分類，所述圖像二中的候選匹配點集的基數等於1，則其為圖像一的特徵點的匹配點；如果圖像二中的候選匹配點集基數大於1，則選擇候選匹配點集中與圖像一的特徵點最相似的特徵點為匹配點；如果候選匹配點集的基數等於0，則圖像二中沒有與圖像一的特徵點匹配的特徵點。
本發明在特徵提取階段，集成多種特徵提取算法從圖像中得到大量稠密特徵點，避免由單一特徵提取算法特徵點少而導致匹配點稀疏問題。在特徵點的參數描述方面，提供特徵點的多種參數信息，如灰度信息，多階梯度信息，曲率變化函數等多種參數描述，從多方面準確描述特徵點，得到特徵點更多信息。最後，在特徵點匹配方面，選取檢測圖像的顯著特徵點與匹配圖像的特徵點利用粗糙模糊技術進行相似度計算，使用一個參數來控制相似度的精度，通過調節這種參數來控制匹配的精度，對檢測圖像的特徵點的多維向量特徵進行約簡，得到約簡後的特徵，從而得到更加適宜的參數描述，在約簡後的特徵上計算檢測圖像的所有特徵點與匹配圖像的所有特徵點的相似性，得到候選匹配點集，通過對候選匹配點集的判定，最終獲得較高的匹配精度和效率。



圖1是本發明立體圖像匹配方法的流程圖； 圖2是本發明獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集1的流程圖； 圖3是本發明對圖像一的顯著特徵點列的每個特徵點的多維向量特徵進行約簡的流程圖； 圖4是本發明立體圖像匹配裝置的示意圖。

具體實施例方式 下面結合附圖對本發明作進一步詳細的描述 圖1是本發明的圖像立體匹配方法的流程圖， 步驟1、提取上述圖像中檢測圖像一和候選匹配圖像二的特徵點，分別組成圖像一、圖像二的特徵點列，對圖像一的特徵點列的特徵點按特徵點值進行降序排序，排位在前面的特徵點組成一個顯著特徵點列； 步驟2、對上述特徵點列的特徵點使用多種參數描述，計算圖像一和圖像二的特徵參數描述信息，獲得特徵點參數描述的多維向量，每一維向量代表特徵點的一個特徵； 步驟3、按以下步驟對圖像一的顯著特徵點列的每個特徵點參數描述的多維向量進行約簡 步驟31、計算圖像一中顯著特徵點列的每個特徵點與圖像二的特徵點的相似性； 步驟32、根據指定一閾值獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集1； 步驟33、對圖像一中顯著特徵點列的其中一個特徵點的多維向量特徵任意去掉一個特徵；重複步驟31、32，計算約簡後的特徵點與圖像二的特徵點列的特徵點相似性；指定一閾值，獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集2； 步驟34、將候選匹配點集1與候選匹配點集2進行比較，如果二者差異較大，表明所去掉的特徵點的特徵顯著，不能去掉該特徵，如果差異較小，去掉該特徵； 步驟35、重複以上步驟33、34，直到不能再對圖像一的顯著特徵點列的每個特徵點的特徵進行約簡為止； 步驟4、重複步驟31、32，計算多維向量約簡後的圖像一的特徵點列的特徵點與圖像二的特徵點列的特徵點的相似性；指定一閾值，獲得圖像一的特徵點列的每個特徵點在圖像二中的候選匹配點集； 步驟5、根據以上比較步驟的結果，判定檢測圖像一和候選匹配圖像二是否匹配。
更進一步的說，上述步驟3的對圖像一的顯著特徵點列的每個特徵點參數描述的多維向量進行約簡的方法是使用粗糙集約簡方法對特徵點參數描述的多維向量進行約簡，得到約簡後的特徵點參數描述的多維向量，其具體步驟如圖2和圖3所示 步驟31、計算圖像一中顯著特徵點列的每個特徵點與圖像二的特徵點的相似性； 步驟32、判定步驟31得到的相似性是否大於指定的一閾值，如果步驟32的結果為否，則進入步驟33』，放棄該候選匹配點，否則進入步驟33； 步驟33、獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集1；該候選匹配點集表示與圖像一的特徵點相似度大於指定闕值的圖像二中的特徵點，也表示了與圖像一的特徵點可能匹配的特徵點集； 步驟34、對圖像一中顯著特徵點列的其中一個特徵點的多維向量特徵任意去掉一個特徵； 步驟35、同步驟31，計算約簡後的特徵點與圖像二的特徵點列的特徵點相似性； 步驟36、同步驟32，判定步驟35得到的相似性是否大於指定的閾值，如果步驟36的結果為否，則進入步驟37，放棄該候選匹配點，否則進入步驟38 步驟38、同步驟33，獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集2； 步驟39、將候選匹配點集1與候選匹配點集2進行比較，如果二者差異較大，表明所去掉的特徵點的特徵顯著，進入步驟40，不能去掉該特徵，如果差異較小，進入步驟41，去掉該特徵； 步驟42、對圖像一中顯著特徵點列的特徵點的其他多維向量特徵重複以上步驟34-41進行約簡計算，全部特徵約簡計算完畢，進入步驟43； 步驟43、獲得多維向量特徵全部經過約簡後的圖像一的特徵點的特徵。
上述圖1中步驟1所述的圖像一和圖像二的特徵點是採用如下步驟提取的步驟11、計算圖像中每個象素的平均梯度平方矩陣如下 其中I(x，y)為圖像中位置(x，y)處的灰度值，當某點對應的平均梯度平方矩陣的兩個特徵值較大，那麼該點附近有較大的灰度級變化，選取該點作為一個特徵點，特徵點響應函數為 R＝det(N)-k(trace(N))2， 其中det(N)為矩陣的行列式值，trace(N)為矩陣N的跡，k為0.04； 按R值對圖像中的象素點進行降序排序，構成一個數列，確定一個所需特徵點個數F，然後取數列中前F個象素點為特徵點，通過匹配結果可以不斷調整F。
步驟12、對圖像中的象素點(i，j)，分別計算在水平、垂直、左對角和右對角方向上與相鄰像素象素值的差的平方和，並取最小值作為該像點特徵的初值； H＝(f(i，j)-f(i，j-1))2+(f(i，j)-f(i，j+1))2， V＝(f(i，j)-f(i-1，j))2+(f(i，j)-f(i+1，j))2， L＝(f(i，j)-f(i-1，j-1))2+(f(i，j)-f(i+1，j+1))2， R＝(f(i，j)-f(i-1，j+1))2+(f(i，j)-f(i+1，j-1))2， 令F(i，j)＝min{H，V，L，R}，將圖像劃分為大小為n×m的互不重疊的區域Wp，q，計算坐標(x，y)，其計算公式如下 並定義坐標(x，y)上的特徵圖像值為 為進一步消除噪聲，指定一閾值d，重新設計特徵圖像值如下 當G(x，y)大於0，則(x，y)就是對應的特徵點。
步驟13、 對圖像一或圖像二，根據以上步驟11得到特徵點列T1中每個特徵點對應的R值，由步驟12，得到另一特徵點列T2和每個特徵點對應的G值；對在T1中而不在T2中的特徵點，根據步驟12獲得其G值；對在T2中而不在T1中的特徵點，根據步驟11獲得其R值，使T1和T2中的所有特徵點都具有G和R值； 將T1和T2中的所有特徵點作為圖像一或圖像二的特徵點，分別組成圖像一和圖像二的特徵點列TS和Tr； 對圖像一的特徵點按(G+R)的和值進行降序排列，排在前面的特徵點其特徵顯著，取圖像一前m個顯著特徵點組成圖像一的顯著特徵點列，記為Tl。
對於上述圖像一的特徵點列TS和圖像二的特徵點列Tr中的特徵點採用如下步驟進行參數描述和計算，其步驟如下 步驟14、計算特徵點及相鄰點的象素點值 設特徵點位置為(i，j)，以(i，j)為中心，3×3象素區域，直接可得特徵點及相鄰點的象素值向量如下 WF(i，j)＝(I(i，j)，I(i-1，j)，I(i+1，j)，I(i-1，j-1)，I(i-1，j)，I(i-1，j+1)，I(i+1，j-1)，I(i+1，j)，I(i+1，j+1))， 即W(i，j)為3×3區域中象素點值 步驟15、計算特徵點一階梯度信息 設特徵點位置為(i，j)，該點在x方向和y方向的導數gx(i，j)，gy(i，j)分別計算如下 計算梯度權值D(i，j)和方向θ(i，j)，其計算如下 這樣就獲得特徵點(i，j)的梯度信息向量如下 DF(i，j)＝(gx(i，j)，gy(i，j)，D(i，j)，θ(i，j))， 步驟16、根據步驟14和步驟15獲得特徵點(i，j)參數描述多維向量如下 DS(i，j)＝(WF(i，j)，DF(i，j))， DS(i，j)是一個13維向量，為方便描述，記為 DS(i，j)＝(w1，w2，…，w13)。
步驟17、對圖像一、圖像二中的特徵點列中的特徵點，根據步驟14-16，計算所有特徵點的參數描述的多維向量 DF(i，j)＝(gx(i，j)，gy(i，j)，D(i，j)，θ(i，j)) 步驟18、取圖像一的顯著特徵點列Tl，即Tl[1，2，…，m]，設Tl中特徵點t的參數化描述向量為(t1，t2，....，t13)，圖像二的特徵點列Tr中的特徵點s的參數化描述向量為(s1，s2，...，s13)，則t與s之間的相似性計算如下 步驟19、 按步驟18計算Tl[1，2，…，m]中每個特徵點與圖像二中所有特徵點的相似度，圖像二特徵點列Tr的長度為1，由此可得到m×1的相似性矩陣如下 MS＝(S(t，s))m×l。
步驟20、根據一指定閾值GH，來獲取Tl[1，2，…，m]中每個特徵點t的候選匹配點集1，即SP(t) SP(t)＝{s|S(t，s)＞GH，s∈Tr}， SP(t)表示與t相似度大於GH的圖像二中的特徵點，也表示了與t可能匹配的特徵點集；根據相似矩陣MS的定義，計算SP(t)；{SP(t)}t∈T[1，2，...，m]看作是粗糙領域關係系統； 步驟21、圖像一的顯著特徵點t的描述參數是一個13維向量，將13維看作是13個特徵，記為{1，2，…，13}，設F＝{1，2，…，13}，13個特徵中在相似性計算方面存在冗餘，冗餘會導致相似性計算精度降低且執行效率低。為此，採用粗糙集理論中的約簡方法對{1，2，…，13}進行約簡，採用自上而下的約簡方法，其具體步驟如下從F中去掉任意一個特徵i，讓F＝F-{i}，再按照步驟18計算t與圖像二的特徵點列的特徵點相似性，其公式如下 步驟22、按步驟21計算的t的相似性，根據步驟20再次計算Tl[1，2，…，m]中每個特徵點t的候選匹配點集2，記為{SP*(t)}t∈Tl[1，2，...，m]； 對{SP*(t)}t∈Tl[1，2，...，m]和{SP(t)}t∈T[1，2，...，m]，定義 其中W描述了{SP*(t)}t∈Tl[1，2，...，m]與{SP(t)}t∈T[1，2，...，m]之間的差異程度，其值越大，差異越小。
如果W小於某指定的閾值，即差異大，讓F＝F_{i}，即不能去掉特徵i，否則去掉特徵i。
步驟23、重複步驟21、22，直到F中不能再去掉特徵為止，得到約簡後的特徵F。
步驟24、在約簡後的特徵F上計算圖像一的特徵點列TS的所有特徵點與圖像二的特徵點列Tr的所有特徵點的相似性 由此相似性及步驟20計算出經過特徵約簡後的圖像一的特徵點列的每個特徵點在圖像二的候選匹配點集，記為SP(t)。
根據以上比較步驟的結果，再按如下方法對檢測圖像一和候選匹配圖像二是否匹配進行判定 所述圖像二中的候選匹配點集的基數等於1，則其為圖像一的特徵點的匹配點；如果圖像二中的候選匹配點集基數大於1，則選擇候選匹配點集中與圖像一的特徵點最相似的特徵點為匹配點；如果候選匹配點集的基數等於0，則圖像二中沒有與圖像一的特徵點匹配的特徵點。
圖4是本發明的一種圖像立體匹配裝置示意圖，包括 圖形識別器，用於識別檢測圖像和候選匹配圖像二的特徵點；識別出來的特徵點分別組成圖像一、圖像二的特徵點列TS、Tr，對圖像一特徵點列的特徵點按特徵點值進行降序排序，排位在前面的特徵點組成一個顯著特徵點列Tl； 多維向量識別器，用於對上述特徵點列的特徵點使用灰度信息、多階梯度信息、曲率變化函數進行描述，計算圖像一和圖像二的特徵參數描述信息，獲得特徵點參數描述的多維向量特徵，每一維向量代表特徵點的一個特徵； 數據優化器，用於約簡圖像一的顯著特徵點列的每個特徵點參數描述的多維向量特徵，具體如下 比較上述圖像一的顯著特徵點列的特徵點的參數描述的多維向量特徵與圖像二的特徵點的參數描述的多維向量特徵的相似性，獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集1； 將圖像一中顯著特徵點列的其中一個特徵點的多維向量特徵任意去掉一個特徵；比較約簡後的圖像一的特徵點的參數描述的多維向量特徵與圖像二的特徵點的參數描述的多維向量特徵的相似性，獲得約簡後圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集2； 將所述匹配點集1和2進行比較，如果二者差異較大，表明所去掉的特徵點的特徵顯著，不能去掉該特徵，如果差異較小，去掉該特徵； 重複本步驟以上所述，直到不能再去掉圖像一的顯著特徵點列的每個特徵點的多維向量特徵為止，得到約簡後的特徵F； 在約簡後的特徵F上計算圖像一的特徵點列TS的所有特徵點與圖像二的特徵點列Tr的所有特徵點的相似性；獲得圖像一的特徵點列的每個特徵點在圖像二中的候選匹配點集； 分類器，用於對以上比較結果進行分類，所述圖像二中的候選匹配點集的基數等於1，則其為圖像一的特徵點的匹配點；如果圖像二中的候選匹配點集基數大於1，則選擇候選匹配點集中與圖像一的特徵點最相似的特徵點為匹配點；如果候選匹配點集的基數等於0，則圖像二中沒有與圖像一的特徵點匹配的特徵點。
和現有技術比較，本發明對立體圖像匹配具有較高的匹配精度和效率。
權利要求
1.一種圖像立體匹配方法，其特徵在於，包括如下步驟
步驟1、提取上述圖像中檢測圖像一和候選匹配圖像二的特徵點，分別組成圖像一、圖像二的特徵點列，對圖像一的特徵點列的特徵點按特徵點值進行降序排序，排位在前面的特徵點組成一個顯著特徵點列；
步驟2、對上述特徵點列的特徵點使用多種參數描述，計算圖像一和圖像二的特徵參數描述信息，獲得特徵點參數描述的多維向量，每一維向量代表特徵點的一個特徵；
步驟3、按以下步驟對圖像一的顯著特徵點列的每個特徵點參數描述的多維向量進行約簡
步驟31、計算圖像一中顯著特徵點列的每個特徵點與圖像二的特徵點的相似性；
步驟32、根據指定一閾值獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集1；
步驟33、對圖像一中顯著特徵點列的其中一個特徵點的多維向量特徵任意去掉一個特徵；重複步驟31、32，計算約簡後的特徵點與圖像二的特徵點列的特徵點相似性；指定一閾值，獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集2；
步驟34、將候選匹配點集1與候選匹配點集2進行比較，如果二者差異較大，表明所去掉的特徵點的特徵顯著，不能去掉該特徵，如果差異較小，去掉該特徵；
步驟35、重複以上步驟33、34，直到不能再對圖像一的顯著特徵點列的每個特徵點的特徵進行約簡為止；
步驟4、重複步驟31、32，計算多維向量約簡後的圖像一的特徵點列的特徵點與圖像二的特徵點列的特徵點的相似性；指定一閾值，獲得圖像一的特徵點列的每個特徵點在圖像二中的候選匹配點集；
步驟5、根據以上比較步驟的結果，判定檢測圖像一和候選匹配圖像二是否匹配。
2.根據權利要求1所述的圖像立體匹配方法，其特徵在於，上述步驟2所述的特徵點列的特徵點的多種參數描述至少包括灰度信息、多階梯度信息、曲率變化函數。
3.根據權利要求2所述的圖像立體匹配方法，其特徵在於，上述步驟3的對圖像一的顯著特徵點列的每個特徵點參數描述的多維向量進行約簡的方法是使用粗糙集約簡方法對特徵點參數描述的多維向量進行約簡，得到約簡後的特徵點參數描述的多維向量。
4.根據權利要求1、2或3所述的圖像立體匹配方法，其特徵在於，上述步驟1所述的圖像一和圖像二的特徵點是採用如下步驟提取的
(4-1)計算圖像中每個象素的平均梯度平方矩陣如下
其中I(x，y)為圖像中位置(x，y)處的灰度值，當某點對應的平均梯度平方矩陣的兩個特徵值較大，那麼該點附近有較大的灰度級變化，選取該點作為一個特徵點，特徵點響應函數為
R＝det(N)-k(trace(N))2，
其中det(N)為矩陣的行列式值，trace(N)為矩陣N的跡，k為0.04；
按R值對圖像中的象素點進行降序排序，構成一個數列，確定一個所需特徵點個數F，然後取數列中前F個象素點為特徵點，通過匹配結果可以不斷調整F。
(4-2)對圖像中的象素點(i，j)，分別計算在水平、垂直、左對角和右對角方向上與相鄰像素象素值的差的平方和，並取最小值作為該像點特徵的初值；
H＝(f(i，j)-f(i，j-1))2+(f(i，j)-f(i，j+1))2，
V＝(f(i，j)-f(i-1，j))2+(f(i，j)-f(i+1，j))2，
L＝(f(i，j)-f(i-1，j-1))2+(f(i，j)-f(i+1，j+1))2，
R＝(f(i，j)-f(i-1，j+1))2+(f(i，j)-f(i+1，j-1))2，
令F(i，j)＝min{H，V，L，R}，將圖像劃分為大小為n×m的互不重疊的區域Wp，q，計算坐標(x，y)，其計算公式如下
並定義坐標(x，y)上的特徵圖像值為
為進一步消除噪聲，指定一閾值d，重新設計特徵圖像值如下
當G(x，y)大於0，則(x，y)就是對應的特徵點。
(4-3)對圖像一或圖像二，根據以上步驟(4-1)得到特徵點列T1中每個特徵點對應的R值，由步驟(4-2)，得到另一特徵點列T2和每個特徵點對應的G值；對在T1中而不在T2中的特徵點，根據步驟(4-2)獲得其G值；對在T2中而不在T1中的特徵點，根據步驟(4-1)獲得其R值，使T1和T2中的所有特徵點都具有G和R值；
將T1和T2中的所有特徵點作為圖像一或圖像二的特徵點，分別組成圖像一和圖像二的特徵點列TS和Tr；
對圖像一的特徵點按(G+R)的和值進行降序排列，排在前面的特徵點其特徵顯著，取圖像一前m個顯著特徵點組成圖像一的顯著特徵點列，記為Tl。
5.根據權利要求4所述的圖像立體匹配方法，其特徵在於，對於上述圖像一的特徵點列TS和圖像二的特徵點列Tr中的特徵點採用如下步驟進行參數描述和計算
(5-1)計算特徵點及相鄰點的象素點值
設特徵點位置為(i，j)，以(i，j)為中心，3×3象素區域，直接可得特徵點及相鄰點的象素值向量如下
WF(i，j)＝(I(i，j)，I(i-1，j)，I(i+1，j)，I(i-1，j-1)，I(i-1，j)，I(i-1，j+1)，I(i+1，j-1)，I(i+1，j)，I(i+1，j+1))，
即W(i，j)為3×3區域中象素點值
(5-2)計算特徵點一階梯度信息
設特徵點位置為(i，j)，該點在x方向和y方向的導數gx(i，j)，gy(i，j)分別計算如下
計算梯度權值D(i，j)和方向θ(i，j)，其計算如下
這樣就獲得特徵點(i，j)的梯度信息向量如下
DF(i，j)＝(gx(i，j)，gy(i，j)，D(i，j)，θ(i，j))，
(5-3)根據步驟(5-1)和步驟(5-2)獲得特徵點(i，j)參數描述多維向量如下
DS(i，j)＝(WF(i，j)，DF(i，j))，
DS(i，j)是一個13維向量，為方便描述，記為
DS(i，j)＝(w1，w2，…，w13)。
(5-4)對圖像一、圖像二中的特徵點列中的特徵點，根據步驟(5-1)、步驟(5-2)和步驟(5-3)，計算所有特徵點的參數描述的多維向量
DF(i，j)＝(gx(i，j)，gy(i，j)，D(i，j)，θ(i，j))。
6.根據權利要求5所述的圖像立體匹配方法，其特徵在於，上述步驟31所述的圖像一中顯著特徵點列Tl的每個特徵點與圖像二的特徵點列Tr的特徵點按以下步驟進行相似性計算
(6-1)取圖像一的顯著特徵點列Tl，即Tl[1，2，…，m]，設Tl中特徵點t的參數化描述向量為(t1，t2，....，t13)，圖像二的特徵點列Tr中的特徵點s的參數化描述向量為(s1，s2，...，s13)，則t與s之間的相似性計算如下
(6-2)按步驟(6-1)計算Tl[1，2，…，m]中每個特徵點與圖像二中所有特徵點的相似度，圖像二特徵點列Tr的長度為1，由此可得到m×1的相似性矩陣如下
MS＝(S(t，s))m×l。
7.根據權利要求5或6所述的圖像立體匹配方法，其特徵在於，上述步驟32、33、34、35的具體步驟如下
(7-1)根據一指定閾值GH，來獲取Tl[1，2，…，m]中每個特徵點t在圖像二中的候選匹配點集1，即SP(t)
SP(t)＝{s|S(t，s)＞GH，s∈Tr}，
SP(t)表示與t相似度大於GH的圖像二中的特徵點，也表示了與t可能匹配的特徵點集；根據相似矩陣MS的定義，計算SP(t)；{SP(t)}t∈T[1，2，...，m]看作是粗糙領域關係系統；
(7-2)圖像一的顯著特徵點t的描述參數是一個13維向量，將13維看作是13個特徵，記為{1，2，…，13}，設F＝{1，2，…，13}，從F中去掉任意一個特徵i，讓F＝F-{i}，再按照步驟(6-1)計算t與圖像二的特徵點列的特徵點相似性，其公式如下
(7-3)按步驟(7-2)計算的t的相似性，根據步驟(7-1)再次計算Tl[1，2，…，m]中每個特徵點t的候選匹配點集2，記為{SP*(t)}t∈Tl[1，2，...，m]；
對{SP*(t)}t∈Tl[1，2，...，m]和{SP(t)}t∈T[1，2，...，m]，定義
其中W描述了{SP*(t)}t∈Tl[1，2，...，m]與{SP(t)}t∈T[1，2，...，m]之間的差異程度，其值越大，差異越小。
如果W小於某指定的閾值，讓F＝F_{i}，即不能去掉特徵i，否則去掉特徵i。
(7-4)重複步驟(7-2)和步驟(7-3)，直到F中不能再去掉特徵為至，得到約簡後的特徵F。
8.根據權利要求7所述的圖像立體匹配方法，其特徵在於，所述步驟4的候選匹配點集獲取方法如下
在約簡後的特徵F上計算圖像一的特徵點列TS的所有特徵點與圖像二的特徵點列Tr的所有特徵點的相似性
由此相似性及步驟(7-1)計算出經過特徵約簡後的圖像一的特徵點列的每個特徵點在圖像二的候選匹配點集，記為SP(t)。
9.根據權利要求8所述的圖像立體匹配方法，其特徵在於，所述步驟5按如下方法對檢測圖像一和候選匹配圖像二是否匹配進行判定
所述圖像二中的候選匹配點集的基數等於1，則其為圖像一的特徵點的匹配點；如果圖像二中的候選匹配點集基數大於1，則選擇候選匹配點集中與圖像一的特徵點最相似的特徵點為匹配點；如果候選匹配點集的基數等於0，則圖像二中沒有與圖像一的特徵點匹配的特徵點。
10.一種圖像立體匹配裝置，其特徵在於，包括
圖形識別器，用於識別檢測圖像和候選匹配圖像二的特徵點；識別出來的特徵點分別組成圖像一、圖像二的特徵點列TS、Tr，對圖像一特徵點列的特徵點按特徵點值進行降序排序，排位在前面的特徵點組成一個顯著特徵點列Tl；
多維向量識別器，用於對上述特徵點列的特徵點使用灰度信息、多階梯度信息、曲率變化函數進行描述，計算圖像一和圖像二的特徵參數描述信息，獲得特徵點參數描述的多維向量特徵，每一維向量代表特徵點的一個特徵；
數據優化器，用於約簡圖像一的顯著特徵點列的每個特徵點參數描述的多維向量特徵，具體如下
比較上述圖像一的顯著特徵點列的特徵點的參數描述的多維向量特徵與圖像二的特徵點的參數描述的多維向量特徵的相似性，獲得圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集1；
將圖像一中顯著特徵點列的其中一個特徵點的多維向量特徵任意去掉一個特徵；比較約簡後的圖像一的特徵點的參數描述的多維向量特徵與圖像二的特徵點的參數描述的多維向量特徵的相似性，獲得約簡後圖像一的顯著特徵點列的每個特徵點在圖像二中的候選匹配點集2；
將所述匹配點集1和2進行比較，如果二者差異較大，表明所去掉的特徵點的特徵顯著，不能去掉該特徵，如果差異較小，去掉該特徵；
重複本步驟以上所述，直到不能再去掉圖像一的顯著特徵點列的每個特徵點的多維向量特徵為止，得到約簡後的特徵F；
在約簡後的特徵F上計算圖像一的特徵點列TS的所有特徵點與圖像二的特徵點列Tr的所有特徵點的相似性；獲得圖像一的特徵點列的每個特徵點在圖像二中的候選匹配點集；
分類器，用於對以上比較結果進行分類，所述圖像二中的候選匹配點集的基數等於1，則其為圖像一的特徵點的匹配點；如果圖像二中的候選匹配點集基數大於1，則選擇候選匹配點集中與圖像一的特徵點最相似的特徵點為匹配點；如果候選匹配點集的基數等於0，則圖像二中沒有與圖像一的特徵點匹配的特徵點。
全文摘要
本發明涉及一種圖像立體匹配方法及其裝置，其特徵在於，包括如下步驟採用圖形識別器提取檢測圖像一和候選匹配圖像二的特徵點；多維向量識別器對上述特徵點列的特徵點進行多種參數描述，獲得特徵點參數描述的多維向量；數據優化器約簡圖像一的顯著特徵點列的每個特徵點參數描述的多維向量，計算約簡後的圖像一的特徵點列的每個特徵點與圖像二的特徵點列的特徵點的相似性，獲得圖像一的候選匹配點集；分類器，用於對以上比較結果進行分類，判斷圖像一與圖像二的匹配結果。本發明對立體圖像匹配具有較高的匹配精度和效率。
文檔編號G06T7/00GK101197045SQ20071005085
公開日2008年6月11日 申請日期2007年12月17日 優先權日2007年12月17日
發明者陳雷霆, 劉啟和, 張建中, 蔡洪斌, 房春蘭 申請人:電子科技大學