一種基於彩色偽隨機編碼投影的特徵點匹配方法
2023-10-08 08:47:29 2
專利名稱：一種基於彩色偽隨機編碼投影的特徵點匹配方法
技術領域：
本發明屬於機器視覺中編碼結構光主動視覺的圖像匹配領域，涉及基於彩色偽隨機編碼原理的點線結合編碼結構光照明主動視覺技術，具體涉及一種基於彩色偽隨機編碼投影的特徵點匹配方法。
背景技術：
機器視覺的一個很重要的目標就是從二維圖像中恢復出場景的三維坐標數據，重構三維場景或物體的三維模型，即使計算機具有通過二維圖像信息認知三維環境信息的能力。其已在機器人定位與導航、逆向工程、物體識別、虛擬實境、產品監控等領域得到廣泛應用並取得了良好的社會和經濟效益。
在三維視覺場景重構過程中，一個眾所周知的難題就是場景圖像上的坐標點匹配問題。通常解決該問題的一種有效的方法是採用結構光主動視覺技術，如點結構光、線結構光掃描法以及編碼結構光法等。要想用一幅圖像在真正的三維歐氏空間重構三維場景，尤其是動態的三維場景，最有效的方法是採用編碼結構光照明主動視覺技術。偽隨機陣列由於具有良好的窗口特性，在結構光主動視覺領域中越來越受到重視，用基於偽隨機原理的編碼結構光對投影儀進行編碼，可以把一幅圖像所覆蓋的三維場景空間表面特徵化，使三維場景表面上的每一個採樣特徵點可以被唯一識別，解決了機器視覺中物體三維表面重構時匹配點的識別難題。
應用於偽隨機編碼陣列的編碼投影模板主要有四種，圓編碼，菱形編碼，離散方形編碼與連續方形編碼。但是，這四種編碼都存在各自的問題 1.圓編碼的圓心很難準確提取，而且圓編碼各編碼顏色單元都是孤立的，這不利於在其解碼算法中對特徵點位置的準確確定。
2.離散方形編碼容易出現漏點，而且離散方形編碼與圓編碼存在一個同樣的缺點，即各編碼顏色單元都是孤立的，不利於在其解碼算法中對特徵點位置的準確確定。
3.菱形編碼與連續方形編碼存在一個同樣的缺點，就是在圖像中編碼密度比較高的時候，會由於編碼形狀的擴大而增加大量的偽拐點，這些偽拐點往往需要手工來消除，不利於特徵點自動準確匹配。
4.以上四種編碼投影模板通常只能用於表面為連續的三維場景，在投影時，如果三維場景由於不連續而產生陰影或由於攝像機拍攝角度不同使圖像中一部分編碼圖案被覆蓋導致圖像中編碼圖案錯位，特徵點匹配就很容易出錯。
發明內容
本發明首先根據偽隨機編碼原理設計了一種編碼投影模板，該模板採用特徵點和特徵線相結合，各特徵點相對離散，彼此之間又通過特徵線相互聯繫，可克服現有模板因為編碼顏色單元孤立或聯繫均會妨礙解碼的缺點；在解碼過程中，提出了相鄰窗口互相驗證的方法，結合數學形態學中開與閉、腐蝕與膨脹等算法，並給出附加算法，實現了所有特徵點的自動提取與匹配，消除了複雜場景中匹配錯誤的問題。
本發明採用的技術方案是一種基於彩色偽隨機編碼投影的特徵點匹配方法，編碼結構光主動視覺系統由計算機、CCD攝像機、顯示器和投影儀組成，該方法包括生成彩色偽隨機編碼模板步驟；特徵點與特徵線的提取步驟；特徵點的匹配步驟。其中，所述生成彩色偽隨機編碼模板步驟包括下列步驟 ①生成偽隨機編碼序列由本原多項式h(x)＝xm+hm-1xm-1+…+h1x+h0指定的反饋網絡n位移位寄存器產生偽隨機序列a0，a1，…，an，其中m為所設計偽隨機陳列的窗口大小，m＝k1×k2，n為偽隨機序列長度，q為移位寄存器的基元數； ②將步驟①中生產的偽隨機序列a0，a1，…，an填入大小為n＝n1×n2的矩陣中，得到偽隨機陳列b，具體原理為將偽隨機序列a0，a1，…，an作為偽隨機陣列的對角線參數，即 其中n2＝n/n1，本發明中n＝63×65； ③由生成的偽隨機陣列值作為離散的特徵點，用特徵線將其相連，建立編碼模板。
作為本發明的進一步改進，所述特徵點與特徵線的提取步驟中包括下列步驟 ①提取各顏色特徵點所在的特徵區域 分別設定紅、黃、藍、綠四種顏色的RGB閾值為(Rrl，Grh，Brh)、(Ryl，Gyl，Byh)、(Rbh，Gbh，Bbl)、(Rgh，Ggl，Bgh)，根據下式(3)提取四種顏色的特徵區域PointR，PointY，PointB，PointG
②用數學形態學中的開運算和閉運算，去除特徵區域噪聲； ③對特徵區域進行收縮運算，使特徵區域收縮為特徵點，提取特徵點所在的位置(x，y)，完成特徵點的提取； ④根據所設定的閾值，提取特徵線所在的特徵區域； ⑤利用開運算和閉運算去除特徵線區域噪聲後，利用收縮運算，得到球體編碼圖像的初始特徵線； ⑥對斷裂的特徵線進行補償。
作為本發明的進一步改進，所述特徵點的匹配步驟利用上下相鄰窗口相互驗證的方法，實現一般特徵點的匹配。具體包括下列步驟 由一個特徵點出發，沿特徵線尋找4×2檢測窗口中的其他特徵點(圖13所示為檢測窗口)，並分別記下各自的顏色值，根據上下兩個3×2窗口中的顏色組合，通過偽隨機編碼原理，分別求出這兩個窗口在投影儀投影平面上的位置，判斷其是否相鄰，若相鄰，匹配成功，記下8個特徵點在投影平面上的坐標；若不相鄰，匹配錯誤，不被記下。按照這種算法，對圖像中所有特徵點依次處理，得到其在投影平面上的坐標。對於沒有求得在投影平面上坐標的特徵點，利用本發明中提到的附加算法進行匹配。最終完成編碼圖像上所有特徵點的匹配，得到其在投影平面上的坐標。
作為本發明的進一步改進，對於沒有求得在投影平面上坐標的特殊特徵點，所述特徵點的匹配還利用附加算法實現匹配。具體包括下列步驟 ①向左沿特徵線搜尋與其相鄰且已被解碼的特徵點，若搜索成功，則根據此相鄰特徵點求取該待匹配特徵點在投影模板上對應的顏色，檢測是否與其本身顏色相符。若相符，說明匹配正確，記下該特徵點；否則匹配取消。
②再使特徵點沿上、下、右按①所述方法分別匹配，若匹配正確，記下該特徵點；若均匹配錯誤，則放棄此特徵點。
本發明具有以下的技術優勢 1.特徵點區域相對離散，方便特徵點的提取，且不會出現偽特徵點。
2.離散的特徵點區域通過特徵線相互聯繫，方便特徵點的解碼。
3.經過數學形態學的預處理，消除大量噪聲，可以精確的提取特徵點與特徵線，為解碼打下良好的基礎。
4.相鄰窗口互相驗證的方法，不僅很好的解決了由於不連續平面相交而經常導致圖像中編碼圖案錯位的問題，而且還可以檢測到解碼過程中偶然會出現的由於特徵點識別錯誤或特徵線連接錯誤導致的解碼錯誤，從而使解碼結果準確可靠。
5.冗餘算法，即每一個窗口不僅要求出其第一個特徵點的投影坐標，而且要確定窗口內其餘特徵點的投影坐標，這就會使同一個特徵點的投影坐標可能被計算多次，但是這種算法只需很少的程序，幾乎不會影響到整個程序的運行時間，卻很好的解決了位於圖像邊緣及陰影附近特徵點的求解問題，避免了針對這些點的解碼而設計複雜的程序。可應用於較為複雜的三維場景表面。
圖1為本發明實施例1的編碼結構光主動視覺系統 圖2為本發明實施例1偽隨機編碼陣列 圖3為本發明實施例1彩色偽隨機編碼投影模板 圖4為本發明實施例1的彩色偽隨機序列編碼投影模板局部圖及其檢測窗口 圖5為本發明實施例1的原始圖像 圖6為本發明實施例1的紅色點的特徵區域 圖7為本發明實施例1去除噪聲後的紅色特徵區域 圖8為本發明實施例1特徵點提取結果 圖9為本發明實施例1特徵線所在區域 圖10為本發明實施例1初始特徵線 圖11本發明實施例1為斷點連接過程 圖11(a)為本發明實施例1包括斷點的原始圖像 圖11(b)為本發明實施例1包括斷點的初步提取的特徵線圖像 圖11(c)為本發明實施例1斷點提取圖像 圖11(d)為本發明實施例1斷點膨脹圖像 圖11(e)為本發明實施例1斷點連接圖像 圖11(f)為本發明實施例1特徵線補償圖像 圖12為本發明實施例1特徵點和特徵線提取結果及檢測窗口圖示 圖13為本發明實施例1帶有檢測窗口的局部圖像 圖14為本發明實施例1的解碼流程圖
具體實施例方式 下面結合圖1～14詳細說明本發明所設計的彩色偽隨機編碼新模板及其相應的解碼過程。
本發明應用於編碼結構光主動視覺技術，圖1表示編碼結構光主動視覺系統。該系統由計算機1、CCD攝像機2、顯示器3和投影儀4組成，5為待重構的物體。
生成彩色偽隨機編碼模板步驟包括下列步驟 ①生成偽隨機編碼序列由本原多項式h(x)＝xm+hm-1xm-1+…+h1x+h0指定的反饋網絡n位移位寄存器產生偽隨機序列a0，a1，…，an，其中m為所設計偽隨機陳列的窗口大小，m＝k1×k2，本發明取m＝3×2，n為偽隨機序列長度，，q為移位寄存器的基元數，本發明取q＝4，生成周期為4095的偽隨機序列； ②將步驟①中生產的偽隨機序列a0，a1，…，an填入大小為n＝n1×n2的矩陣中，得到偽隨機陳列b，具體原理為將偽隨機序列a0，a1，…，an作為偽隨機陣列的對角線參數，即 其中n2＝n/n1，本發明中n＝63×65； ③由生成的偽隨機陣列值作為離散的特徵點，用特徵線將其相連，建立編碼模板。
根據偽隨機編碼原理，設計了一個大小為63×65＝4095的偽隨機陳列，如圖2所示，令陳列中0代表紅色，1代表黃色，3代表藍色，7代表綠色，作為特徵點顏色單元，各單元之間用白色的特徵線相連，形成了彩色偽隨機編碼模板，如圖3所示，其局部圖如圖4所示。
在工作過程中，由投影儀將編碼模板形成結構光投射到待重構的物體上(本例為球體)，由攝像機拍下如圖5所示的圖像。
提取編碼圖像的特徵點和特徵線分別設定紅、黃、藍、綠四種顏色的RGB閾值為(Rrl，Grh，Brh)、(Ryl，Gyl，Byh)、(Rbh，Gbh，Bbl)、(Rgh，Ggl，Bgh)，提取各顏色特徵點所在的特徵區域。根據所設定的閾值式(3)提取四種顏色的特徵區域PointR，PointY，PointB，PointG
如圖6所示，依次用結構要素矩陣
對特徵區域圖像進行開運算和閉運算，去除特徵區域噪聲；本實施例以紅色特徵點為例進行說明。
如圖7所示，對特徵區域進行收縮運算，使特徵區域收縮為特徵點，並提取特徵點所在的位置，完成特徵點的提取，提取結果如圖8所示； 如圖9所示，設定特徵線的RGB閾值(Rline，Gline，Bline)，根據下式(4)提取特徵線所在的區域 Line1(x，y)＝(I(x，y)r＜Rline)&(I(x，y)g＞Gline)&(I(x，y)b＜Bline)(4) 如圖10所示，依次用結構要素矩陣
對特徵線區域圖像進行開運算和閉運算，去除特徵區域噪聲，並對其進行細化，提取出圖像中的初始特徵線。
利用膨脹運算，連接斷裂的特徵線，圖11(a)-(f)表示特徵線在水平方向的斷點連接過程，再對垂直方向進行特徵線補償，完成特徵線提取的整個過程。根據下式(5)分別提取需要向左和向右延伸的斷點
對向左和向右延伸的斷點，分別用結構要素矩陣
和
進行膨脹，將膨脹結果與初步提取的特徵線圖像相加，再細化可得到最終的特徵線提取圖像，實現水平方向特徵線補償；用相同方法對垂直方向特徵線進行補償。
圖12為球體特徵點和特徵線提取的結果。
再進行特徵點匹配步驟，圖14所示是整個解碼過程的流程圖。
①利用上下兩個檢查窗口相互驗證的方法進行解碼 由一個特徵點出發，沿特徵線尋找4×2檢測窗口中的其他特徵點，並分別記下各自的顏色值。根據上下兩個3×2窗口中的顏色組合，通過偽隨機編碼原理，分別求出這兩個窗口在投影儀投影平面上的位置，根據式(6)判斷兩個窗口在投影儀投影平面上的位置是否上下相鄰
其中，(xup，yup)、(xdown，ydown)分別表示上下兩個檢測窗口在投影儀投影平面上的坐標，yconstant表示投影模板上上下相鄰窗口在垂直方向的坐標差，這是一個常量。
若匹配正確，記下8個特徵點在投影平面上的坐標；若匹配錯誤，8個特徵點在投影平面上的坐標不被記下；按照這種算法，對圖像中所有特徵點依次處理，得到其在投影平面上的坐標； ②利用附加算法進行特殊特徵點的匹配 對於沒有求得在投影平面上坐標的特徵點，先向左沿特徵線搜尋相鄰且已被解碼的特徵點，若搜索成功，則可根據相鄰特徵點求此特徵點在投影模板上對應的顏色，檢測此顏色是否與此特徵點顏色相符，若相符，說明匹配正確，記下該特徵點；否則匹配取消。再使特徵點沿上、下、右依次分別匹配，若匹配正確，記下該特徵點；若均匹配錯誤，則放棄此特徵點。
權利要求
1.一種基於彩色偽隨機編碼投影的特徵點匹配方法，編碼結構光主動視覺系統由計算機、CCD攝像機、顯示器和投影儀組成，該方法包括生成彩色偽隨機編碼模板步驟，特徵點與特徵線的提取步驟，特徵點的匹配步驟；其特徵是，所述生成彩色偽隨機編碼模板步驟包括下列步驟
①生成偽隨機編碼序列由本原多項式h(x)＝xm+hm-1xm-1+…+h1x+h0指定的反饋網絡n位移位寄存器產生偽隨機序列a0，a1，…，an，其中m為所設計偽隨機陳列的窗口大小，m＝k1×k2，n為偽隨機序列長度，q為移位寄存器的基元數；
②將步驟①中生成的偽隨機序列a0，a1，…，an填入大小為n＝n1×n2的矩陣中，得到偽隨機陳列b，具體原理為將偽隨機序列a0，a1，…，an作為偽隨機陣列的對角線參數，即
其中n2＝n/n1；
③由生成的偽隨機陣列值作為離散的特徵點，用特徵線將其相連，建立編碼模板。
2.根據權利1所述的特徵點匹配方法，其特徵是，所述特徵點與特徵線的提取步驟中包括下列步驟
①提取各顏色特徵點所在的特徵區域
分別設定紅、黃、藍、綠四種顏色的RGB閾值為(Rrl，Grh，Brh)、(Ryl，Gyl，Byh)、(Rbh，Gbh，Bbl)、(Rgh，Ggl，Bgh)，根據下式(3)提取四種顏色的特徵區域PointR，PointY，PointB，PointG
②用數學形態學中的開運算和閉運算，去除特徵區域噪聲；
③對特徵區域進行收縮運算，使特徵區域收縮為特徵點，提取特徵點所在的位置(x，y)，完成特徵點的提取；
④根據所設定的閾值，提取特徵線所在的特徵區域；
⑤利用開運算和閉運算去除特徵線區域噪聲後，利用收縮運算，得到編碼圖像的初始特徵線；
⑥對斷裂的特徵線進行補償。
3.根據權利1所述的基於彩色偽隨機編碼投影的特徵點匹配方法，其特徵是，所述特徵點的匹配步驟採用上下相鄰窗口相互驗證的方法，實現一般特徵點的匹配。
4.根據權利1所述的基於彩色偽隨機編碼投影的特徵點匹配方法，其特徵是，所述步驟④中具體包括設定特徵線的RGB閾值(Rline，Gline，Bline)，根據下式提取特徵線所在的區域
Line1(x，y)＝(I(x，y)r＜Rline)&(I(x，y)g＞Gline)&(I(x，y)b＜Bline)。
5.根據權利1所述的基於彩色偽隨機編碼投影的特徵點匹配方法，其特徵是，所述步驟⑥中具體包括根據下式分別提取需要向左和向右延伸的斷點
對向左和向右延伸的斷點，分別用結構要素矩陣和進行膨脹，將膨脹結果與初步提取的特徵線圖像相加，再細化可得到最終的特徵線提取圖像，實現水平方向特徵線補償；用相同方法對垂直方向特徵線進行補償。
6.根據權利3所述的基於彩色偽隨機編碼投影的特徵點匹配方法，其特徵是，所述上下相鄰窗口相互驗證的方法，具體包括下列步驟
由一個特徵點出發，沿特徵線尋找4×2檢測窗口中的其他特徵點，並分別記下各自的顏色值，根據上下兩個3×2窗口中的顏色組合，通過偽隨機編碼原理，分別求出這兩個窗口在投影儀投影平面上的位置，判斷其是否相鄰，若相鄰，匹配成功，記下8個特徵點在投影平面上的坐標；若不相鄰，匹配錯誤，不被記下；按照這種算法，對圖像中所有特徵點依次處理，得到其在投影平面上的坐標。對於沒有求得在投影平面上坐標的特徵點，利用本發明中提到的附加算法進行匹配；最終完成編碼圖像上所有特徵點的匹配，得到其在投影平面上的坐標。
全文摘要
本發明屬於機器視覺中編碼結構光主動視覺的圖像匹配領域，具體為一種基於彩色偽隨機編碼投影的特徵點匹配方法。本發明基於偽隨機編碼原理，利用點線結合的方法，設計了一種新的彩色編碼投影模板，具體步驟如下①由本原多項式h(x)＝xm+hm-1xm-1+…+h1x+h0指定的反饋網絡n位移位寄存器產生偽隨機序列a0，a1，…，an；②將該偽隨機序列a0，a1，…，an填入大小為n＝n1×n2的矩陣中，生成偽隨機陳列b；③由生成的偽隨機陣列值作為離散的特徵點，用特徵線將其相連，建立編碼模板。引入數學形態學算法，提出了相應的特徵點提取算法。在解碼過程中，本發明提出了相鄰窗口互相驗證的思想，可以實現特徵點的自動提取與匹配，能夠很好地解決結構光在複雜三維場景表面上投射時所產生的陰影問題，以及由於攝像機拍攝角度不同使圖像中部分編碼圖案被遮蓋所導致的特徵點匹配錯誤問題。
文檔編號G06T17/00GK101763654SQ20101001821
公開日2010年6月30日 申請日期2010年1月19日 優先權日2010年1月19日
發明者許楨英, 許冉冉, 王勻, 肖凱, 李伯全 申請人:江蘇大學