一種基於圖像信息融合的非結構化道路檢測方法及系統與流程
2023-04-28 04:30:01 2
本發明涉及道路導航領域，尤其涉及一種基於圖像信息融合的非結構化道路檢測方法及系統。
背景技術：
基於視覺的導航系統是模式識別、人工智慧領域的研究重點，其可應用於無人駕駛智能車。道路檢測技術是輔助駕駛、無人駕駛技術中的關鍵技術，能夠為無人駕駛智能車決策模塊提供必要的環境信息。由於導航設備具有局限性，視覺傳感器相對價廉且具有更大的應用潛力，然而所述視覺傳感器受環境影響較大。
非結構化道路是指結構化程度低的道路，一般沒有車道線和清洗的道路邊緣；由於受陰影、水漬等的影響，非結構化道路檢測相對困難，目前尚處於研究階段。非結構化道路檢測方法可以大致分為基於道路特徵的檢測、基於道路模型的檢測和基於機器學習的道路檢測等三大類。
基於道路特徵的檢測方法主要通過提取道路的某些特徵來檢測道路，這些特徵可以是道路的顏色、灰度、紋理、邊緣或頻域特徵等，主要優點是對道路形狀不敏感，計算速度快、能夠保證實時性；缺點是對光影、裂痕和水跡較為敏感；基於slic超像素的k-means聚類算法，需要先驗知識，通過調整參數將道路信息分成兩大類：可行駛區域和非行駛區域；然而由於圖像信息受光照和外界環境影響比較大，單純對圖像進行預處理獲取道路邊緣或者通過分割獲取可行駛區域都不能得到穩定、精確可靠的圖像數據。
因此，現有技術還有待於改進和發展。
技術實現要素：
鑑於上述現有技術的不足，本發明的目的在於提供一種基於圖像信息融合的非結構化道路檢測方法及系統，旨在解決現有非結構化道路檢測方法無法得到穩定、精確可靠的圖像數據的問題。
本發明的技術方案如下：
一種基於圖像信息融合的非結構化道路檢測方法，其中，包括步驟：
a、通過攝像機實時獲取道路視頻圖像，並對所述道路視頻圖像進行校正；
b、採用非結構化道路邊緣檢測算法對校正後的道路視頻圖像進行處理，獲得第一預瞄點；
c、採用非結構化道路分割算法對校正後的道路視頻圖像進行處理，獲得第二預瞄點；
d、採用最小二乘法對所述第一預瞄點和第二預瞄點進行擬合，得到道路虛擬中心線。
所述的基於圖像信息融合的非結構化道路檢測方法，其中，所述步驟b具體包括：
b1、對所述道路視頻圖像進行灰度化和去噪預處理；
b2、採用canny算法檢測道路視頻圖像邊緣並進行形態學修正；
b3、採用霍夫變換提取道路視頻圖像邊緣並計算得出第一預瞄點。
所述的基於圖像信息融合的非結構化道路檢測方法，其中，所述步驟c具體包括：
c1、預先提取道路視頻圖像的顏色特徵和空間特徵；
c2、採用slic算法對道路視頻圖像進行分割獲得超像素數據；
c3、採用k-means聚類算法對道路視頻圖像進行聚類並計算得出第二預瞄點。
所述的基於圖像信息融合的非結構化道路檢測方法，其中，所述步驟c2具體包括：
c21、對道路視頻圖像中的像素點進行初始化聚類處理獲得若干初始種子點；
c22、在道路視頻圖像3*3領域內重新選擇種子點；
c23、在2s*2s的範圍內搜索距離所述重新選擇的種子點最近的若干像素點，並對搜索到的像素點設置標籤且歸為一類；
c24、當同一個像素點同時被歸類到多個種子點時，則計算所述像素點與多個種子點之間的距離，將距離最小值對應的種子點作為所述像素點的聚類中心；
c25、對所述聚類中心進行步驟c22-c24的迭代處理，直到誤差收斂，得到最後分割的超像素數據。
所述的基於圖像信息融合的非結構化道路檢測方法，其中，所述步驟c3具體包括：
c31、隨機從所述超像素數據中選取若干個聚類質心點；
c32、遍歷所述超像素數據，將每一個超像素數據劃分到與其距離最近的質心點，形成聚類；
c33、計算每個聚類的平均值並作為新的質心點；
c34、重複所述步驟c32-c33，直到質心點收斂，從而獲得第二預瞄點。
所述的基於圖像信息融合的非結構化道路檢測方法，其中，所述步驟d中最小二乘法的公式為：；
；其中，點是多元函數，且滿足方程取得極小值；k=0，1，...n；當線性無關時，就是所求的最小二乘解。
所述的基於圖像信息融合的非結構化道路檢測方法，其中，所述步驟b1中的灰度化處理公式為：。
一種基於圖像信息融合的非結構化道路檢測系統，其中，包括：
校正模塊，用於通過攝像機實時獲取道路視頻圖像，並對所述道路視頻圖像進行校正；
第一計算模塊，用於採用非結構化道路邊緣檢測算法對校正後的道路視頻圖像進行處理，獲得第一預瞄點；
第二計算模塊，用於採用非結構化道路分割算法對校正後的道路視頻圖像進行處理，獲得第二預瞄點；
擬合模塊，用於採用最小二乘法對所述第一預瞄點和第二預瞄點進行擬合，得到道路虛擬中心線。
所述的基於圖像信息融合的非結構化道路檢測系統，其中，所述第一計算模塊具體包括：
預處理單元，用於對所述道路視頻圖像進行灰度化和去噪預處理；
修正單元，用於採用canny算法檢測道路視頻圖像邊緣並進行形態學修正；
第一計算單元，用於採用霍夫變換提取道路視頻圖像邊緣並計算得出第一預瞄點。
所述的基於圖像信息融合的非結構化道路檢測系統，其中，所述第二計算模塊具體包括：
提取單元，用於預先提取道路視頻圖像的顏色特徵和空間特徵；
分割單元，用於採用slic算法對道路視頻圖像進行分割獲得超像素數據；
第二計算單元，用於採用k-means聚類算法對道路視頻圖像進行聚類並計算得出第二預瞄點。
有益效果：本發明首先通過非結構道路邊緣檢測算法和非結構化道路分割算法分別計算出道路視頻圖像的第一預瞄點和第二預瞄點，然後通過信息融合技術對所述第一預瞄點和第二預瞄點進行擬合得到道路視頻圖像的虛擬中心線；本發明通過上述計算處理可得到穩定、精確可靠的圖像數據。
附圖說明
圖1為本發明一種基於圖像信息融合的非結構化道路檢測方法較佳實施例的流程圖；
圖2為本發明中對單目攝像機進行標定使用的棋盤示意圖；
圖3為本發明採用霍夫變換提取道路視頻圖像邊緣結果示意圖；
圖4為本發明採用基於slic的k-means聚類道路視頻圖像的結果示意圖；
圖5為本發明具體實施例中方向盤角度圖；
圖6為本發明具體實施例中外側道路gps坐標示意圖；
圖7為本發明具體實施例中內側道路gps坐標示意圖；
圖8為本發明具體實施例中外側道路打角示意圖；
圖9為本發明具體實施例中內側道路打角示意圖；
圖10為本發明具體實施例中道路外側導航行駛軌跡和圖像行駛軌跡對比示意圖；
圖11為本發明具體實施例中道路內側導航行駛軌跡和圖像行駛軌跡對比示意圖；
圖12為本發明具體實施例中道路內側導航軌跡偏差圖；
圖13為本發明具體實施例中道路外側導航軌跡偏差圖；
圖14為本發明一種基於圖像信息融合的非結構化道路檢測系統較佳實施例的結構框圖。
具體實施方式
本發明提供一種基於圖像信息融合的非結構化道路檢測方法及系統，為使本發明的目的、技術方案及效果更加清楚、明確，以下對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
請參閱圖1，圖1為本發明一種基於圖像信息融合的非結構化道路檢測方法較佳實施例的流程圖，如圖所示，其中，包括步驟：
s100、通過攝像機實時獲取道路視頻圖像，並對所述道路視頻圖像進行校正；
s200、採用非結構化道路邊緣檢測算法對校正後的道路視頻圖像進行處理，獲得第一預瞄點；
s300、採用非結構化道路分割算法對校正後的道路視頻圖像進行處理，獲得第二預瞄點；
s400、採用最小二乘法對所述第一預瞄點和第二預瞄點進行擬合，得到道路虛擬中心線。
具體地，本發明提供的基於圖像信息融合的非結構化道路檢測方法是在windows系統下的vs2010平臺上開發的；首先通過攝像機獲取道路視頻圖像，然後對所述道路視頻圖像進行校正，並通過非結構道路邊緣檢測算法和非結構化道路分割算法分別計算出道路視頻圖像的第一預瞄點和第二預瞄點，最後通過信息融合技術對所述第一預瞄點和第二預瞄點進行擬合得到道路視頻圖像的虛擬中心線，通過上述計算處理可得到穩定、精確可靠的道路圖像數據；將所述道路圖像數據發送給無人巡邏車的決策模塊可完成視覺導航功能，從而實現無人巡邏車的自主駕駛。
在目前的智能駕駛領域中，所應用到的攝像頭主要有單目攝像頭和雙目攝像頭兩類，這兩種攝像頭的測距原理完全不同，單目攝像頭需要對目標先進行識別，也就是說單目攝像頭在測距前需要先識別障礙物是車、是人還是其他物體；雙目攝像頭則是直接通過兩幅圖像的視差計算來確定距離，其並不需要知道障礙物是什麼，雙目攝像頭的難點在於計量量巨大，處理緩慢且成本高。
基於上述區別，本發明優選單目攝像機去實時獲取道路視頻圖像，採用單目攝像頭可以提前判斷出障礙物，然後再測距，可增加智能駕駛的安全性能。
進一步，在所述步驟s100中，本發明採用張正友相機標定發對所述單目攝像機進行標定，如圖2所示，將所述單目攝像機對準格式為10*10、邊長為0.05m的黑白相見的平面棋盤，固定單目攝像機，手持棋盤以各種方向轉動得到18張棋盤圖像，使用matlab工具箱獲得單目攝像機的內外參數和畸變參數，根據所獲得的參數實現對單目攝像機進行標定；
具體來說，攝像機通過小孔成像模型生成圖像平面，世界坐標系下每一個坐標點在圖像像素坐標系下都有與之對應的像素點，攝像機標定的過程即為攝像機幾何模型參數求解的過程，通過算法的優化可以提高相機矯正的精確度。相機參數分為相機外部參數、相機內部參數以及相機畸變參數，由於徑向畸變對相機影響比較大其他畸變可以忽略不計。因此在matlab工具箱中僅僅計算了相機的徑向畸變參數。
設三維坐標點為，對應的二維相機平面像素坐標點為，，令棋盤格平面z=0，，其中，k為相機的內參數矩陣，s為尺度因子，r和t分別是攝像機坐標系統下的旋轉和平移向量，h為單應性矩陣。
三維坐標點和圖像像素坐標點已知，根據矩陣求解方法，當圖像數目大於等於3時k可以求出唯一解，根據公式可以求出相機外參，利用徑向畸變估計可以得出相機徑向畸變係數。
進一步，當所述單目攝像機獲得道路視頻圖像後，可通過幾何校正法對圖像進行校正，例如：可以預先建立圖像像點坐標（行、列號）和物方（或參考圖）對應點坐標間的映射關係，解求映射關係中的未知參數，然後根據映射關係對圖像各個像素坐標進行校正；最後確定各像素的灰度值。
進一步，在所述步驟s200中，當道路視頻圖像校正後，採用非結構化道路邊緣檢測算法對其進行處理，獲得第一預瞄點，其具體包括步驟：
s210、對所述道路視頻圖像進行灰度化和去噪預處理；
具體地，首先將所述道路視頻的彩色圖像轉變為灰度圖像，具體可採用加權平均法進行轉換，轉換公式為：，即將r、g、b三個分量以不同的權值進行加權平均；由於人眼對綠色的敏感度最高，對藍色的敏感度最低，因此，可按照所述公式對rgb三分量進行加權平均得到合理的灰度圖像；進一步，對所述道路視頻圖像進行雙邊濾波處理，從而達到保邊去噪的目的。
s220、採用canny算法檢測道路視頻圖像邊緣並進行形態學修正；
具體來說，圖像邊緣檢測算法有sobel、prewitt、laplace和canny等多種，本發明優選canny算法檢測道路視頻圖像邊緣並進行形態學修正的，具體地，先對圖像進行膨脹處理得到連續的道路邊緣，然後通過腐蝕處理去除圖像中的噪點。
s230、採用霍夫變換提取道路視頻圖像邊緣並計算得出第一預瞄點。
具體來說，可通過霍夫變換提取道路視頻圖像的邊緣並計算得出第一預瞄點，繼而求出道路中心線，如圖3所示。
進一步，在本發明中，所述步驟s300、採用非結構化道路分割算法對校正後的道路視頻圖像進行處理，獲得第二預瞄點，具體包括步驟：
s310、預先提取道路視頻圖像的顏色特徵和空間特徵；
具體來說，顏色特徵是一種全局特徵，描述了圖像或圖像區域所對應的景物的表面性質，採用顏色直方圖去提取圖像的顏色特徵；空間特徵是指圖像中分割出來的多個目標之間的互相的空間位置或相對方向關係，這些關係可分為連接/鄰接關係,交疊/重疊關係和包含/包容關係等，本發明首先通過對圖像進行自動分割，劃分出圖像中所包含的對象或顏色區域，然後根據這些區域提取圖像特徵。
s320、採用slic算法對道路視頻圖像進行分割獲得超像素數據；
具體來說，所述步驟s320包括：
s321、對道路視頻圖像中的像素點進行初始化聚類處理獲得若干初始種子點；
s322、在道路視頻圖像3*3領域內重新選擇種子點；
s323、在2s*2s的範圍內搜索距離所述重新選擇的種子點最近的若干像素點，並對搜索到的像素點設置標籤且歸為一類；
s324、當同一個像素點同時被歸類到多個種子點時，則計算所述像素點與多個種子點之間的距離，將距離最小值對應的種子點作為所述像素點的聚類中心；
s325、對所述聚類中心進行步驟s222-s224的迭代處理，直到誤差收斂，得到最後分割的超像素數據。
具體來說，將圖像從rgb顏色空間轉換到cie-lab顏色空間，對應每個像素的(l，a，b)顏色值和（x，y）坐標組成一個五維向量v[l，a，b，x，y]，兩個像素的相似性即可由它們的向量距離來測量，距離越大，相似度越小；
本發明預先對道路視頻圖像中的像素點進行初始化聚類處理獲得若干初始種子點，然後在道路視頻圖像3*3像素領域內重新選擇種子點，然後在每個重新選擇的種子點周圍空間裡搜索距離所述重新選擇的種子點最近的若干像素點，將搜索到的像素點設置標籤並歸為一類，直到所有的像素點都歸類完畢；具體地，可設定一個距離閾值，當搜索到一個像素點與當前重新選擇的種子點之間的距離小於所述距離閾值時，則將所述像素點歸為所述種子點一類；假設重新選擇的種子點有k個，道路視頻圖像有n個像素點，則每個種子點形成的聚類可包含n/k個像素點，每個聚類的邊長大致為s=[n/k]*0.5；較佳地，在重新選擇的種子點周圍2s*2s的範圍內搜索與其距離最近的像素點；
進一步，當同一個像素點同時被歸類到多個種子點時，則計算所述像素點與多個種子點之間的距離，將距離最小值對應的種子點作為所述像素點的聚類中心；同時對所述聚類中心進行迭代處理，直到誤差收斂，得到最後的聚類，即超像素數據。
s330、採用k-means聚類算法對道路視頻圖像進行聚類並計算得出第二預瞄點；具體地，所述步驟s330包括：
s331、隨機從所述超像素數據中選取若干個聚類質心點；
s332、遍歷所述超像素數據，將每一個超像素數據劃分到與其距離最近的質心點，形成聚類；
具體來說，設置另一個距離閾值，計算所述質心點與各個超像素數據之間的距離，當該距離值小於距離閾值時，則將所述超像素數據劃分到該質心點形成聚類。
s333、計算每個聚類的平均值並作為新的質心點；
具體來說，計算每個聚類中所有像素點的平均向量值，重新獲得新的質心點。
s334、重複進行步驟s332-s333的迭代處理，直到質心點收斂，從而獲得第二預瞄點。
具體地說，通過基於slic的k-means聚類算法對道路圖像進行聚類，可將道路圖像數據分為可行駛區域和非行駛區域，如圖4所示。
更進一步，在所述步驟s400中，設為最優擬合曲線，其中，是待定係數，把求解最優曲線的問題轉化為求待定係數的問題；所述最小二乘法的公式為：；
；其中，點是多元函數，且滿足方程取得極小值；k=0，1，...n；當線性無關時，就是所求的最小二乘解；即為虛擬中心線。
通過採用所述最小二乘法對所述第一預瞄點和第二預瞄點進行擬合處理，便可得到道路圖像的虛擬中心線。
進一步，本發明通過一具體實施例對處理後的道路圖像數據進行驗證；將所述虛擬中心線角度信息發送至無人巡邏車下位機的決策模塊中，規定所述無人巡邏車的方向盤角度如圖5所示，所述無人巡邏車在行駛過程中，路段位置如圖6和圖7所示，發送下位機決策模塊的打角數據如圖8和圖9所示，圖10和圖11分別表示在路段圖6和圖7所示位置的導航行駛軌跡和使用圖像傳感器獲得的行駛軌跡的對比圖；圖12和圖13是分別對路段外側和路段內側使用圖像傳感器和導航行駛對比軌跡偏差圖。
通過對比發現，本發明單純利用單目攝像頭，在較小的誤差範圍內實現了道路導航，且相比於使用圖像傳感器，本發明的導航方式更加精確，因此本發明具有巨大的應用價值。
進一步，本發明還提供一種基於圖像信息融合的非結構化道路檢測系統，其中，如圖14所示，包括：
校正模塊100，用於通過攝像機實時獲取道路視頻圖像，並對所述道路視頻圖像進行校正；
第一計算模塊200，用於採用非結構化道路邊緣檢測算法對校正後的道路視頻圖像進行處理，獲得第一預瞄點；
第二計算模塊300，用於採用非結構化道路分割算法對校正後的道路視頻圖像進行處理，獲得第二預瞄點；
擬合模塊400，用於採用最小二乘法對所述第一預瞄點和第二預瞄點進行擬合，得到道路虛擬中心線。
所述的基於圖像信息融合的非結構化道路檢測系統，其中，所述第一計算模塊200具體包括：
預處理單元，用於對所述道路視頻圖像進行灰度化和去噪預處理；
修正單元，用於採用canny算法檢測道路視頻圖像邊緣並進行形態學修正；
第一計算單元，用於採用霍夫變換提取道路視頻圖像邊緣並計算得出第一預瞄點。
所述的基於圖像信息融合的非結構化道路檢測系統，其中，所述第二計算模塊300具體包括：
提取單元，用於預先提取道路視頻圖像的顏色特徵和空間特徵；
分割單元，用於採用slic算法對道路視頻圖像進行分割獲得超像素數據；
第二計算單元，用於採用k-means聚類算法對道路視頻圖像進行聚類並計算得出第二預瞄點。
綜上所述，本發明首先通過非結構道路邊緣檢測算法和非結構化道路分割算法分別計算出道路視頻圖像的第一預瞄點和第二預瞄點，然後通過信息融合技術對所述第一預瞄點和第二預瞄點進行擬合得到道路視頻圖像的虛擬中心線；本發明通過上述計算處理可得到穩定、精確可靠的圖像數據；進一步，可將所述圖像數據應用於無人巡邏車進行導航，可降低研究成本，具有巨大的應用價值。
應當理解的是，本發明的應用不限於上述的舉例，對本領域普通技術人員來說，可以根據上述說明加以改進或變換，所有這些改進和變換都應屬於本發明所附權利要求的保護範圍。