高解析度城區遙感圖像中道路中心線的半自動檢測方法
2023-05-26 10:56:41
專利名稱：高解析度城區遙感圖像中道路中心線的半自動檢測方法
技術領域：
本發明屬於圖像處理技術領域，涉及遙感圖像的目標檢測方法，該方法可用於高解析度城區遙感圖像中道路中心線的半自動提取。
背景技術：
基於高解析度遙感影像的地物幾何特徵的提取以及相應方法的研究一直以來受到許多研究者的關注。從遙感影像中提取道路是其中一個研究熱點，因為道路與人們日常生活密切相關，現有的道路半自動提取算法大都針對不同的影像類型如航空或航天影像，不同的比例尺即影像解析度，不同區域的影像如城區、鄉村或郊區，以及不同的道路類型採取不同的提取方法。
生產實踐中利用遙感影像更新道路數據時，城區圖像中道路的提取對城市規劃、交通和測繪都具有重要的價值。道路網的識別和精確定位對於GIS數據獲取、影像理解、製圖以及作為其他目標的參照都有深遠意義。
過去的二十多年中，人們提出了許多利用遙感影像提取道路特徵信息的方法，根據自動化程度，可以分為全自動提取與半自動提取兩種方式。全自動道路提取涉及人工智慧、模式識別等多領域，往往是多種方法的綜合運用，主要有多尺度分析法(Heipke1996，Mayer1998)、根據上下文信息或已有地圖對道路做出判斷和補充的方法(Stilla1995，Baumartner1999)、統計學習(Mayer2005)等。半自動道路提取需要人機互動，按交互方式不同，又可分為兩類。一類是給出初始點和初始方向，利用某種跟蹤算法來提取道路，如模板匹配法(Mckeown1988，Vosselman1995)；另一類則需要給出一系列分散的種子點，利用Active Contour模型、模擬退火、動態規劃等方法曲線擬合道路中心線，如動態規劃法(Gruen1995)、LSB Snakes(Gruen1997)。
以上半自動道路提取方法，比較集中於中低解析度下的道路提取。基本的模板匹配法適用於路況較好的道路，對影像質量較差的道路段提取不盡如意；而動態規劃法和Snakes模型在種子點選取時較繁瑣，而且存儲量大，耗時較長。
近年來，隨著遙感技術的發展，圖像的空間解析度不斷提高，體現了更多的道路細節，使得高解析度下和中低解析度下的道路呈現出較大差異的影像特徵。在中低解析度下，道路表現為具有灰度一致性的線狀特徵，其與周圍景物的灰度對比度差異顯著，道路網常表現為關係較明確的線形網絡結構，如亮色或暗色道路線網絡。但在高解析度下，道路表現為局部灰度近似、寬度變化緩慢的狹長區域。隨著高解析度遙感影像的研究細節逐漸豐富，道路特徵也逐漸複雜，而且路面噪聲，如建築物或樹木的陰影、路面上的車輛等變得不可忽略，這使得高解析度下的道路提取更具有複雜性和挑戰性。
綜上所述，目前還沒有一種適用範圍廣的方法來半自動提取道路網絡，且大量應用都集中於中低解析度下道路或道路網的提取。已有的半自動道路提取方法，在質量較差的高解析度城區遙感影像的道路提取中並不能很好地應用，且提取效果較差，過程比較繁瑣。
發明內容
本發明的目的在於克服上述現有技術的不足，提出了一種改進的高解析度城區遙感圖像中道路中心線的半自動檢測方法，以實現對道路中心線的準確檢測，適用於提取高解析度下的道路，提高了道路的提取效果，且提取過程簡便易行。
本發明的技術方案是採用人機互動方式，首先選擇初始種子點和初始方向點，然後利用跟蹤算法來提取道路中心線上的各個種子點，最後利用搜索到的種子點標記中心線，並連接成道路網絡。該方法是對現有模板匹配法的改進，其提取的具體步驟包括以下 1)在待檢測圖像上選擇初始種子點和初始方向點，該初始種子點與方向點形成的角度即為道路前進方向； 2)以初始種子點為中心建立7×7的校正窗口，在該窗口範圍內沿垂直道路前進方向搜索中心線像素，對初始種子點進行位置微調校正，確保初始種子點的選擇準確落在道路中心線上，若窗口內搜索不到中心線像素，則不再校正初始種子點； 3)在平面坐標系的原點建立基準窗，並將該基準窗旋轉平移到初始種子點處形成初始模板窗，如果平移後初始種子點處的模板窗超越了原圖像邊界，要對超出邊界部分進行窗口的對稱延拓； 4)建立與初始模板窗同樣大小和方向的權值矩陣W，並對其進行初始化； 5)對模板窗內圖像塊進行灰度值調整，增強圖像的灰度對比度，使道路特徵更顯著； 6)利用迭代閾值方法對增強後的圖像塊求解分割閾值T，並利用該閾值對圖像進行二值化分割，得到初始道路中心線分割結果圖； 7)沿道路前進方向按設定步長step平移模板窗，形成N個待定目標窗，並判斷每一目標窗內圖像是否存在灰度值大於250的像素，若存在則判定為車輛，並將車輛像素處的8鄰域或4鄰域像素的灰度值設置為分割閾值T； 8)採用模板匹配準則尋找與模板窗匹配的目標窗，對道路中心線進行跟蹤，並按以下步驟搜索計算道路的中心點位置 (8a)對目標窗內圖像塊的灰度值進行調整，增強輸出圖像的灰度對比度，利用迭代閾值方法對增強後的圖像進行二值化分割，得到初始道路中心線分割結果圖； (8b)將各目標窗、模板窗乘以權值矩陣W，分別計算加權後的各目標窗與模板窗像素的絕對差值和，得到差值序列Absdev； (8c)設定兩個比較閾值T1、T2，對差值序列Absdev由小到大排序，判斷最小差值是否小於T1，如果滿足條件，計算該最小差值所對應的目標窗中心點及8鄰域灰度均值與模板窗中心點及8鄰域灰度均值的差，判斷該均值差是否小於T2，若是，則該目標窗與模板窗匹配，所對應目標窗的中心為下一個道路中心點，返回步驟3)；若否，則對次小差值重複前述判斷過程，對滿足閾值條件的，將該差值所對應目標窗的中心作為下一個道路中心點，返回步驟3)； (8d)當排序後的差值序列的前三個差值均不滿足閾值條件時，則利用已搜索得到的道路中心點信息修正道路角度方向，返回步驟3)繼續搜索下一個匹配目標窗位置；如果修正道路方向後仍搜索不到匹配目標窗，則臨時增加搜索的步長，設置為新變量tempry，返回到步驟7)搜索下一個匹配目標窗位置；如果經過步長增加仍然找不到匹配目標窗時，則終止循環，結束本次搜索過程； 9)搜索結束後，將搜索到的每一個中心點的行坐標和列坐標存儲，並根據存儲的坐標位置在原圖像上對中心線進行標識，得到本次中心線檢測結果。
本發明與現有技術相比具有如下優點 1)本發明由於對初始種子點進行校正處理，能使種子點較精確的位於待檢測的中心線上； 2)本發明由於採用細化模板窗向目標窗平移的準則，可使搜索方向更準確，更好的獲得匹配目標窗的準確位置； 3)本發明由於採用對中心線附近是否存在車輛的判斷和處理策略，可有效減少車輛噪聲對尋找道路中心點的幹擾； 4)本發明由於採用兩次閾值判斷條件，可儘量避免單次判斷對種子點的誤判，最大程度地減少對中心線的搜索誤差； 5)本發明由於採用在道路間斷處臨時增加搜索步長，可越過道路中心線上因建築物陰影等因素造成的短間斷處，向前繼續跟蹤搜索種子點。
圖1是本發明的實現流程示意圖； 圖2是本發明輸入的一副待檢測遙感道路圖像； 圖3是本發明的模板窗和目標窗建立的示意圖； 圖4是本發明對模板窗增強後的二值化分割結果圖； 圖5是本發明對目標窗增強後的二值化分割結果圖； 圖6是本發明是在某間斷點實現步長跳躍的示意圖； 圖7是本發明對輸入圖像的道路中心線檢測結果圖； 圖8是本發明對檢測結果圖進行人工補充後的最後結果圖。
具體實施例方式 參照圖1，本發明的實施步驟如下 步驟1，選擇初始種子點和初始方向點，獲得道路初始信息。
在輸入的待檢測圖2上，採用人機互動方式，在中心線上選擇初始種子點和初始方向點，其中初始種子點是算法搜索的起始點，初始方向點與種子點的夾角為道路前進的角度方向。
步驟2，對初始種子點位置進行校正。
由於交互式操作中人工選點的不穩定性，導致初始種子點並不一定準確位於道路中心線上，故需要對其進行位置校正。其校正是以初始種子點為中心建立一個7×7的校正窗口，在該窗口內沿垂直道路前進方向搜索中心線，搜索到中心線後，將初始種子點校正到該中心線上，校正公式如下 X0＝X-ΔX；Y0＝Y-ΔY；(1) 其中，X是初始種子點的行坐標值，ΔX是行坐標的校正誤差，X0是校正後的行坐標值；Y是初始種子點的列坐標值，ΔY是列坐標的校正誤差，Y0是校正後的行坐標值。
若窗口內搜索不到中心線，則不再校正初始種子點。
步驟3，在初始種子點處建立模板窗。
首先在平面坐標系的原點建立大小為length*width的水平基準窗，length和width為設定值，然後將該基準窗旋轉至與道路角度平行方向，並平移到初始種子點處形成初始模板窗，旋轉平移公式按以下計算
其中，xmid是校正後初始種子點的行坐標，ymid是校正後初始種子點的列坐標，xorig是原點處基準窗的行坐標，yorig是原點處基準窗的列坐標，xtemp平移後模板窗的行坐標，ytemp是平移後模板窗的列坐標，θ是道路的角度方向。
如果平移後初始模板窗超越了原圖像邊界，要對超出邊界部分進行對稱延拓，也就是以窗口邊界為對稱軸，將模板窗內對應像素映射到超出邊界部分。
步驟4，建立權值矩陣W並初始化。
權值矩陣的設置是為了在匹配計算時，能夠更加突出道路的線性特徵。該矩陣與初始模板窗大小相同，方向一致，權值設置與窗口內道路線性特徵相對應，中心行元素值為1，並向兩邊逐漸減小至0，例如7*5的水平權值矩陣初始化形式如下
步驟5，對模板窗內圖像進行預處理。
為了將模板窗內圖像的線性道路特徵加強，便於匹配時獲得更多的有效信息，需要對圖像進行預處理，包括灰度對比度增強和使用迭代閾值法進行二值化分割，其中，二值化分割的分割閾值T通過數字圖像處理中常用的迭代閾值方法求得，預處理後，得到初始的道路中心線分割結果，如圖4所示，其中圖4(a)是模板窗內原圖像，圖4(b)是預處理後的分割結果。
步驟6，建立目標窗，並判斷目標窗內是否存在車輛。
如圖3所示，沿道路前進方向按設定步長step平移模板窗，形成N個待定目標窗，N與設定的步長step有關，若step為偶數，則N＝step+1；若step為奇數，則N＝step+2。模板窗平移時，分以下三種情況 情況1當道路角度方向的正弦值sinθ＜0.5，沿x方向進行模板窗的水平左右平移； 情況2當道路角度方向的正弦值0.5≤sinθ≤0.866，沿x方向和y方向分別同時平移模板窗，平移距離值大小相同，符號相反； 情況3當道路角度方向的正弦值sinθ＞0.866，沿y方向進行模板窗的上下垂直平移。
根據待檢測圖像特徵可知，判斷每一目標窗內圖像是否存在車輛，即判斷是否有灰度值大於250的像素，若存在，則判定為車輛，並將車輛像素處的8鄰域或4鄰域像素的灰度值設置為分割閾值T，若不存在，則不作處理。
步驟7，尋找與模板窗匹配的目標窗。
(7a)對目標窗內圖像按步驟5所述方法進行預處理，得到圖5，其中圖5(a)是目標窗內原圖像，圖5(a)是目標窗預處理後的分割結果； (7b)計算差值序列Absdev 將各目標窗、模板窗乘以權值矩陣W，計算加權後的各目標窗與模板窗的絕對差值，得到差值序列Absdev；對於大小為length*width的第n個目標窗，計算其與模板窗絕對差值的公式，如下所示 其中，hb(i，j)表示模板窗二值化後的第i行，第j列元素，gb(i，j，n)表示第n個目標窗二值化後的第i行、第j列元素，W(i，j)表示與窗內第i行、第j列元素對應的權值大小； (7c)尋找與模板窗最匹配的目標窗，並將該目標窗中心作為下一道路中心點 設定兩個比較閾值T1、T2，對序列Absdev由小到大排序，判斷最小差值是否小於T1；若滿足條件，計算該最小差值所對應的目標窗中心點及8鄰域灰度均值與模板窗中心點及8鄰域灰度均值的差，判斷該均值差是否小於T2，若是，則該目標窗與模板窗匹配，所對應目標窗的中心為下一個道路中心點，返回步驟3)；若否，則對次小差值重複前述判斷過程，對滿足閾值條件的，將該差值所對應目標窗中心作為下一個道路中心點，返回步驟3)，計算該最小差值所對應的目標窗中心點及8鄰域灰度均值與模板窗中心點及8鄰域灰度均值的差時，計算公式如下 其中，Imean(n)表示第n個目標窗中心點及8鄰域灰度均值與模板窗中心點及8鄰域灰度均值的差，Itarget(i，j，n)表示第n個目標窗的第i行、第j列元素，Itemp(i，j)表示模板窗的第i行、第j列元素。
步驟8，修正模板窗角度，或增加搜索步長，繼續尋找匹配目標窗。
若排序後的序列Absdev的前三個差值均不滿足設定的兩個閾值條件，也就是找不到匹配目標窗，則需要及時更新模板窗的角度信息，其更新方法是計算已搜索到的前5個中心點連線形成的角度，作為修正後的模板窗角度，再返回步驟3)繼續搜索下一個匹配目標窗； 如果修正模板窗的角度後仍搜索不到匹配目標窗，可能是由於道路中心線上有樹木、建築物等形成的陰影遮蓋道路，造成中心線的小距離間斷，在此情況下，需要臨時增加搜索步長，如圖6所示，按以下兩種規則之一將該步長設置為新變量tempry 規則1搜索開始時，將tempry設為固定值，該固定值選擇範圍在8～20之間； 規則2搜索開始時，將tempry設為步長step的固定倍，即 tempry＝(3～6)×step， 設置好tempry後，返回步驟6)繼續搜索下一個匹配目標窗，如果經過步長增加仍然找不到匹配目標窗，則終止循環，結束本次搜索過程。
步驟9，將搜索到的種子點行、列坐標保存在矩陣中，並根據存儲的坐標位置在原圖像上對中心線進行標識，得到本次中心線檢測結果圖7。
本發明的效果可以通過仿真實驗具體說明 1.實驗條件 實驗所用微機CPU為Intel(R)Core(TM)2Duo 2.33GHz內存1.99G，編程平臺matlab7.0.4，實驗中採用數據是空間解析度為0.61米-10米的全色波段光學遙感影像。
2.實驗內容 本實驗分為交互式操作和模板匹配搜索兩步 首先採用交互式操作，在待檢測圖像上選取初始種子點和初始方向點，根據獲得的初始道路信息，對初始種子點進行位置校正。
然後，在初始種子點處建立模板窗，並沿道路前進方向建立多個目標窗，尋找與模板窗最匹配的目標窗的中心，確定為下一種子點，然後循環迭代搜索中心線上的所有種子點，得到較完整的道路中心線。由於採用半自動檢測方式，在某些道路中心線處，可能由於陰影遮蓋的道路區域較大等原因使算法中斷，此時可加入人工幹預，在中斷處人工連接兩端點。
由於道路的半自動檢測算法的評價標準尚未統一完善，因此將檢測出來的道路中心線與原圖像疊加，通過視覺效果和時間代價來評價效果優劣。
3.實驗結果 圖2是輸入的原始待檢測圖像，圖4和圖5分別是模板窗和目標窗預處理後的結果圖，圖7是最終的道路中心線提取結果，其中檢測到的道路中心線標記為符號「+」；圖8是將檢測出的中心線在道路交叉口人工連接成道路網絡的示意圖，其中人工連接部分標記為虛線。
從圖1可以看出，圖像中的道路背景較複雜，道路的寬窄不同，道路中心線特徵雖明顯同時也較複雜多變。通過比較圖7和圖2可以看出，圖7中標記為1和2的道路間斷處，通過搜索步長的增加，可以越過並繼續搜索；標記為3和4的道路段，雖然有較多車輛噪聲對提取過程幹擾，通過車輛判斷的處理策略，也能將車輛噪聲的影響減小至忽略不計，最後成功檢測出中心線。圖8中將道路中心線與無中心線的交叉口路段，經最後的人工斷點補充連接，形成完整的道路網絡。本實驗中，各道路段的提取時間從0.2秒到7秒，經不同操作者測驗，檢測出整幅圖道路中心線的總時間均在22秒內，速度快，可滿足應用時的實時性要求。觀察實驗結果可知，本發明檢測道路中心線定位準確，檢測結果較完整。
權利要求
1.高解析度城區遙感圖像道路中心線半自動檢測方法，包括如下步驟
1)在待檢測圖像上選擇初始種子點和初始方向點，該初始種子點與方向點形成的角度即為道路前進方向；
2)以初始種子點為中心建立7×7的校正窗口，在該窗口範圍內沿垂直道路前進方向搜索中心線像素，對初始種子點進行位置微調校正，確保初始種子點的選擇準確落在道路中心線上，若窗口內搜索不到中心線像素，則不再校正初始種子點；
3)在平面坐標系的原點建立基準窗，並將該基準窗旋轉平移到初始種子點處形成初始模板窗，如果平移後初始種子點處的模板窗超越了原圖像邊界，要對超出邊界部分進行窗口的對稱延拓；
4)建立與初始模板窗同樣大小和方向的權值矩陣W，並對其進行初始化；
5)對模板窗內圖像塊進行灰度值調整，增強圖像的灰度對比度，使道路特徵更顯著；
6)利用迭代閾值方法對增強後的圖像塊求解分割閾值T，並利用該閾值對圖像進行二值化分割，得到初始道路中心線分割結果7)沿道路前進方向按設定步長step平移模板窗，形成N個待定目標窗，並判斷每一目標窗內圖像是否存在灰度值大於250的像素，若存在則判定為車輛，並將車輛像素處的8鄰域或4鄰域像素的灰度值設置為分割閾值T；
8)採用模板匹配準則尋找與模板窗匹配的目標窗，對道路中心線進行跟蹤，並按以下步驟搜索計算道路的中心點位置
(8a)對目標窗內圖像塊的灰度值進行調整，增強輸出圖像的灰度對比度，利用迭代閾值方法對增強後的圖像進行二值化分割，得到初始道路中心線分割結果(8b)將各目標窗、模板窗乘以權值矩陣W，分別計算加權後的各目標窗與模板窗像素的絕對差值和，得到差值序列Absdev；
(8c)設定兩個比較閾值T1、T2，對差值序列Absdev由小到大排序，判斷最小差值是否小於T1，如果滿足條件，計算該最小差值所對應的目標窗中心點及8鄰域灰度均值與模板窗中心點及8鄰域灰度均值的差，判斷該均值差是否小於T2，若是，則該目標窗與模板窗匹配，所對應目標窗的中心為下一個道路中心點，返回步驟3)；若否，則對次小差值重複前述判斷過程，對滿足閾值條件的，將該差值所對應目標窗的中心作為下一個道路中心點，返回步驟3)；
(8d)當排序後的差值序列的前三個差值均不滿足閾值條件時，則利用已搜索得到的道路中心點信息修正道路角度方向，返回步驟3)繼續搜索下一個匹配目標窗位置；如果修正道路方向後仍搜索不到匹配目標窗，則臨時增加搜索的步長，設置為新變量tempry，返回到步驟7)搜索下一個匹配目標窗位置；如果經過步長增加仍然找不到匹配目標窗時，則終止循環，結束本次搜索過程；
9)搜索結束後，將搜索到的每一個中心點的行坐標和列坐標存儲，並根據存儲的坐標位置在原圖像上對中心線進行標識，得到本次中心線檢測結果。
2.根據權利要求1所述的高解析度城區遙感圖像道路中心線半自動檢測方法，其中步驟3)所述將基準標準窗旋轉平移到初始種子點處，按如下公式旋轉平移
其中，xmid是初始種子點的行坐標，ymid是初始種子點的列坐標，xorig是基準窗的行坐標，yorig是基準窗的列坐標，xtemp平移後模板窗的行坐標，ytemp是平移後模板窗的列坐標，θ是道路的角度方向。
3.根據權利要求1所述的高解析度城區遙感圖像道路中心線半自動檢測方法，其中步驟7)所述沿道路前進方向按設定步長step平移模板窗，分以下三種情況平移
情況1當道路角度方向的正弦值sinθ＜0.5，沿x方向進行模板窗的水平左右平移；
情況2當道路角度方向的正弦值0.5≤sinθ≤0.866，沿x方向和y方向分別同時平移模板窗，平移距離值大小相同，符號相反；
情況當道路角度方向的正弦值sinθ＞0.866，沿y方向進行模板窗的上下垂直平移。
4.根據權利要求1所述的高解析度城區遙感圖像道路中心線半自動檢測方法，其中步驟(8b)所述將各目標窗、模板窗乘以權值矩陣W，計算出加權後的各目標窗與模板窗像素的絕對差值和，按如下公式計算
其中，Absdev(n)表示第n個目標窗與模板窗像素的絕對差值和，hb(i，j)表示模板窗二值化分割後的第i行和第j列元素，gb(i，j，n)表示第n個目標窗二值化分割後的第i行和第j列元素，W(i，j)表示與模板窗的第i行和第j列元素對應的權值大小，width表示模板窗的寬度，length表示模板窗的長度。
5.根據權利要求1所述的高解析度城區遙感圖像道路中心線半自動檢測方法，其中步驟8c)所述計算最小差值所對應的目標窗中心點及8鄰域灰度均值與模板窗中心點及8鄰域灰度均值的差，通過如下公式計算
其中，Itarget(i，j，n)表示第n個目標窗的第i行和第j列元素，Itemp(i，j)表示模板窗的第i行和第j列元素。
6.根據權利要求1所述的高解析度城區遙感圖像道路中心線半自動檢測方法，其中步驟8d)所述的臨時增加搜索的步長，設置為新變量tempry，是按以下兩種規則之一設置
規則1搜索開始時，tempry設為固定值，該固定值選擇範圍在8～20之間；
規則2搜索開始時，將tempry設為步長step的固定倍，即
tempry＝(3～6)×step。
全文摘要
本發明公開了一種高解析度遙感圖像中道路中心線的半自動檢測方法，它涉及遙感圖像處理技術領域，主要解決現有技術對背景複雜、道路不明確的遙感圖像檢測精度不高、適用範圍窄的問題。其實現步驟為採用人機互動方式選取初始種子點和方向點後，在初始種子點建立模板窗，按設定步長沿道路前進方向尋找與模板窗最相似匹配的目標窗，將其中心確定為下一種子點；循環迭代得到一系列道路中心點，並將其連接成線，得到最終的道路中心線檢測結果。本發明能夠處理道路背景複雜、存在中心線的遙感圖像，當道路中心線兩邊路況複雜、直接檢測道路變得困難時，通過檢測中心線，可對道路進行準確定位，用於對有中心線的道路的半自動檢測。
文檔編號G06K9/46GK101770581SQ201010013569
公開日2010年7月7日 申請日期2010年1月8日 優先權日2010年1月8日
發明者焦李成, 侯彪, 陳娟娟, 王爽, 劉芳, 馬文萍, 張向榮 申請人:西安電子科技大學