道路標線測量裝置及其測量方法
2023-05-27 02:43:06 1
專利名稱：道路標線測量裝置及其測量方法
技術領域：
本發明涉及汽車安全技術領域，具體涉及到一種基於計算機視覺的道路標線測量
裝置。
背景技術：
隨著車輛智能化的發展，導航路徑的快速準確識別已成為智能車輛自主導航的關 鍵，而車道標識線快速準確的識別就顯得尤為重要。目前，絕大多數的車道標線測量方法都 是在考慮攝像機傾角和高度固定不變的情況下，利用安裝在車輛擋風玻璃後的攝像機獲取 前方道路圖像，通過對獲取的圖像做圖像彩色變換、濾波以及灰度修正等預處理，獲取感興 趣區，再對其進行圖像分割處理和基於邊緣檢測的車道線特徵提取，然後再利用霍夫變換， 結合道路特點，獲得與道路特徵點匹配程度最高的直線或曲線，即為目標車道線。依據這 兩條直線在圖像中的位置確定車道的寬度和車輛在車道中的橫向位置。其缺點和不足是 當車輛顛簸導致攝像機傾角和高度發生變化時，通過攝像機獲取的圖像就會產生相應的畸
變，此時車道標線在圖像中的位置也會發生變化，而採取以上方法再對車道線進行標定計 算，得出的車道寬度誤差大。
發明內容
本發明所要解決的技術問題是提供一種基於計算機視覺的道路標線測量裝置及 其測量方法，該裝置和方法能夠在攝像機傾角和高度不斷變化的情況下，對攝像機獲取的 圖像進行修正處理，從而準確的估計出車道寬度。 本發明所採用的技術方案是道路標線測量裝置包括攝像機、測距儀傳感器和計 算機，攝像機安裝在車輛擋風玻璃後面，攝像機接至計算機，車輛前後輪處各安裝有一個測 距儀傳感器，測距儀傳感器接至計算機。
所述測量裝置的測量方法包括 1)在車輛前後兩輪處，通過兩個測距儀傳感器分別採集兩處底盤的高度信息；
2)利用攝像機獲取車輛前方道路圖像； 3)將採集到的底盤高度信息和前方道路圖像信息傳給計算機，計算機經過運算輸 出車輛運行前方車道的寬度。 本發明的有益效果是可以準確的得到車道寬度，不受車輛顛簸等因素的影響，原 理算法都比較簡單。
圖1是本發明所包含的設備方框圖。 圖2是實施例中攝像機和測距儀傳感器安裝位置的示意圖。
圖3是基於機器視覺的車道_車輛_圖像坐標模型示意圖。
圖4是本發明涉及的算法流程圖。
圖2中，1 :攝像機；2 :第一測距儀傳感器；3凍二測距儀傳感器。
具體實施例方式
如圖2所示，道路標線測量裝置安裝在車輛上，它包括攝像機1、測距儀傳感器和
計算機。其中，攝像機1安裝在車輛擋風玻璃後頂棚中央，攝像機接至計算機，車輛前後輪
底盤處分別安裝有一個測距儀傳感器(即圖1中的第一測距儀傳感器2和第二測距儀傳感
器3)，測距儀傳感器接至計算機。如圖l所示，計算機包括圖像處理模塊和計算處理模塊。
第一測距儀傳感器2測量前輪附近底盤到地面的垂直距離，第二測距儀傳感器3測量後輪
附近底盤到地面的垂直距離。 本發明的道路標線測量方法步驟包括 1)在車輛前後兩輪處，通過分別安裝在底盤上的測距儀傳感器採集兩處底盤的高 度信息； 2)利用安裝在擋風玻璃後車輛頂棚中央的攝像機1獲取車輛前方道路圖像(即車 道線的圖像)； 3)將採集到的底盤高度信息和道路圖像信息傳給計算機，計算機經過運算輸出車
輛運行前方車道的寬度。 步驟3)具體包括以下步驟 首先考慮攝像機高度和傾角變化，建立該變化下的車道_車輛_圖像坐標模型，通 過計算得到含有顛簸後攝像機高度和傾角的攝像機模型公式；然後根據透視投影變換，得 到圖像縱向間距與攝像機高度和攝像機傾角之間的關係式；再考慮計算機接收到道路圖像 信息後，先對原始圖像進行低通濾波處理，再用牛頓插值法對圖像實現邊緣檢測，其中邊緣 檢測法包括背景圖像的生成與更新、背景減法與圖像分割、車道邊緣檢測；然後再進行圖像 細化處理，提取圖像水平方向上車道線對應兩點處的像素點，作為定位所需的特徵點，再對 特徵點所在的特徵直線進行標定，將標定結果和實驗圖片進行對比，運用幾何變換得出車 道寬度與縱向間距之間的比例關係式；最後將以上所得到的車道_車輛_圖像攝像機模型 公式以及圖像縱向間距關係式代入車道寬度與圖像中縱向間距之間的比例關係式，便可以 獲得攝像機高度和傾角變化情況下的實際車道寬度。 圖3(a)示意了建立基於機器視覺的車道-車輛-圖像的坐標模型的過程。假設車 道沒有太大的彎道，在圖像檢測範圍內，基本呈直道。通過幾何投影關係，推導道路平面坐 標系中的點和圖像平面坐標系中的投影點之間的映射關係，可以得出(l)道路的兩條相 互平行的邊界，經過攝像機透視投影到圖像平面坐標系中，產生的兩條投影線就不再平行 了 (2)道路平面坐標系中兩條平行的邊界經過透視投影后，在圖像平面中成倒立的圖像。
步驟3)建立顛簸情況下的車道車輛_圖像坐標模型，求得比例式的方法具體為
301)首先確定顛簸後的攝像機高度和傾角
顛簸後攝像機的高度H'和傾角9'為
formula see original document page 6 其中，H為顛簸前攝像機距地面的高度，e為顛簸前攝像機光軸與地面的夾角， H'和9 '是車輛顛簸後攝像機的高度和傾角，L為車輛車身的長度，AH輪為兩輪的垂直顛
簸高度差(即前後兩輪附近底盤到地面的垂直距離差)，Lft為兩輪的水平間距； 302)建立基於機器視覺的車道_車輛_圖像坐標模型 設在道路平面上有一點S，在道路平面坐標系M-XY中的坐標為(Sx Sy)，在圖像平 面坐標系M' -xy中對應的投影點S'的坐標為(S' x S' y)，在圖像平面坐標系中，有
formula see original document page 6 其中，f是攝像機鏡頭的焦距，Sy(即MN)是道路平面上的點S在道路平面坐標系 中的縱坐標，H、 e為顛簸前攝像機的高度和傾角，O為道路平面坐標系M-XY到圖像平面坐 標系M' -xy的投影中心，0'為道路坐標系中0點到地面的垂點，麗為道路平面點S在道 路平面坐標系中的Y軸坐標，M' N'為投影點S'在圖像坐標系中的y坐標，a為0N'與 攝像機軸的夾角。 303)而車輛顛簸前和顛簸後所採集的圖像如圖3(b)所示。通過對比，對比顛簸後 的圖像，可以看到在顛簸後的圖像坐標中，由三角形相似有
A:。 /z0 其中，、是顛簸後圖像中線段CD所在位置對應的比例係數，k。是顛簸前線段AB對 應的比例係數，h。是消失點(即在透視圖中兩條平行的車道線交與很遠很遠的某點)I到線 段AB的距離，EF為線段AB到線段CD的縱向間距，線段AB是顛簸前實驗標尺在圖像坐標 系中的對應投影線段，線段CD是攝像機顛簸後實驗標尺在圖像坐標系中的對應投影線段。
304)由前面的推導，
formula see original document page 6formula see original document page 7 可見，顛簸後標定道路標線的比例係數完全由k。、h。、f、Sy、H、 e 、L、L輪和AH輪決 定。可在圖像l/3 2/3處，基準標定k。、h。。 其中，M' N' (AB)是顛簸前投影點S'在圖像坐標系中的縱向長度，即對應圖3(b) 中線段AB到軸的距離，M' N'咖是顛簸後投影點S'在圖像坐標系中的縱向長度，即對 應圖3(b)中線段CD到軸的距離；
305)圖像採集標定 對採集到的原始圖像進行低通濾波處理，根據系統的灰階設定，通過二值化處理， 得出影像的輪廓及指定部位輪廓的像素位置差，利用一定的邊緣增強算子對車道標識邊緣 進行增強得到梯度圖像，再利用一定的自動閾值方法對梯度圖像進行分割，得到車道標識 的邊緣，根據標準量塊對像素對應尺寸進行標定，通過對圖像進行處理標定，計算換算系 數，從而可得出指定測量的尺寸數值。具體而言，通過對圖像進行處理標定，由304)得到線 段CD的比例係數、，代入車道寬度與圖像縱向間距之間的比例關係式Lw = L 、中即可 得出實際車道寬度Lw， L是車道寬度在圖像坐標系中對應的像素值。 具體而言，首先對採集的圖像進行閾值分割，得到黑白二值圖像，對於圖像像素 點，大於閾值，則認為是目標；小於閾值，則認為是背景。再選擇標記bwlabel函數(即用來 將四連通或八連通的區域連接起來的函數)將黑白二值圖像中的目標標尺置白，對處理後 的圖像1/3 2/3處進行標定，對標記圖像用regioprops函數得到各個部分的屬性數據， 最後在regioprops函數的屬性裡選擇MajorAxisLength (主軸長)，這是與目標物具有相同 二階中心矩的橢圓的長軸，由於標尺也是矩形的，所以可以近似地認為等於長軸，進而可以 得到圖像中標尺的長度h，代入式Lw = L 、中即可得出實際車道寬度Lw。
步驟1)中，安裝在車輛前後兩輪處底盤上的測距儀傳感器，可採用雷射測距法或 聲納測距法。步驟2)中，安裝在擋風玻璃後車輛頂棚中央的攝像機，用陀螺儀測量其傾角 的，用測距儀傳感器測量其距地面的高度。本發明還可以根據車載GPS(全球定位系統)接 收機和計算機計算出來的實際車道寬度，經過相應的數據處理，得到由時間、經度、緯度和 對應車道寬度建立起來的資料庫。 總之，本發明建立起基於機器視覺的車道_車輛_圖像坐標模型，在實施過程中， 只需代入相關參數便可求得車道寬度。在應用基於機器視覺的車道_車輛_圖像坐標模型 前，應提前測量出車輛車身的長度L，前輪和後輪的水平間距Lft，攝像機鏡頭的焦距f ，顛簸 前攝像機的高度和傾角H、 e ，線段AB對應的比例係數k。，消失點I到線段AB的距離h。，道 路平面上的點S在道路平面坐標系中的縱坐標Sy。測量時，首先通過測距儀傳感器得到顛 簸時兩輪附近車輛底盤的垂直高度差AH^再利用計算機對採集的圖像進行處理得到線 段CD的比例係數、，代入基於機器視覺的車道-車輛-圖像坐標模型即可算出車道寬度。
權利要求
道路標線測量裝置，安裝在車輛上，其特徵在於它包括攝像機、測距儀傳感器和計算機，攝像機安裝在車輛擋風玻璃後面，攝像機接至計算機，車輛前後輪處各安裝有一個測距儀傳感器，測距儀傳感器接至計算機。
2. 根據權利要求1所述的測量裝置的測量方法，其特徵在於其步驟包括1) 在車輛前後兩輪處，通過兩個測距儀傳感器分別採集兩處底盤的高度信息；2) 利用攝像機獲取車輛前方道路圖像；3) 將採集到的底盤高度信息和前方道路圖像信息傳給計算機，計算機經過運算輸出車 輛運行前方車道的寬度。
3. 根據權利要求2所述的測量裝置的測量方法，其特徵在於步驟3)包括以下步驟 首先考慮攝像機高度和傾角變化，建立該變化下的車道_車輛_圖像坐標模型，通過計算得到含有顛簸後攝像機高度和傾角的攝像機模型公式；然後根據透視投影變換，得到 圖像縱向間距與攝像機高度和攝像機傾角之間的關係式；計算機接收到道路圖像信息後， 先對原始圖像進行低通濾波處理，再用牛頓插值法對圖像實現邊緣檢測，其中邊緣檢測法 包括背景圖像的生成與更新、背景減法與圖像分割、車道邊緣檢測；然後再進行圖像細化處 理，提取圖像水平方向上車道線對應兩點處的像素點，作為定位所需的特徵點，再對特徵點 所在的特徵直線進行標定，將標定結果和實驗圖片進行對比，運用幾何變換得出車道寬度 與縱向間距之間的比例關係式；最後將以上所得到的車道車輛_圖像攝像機模型公式以及 圖像縱向間距關係式代入車道寬度與圖像縱向間距之間的比例關係式，便可以獲得攝像機 高度和傾角變化情況下的實際車道寬度。
4. 根據權利要求3所述的測量裝置的測量方法，其特徵在於步驟3)建立顛簸情況下 的車道車輛_圖像坐標模型，求得比例式的方法為`301)首先確定顛簸後的攝像機高度和傾角 顛簸後攝像機的高度H'和傾角e '為formula see original document page 2其中，H'和e'是車輛顛簸後攝像機的高度和傾角，H、 e為顛簸前攝像機的高度和傾角，L為車長，AHft為兩輪的垂直顛簸高度差，Lft為兩輪的水平間距； 302)建立基於機器視覺的車道_車輛_圖像坐標模型設在道路平面上有一點S，在道路平面坐標系M-XY中的坐標為(Sx Sy)，在圖像平面坐標系M' -xy中對應的投影點S'的坐標為(S' x S' y)，在圖像平面坐標系中，有/A sin2^ 《=M5V' = /taim = ~^~~^-，其中，f是攝像機鏡頭的焦距，Sy是道路平面上的點S在道路平面坐標系中的縱坐標，H、 9為顛簸前攝像機的高度和傾角，O為道路平面坐標系M-XY到圖像平面坐標系M' -xy 的投影中心，0'為道路坐標系中0點到地面的垂點，MN為道路平面點S在道路平面坐標系 中的Y軸坐標，M' N'為投影點S'在圖像坐標系中的y坐標，a為ON與攝像機軸的夾角，其中點N為點S在道路平面坐標系上的對應點；303) 對比顛簸後的圖像，在顛簸後的圖像坐標中，由三角形相似有formula see original document page 3其中，、是顛簸後圖像中線段CD所在位置對應的比例係數，k。是顛簸前線段AB對應 的比例係數，h。是消失點I到線段AB的距離，EF為線段AB到線段CD的縱向間距，線段AB 是顛簸前實驗標尺在圖像坐標系中的對應投影線段，線段CD是攝像機顛簸後實驗標尺在 圖像坐標系中的對應投影線段；304) 由前面的推導，formula see original document page 3其中，M' N'(AB)是顛簸前投影點S'在圖像坐標系中的縱向長度，即對應圖3(b)中線段AB到軸的距離，M' N' (CD)是顛簸後投影點S'在圖像坐標系中的縱向長度，即對應 圖3(b)中線段CD到軸的距離； 305)圖像採集標定對採集到的原始圖像進行低通濾波處理，根據系統的灰階設定，通過二值化處理，得出 影像的輪廓及指定部位輪廓的像素位置差，利用一定的邊緣增強算子對車道標識邊緣進行 增強得到梯度圖像，再利用一定的自動閾值方法對梯度圖像進行分割，得到車道標識的邊 緣，根據標準量塊對像素對應尺寸進行標定，通過對圖像進行處理標定，由304)得到線段 CD的比例係數kp代入車道寬度與圖像縱向間距之間的比例關係式1^ = L 、中即可得出 實際車道寬度Lw， L是車道寬度在圖像坐標系中對應的像素值。
5. 根據權利要求2所述的測量裝置的測量方法，其特徵在於步驟1)中，測距儀傳感 器採用雷射測距法或聲納測距法。
6. 根據權利要求2所述的測量裝置的測量方法，其特徵在於步驟2)中，攝像機還採 用陀螺儀或者傾角傳感器測量其傾角，採用測距儀傳感器測量其距地面的高度。
7. 根據權利要求2所述的測量裝置的測量方法，其特徵在於最後還根據車載GPS接 收機和經過相應的處理計算得到的實際車道寬度，建立相應的車道寬度資料庫，主要欄位 包括時間、經度、緯度和車輛前方的車道寬度。
全文摘要
本發明提供了一種道路標線測量裝置及其測量方法。本裝置包括攝像機、測距儀傳感器和計算機，攝像機安裝在車輛擋風玻璃後面，攝像機接至計算機，車輛前後輪處各安裝有一個測距儀傳感器，測距儀傳感器接至計算機；本方法包括1)在車輛前後兩輪處，通過兩個測距儀傳感器分別採集兩處底盤的高度信息；2)利用攝像機獲取車輛前方道路圖像；3)將採集到的底盤高度信息和前方道路圖像信息傳給計算機，計算機經過運算輸出車輛運行前方車道的寬度。本發明的有益效果是可以準確的得到車道寬度，不受車輛顛簸等因素的影響，原理算法都比較簡單。
文檔編號G01B11/02GK101776438SQ20101010248
公開日2010年7月14日 申請日期2010年1月26日 優先權日2010年1月26日
發明者嚴新平, 呂植勇, 彭琦, 程志端, 陳超 申請人:武漢理工大學