基於深度和灰度圖像的路面裂縫檢測裝置和方法

2023-06-03 18:54:51

基於深度和灰度圖像的路面裂縫檢測裝置和方法
【專利摘要】本申請公開了一種基於深度和灰度圖像的路面裂縫檢測裝置，包括：載體平臺(1)；位於載體平臺上攝像裝置(6)、線雷射器(7)、計算裝置(8)，其中，載體平臺(1)用來在裂縫檢測的過程中，沿道路方向移動，線雷射器(7)用來在載體平臺(1)移動的同時，垂直路面照射雷射，攝像裝置(6)用來在載體平臺(1)移動的同時，沿斜向角度，不斷拍攝所述直線雷射經路面反射的雷射線，每次拍攝對一個道路斷面進行成像，生成多個道路斷面的雷射線的圖像數據，計算裝置(8)用來從每個道路斷面的雷射線的圖像數據生成該道路斷面的深度數據、以及灰度數據，並將每個道路斷面的深度數據和灰度數據拼接形成一段道路的圖像數據，以進行裂縫識別。
【專利說明】基於深度和灰度圖像的路面裂縫檢測裝置和方法
【技術領域】
[0001]本申請屬於測繪科學技術與儀器科學的交叉領域，涉及圖像處理技術、移動精細定位技術與多傳感器集成與同步控制技術，尤其涉及道路面裂縫檢測方法及裝置，其可以廣泛應用於移動道路測繪、路面檢測、軌道檢測、隧道檢測等測繪和交通領域。
【背景技術】
[0002]公路在使用過程中，受自然環境、行車荷載等諸多因素影響，公路表面逐漸形成多種破損，裂縫作為路面常見的破損形式，對公路的危害極大。為了節約養護資源，同時保障行車的安全、舒適性，需準確獲取裂縫的位置、面積、程度等參數信息，為交通管理部門客觀評價路面質量、科學決策養護管理方案提供依據。
[0003]裂縫是評價路面質量最重要的參數之一，是大部分病害的早期表現形式，直接影響著公路使用壽命和行車安全。傳統路面裂縫檢測技術基於人工視覺檢查，效率低，工作強度大，檢測速度慢，精度較低，並且在高速公路上進行人工檢測時，檢測人員人身安全受到了影響。
[0004]現有的車載多傳感器集成同步控制方法將距離傳感器與內部時鐘結合，用於按空間間隔採樣控制傳感器的工作，並為傳感器的採集數據提供時間戳。
[0005]現有的二維路面裂縫檢測系統採用路面圖像獲取技術，即照明系統與照相機相結合的方式拍攝路面圖像用以記錄路面裂縫信息，並採用二維灰度信息處理技術分析路面裂縫。但是，二維路面裂縫檢測技術對於檢測光照不均、陰影、裂縫信息較弱的圖像仍有欠缺，檢測效果一直不理想，其仍是二維路面裂縫檢測領域需要攻克的技術難題。
[0006]隨著雷射掃描技術、雷射雷達技術、照相機立體視覺技術、結構光三維檢測技術的發展，三維路面裂縫檢測技術成為新的發展方向。三維路面裂縫檢測技術直接獲取路面的三維信息，從深度上區分路面與裂縫，不受光照不均、陰影等的影響，但是，在獲取路面三維信息時，由於裂縫與路面凸起等導致的遮擋、路面材料反射特性的差異導致掃描的誤差等原因，使得獲取的數據中缺失了裂縫等的部分信息，直接影響三維裂縫的檢測效果。

【發明內容】

[0007]如上所述，傳統的二維路面裂縫檢測系統採用路面圖像獲取技術，即照明系統與照相機相結合的方式拍攝路面圖像以記錄路面裂縫信息，並採用二維灰度信息處理技術分析路面裂縫。其缺點主要有:光照不均導致圖像對比度過高，掩蓋了裂縫的特徵信息，裂縫的漏識別率與識別不全率高；陰影造成的裂縫虛假信息，裂縫的誤識別率高；裂縫信息較弱，裂縫信息丟失，裂縫無法識別。有鑑於此，本發明以裂縫三維檢測方法為主，直接獲取道路面的三維信息，利用大功率準直線雷射器，能夠為道路裂縫所產生的剖面提供照明，照明範圍集中，有效解決了光照不均和陰影的問題；在光電編碼器的控制下，道路剖面的識別間隔可以在1_以內，極大地提高了微小裂縫的識別與檢測效果。
[0008]如上所述，現有的三維裂縫檢測系統主要利用雷射三維掃描和結構光成像技術。然而，由於高精度三維雷射掃描儀設備昂貴，儘管其測量較遠距離目標時對目標大小識別精度要求不高，應用優勢很大，但是在掃描近距離目標時，由於掃描速率(單位時間內產生的雷射點數)的限制，在高速情況下的點雲密度遠遠不夠(速度越快，單位時間內的斷面越多，斷面上雷射點分布越少，雷射點的解析度越低)，精度很難達到道路面裂縫檢測的需求。儘管基於結構光的路面裂縫三維檢測技術具有數據精度高、特徵豐富、對路面陰影、光照不均、裂縫信息較弱以及隨機噪聲不敏感等優勢，但是，由於路面材料反射特性的差異，對結構光的吸收、鏡面反射等容易導致數據的丟失與測量誤差，由於結構光對掃描角度的限制，使得一定條件下的遮擋(例如結構光打到裂縫裡面時，裂縫達到一定深度時，反射光被遮擋，無法被接收)直接引起測量數據的丟失，特別是裂縫信息的丟失。有鑑於此，本發明在結構光三維檢測的基礎上，同時獲取每個坐標點的灰度信息，其目的是通過分析小範圍內灰度的分布特徵、深度的分布特徵以及雷射的線寬值分布特徵來有效還原丟失的數據的測量誤差，提高了道路面裂縫識別的準確率。
[0009]如上所述，現有的車載多傳感器集成同步控制方法將距離傳感器與內部時鐘結合，用於按空間間隔採樣控制傳感器的工作，並為傳感器的採集數據提供時間戳。其缺點是:沒有將車輛行駛的線性參考坐標與採集的數據相關聯，對於道路檢測、軌道檢測這類通常以線性參考坐標為基準的應用，空間定位表達十分不方便。有鑑於此，本發明通過GPS數據、高精度時間和裡程數據的同步輸出，快速建立GPS大地坐標系(WGS-84)與道路線性參考坐標系的轉換模型。
[0010]另一方面，結構光路面三維測量系統與路面二維灰度測量系統測量精度不同、工作頻率不同、測量角度不同，很難找到控制點來準確標定兩個系統間的相對位置、姿態關係，精度往往不盡人意。有鑑於此，本發明的目的是通過雷射線的中心提取技術獲取目標的高精度三維信息，通過極小範圍內灰度積分法計算對應雷射線中心的灰度信息，實現目標點深度信息與灰度信息的無縫獲取，極大地豐富了目標點的特徵屬性。
[0011]綜上，為解決當前路面裂縫快速準確識別的技術瓶頸，本發明提出了一種利用圖像處理技術、移動精細定位技術與多傳感器集成與同步控制技術的道路面裂縫檢測方法，該方法以車載移動平臺為載體，集成了 GPS接收機、慣性測量單元、高速大面陣CCD相機、大功率準直線雷射器、光電編碼器、同步控制器、嵌入式計算機等傳感器及設備，採集道路面高精度三維深度數據與二維灰度數據，並結合GPS與慣性單元的定位數據，建立帶灰度信息的道路面精細三維模型，綜合裂縫灰度特徵與深度特徵，自動檢測裂縫的長度、寬度、深度等信息，並將結果保存在嵌入式計算機中，作為道路維修與養護的參考依據。因此，結合深度圖像與灰度圖像的裂縫檢測方法綜合了二維與三維檢測的優勢，為路面裂縫檢測提供了更多可行的解決方案。
[0012]本發明要解決的技術問題主要有:
[0013]I)利用道路面三維信息，從深度上提取裂縫，解決二維圖像裂縫檢測中對於光照不均、陰影、裂縫信息較弱帶來的檢測困難；
[0014]2)利用道路面灰度信息，輔助三維深度裂縫檢測中數據缺失的還原和增強裂縫特徵，提高裂縫的識別率；
[0015]3)將距離傳感器、GPS、慣性單元與高精度時鐘結合，建立高精度的空間基準，並解決道路線性參考坐標與大地坐標(WGS-84)之間的快速轉換；[0016]4)同時獲取測量點的深度與灰度信息，物理上嚴格配準，無需對深度測量與灰度測量系統進行標定與匹配，減少了誤差來源與工作量。
[0017]根據本發明的實施例，提出了一種基於深度和灰度圖像的路面裂縫檢測裝置，包括:載體平臺(I);位於載體平臺上攝像裝置(6)、線雷射器(7)、計算裝置(8)，其中，載體平臺(I)用來在裂縫檢測的過程中，沿道路方向移動，線雷射器(7)用來在載體平臺(I)移動的同時，垂直路面照射雷射，攝像裝置(6)用來在載體平臺(I)移動的同時，沿斜向角度，不斷拍攝所述直線雷射經路面反射的雷射線，每次拍攝對一個道路斷面進行成像，生成多個道路斷面的雷射線的圖像數據，計算裝置(8)用來從每個道路斷面的雷射線的圖像數據生成該道路斷面的深度數據、以及灰度數據，並將每個道路斷面的深度數據和灰度數據拼接形成一段道路的圖像數據，以進行裂縫識別。
[0018]本發明裝置集成簡單，功能全面，傳感器的個數大為減少，可移植性強，安裝、拆卸方便，可作為獨立設備掛載在其他的移動平臺。本發明的有益效果主要在於:
[0019]1、基於深度和灰度圖像的路面裂縫檢測裝置可以快速獲取路面精細三維深度數據和二維灰度數據；
[0020]2、本發明綜合利用道路面的三維深度信息和二維灰度信息提取裂縫等路面特徵，解決了單獨利用二維灰度信息或者單獨利用三維深度信息時遇到的技術瓶頸；
[0021]3、本發明採用了一臺光電編碼器，其行程脈衝控制道路面斷面數據採集，因此斷面間隔可以更加精細 ；
[0022]4、本發明採用GPS加慣性單元協同工作的方式來獲取載體平臺的絕對坐標，能更有效地與高密度行程數據和精細三維斷面數據融合；
[0023]5、本發明中的同步控制器一方面主動觸發傳感器採集並記錄觸發時刻的時空坐標，另一方面被動接收傳感器採樣時刻的同步信號，以獲取傳感器採樣時刻的時空坐標，用於採集數據的同步與融合；
[0024]6、由於採用的傳感器少，但是功能全面，因此系統集成簡單，可移植性強，不依賴於載體平臺，可作為獨立設備掛載於不同的移動平臺上，適應不同的測量環境；
[0025]7、採用了嵌入式同步控制方案，建立高精度的時空基準，提高了各傳感器的同步精度，減小了數據融合的難度，使檢測效果更加可靠，採用了嵌入式同步控制方案，建立高精度的時空基準，快速建立了線性參考坐標系與大地坐標系的轉換模型，同步控制電路以GPS時間為統一的時間基準，一方面在記錄線性參考坐標的同時打上時間戳，另一方面記錄GPS定位信息和GPS時間，最後通過時間插值的方式將線性坐標與大地坐標——對應起來；
[0026]9、獲取精細三維深度數據與二維灰度數據的速度快，提高了作業效率；
[0027]10、綜合了三維路面裂縫檢測與二維路面裂縫檢測的優勢，解決了單一檢測方式遇到的技術瓶頸，提高了裂縫檢測的效率和準確性。
【專利附圖】

【附圖說明】
[0028]圖1為根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的構成示意圖；
[0029]圖2為示出根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的總體實現的原理框圖；[0030]圖3為根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的數據採集的原理框圖；
[0031]圖4為根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的精細定位的原理框圖；
[0032]圖5為根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的裂縫檢測的原理框圖；
[0033]圖6為根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的電源布置方案的原理框圖。
【具體實施方式】
[0034]下面結合附圖和【具體實施方式】對本發明的技術方案作進一步具體說明，由此，本發明的優點和特點將會隨著描述而更為清楚。
[0035]本領域的技術人員能夠理解，儘管以下的說明涉及到有關本發明的實施例的很多技術細節，但這僅為用來說明本發明的原理的示例、而不意味著任何限制。本發明能夠適用於不同於以下例舉的技術細節之外的場合，只要它們不背離本發明的原理和精神即可。
[0036]另外，為了避免使本說明書的描述限於冗繁，在本說明書中的描述中，可能對可在現有技術資料中獲得的部分技術細節進行了省略、簡化、變通等處理，這對於本領域的技術人員來說是可以理解的，並且這不會影響本說明書的公開充分性。
[0037]根據本發明的實施例的基於深度與灰度的路面裂縫識別系統利用3D相機、光電編碼器、GPS及慣性單元等多個傳感器集成及數據融合原理與方法，在車載平臺以1-40公裡/小時的正常城市車行速度移動的同時，由安裝在車載平臺上的3D相機和準直線雷射器獲取道路面三維數據，由安裝在車輪上的光電編碼器獲取車載平臺的行駛距離及運行速度，由安裝在車載平臺的GPS和慣性單元獲取平臺的位置、姿態數據，所有的傳感器數據和同步數據傳輸到計算機中進行融合處理，綜合深度與灰度圖像信息提取道路面裂縫信息。
[0038]下面說明基於深度與灰度圖像的路面裂縫檢測裝置的構成。
[0039]基於深度與灰度圖像的路面裂縫檢測系統由硬體和軟體兩部分組成。軟體主要包括數據採集模塊、數據濾波預處理模塊、數據處理與特徵提取模塊與、數據存儲模塊與顯示模塊等組成。
[0040]圖1為根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的構成示意圖。
[0041]如圖1所示，基於深度與灰度圖像的路面裂縫檢測系統在硬體方面主要由載體平臺⑴、光電編碼器⑵、慣性單元⑶、GPS接收機(4)、同步控制電路(5)、3D相機(6)、線雷射器(7)、計算機(8)以及顯示裝置(9)等構成。
[0042]載體平臺(I)由車輛與安裝在車輛尾部的支架構成，為道路面裂縫檢測的各單元提供機械搭載平臺以及穩定的電源。
[0043]光電編碼器(2)安裝在車輛後輪的中心軸上，以測量載體平臺的運行速度和距離。
[0044]慣性單元(3)安裝在位於車頂的支架上，測量載體平臺的姿態參數，與安裝在其上方的GPS接收機(4) 一起用於載體平臺的精確定位。[0045]同步控制電路(5)安裝在支架後端，用於協同控制光電編碼器(2)、GPS接收機
(4)、慣性單元(3)和3D相機(6)的工作，並且輸出同步信息到嵌入式計算機(8)中。
[0046]3D相機(6)和線雷射器(7)安裝在支架後端，線雷射器(7)垂直路面照射雷射，用特定波長的大功率雷射提供雷射照射，3D相機(6)接收對應波長的反射光線，測量路面三維結構數據。
[0047]計算機(8)安裝在車輛的後備箱中，用於路面三維結構數據和平臺位置、姿態數據的採集、存儲以及處理。
[0048]顯示裝置(9)安裝在車輛座椅前，用於進行人工交互，例如參數的選擇、檢測的狀態以及結果的顯示等操作。
[0049]下面說明基於深度與灰度圖像的路面裂縫檢測原理與實現方式。
[0050]基於深度與灰度圖像的路面裂縫檢測裝置是移動測量技術的一個具體應用，該發明採用了多傳感器集成及同步控制技術、數據融合技術、圖像處理技術、點雲數據分析技術和移動精細定位技術等高新技術。圖2為示出根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的總體實現的原理框圖。本發明的技術方案的功能框圖如圖2所示，其主要分為兩大功能部分，一部分由GPS接收機、慣性單元、光電編碼器、高穩晶振來建立高精度時間與空間基準；另一部分是高精度定位數據與深度、灰度數據的快速融合與處理分析。
[0051]如圖2所示，GPS接收機、光電編碼器與高穩晶振的信號輸入到同步控制電路，由同步控制電路完成信號的處理，一方面輸出信號同步慣性單元，一方面輸出脈衝信號控制3D相機圖像的採集，另一方面將GPS絕對定位數據、行程與速度數據和同步記錄數據發送至計算機存儲。GPS接收機與慣性單元共同獲取載體平臺的絕對位置坐標和姿態數據，光電編碼器獲取載體平臺的速度與行程數據，3D相機獲取道路面的精細三維幾何信息與對應的二維灰度信息。結合光電編碼器行程數據、GPS的位置坐標與慣性單元的姿態數據實現移動精細定位，通過對道路面三維幾何數據和二維灰度數據進行分析，識別和提取道路面裂縫信息。
[0052]下面就各個子功能詳細闡述本發明的原理與方案。
[0053]I)路面深度與灰度數據採集原理
[0054]圖3為根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的數據採集的原理框圖。
[0055]如圖3所示，同步控制電路接收光電編碼器的行程信號，按照計算機發送的設置參數(3D相機數據採集間隔)，產生觸發脈衝信號，控制3D相機採集路面深度(高度)、灰度數據，同時記錄下光電編碼器的裡程數據作為平臺在線性參考坐標系下的I坐標；3D相機一次採集可以獲得路面的一個斷面(在光電編碼器的該行程處採集的雷射線經由路面反射後的形態)的灰度數據GO與深度數據DO (3D相機利用高速大面陣CCD獲取路面灰度影像(反射雷射線的成像灰度)，並通過內置的集成硬體電路，利用重心法等中心提取技術提取路面斷面輪廓並輸出輪廓在像方坐標系中坐標值數組，根據像方坐標與實際路面深度(高度)的標定關係，計算出深度數據D0)，並分別以一維數組的方式存儲，即，在光電編碼器的該行程處(y坐標值)的垂直於道路走向方向上的每個點(X坐標上的每個點)的灰度數據和深度數據。
[0056]通過載體平臺的移動，3D相機連續採集路面多個斷面數據(對應於不同的y坐標)，從而得到路面上的每個採樣點(x，y)的深度數據D(x，y)與灰度數據G(x，y)。
[0057]此外，GPS接收機和慣性單元按照一定頻率分別輸出載體平臺在WGS84坐標系下的絕對位置數據(XWGS84，YWGS84, ZWGS84)與姿態數據(R，P, H)。計算機(例如，嵌入式計算機)主要用於同步控制電路及3D相機的採集參數設置與數據存儲。
[0058]2)載體平臺精細定位原理
[0059]圖4為根據本發明的實施例的基於深度與灰度圖像的裂縫檢測裝置的精細定位的原理框圖。
[0060]如圖4所示，GPS接收機獲取載體平臺的絕對位置坐標(XWGS84，YWGS84, ZWGS84)，慣性單元獲取載體平臺運動過程中的連續姿態數據(R，P，H)，光電編碼器結合載體平臺的起始位置獲取線性參考坐標y。將上述數據結合相機像方中心與慣性單元中心的標定參數、GPS天線中心與慣性單元中心的標定參數，對以上定位數據進行配準，獲得載體平臺高精度、高密度的絕對坐標(XP，YP，ZP)與線性坐標y。
[0061]3)基於深度與灰度信息的路面裂縫檢測原理
[0062]圖5示出了基於深度與灰度信息的路面裂縫檢測原理。
[0063]如圖5所示，由於路面材料對雷射的反射特性的不同、路面特徵對雷射反射點的遮擋等因素，導致3D相機無法正確接收到某些雷射反射點的反射信息，因此，I)中得到的3D相機原始灰度數據G(x，y)與深度數據D(x，y)存在奇異點(包含粗差和無效點等)，其中，相機沒有接收到反射信息的點為無效點，在數據G(x，y)和/或D(x，y)中表現為零值，相機接收到錯誤的反射信息的點為粗差，在數據G(x，y)和/或D(x，y)中表現為毛刺，結合奇異點周邊的灰度分布、深度分布和雷射線寬值，計算每個奇異點周邊像素的權值，利用加權均值濾波的方法對原始數據預處理，得到路面完整的灰度與深度數據(G，D)，結合2)中得到的絕對坐標(ΧΡ,ΥΡ,ΖΡ)和線性坐標y，得到路面點最終的絕對位置坐標(X，Y，Z)和灰度G。
[0064]下面，具體說明上述各計算過程。
[0065]3-1)權值與濾波計算過程:
[0066]選擇線性濾波模板如下式所示
【權利要求】
1.一種基於深度和灰度圖像的路面裂縫檢測裝置，包括:載體平臺(I);位於載體平臺上攝像裝置(6)、線雷射器(7)、計算裝置(8)， 其中，載體平臺(I)用來在裂縫檢測的過程中，沿道路方向移動， 線雷射器(7)用來在載體平臺(I)移動的同時，垂直路面照射雷射， 攝像裝置(6)用來在載體平臺(I)移動的同時，沿斜向角度，不斷拍攝所述直線雷射經路面反射的雷射線，每次拍攝對一個道路斷面進行成像，生成多個道路斷面的雷射線的圖像數據， 計算裝置(8)用來從每個道路斷面的雷射線的圖像數據生成該道路斷面的深度數據、以及灰度數據，並將每個道路斷面的深度數據和灰度數據拼接形成一段道路的圖像數據，以進行裂縫識別。
2.根據權利要求1所述的路面裂縫檢測裝置，還包括: 光電編碼器(2)，其被安裝在載體平臺(I)上，用來測量載體平臺(I)的運動速度和距離。
3.根據權利要求2所述的路面裂縫檢測裝置，還包括: 慣性單元(3)，其被安裝在載體平臺(I)上，用來測量載體平臺(I)的姿態參數； GPS接收機(4)，其被安 裝在載體平臺(I)上，用來對載體平臺(I)進行定位。
4.根據權利要求3所述的路面裂縫檢測裝置，還包括: 同步控制電路(5)，其被安裝在載體平臺⑴上，用於控制光電編碼器(2)、GPS接收機(4)、慣性單元(3)和攝像裝置(6)的同步工作。
5.根據權利要求3所述的路面裂縫檢測裝置，其中，GPS接收機(4)獲取載體平臺(I)的絕對位置坐標(XWGS84，YWGS84，ZWGS84)，慣性單元(3)獲取載體平臺(I)運動過程中的連續姿態數據(R，P，H)，光電編碼器(2)結合載體平臺的起始位置獲取線性參考坐標y。
6.一種用於根據權利要求1至5中的一個所述的路面裂縫檢測裝置的路面裂縫檢測方法，所述方法包括以下步驟: 步驟1、在載體平臺(I)沿道路方向移動的同時，位於載體平臺上的線雷射器(7)垂直路面照射直線雷射，其中將所述道路方向定義為y坐標方向； 步驟2、在載體平臺沿道路方向移動的同時，位於載體平臺上的攝像裝置(8)沿斜向角度，每隔固定的距離不斷拍攝所述直線雷射經路面反射的雷射線，並記錄所得到的一段道路的每個成像像素點(x，y)的灰度數據G (x，y)、以及深度數據D (x，y)，其中X坐標為道路的橫向坐標； 步驟3、在深度數據中，得到每個像素八個方向的圖像梯度值，將八方向中梯度極大值對應的角度作為該像素的邊緣方向，得到裂縫邊緣圖像，在此基礎上，採用分水嶺算法提取裂縫區域，其中將深度影像中深度極小值作為種子位置，採用分水嶺算法得到分割區域，得到封閉邊緣的裂縫圖像。
7.根據權利要求6所述的路面裂縫檢測方法，所述方法還包括以下步驟: 步驟4、在灰度數據中，採用梯度算子提取裂縫邊緣，採用2D Ostu方法提取裂縫區域，得到封閉邊緣的裂縫圖像。
8.根據權利要求6所述的路面裂縫檢測方法，步驟2還包括以下步驟: 步驟2-1、對灰度數據G(x，y)及深度數據D(x，y)中的奇異點進行預處理，得到新的灰度數據Gl (x，y)及深度數據Dl (X，y)，如下:
【文檔編號】E01C23/01GK104005325SQ201410269998
【公開日】2014年8月27日 申請日期:2014年6月17日 優先權日:2014年6月17日
【發明者】李清泉, 毛慶洲, 熊智敏, 曹民, 張德津, 周瑾, 章麗萍 申請人:武漢武大卓越科技有限責任公司