高精度地圖的製作方法（高精地圖主流的製作方案）

2023-10-13 08:18:23 1

來源：自動駕駛之心 作者：汽車人

引言

在過去幾年中，自動駕駛一直是最受歡迎和最具挑戰性的話題之一。在實現完全自主的道路上，研究人員利用了各種傳感器，如雷射雷達、相機、慣性測量單元（IMU）和GPS，並開發了用於自動駕駛應用的智能算法，如目標檢測、目標分割、障礙避免和路徑規劃。近年來，高清晰度（HD）地圖引起了廣泛關注。由於高清地圖在定位中的高精度和信息水平，它立即成為自動駕駛的關鍵組成部分。從百度阿波羅（Baidu Apollo）、英偉達（NVIDIA）等大型組織到個人研究人員，已經為自動駕駛的不同場景和目的創建了高清地圖。有必要回顧高清地圖生成的最新方法，論文主要回顧了利用2D和3D地圖生成的最新高清地圖生成技術，介紹了高清地圖及其在自動駕駛中的用途，並給出了高清地圖生成技術的詳細概述。除此之外，還討論了當前高清地圖生成技術的局限性，以推動未來的研究

1 高精地圖的數據採集

數據源/收集是生成高清地圖的第一步。使用移動地圖系統（MMS）進行數據收集，MMS是一種配備地圖傳感器的移動車輛，包括GNSS（全球導航衛星系統）、IMU、雷射雷達（光探測和測距）、相機和雷達，用於收集地理空間數據。

商業化高清地圖提供商採用眾包方式收集數據，以構建和維護其高清地圖。Level5與Lyft合作，沿加利福尼亞州帕洛阿爾託的固定路線發送了20輛自動駕駛汽車，以收集由170000個場景組成的數據集，一個包含15242個標記元素的高清語義地圖，以及一個該區域高清的鳥瞰圖。TomTom通過多源方法收集數據，包括調查車輛、GPS跟蹤、社區輸入、政府來源和車輛傳感器數據，這裡利用了全球400多輛地圖車輛、政府數據、衛星圖像和社區輸入，不斷獲得最新的道路信息。

通過眾包收集數據可以在很短的時間內收集大量最新的道路/交通數據。眾包數據還包含不同的環境，包括城市、城鎮和農村地區。然而，由於多個移動地圖系統的高成本和數據收集的時間消耗，該方法不是單個研究人員的最佳解決方案。個別研究人員還利用MMS收集數據，他們不是收集世界各地不同類型環境的數據，而是關注規模更小的區域，例如城市，大學校園或住宅區。收集的數據出於研究目的，類型也更加具體。

此外，還有大量開源數據，如衛星圖像、KITTI數據集、Level5 Lyft數據集[4]和nuScenes數據集，供研究人員進行測試和生成高清地圖。這些數據集包含2D和3D真實世界交通數據，包括圖像、3D點雲和IMU/GPS數據，這些數據已經組織和標記，地圖數據的收集方法與優劣如下圖所示：

2 點雲高精地圖生成

一旦收集到初始傳感器數據，通常會對其進行融合和排序，以生成初始地圖，主要用於精確定位。初始mapping主要使用3D雷射傳感器生成；然而，它可以與其他傳感器融合，如IMU、GPS、裡程計和視覺裡程計，以便在高清地圖中進行更精確的狀態估計。INS和GPS傳感器提供方位和位置信息，以在釐米精度範圍內更新地圖位置。這些點雲地圖已經非常精確，可以幫助車輛在3D空間釐米級進行精確定位。隨後，在mapping獲得點雲配準之後，從PCL映射創建矢量映射。點雲配準被稱為對齊多個重疊點雲以生成詳細和準確地圖的多步驟過程（如下圖所示）。

矢量地圖包含與車道、人行道、十字路口、道路、十字路口、交通標誌和交通燈相關的信息。這一關鍵特徵後來被用於檢測交通標誌和信號燈、路線規劃、全局規劃和局部路徑規劃。毫無疑問，地圖生成是高清晰度地圖生成的一個組成部分，它可以定義為HD地圖的基本幾何圖形圖層。

建圖技術

地圖生成技術可分為在線地圖和離線地圖。離線映射數據全部收集在中心位置，數據使用衛星信息或雷射雷達和攝像機存儲的數據，然後地圖在收集數據後離線構建。

另一方面，在線地圖中地圖生成使用輕量級模塊進行，除了地圖製作類型之外，還可以通過使用傳感器或如何融合傳感器對地圖技術進行分類。

以下標測技術需要基於雷射的傳感器，因為它們在長距離下顯示出良好的精度。大多測繪技術目前都使用雷射作為主要傳感器，用於測繪和完成高清晰度地圖。另一方面，有一些方法僅使用視覺傳感器來構建點雲地圖，存在為3D模型生成而開發的點雲配準技術，下面是幾種常用方法！

1） 基於分割的點雲配準

SegMap是一種基於點雲中分割特徵提取的映射解決方案，該方法通過重構要區分的局部特徵來生成點雲圖。軌跡結果表明，與LOAM（雷射測程和測繪）結合使用時，性能比僅使用LOAM框架更高。

2）僅基於雷射雷達的點雲建圖

通過改進現有的點選擇方法和LOAM迭代姿態優化方法，小視場和不規則採樣的雷射雷達方法已經實現了卓越的精度和效率，整體建圖結構如下圖所示：

[19]引入了一種快速環路閉合技術，以修復雷射雷達裡程測量和測繪中的長期偏移，[20]中的小視場分散式多雷射雷達平臺使用擴展卡爾曼濾波器進行魯棒建圖。此外，[21]中還有一種技術，在機器人的不同高度安裝雷射雷達，以生成點雲。

3）裡程計融合點雲配準

當GPS不可用或斷開連接時，融合裡程計非常方便，主要是在室內。迭代最近點（ICP）方法使用6自由度信息來匹配給定點雲中的最近幾何體。這種方法的主要缺點是，它停留在局部最小值，需要一個完美的起點，導致誤差和與實際環境的偏差增加[22]。NDTMap[23]、[24]生成是從點雲[25]、[26]轉換而來的連續可微概率密度，NDTMap的概率密度包含一組正態分布。它是一個體素網格，其中每個點基於其坐標分配給體素。將點雲劃分為體素雲，然後對合併的體素進行濾波，以減少地圖中的噪聲，減少計算量。如果初始猜測中未使用裡程計，則從每次NDT更新中得出狀態估計，初始猜測來自基於運動模型的速度和加速度更新。當引入裡程計時，位置更新基於裡程計數據，特別是速度模型和方向更新。

4）GPS融合點雲配準

GNSS中的絕對位置作為graph-based建圖中的約束，以統一點雲數據與坐標系[12]。因此，點雲中的體素使用絕對3D坐標信息進行標記，LIO-SAM中也使用了基於雷射雷達的裡程計，用於精確的姿態估計和地圖構建[13]。

5）INS融合點雲配準

在不使用任何傳感器的情況下，根據每次NDT更新計算車輛狀態和偏航。使用速度和加速度導出基於運動模型的初始猜測。IMU為二次模型提供平移更新和方向更新。Autoware的NDT mapping技術[27]還提供了用於標測的IMU和裡程融合。類似地，DLIO方法[28]通過使用鬆耦合融合和姿態圖優化實現精確mapping和高速率狀態估計，集成IMU以通過饋送IMU偏置來校正隨後的線性加速度和角速度值來增強可靠性。FAST-LIO[10]和FAST-LIO2[11]是用於快速和精確測繪的雷射雷達慣性裡程計系統。該系統使用緊耦合迭代EKF（擴展卡爾曼濾波器）將IMU與雷射雷達特徵點融合。FAST-LIO2使用了一種新技術，增量kdTree，它提供了一種增量更新和動態再平衡來維持地圖。

6）視覺傳感器融合點雲配準

R2-LIVE[29]和R3-LIVE[30]算法使用雷射、慣性導航系統和視覺傳感器的融合來進行精確映射和狀態估計。R2-LIVE使用基於卡爾曼濾波器的迭代裡程計和因子圖優化來確認準確的狀態估計。

R3-LIVE是兩個獨立模塊的組合：雷射雷達IMU裡程計和視覺IMU裡程測量。Global地圖實現了雷射雷達和IMU的精確幾何測量。與IMU融合的視覺傳感器將地圖紋理投影到全局地圖中。類似的兩個子模塊LIO和VIO也用於FAST-LIVO[14]中的穩健和精確建圖。LVI-SAM使用與R3-LIVE類似的兩個子模塊進行設計。根據LVI-SAM[31]，視覺慣性系統利用雷射雷達慣性計算來輔助初始化。視覺傳感器提供深度信息以提高視覺慣性系統的精度。

下圖展示出了使用現有建圖算法生成的地圖。有多種技術可以融合多個傳感器以創建完整地圖。視覺裡程計（IMU和攝像機）、GPS和雷射雷達數據被組合到一個超級節點中，以獲得優化地圖[32]。

下圖展示出了使用不同方法從在線映射獲得的軌跡路徑，（a）是地圖傳感器數據的完整路徑（安大略科技園區），展示出了來自記錄數據的完整裡程計數據。（b）和（c）是全軌跡路徑的放大版本。該地面真實路徑通過RTK-GPS和IMU數據的融合獲得。這些分數表明R3-LIVE遵循地面實況路徑，即RTK-GPS裡程計。

3 高清地圖的特徵提取方法

為了使ego車輛定位並遵循運動和任務計劃，需要進行特徵提取，如道路/車道提取、道路標記提取和杆狀物體提取。特徵提取傳統上由人工完成，成本高、耗時且精度低。近年來，機器學習輔助的高清地圖生成技術已經開發並廣泛用於提高特徵提取精度和減少人工工作量。機器學習輔助高清地圖生成利用了人在迴路（HITL）技術，該技術涉及人機互動[33]-[35]。人類進行數據標記，並使用監督學習對標記數據進行訓練。具有高精度/置信度分數的結果將保存到高清地圖，而具有低精度/置信率分數的結果則將由人類檢查並發送回算法進行重新訓練。機器學習已廣泛用於提取道路/車道網絡、道路標記和交通燈。

1）道路網絡提取

a）基於二維航空圖像的道路提取

道路地圖/網絡對於自動駕駛系統定位自我車輛和規劃路線至關重要。從航空圖像中提取路線圖也很有吸引力，因為航空照片覆蓋了廣泛的地圖，通常是城市地圖，並通過衛星不斷更新。然而，從航空圖像手動創建路線圖既費時又費力。由於人為錯誤，它也不能保證精確的路線圖，因此，需要能夠自動化路線圖提取過程的方法。二維航空圖像的自動道路網絡提取可分為三種不同的方法：基於分割的方法、迭代圖生長方法和圖生成方法。

基於分割的方法從航空圖像預測分割概率圖，並通過後處理細化分割預測和提取圖。Mattyus等人提出了一種直接估計道路拓撲並從航空圖像中提取道路網絡的方法[36]。在他們名為DeepRoadmper的方法中，他們首先使用ResNet的變體[37]將航空圖像分割成感興趣的類別，然後使用softmax激活函數以0.5概率閾值過濾道路類別，並使用發光提取道路中心線[38]。為了緩解道路分割的不連續性問題，他們將不連續道路的端點連接到特定範圍內的其他道路端點。連接被視為潛在道路，此處應用A*算法[39]選擇最短連接作為不連續道路，如下圖所示：

為了提高基於分段的道路網絡提取性能並解決[36]中的道路網絡斷開問題，[42]提出了方向學習和連通性細化方法。所提出的方法通過預測道路網絡的方向和分割並使用n-堆疊多分支CNN校正分割結果來解決道路網絡斷開問題。該方法在SpaceNet[43]和DeepGlobe[44]數據集上進行了進一步評估，並與DeepRoadmper和其他最先進的方法[45]-[48]進行了比較，以顯示其最先進的結果。

此外，Ghandorh等人通過在基於分割的方法中添加邊緣檢測算法，從衛星圖像中細化了分割的道路網絡[49]。所提出的方法使用了編碼器-解碼器架構以及擴展卷積層[50]和注意機制[51]-[54]，使網絡能夠分割大規模對象並更加關注重要特徵。然後，通過將分割的道路網絡饋入邊緣檢測算法，進一步細化這些道路網絡，下圖為基於分割方法的性能對比！

迭代圖增長法

迭代圖生長方法通過首先選擇道路網絡的幾個頂點從2D航空圖像生成道路網絡。然後，逐點生成道路，直到創建整個道路網絡。Bastani等人從深度路線圖中注意到了同樣的限制。當道路分割存在不確定性時，啟發式算法表現不佳，這可能是由遮擋和複雜拓撲結構（如平行道路）引起的[48]。基於CNN的道路分割在遮擋區域增加時表現不佳，遮擋區域從樹木、建築物和陰影中升起。現有方法[36]、[55]沒有解決此類問題的固溶體。

Bastani等人提出了一種新方法RoadTracer，以解決上述問題，並從航空圖像中自動提取道路網絡[48]。RoadTracer採用迭代圖構建過程，旨在解決遮擋導致的性能不佳。道路追蹤器具有由基於CNNs的決策函數引導的搜索算法。搜索算法從道路網絡上的已知單個頂點開始，並隨著搜索算法的探索不斷向道路網絡添加頂點和邊。基於CNN的決策函數決定是否應將頂點或邊添加到道路網絡。這樣，通過迭代圖生長方法逐點生成道路圖，迭代圖增長方法如下圖可視化所示：

在15張城市地圖上對道路跟蹤方法進行了評估，並將結果與DeepRoadmper和Bastani等人實施的另一種分割方法進行了比較。與最先進的方法DeepRoadmper相比，RoadTracer可以生成更好的地圖網絡結果。迭代圖構建過程的一個缺點是生成大規模道路網絡的效率，由於該過程逐點創建道路圖，因此隨著道路網絡規模的增長，該過程將變得耗時。

圖生成方法

圖生成方法直接從航空圖像預測道路網絡圖，該方法將輸入的航空圖像編碼為向量場，用於神經網絡預測。然後通過解碼算法將預測解碼成圖。該方法已用於預測道路網絡圖，包括線段[56]、線形對象[57]和多邊形建築物[58]。在圖形生成方法的基礎上，Xu等人將圖形生成方法與transformer[59]相結合，提出了一種新的系統，名為csBoundary，用於自動提取道路邊界，用於高清地圖標註[60]。csBoundary系統首先將4通道空間圖像作為輸入，它通過特徵金字塔網絡（FPN）處理圖像，以預測道路邊界的關鍵點圖和分割圖。

從關鍵點圖中提取一組長度為M的頂點坐標，將關鍵點圖、分割圖和輸入空間圖像組合起來形成6通道特徵張量。對於每個提取的頂點 × 感興趣區域（ROI）被裁剪並放置在關鍵點地圖的中心。Xu等人還提出了對鄰接網（AfANet）的關注[60]，AfA編碼器利用ROI計算局部和全局特徵向量，這些特徵向量將由AfA解碼器處理以預測提取頂點的鄰接矩陣，以生成道路邊界圖。所有獲得的圖形將用於拼接到最終的城市規模道路邊界圖中。csBoundary的結構如下圖所示。

基於分割的方法可以使用CNN在很短的時間內從航空圖像中自動提取大規模道路網絡。然而，該方法的性能在很大程度上取決於航空圖像的質量。如果道路上存在遮擋，這可能是由陰影或大型構建引起的，分割性能將下降。即使使用深度路線圖中輔助的A*路徑規划算法，該方法仍然不能保證高性能的道路網絡提取，因為最短路徑並不總是現實生活中的實際路徑。另一方面，迭代圖增長方法利用基於CNN的決策函數支持的搜索算法來提高提取具有遮擋的道路的性能。

然而，迭代圖增長法提取整個道路網絡需要很長時間，因為該方法逐點構建道路網絡。該方法的提取時間也將隨著路線圖的大小增加而增加。由於該方法以迭代方式提取道路網絡，因此由於累積誤差，它還存在漂移問題，這使得該方法提取大規模道路網絡具有挑戰性。用於提取道路網絡的圖生成方法仍然局限於對象的特定形狀，因為它們嚴重依賴於解碼算法，這限制了它們的泛化能力。

b）基於3D點雲的道路提取

基於3D點雲的道路或車道提取已廣泛用於生成高清地圖的過程中。雷射雷達點雲具有高精度，通常在毫米級精度，並包含掃描對象的幾何信息。使用3D點雲的道路提取是使用分割完成的。Ibrahim等人指出，2D道路網絡不提供物體相對位置的任何深度線索，並且2D道路網絡中的微小基礎設施變化也不是最新的[64]。Ibrahim等人沒有在航空圖像上構建道路網絡，而是展示了澳大利亞珀斯中央商務區（CBD）的高清雷射雷達地圖[64]。在他們的工作中，3D點雲數據是通過在SUV頂部放置一個驅逐雷射雷達並駕駛SUV通過CBD收集的。以閉環方式收集點雲數據[64]，以避免累積配準誤差引起的漂移問題，如下圖所示：

環路檢測算法用於提取形成環路的點雲，其中僅提取屬於特定環路的幀。然後對提取的環路點雲進行預處理，包括下採樣，分割地面點，並去除自我車輛和附近的無關點。使用3D正態分布變換（NDT）對預處理的迴路點雲進行配準和合併，對合併後的原始點雲進行後處理，包括空間子採樣、噪聲去除、重複點去除和平滑，以生成最終提取的道路。

Ding等人提出了另一種生成3D地圖的方法，為特定場景創建高清地圖[67]。他們的提案將特定場景定義為自動駕駛應用的安全和操作環境。本文以大學校園的一部分作為構建三維高清地圖的具體場景。Ding等人劃分了他們的高清地圖架構分為四個不同的層，包括定位層、道路矢量和語義層、動態對象層和實時交通層，見下表：

定位層存儲點雲和圖像，用於定位，道路矢量和語義層存儲道路行駛方向、道路類型和道路對象，在該層中，使用OpenDRIVE文件格式。顧名思義，動態對象層存儲關於對象（如行人、障礙物和車輛）的高度動態感知信息。該層以更高的頻率更新，以提供來自周圍環境的反饋。實時交通層存儲實時交通數據，如車速和位置以及交通信號燈狀態。使用NDT算法以實際場景的數字3D場景作為參考來創建3D HD地圖。

c）基於傳感器融合方法的道路/邊界提取

基於2D航空圖像和3D點雲的道路提取都有局限性。由於照明條件差、路邊設施造成的遮擋以及各種地形因素，從衛星和航空圖像中提取的道路網絡通常不準確和不完整。3D點雲上的特徵提取也面臨遮擋和點密度變化問題，這導致道路提取不準確和不完整。在提取道路或道路邊界時，使用單一數據源的局限性是顯而易見的。因此，研究人員一直在使用多源數據來提取和完成道路或道路邊界。Gu等人[68]採用了雷射雷達圖像和相機透視圖，並構建了一個映射層，將雷射雷達圖像視圖的特徵轉換為相機透視圖像視圖。

這種方法增強了攝像機透視圖中的道路提取性能。Gu等人[69]還提出了一種條件隨機森林（CRF）框架，用於融合雷射雷達點雲和攝像機圖像，以提取道路網絡的距離和顏色信息。在[70]中，設計了一個全卷積網絡（FCN），用於基於道路檢測的殘差融合策略，合併從雷射雷達攝像機數據中學習的特徵圖。Li等人[71]採用了一種不同的方法，通過融合GPS軌跡和遙感圖像來構建路線圖。該方法使用基於轉移學習的神經網絡從圖像中提取道路特徵，並使用U網絡提取道路中心線。此外，在[72]中設計了一個緊密耦合的感知規劃框架，通過使用GPScamera雷射雷達傳感器融合來檢測道路邊界。

Ma等人還提出了一種新的深度學習框架，名為BoundaryNet，用於提取道路邊界，並利用雷射掃描點雲和衛星圖像填補道路邊界數據中因遮擋造成的現有空白[73]。該方法使用基於路緣的提取方法提取道路邊界，並採用改進的U-net[74]模型從道路邊界點雲中去除噪聲點雲。然後，將基於CNN的道路邊界完成模型應用於提取的道路邊界，以填充一些間隙。受圖像到圖像轉換方法生成對抗性網絡（GAN）[75]的啟發，設計了一種條件深度卷積生成對抗網絡（c-DCGAN），以在從衛星圖像提取的道路中心線的幫助下，提取更準確和完整的道路邊界。

2）道路標線提取

道路標記是高清地圖上的基本特徵，可為ego車輛提供有關交通方向、轉彎車道、可行駛和不可行駛車道、人行橫道等的信息。與道路提取方法類似，也可以使用2D圖像或3D點雲進行道路標記提取。

a）基於二維圖像的道路標線提取

傳統上，2D圖像上的道路標記提取是通過圖像處理和計算機視覺實現的。包含道路標記的圖像首先被去噪和增強，以使道路標記清晰和明顯，並突出目標和背景區域之間的對比度。然後，使用圖像處理和計算機視覺方法提取目標道路標記，如基於邊緣的檢測（如Roberts、Sobel、Prewitt、Log和Canny）、閾值分割（如Otsu法和迭代法）、k均值聚類和區域增長法[83]。傳統方法在從路面或混凝土道路提取道路標記方面取得了顯著的性能。然而，沒有正確識別不同道路標記的簡單提取對於ego車輛理解道路規則來說不夠有效。隨著CNN的引入和快速發展，涉及CNN的方法已被廣泛開發並用於檢測和識別道路標記。2D圖像上的道路標記提取和識別通常採用兩種不同的方法進行。一種是利用由車載攝像機捕獲的前視圖圖像。另一種是從航空圖像中提取道路標記。兩者的示例如下圖所示：

前視圖圖像由於其成本效益和便利性而被廣泛用於道路標記提取，已經提出了幾種方法來檢測車道線標記。Zhang等人[84]提出了Ripple 車道線檢測網絡（RiLLD網絡），用於檢測普通車道線標記，Ripple GAN用於檢測複雜或閉塞的車道線標記。使用Sobel邊緣檢測濾波器將包含車道線標記的原始圖像預處理為梯度圖，原始圖像和梯度圖都被饋入RiLLD網絡，以去除冗餘幹擾信息並突出車道線標記。提出的Ripple GAN是Wasserstein GAN（WGAN）[86]和RiLLDNet的組合。將添加了高斯白噪聲的原始車道線標記圖像發送到WGAN，以產生分割車道線標記結果。分割結果與梯度圖一起發送到RiLLD網絡，以進一步增強車道線標記檢測結果。

此外，[87]提出了一種具有雙卷積門控遞歸單元（CONVGRU）的時空網絡，用於車道線檢測。網絡不是一次拍攝一張圖像，而是將由連續時間戳的車道線標記組成的多個捕獲作為輸入。兩個convgru都有自己的功能，第一個ConvGRU，也稱為前端ConvGlu（FCGRU），位於編碼器階段，用於學習並過濾掉可能影響模型學習過程的幹擾信息。第二個ConvGRU，也稱為中間ConvGRU，包含多個ConvGRU。它位於編碼器和解碼器階段之間，用於徹底學習FCGRU產生的連續驅動圖像的空間和時間驅動信息。此外，還提出了其他方法來解決車道線檢測和提取問題，如圖形嵌入車道檢測[90]、基於漸進概率霍夫變換的車道跟蹤[91]、SALMNet[92]、基於分割的車道檢測[93]和Mask R-CNN實例分割模型[94]。下表匯總了當前車道線檢測主流方法及性能：

b）航空圖像中的道路標線提取

衛星和航空圖像不僅可用於道路網絡提取，還可用於道路標記提取。Azimi等人[99]提出了航空LaneNet，以直接從航空圖像中提取道路標記。所提出的網絡包含對稱全卷積神經網絡（FCNN）。原始航空圖像在發送到航空網絡之前被切割成多個塊。空中LaneNet預測每個輸入塊的語義分割，並為每個塊生成二值圖像，表示哪個像素來自車道標記，哪個像素來自背景。將所有二值圖像/塊拼接在一起以構建具有與輸入圖像相同解析度的最終道路標記圖像。該模型還利用離散小波變換（DWT）實現多尺度和全譜域分析。同樣，Kurz等人[100]設計了一種小波增強FCNN，用於分割多視圖高解析度航空圖像。imagery2D片段還用於基於最小二乘線擬合創建道路標記的3D重建。

Yu等人還提出了一種稱為MarkCapsNet[101]的自注意力引導膠囊網絡，用於從航空圖像中提取道路標記。所提出的網絡結合了膠囊公式和HRNet[102]架構，通過涉及三個具有不同解析度的並行分支，可以在不同尺度上提取特徵語義。還設計了基於膠囊的自關注（SA）模塊，並將其集成到MarkCapsNet的每個分支中，以進一步提高生成的用於道路標記提取的特徵地圖的表示質量。此外，Yu等人還為道路標記提取應用創建了一個稱為AerialLanes18的大型航空圖像數據集，該數據集可作為未來測試道路標記提取不同方法的基準。

MarkCapsNet和其他道路標記提取模型[99]、[102]–[105]在兩個數據集（UAVMark20和AerialLanes18）上進行了實驗和比較。表VIII中的結果表明，MarkCapsNet實現了最先進的性能。與航空圖像相比，前視圖圖像上的道路標記提取方法具有更小的視場，並且檢測/處理時間也比在航空圖像上使用現有提取的道路標記更長。然而，由於檢測是基於實時攝像機圖像的，因此對於道路標記的變化（如磨損和遮擋）是靈活的。相比之下，航空圖像上的道路標記提取可以提取更大比例的道路標記，並將提取的道路標記存儲在高清地圖中，以減少檢測時間。然而，它對由照明條件、遮擋和路標磨損引起的數據缺陷非常敏感。

c）基於三維點雲的道路標線提取

3D點雲上的道路標線提取通常採用兩種不同的方法，自下而上方法和自上而下方法[81]。自底向上方法通過區分道路標記點雲和背景點雲直接提取道路標記。相反，自上而下的方法使用CNN檢測預定義的幾何模型，並基於檢測重建道路標記。

自底向上方法使用深度學習算法，基於對象檢測和分割從原始3D點雲中直接提取道路標記。閾值相關方法及其擴展，包括多閾值和結合幾何特徵的多閾值過濾廣泛用於道路標記提取[106]-[109]。[103]、[110]在提取道路標記之前，將3D點雲轉換為2D地理參考強度圖像，以顯著降低計算複雜度，但丟失姿態（位置和方向）或空間信息。為了填補從提取的道路標記中缺失的姿態或空間信息的空白，Ma等人提出了一種基於膠囊的道路標記提取和分類網絡[111]。所提出的方法通過過濾掉非地面特徵點雲（如杆、交通燈和樹）來處理數據，以降低計算複雜度。使用反距離加權（IDW）算法將處理後的3D點雲轉換為2D地理參考強度光柵圖像。受[112]中提出的膠囊網絡的啟發，Ma等人提出了一種基於U形膠囊的網絡，該網絡不僅可以從光柵圖像中學習強度方差，還可以學習道路標記的姿態和形狀。

自頂向下方法使用現有的目標檢測算法來檢測和定位道路標記幾何模型。它基於檢測和定位在3D點雲上重建道路標記。Prochazka等人[114]使用生成樹使用方法自動將點雲中的車道標記提取到多邊形地圖圖層中。所提出的方法在原始點雲上進行地面點檢測[115]，並使用生成樹識別檢測。在檢測和識別之後，將車道標記重建為矢量形式。該方法可以檢測車道標線，但不能檢測其他類型的道路標線，如道路方向標線和人行橫道標線。Mi等人提出了一種使用MLS點雲進行道路標記提取和建模的兩階段方法[81]，方法利用YOLOv3[116]算法來檢測道路標記，並在每次檢測時提供語義標籤。

3）杆狀物體提取

在高清地圖中，杆狀對象（如交通燈、交通標誌、路燈、樹木和電話線杆）對道路環境至關重要。它們可以幫助定位（不同於其他道路設施的形狀）和運動規劃（交通信號燈提供交通流條件）。杆狀物體提取通常通過MLS 3D點雲的分割和分類完成。前幾年已經開發了各種用於杆狀物體提取的方法。Lehtomäki等人[117]提出使用MLS 3D點雲結合分割、聚類和分類方法檢測垂直杆狀物體。El Halawany等人[118]採用了基於協方差的程序，對地面雷射掃描點雲進行杆狀物體分割，並找到它們的尺寸。Yokoyama等人[119]使用k近鄰圖應用拉普拉斯平滑，並使用主成分分析識別具有不同半徑和傾角的杆狀物體上的點。Pu等人[120]提出了一個從MLS 3D點雲中識別結構的框架，並基於點雲片段的特徵（如大小、形狀、方向和拓撲關係）提取了杆狀對象。

Cabo等人[121]提出了一種通過使用規則體素化對點雲進行空間離散化並分析和分割水平體素化點雲來檢測杆狀物體的方法。Ordóñez等人[122]在[121]的基礎上增加了一個分類模塊，以區分點雲中不同類型的極點。Yu等人[123]提出了一種半自動提取路燈杆的方法，將MLS 3D點雲分割為道路和非道路表面點，並使用成對3D形狀上下文從非道路段提取路燈杆。Zheng等人[124]提出了一種新的基於圖割集的分割方法，用於從MLS 3D點雲中提取路燈杆，然後採用基於高斯混合模型的方法識別路燈杆。

Plachetka等人[125]最近提出了一種基於深度神經網絡（DNN）的方法，用於識別（檢測和分類）雷射雷達點雲中的杆狀物體。受[126]的啟發，提出的DNN體系結構由三個階段組成：編碼器、主幹、分類和回歸頭。原始3D點雲被預處理為單元特徵向量，單元特徵向量是編碼器級的輸入。Plachetka等人在[128]之後增加了另一個編碼器級，以提高單元特徵向量的代表性，而不是[127]中僅有一個編碼器。編碼器將單元特徵向量編碼成空間網格，作為主幹網的輸入。

主幹階段採用並修改了特徵金字塔架構[61]，以包含更多上下文，提高了檢測小對象的模型性能[129]。主幹級將來自下遊路徑的低級特徵和來自上遊路徑的高級特徵連接起來，以進一步增強輸入網格的代表性。下遊路徑使用卷積層，而上遊路徑使用轉置卷積層，輸出特徵網格成為分類和回歸頭階段輸入。該架構採用SSD[130]方法來計算最後階段的預測。該方法的平均召回率、準確率和分類準確率分別為0.85、0.85和0.93。檢測類別包括保護杆、交通標誌杆、交通燈杆、廣告牌杆、燈柱和樹木，總之，高清地圖中的杆狀對象由於其特殊形狀而成為定位的重要特徵。杆狀對象提取主要在3D點雲上進行，提取的性能還取決於點雲的質量。因此，需要進一步研究如何提高不完美數據下的類極點目標提取性能。

4 高清地圖框架

隨著高清地圖越來越複雜，需要提取的環境特徵越來越多，有必要使用框架形式的良好軟體，以便在地圖中充分存儲相關信息，並確保地圖的一致視圖。本節介紹了三種用於創建高清地圖的流行開源框架，包括Lanelet2、OpenDRIVE和Apollo地圖。

Lanelet2地圖包含三層：物理層、關係層和拓撲層，如下圖所示。這三層的特徵與此處定義的特徵相似。第一個物理層由兩個元素組成，點和線串，點是地圖的基本元素，它可以將垂直結構表示為單點的杆、車道或一組點的區域。線串被構造為兩個或多個點的有序陣列，其中每兩點之間使用線性插值。物理層，顧名思義，定義了可檢測元素，如交通燈、標誌、路緣石等第二個關係層由三個元素組成，lanelets、AREA和調控元素。

車道定義了不同的道路類型，如常規車道、人行橫道和軌道。lanelet還與在lanelet內不改變的交通規則相關聯。它由一個左右線字符串定義為兩個方向相反的邊界。通過將左邊框更改為右邊框（反之亦然），一對線串中的方向可以互換。區域由一條或多條線串構成，以形成封閉屏障，通常表示靜態結構，如建築物、停車場、遊樂場和草地空間。顧名思義，監管要素定義了交通規則，以監管ego車輛。車道和區域可以有一個或多個監管要素，如速度限制和限制。還可以添加動態規則，例如基於一天時間的轉向限制，作為監管元素。

Lanelet2是一個支持高清地圖的簡單而強大的框架。它還經常與Autoware Auto一起使用，為高清地圖創建矢量地圖。

OpenDRIVE是由自動化和測量系統標準化協會（ASAM）開發的用於描述道路網絡和創建高清地圖的開源框架。它還使用XML文件格式存儲地圖信息。在ASAM OpenDRIVE地圖中，有三個元素/層，參考線/道路、車道和特徵。與Lanelet2地圖不同，OpenDRIVE使用點來描述和構造地圖特徵，使用幾何圖元，包括直線、螺旋線、圓弧、三次多項式和描述道路形狀和行駛方向的參數三次多項式。這些幾何圖元稱為參考線。參考線是每個OpenDRIVE道路網絡的關鍵組成部分，因為所有車道和特徵都沿著參考線構建。

第二個元素，車道，連接到參考線並表示地圖上的可駕駛路徑。每條道路至少包含一條寬度大於0的車道。每條道路上的車道數取決於實際交通車道，沒有限制。沿道路修建車道時，需要寬度為0的中心車道作為車道編號的參考。中心車道根據道路類型定義兩側的行駛方向，可以是相反方向，也可以是相同方向。由於中心車道和基準線之間沒有偏移，因此中心車道與基準線重合。最後一個元素「要素」包含與交通規則相關的對象，如信號和標誌。然而，與Lanelet2不同，ASAM OpenDRIVE不包含動態內容。在[135]中還可以找到由ASAM提供的OpenDRIVE用戶指南。

阿波羅地圖是由中國領先的自動駕駛平臺百度阿波羅創建的高清地圖。阿波羅高清地圖也使用OpenDRIVE格式，但是專為阿波羅設計的修改版。阿波羅只是使用點，不像OpenDRIVE，使用線、螺旋線和圓弧等幾何圖元定義道路。與Lanelet2中的點類似，每個點存儲緯度和經度值，這些點的列表定義道路邊界。在阿波羅高清地圖中，通常有五個不同的元素：

為了構建高清地圖，百度阿波羅將生成過程分為五個步驟：數據源、數據處理、對象檢測、手動驗證和地圖製作，如下圖所示：

阿波羅地圖是OpenDRIVE的更高級和更複雜的版本，阿波羅地圖包含最初不在OpenDRIVE中的元素，如無停車區和人行橫道。阿波羅地圖也需要比OpenDRIVE更多的數據來定義車道。OpenDRIVE只需要指定車道寬度，而Apollo需要點來描述車道邊界。為了在阿波羅中使用OpenDRIVE地圖，可以使用此處提供的方法[136]將OpenDRIVE格式轉換為阿波羅格式。Lanelet2地圖也可以轉換為OpenDRIVE地圖格式。Carla是一個用於自動駕駛的開源模擬器，它提供了一個用於將OSM映射轉換為OpenDRIVE映射的PythonAPI[137]。