一種自動駕駛中基於可變網格的圖像特徵檢測的車輛縱向定位系統及方法與流程
2023-07-22 15:58:57
本發明屬於汽車自動駕駛技術領域，涉及一種自動駕駛汽車的自車定位的系統及方法，具體是指一種基於可變網格的圖像特徵檢測在自動駕駛中的車輛縱向定位的系統及方法。
背景技術：
智能車輛的自動駕駛系統需要依賴高精度地圖數據，按照指定的目的地信息，動態、經濟的完成全局與局部路徑規劃形成自身導航軌跡，安全、便捷的完成無人車輛的各項控制動作。在這一系統的執行過程中，需要實時、準確的了解車輛自身的高精度定位信息，才能對當前行駛狀態控制做出決策層面上的判斷。
自動駕駛中常規的定位方式一般為gnss(globalnavigationsatellitesystem)結合imu(inertialmeasurementunit)組成。gnss在郊外平原地帶能夠獲取到較好的定位精度，但在複雜的城區環境中，信號傳播的多路徑反射效應極易造成數米範圍的定位精度誤差；imu一般採用陀螺儀、多軸加速度傳感器等計量儀器構成，實時檢測當前自身的姿態與加速度，根據imu能夠準確遞推一定距離內的車輛運動信息，但使用imu進行航跡推算的過程中會產生誤差積累，隨時間增長定位精度的退化越嚴重。通過融合與插值gnss與imu數據，可以達到較好的高精度定位效果。
然而，在自動駕駛系統中如果僅採用gnss+imu方式完成高精度定位是無法保證在自動決策的執行過程中安全、精確的完成控制動作，需要依賴額外的定位方法與傳感器進行輔助。一般的，使用lidar(lightdetectionandranging)獲取的雷射點雲進行匹配以完成車輛在局部環境中的定位，以及使用多攝像機進行目標檢測與識別、深度計算、運動估計等來完成定位。這兩種分別使用中高成本lidar和低成本多攝像機的方案，與常規基於高成本gnss+imu方案相互輔助校正誤差，在自動駕駛中能提供高精度定位信息。
現階段基於攝像機的自動駕駛輔助定位方式，通常是計算相機姿態變換來構成視覺裡程計，這一方法能夠較準確的確定出車輛在一定時間範圍內的位姿狀態。但基於雙目攝像機的視覺裡程計需要實時進行左右目圖像的矯正、配準和視差圖的計算，並不能以較高頻率輸出，對於1600×1200像素尺寸的圖像進行雙目圖像的深度計算幀率小於10fps(framespersecond)。圖像處理幀率較低，依賴攝像機所計算得到的定位信息輸出頻率也較低，與gnss+imu等其他定位信息進行融合時，則需要考慮更多的時間同步、線性/非線性插值等問題，影響高精度定位信息的可靠性、實時性、準確性。能夠達到實時、適用、魯棒的車道級定位精度的多攝像機圖像處理技術方案，在智能交通檢測系統與自動駕駛領域中佔據核心的地位。
技術實現要素：
針對現有技術的不足，本發明要解決的技術問題是提供一種基於可變網格的圖像特徵檢測在自動駕駛中的車輛縱向定位的系統及方法，應用基於可變網格區域(攜帶尺度信息)的orb特徵提取算法，在車載雙目視覺系統中檢索到特定的前方目標，並輸出視覺系統到前方目標的距離，根據這一距離以及雙目系統在車輛中的安裝位置，即可與高精度導航中的車輛軌跡進行校正，提高自動駕駛中的車輛縱向定位精度。
本發明所採用的技術方案如下：
一種基於可變網格的圖像特徵檢測在自動駕駛中的車輛縱向定位系統，該系統按照功能模塊劃分包括高精度導航系統、雙目攝像機、圖像預處理器、目標檢測器、目標跟蹤器和目標距離計算器；
所述高精度導航系統，用於實時進行地圖檢索並根據車體當前位置向目標檢測器發送車體行進前方的出現或將要出現的目標物的名稱id，並根據特定目標距離對高精度導航進行縱向距離矯正；
所述雙目攝像機，包括左目攝像機和右目攝像機，用於實時採集車輛行進前方視頻圖像，並輸出給圖像處理器進行預處理；
所述圖像預處理器，用於根據雙目攝像機標定的內外參數進行雙目攝像機採集圖像的畸變矯正、極線約束校正、圖像的灰度化，以及圖像的分發工作；
所述目標檢測器，用於接收到高精度導航系統發送來的特定目標物名稱id，對圖像預處理器分發的灰度圖像中左目圖像進行基於可變網格的圖像特徵匹配工作，並離線生成的目標物可變網格特徵文件；
所述目標跟蹤器，用於根據圖像預處理器輸入的圖像以及目標檢測器檢測到的特定目標物的檢測矩形框，完成基於圖像區域的跟蹤操作，將特定目標區域圖像及其鄰域部分圖像作為卷積模板，在隨後的圖像幀中判斷整幅輸入的新場景圖像中卷積響應最高的區域，再用最高響應區域更新當前卷積模板；並持續輸出每一幀最高響應區域作為目標的跟蹤位置；
所述目標距離計算器，用於通過極線幾何約束計算雙目攝像機距離目標物的垂直方向上的距離，進而得到車體當前幀採集時與特定目標物的距離。
基於上述系統實現的一種基於可變網格的圖像特徵檢測在自動駕駛中的車輛縱向定位方法，包括以下步驟：
s1，在部署過高精度地圖與gnss+imu系統的自動駕駛車輛上，安裝前向雙目攝像機，並對雙目攝像機進行內外參數的標定；
s2，根據高精度地圖資料庫中的場景中特定目標物，結合在實際道路中運行時攝像機採集的視頻幀，提取包含特定目標區域的多幀圖像，構成目標物提取圖像幀序列，進行目標物特徵提取，製作基於可變網格的特徵描述文件；
s3，在自動駕駛車輛啟動準備階段，依次完成高精度導航系統、雙目攝像機、圖像預處理器、目標檢測器、目標跟蹤器、目標距離計算器各個模塊的初始化工作；
s4，在自動駕駛線上運行階段，整套系統需要高精度導航進行檢測過程的觸發，需要輸入系統的數據源是高精度地圖中目標物的名稱id、導航中計算出的大概距離，以及雙目攝像機經過預處理操作輸入的圖像幀序列，按照「檢測」-「跟蹤」-「距離輸出」的流程進行場景中特定目標物的距離輸出；
s5，通過攝像機計算輸出的距離，輸入至高精度導航模塊，輔助執行縱向校正過程。
與現有技術相比，本發明具有以下優點：
1.對於自動駕駛面臨的動態複雜道路條件，利用低成本視覺傳感器，可以有效地校正gnss+imu定位系統縱向誤差，提高自車定位精度；
2.降低了傳統雙目視覺系統中運算複雜度，使視覺傳感器部分的定位達到系統實時性的輸出頻率要求；
3.在實際目標檢測與跟蹤過程中，較多計算使用圖像卷積操作，便於本發明方法工程應用中在嵌入式+gpu系統中的移植與硬體加速。
附圖說明
圖1是根據本發明內容實施的自動駕駛中一種基於可變網格的圖像特徵檢測的縱向定位系統結構圖及方法流程示意圖；
圖2是對應本發明內容步驟2的人工標記特定目標物所在區域的結果示意圖；
圖3是本發明所述的可變網格劃分結果示意圖，該網格劃分方法採用的是步驟42所述的二分劃分方法；
圖4是特徵匹配用於目標物檢測與定位的示意圖，其中左側為待檢測的目標物，右側為測試場景，通過特徵點檢測與匹配過程，能夠得到兩幅圖中的特徵點對應關係，計算其對應關係的單應性映射，即可在測試場景中得到目標物的檢測結果與目標可能所在的檢測區域；
圖5描述的是左右目攝像機的圖像輸入目標檢測器並成功完成目標物的檢測與提取的運行結果示意圖；
圖6描繪了漸進度的判斷方式：外包矩形abcd(圖像外邊緣)以及內部對特定目標物檢測框矩形mnop，內部矩形框mnop四邊分別距離外包矩形的垂直距離為dis_t、dis_r、dis_b以及dis_l；
圖7描述的是按照基於可變網格的圖像特徵匹配算法的0,1,2序列號進行匹配的結果圖；左側為不同序列號檢測模板的重繪圖，右側為實際攝像機採集的場景圖像幀，從左側至右側連接的線段為繪製的對應特徵匹配點連線；
圖8為連續的20幀圖像跟蹤序列；左上角圖像為輸入的第一幀圖像以及待跟蹤的目標矩形框，其餘圖像為連續幀的跟蹤結果。
具體實施方式
為了使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖對本發明的具體實施方式做詳細的說明。
本發明提供了一種基於可變網格的圖像特徵檢測算法，通過在自動駕駛系統中安裝攝像機所採集到的車輛周邊影像，通過輸入高精度導航系統中給出的關於特定場景目標信息與高精度導航中道路計算的目標距離，通過應用一種基於可變網格區域大小(攜帶尺度信息)的特徵提取算法，可以在車載雙目視覺系統中檢索到特定的前方目標，並輸出視覺系統到前方目標的距離。根據這一距離信息以及雙目系統在車輛中的安裝的物理位置，即可與高精度導航中的車輛軌跡進行校正，提高自動駕駛中的車輛縱向定位精度。
上述高精度地圖中的特定場景目標，指的是各種交通信息指示牌等固定的場景物體，這些特定目標一般存在於高精度地圖資料庫內，因此能夠在自動駕駛的導航系統中被提前約定數據關係，即一系列屬於某一特定目標的可變網格特徵描述，與高精度地圖數據中對應目標的名稱。在自動駕駛車輛運動過程中，高精度導航系統預判前方可能出現到車載攝像機視場內的目標物名稱，將這一信息發送至目標檢測模塊調用資料庫中預製的可變網格特徵文件，用以完成特定目標的檢測與匹配。
本發明在自動駕駛的縱向輔助定位上提供一種基於可變網格的圖像特徵檢測與提取方法，具體步驟如下：
s1，在部署過高精度地圖與gnss+imu系統的自動駕駛車輛上，安裝前向雙目攝像機，並對雙目攝像機進行內外參數的標定；
這一步驟中，需要詳細記錄的設備屬性與參數有：左目攝像機相對於車身坐標系的安裝位置信息，左目攝像機內參m1、d1，右目攝像機內參m2、d2，和左右目攝像機的外參r、t，其中m1與m2分別表示兩個攝像機的焦距fx、fy和主點位置cx、cy，形式為3*3矩陣形式：d1、d2分別表示左右目攝像機的成像畸變係數；外部參數r、t用於描述右目攝像機的位置相對於左目攝像機的旋轉角度和平移距離。
通過雙目攝像機的內參數可以校正攝像機成像畸變，以及在進行視差計算、深度計算中應用左右目攝像機外參。一方面可以通過內參數校正由於鏡頭透鏡安裝引入的切向與徑向畸變，使成像結果中類似平整直線邊緣退化成弧線邊緣的畸變誤差被儘可能消除；另一方面，右目相機像平面中一點(x′,y′)與場景中的3d點(x,y,z)之間的投影關係可以通過相機內、外參數給出：其中s僅代表在尺度上的變化量。
s2，根據高精度地圖資料庫中的場景中特定目標物，結合在實際道路中運行時攝像機採集的視頻幀，提取包含特定目標區域的多幀圖像，構成目標物提取圖像幀序列，進行目標物特徵提取，製作基於可變網格的特徵描述文件；
其中，進行目標物特徵提取的圖像，源於左目攝像機採集的視頻幀。對於特定目標物進行特徵提取的視頻幀，可按照粗略估算的近、中、遠採集3幀圖像構成目標物提取序列。特別的，本發明支持更多幀目標物圖像進行特徵提取，但實際應用中出於對特徵匹配效率的考慮，不大於3幀視頻幀進行特徵提取為優。
這一步驟中，可根據特定目標檢測算法和/或手動標記的方法，在圖像幀中檢測和/或框選出場景中的特定目標物，特徵描述文件中需要記錄此時框選的網格尺寸。距離目標物不同距離時所採集的圖像序列，網格尺寸能夠反饋採集時攝像機(自動駕駛車輛)距離目標物的距離信息，以及網格內的目標物在圖像中所呈現的細節、特徵點數列，即含有豐富的尺度信息。
特別的，本發明在進行基於可變網格的圖像特徵提取的計算過程中，使用的特徵描述算法為經典orb(orientedbrief)特徵描述算法。進一步，經序列化後存儲的目標物可變網格特徵文件的存儲內容定義如下：
a)高精度地圖資料庫中，可檢索的目標物的名稱id；一般的，為一串數字編號；
b)根據圖像採集時距離目標物的遠近程度，為採集到的圖像幀序列分配的序列號；從0開始分配序列號。當前目標物採集3幀，則對應0，1，2的圖像序列編號。
c)在對應不同序列號的圖像幀中，特定目標物網格中的關鍵特徵點序列，所述的關鍵特徵點序列指的是多幀之間可以被匹配的特徵點子集，即在圖像幀序列中表示同一點的特徵點所組成的序列；
d)與特徵點序列相對應的特徵點的orb特徵描述；
e)存儲圖像中特定目標物的檢索網格相關信息，一般的，包括該網格的左上角圖像坐標與網格在圖像中的寬與高；對於人工標記的方法，網格即對應該幀圖像中目標物的最大外包矩形；對於特定的目標檢測算法而言，網格對應了當前幀運行目標檢測算法時獲取的目標物檢測定位輸出的矩形窗口；
f)根據當前傳統的gnss+imu導航系統所得到的採集時與目標物之間的距離信息。
進一步，可以離線的完成基於可變網格的圖像特徵的提取，即製作了與高精度地圖數據中特定目標物相關的特徵模板庫文件。
s3，在自動駕駛車輛啟動準備階段，依次完成各個模塊的初始化工作；
按照本系統的功能模塊劃分，需要依次完成高精度導航系統、雙目攝像機、圖像預處理器、目標檢測器、目標跟蹤器、目標距離計算器的各個模塊初始化任務。
圖像預處理器需要完成雙目攝像機採集圖像的畸變矯正、極線約束校正、圖像的灰度化，以及圖像的分發工作，因此在初始化時需要依賴步驟1中攝像機標定的內、外參數。進一步，彩色圖像的灰度化需要通過0.299*b+0.587*g+0.114*r完成，b、g、r分別代表每一像素點的藍色、綠色、紅色三通道的像素強度。
目標檢測器需要完成的任務是，在接收到高精度導航系統發送來的特定目標物名稱，對圖像預處理器分發的灰度圖像中左目圖像進行基於可變網格的圖像特徵匹配工作。因此，目標檢測器需要初始化步驟2中離線生成的特徵文件。
目標跟蹤器會完成基於圖像區域的跟蹤操作，由於該模塊使用了通用離散傅立葉變換的運算庫fftw(fastestfouriertransforminthewest)，需要在初始化階段完成fftw的預設參數讀入。
目標距離計算器是執行基於雙目攝像機的深度運算的核心模塊，初始化依賴於雙目攝像機的內外參數。
s4、在自動駕駛線上運行階段，整套系統需要高精度導航進行檢測過程的觸發，需要輸入系統的數據源是高精度地圖中目標物的名稱、導航中計算出的大概距離，以及雙目攝像機經過預處理操作輸入的圖像幀序列，按照『檢測』——『跟蹤』——『距離輸出』的流程進行場景中特定目標物的距離輸出。
進一步，所述步驟4包括以下子步驟：
s41，利用高精度導航系統發送進入地圖檢索範圍的目標物名稱id，將在步驟s3中初始化好的目標物對應的特徵描述文件預讀取至目標檢測器；特別的，需要預讀取出對應的網格相關信息與採集時距離信息，即步驟2中存儲內容定義e與定義f。
s42，利用高精度導航系統觸發時估計的目標物距離值，與步驟s41中預讀取的目標物特徵描述文件內容，判斷出此時可變網格使用的網格尺寸信息，並採用基於二分查找的劃分方法，使用該網格尺寸對圖像預處理器輸出的左目攝像機採集的圖像進行劃分，得到當前可變網格；計算過程如下：
(1/2)(n+1)*lenglobal＜＝lenblock＜＝(1/2)n*lenglobal
式中，n是需要根據迭代計算出的二分查找次數，即均分次數；lenglobal為經過預處理的攝像機圖像的長或寬；lenblock為當前的可變網格使用的尺度信息中，網格尺寸的長或寬；通過從n＝1開始迭代運算直到計算出滿足上式的n值；需要注意的是，這裡分別按照圖像的y、x方向計算基於圖像的長、寬所對應的ny和nx；分別在左目攝像機經預處理後的輸入圖像上，平均劃分長為ny份、劃分寬為nx份，所劃分的圖像網格即為當前可變網格。
s43，依次遍歷上一步驟得到的基於可變網格劃分後的圖像區域，對每一區域進行orb特徵提取，並完成與目標物特徵描述文件中的關鍵特徵點序列及特徵點的orb特徵描述(即步驟41中載入的存儲內容定義c、定義d)的檢測與匹配；若匹配成功，則對圖像預處理器輸出的右目攝像機採集的圖像進行相同的檢測與匹配並跳轉至步驟s44；否則圖像預處理器讀入下一幀的左目圖像，重新執行該步驟；
進一步的，匹配過程具體包括以下內容：首先，通過orb特徵點描述的差異距離來判斷是否兩個orb特徵點為相似，對每一區域的特徵點與步驟s41載入的模板特徵點之間首先完成一次特徵點匹配，得到一個從「檢測區域」到「模板區域」的特徵點匹配對的序列，再反向的從「模板區域」到「檢測區域」完成同樣的操作得到交叉驗證的特徵點匹配對的序列；所述檢測區域指左目相機採集到的特定目標物所在區域，所述模板區域指從高精度地圖資料庫中的特徵目標物所在區域；其次從兩組匹配對序列中得到「檢測區域」與「模板區域」之間存在的特徵點的映射關係，並將正向映射與反向映射之間存在的可逆變換，定義為重映射關係；然後檢測當前匹配過程中，是否特徵點對的數量達到可求取映射矩陣的閾值，一旦超過4個特徵點對那麼即可計算映射矩陣，再進行重映射關係檢測，如果滿足，則本次匹配過程成功，否則失敗。
進一步的，若匹配過程一直失敗，直到高精度導航組件從地圖數據中檢索到當前車輛已離開了特定目標物的可視區域，則宣告當前一次檢測任務失敗，本次計算流程不再繼續進行下去。
s44，分別將成功完成目標物檢測的左、右目圖像幀與左右目圖像檢測矩形框作為參數，完成對左目圖像、右目圖像的特定區域的跟蹤器，跟蹤器初始化過程需要傳入的參數是上一步驟成功獲取到的左、右目檢測矩形框以及對應的左右目圖像，一旦跟蹤器初始化成功，後續過程中持續的將圖像預處理器輸出的左右目圖像幀分別輸入至對應的目標跟蹤器，目標跟蹤器將特定目標區域圖像及其鄰域部分圖像作為卷積模板，在隨後的圖像幀中判斷整幅輸入的新場景圖像中卷積響應最高的區域，再用最高響應區域更新當前卷積模板；所述特定目標區域圖像即為特定目標物的檢測矩形框區域；
目標跟蹤器持續輸出每一幀最高響應區域作為目標的跟蹤位置；
進一步的，判斷跟蹤位置與攝像機採集的圖像中邊緣的接近程度，使用[0,1]區間的漸進度量化。漸進度的計算方法是分別計算當先的特定目標跟蹤位置的外包矩形4頂點分別到圖像外部4個邊緣的距離最小值dbmindis，根據場景圖像的高hscn與寬wscn，可以計算漸進度矩形(當前幀圖像中目標跟蹤的外包矩形框距離場景圖像邊緣的最短距離，作為一個虛擬的、名為漸進度矩形的每一條邊與場景圖像邊緣的距離)與場景圖像矩形面積的比值((hscn-2*dbmindis)*(wscn-2*dbmindis))/(hscn*wscn)。當比值越趨近於1則跟蹤位置越接近於圖像邊緣。從成像意義上描述，當車輛即將從目標物旁行駛經過時，從攝像機所採集的圖像上看，目標物的圖像也是即將從圖像中心附近移動到圖像邊緣，然後越過圖像邊緣(超出攝像機視場角)直到從圖像邊緣消失。
從漸進度的計算輸出上看，可以很好的反映出此時攝像機是否與目標在合適的距離，以及是否需要根據漸進度作為步驟45以及後續步驟的截止條件。一般的，將設置漸進度閾值為0.8～0.9，大於這個閾值就認為目標過於接近圖像的邊緣處，可能有部分區域已經超出圖像邊緣無法完成左、右目直接的圖像匹配過程。
s45，判斷跟蹤位置與攝像機採集的圖像中邊緣的接近程度，即漸進度，並設置漸進度閾值為0.9，若左、右目所跟蹤到的目標外包矩形的圖像邊緣漸進度都不大於0.9，則進入目標距離計算器，通過極線幾何約束來計算雙目攝像機距離目標物的垂直方向上的距離，進而得到車體當前幀採集時與特定目標物的距離；否則，認為此時左、右目攝像機已經無法完整的採集到特定跟蹤目標物。
進一步，進入目標距離計算器的左右目圖像，以及相應的跟蹤矩形框區域，能夠通過計算極線幾何計算出對應目標物的景深，也就是得到了在當前圖像幀採集時，雙目攝像機距離目標物的垂直方向上的距離，這一距離可以根據左目攝像機在車輛坐標系下的位置得到車體當前圖像幀採集時對特定目標物的距離。
步驟5、通過攝像機端計算輸出的距離，輸入至高精度導航模塊，輔助執行縱向校正過程。
結合附圖1，對本發明做進一步說明：
首先，在部署了本發明的軟硬體系統的自動駕駛車輛上，啟動了雙目攝像機系統，初始化了圖像預處理器，經過預處理的左、右目圖像會被相機畸變校正、雙目極線校正、裁剪以及縮放。處理後的左、右目圖像會按需求被分發至目標檢測器、目標跟蹤器、目標距離計算器。
其次，使用預製的可變網格離線特徵文件初始化目標檢測器，使用fftw配置文件初始化目標跟蹤器，使用雙目攝像機內外參數初始化目標距離計算器。待初始化成功後，整套系統可上線運行。
第三，在自動駕駛車輛行駛過程中，由高精度導航系統發送「需要前方特定目標檢測」指令至目標檢測器。目標檢測器會按照此時通過導航系統計算出目標物距離來調用不同的目標物序列號(對應特徵文件存儲格式b項)，如說明書附圖7所示，從上至下反映了按照基於可變網格的圖像特徵匹配算法的0,1,2序列號進行匹配的結果圖，左側為不同序列號檢測模板的重繪圖，右側為實際攝像機採集的場景圖像幀，從左側至右側連接的線段為繪製的對應特徵匹配點連線。
第四，待左目檢測成功後，對右目圖像進行相同的操作步驟。如果右目依舊檢測成功，則將進入目標跟蹤器的操作環境。在圖8的連續20幀圖像跟蹤序列中描述了這一過程的實例，圖8左上角圖像為輸入的第一幀圖像以及待跟蹤的目標矩形框，其餘圖像為連續幀的跟蹤結果。左、右目圖像同時輸入目標跟蹤器，並得到跟蹤的結果。
第五，將當前左、右目圖像幀的跟蹤結果與經過圖像預處理器分發的左、右目圖像輸入目標距離計算器，得到輸出的距離值。一般的，如果此步驟返回了失敗標示，則需要檢測當前左右目圖像中是否包含特定檢測目標物，即再次調用目標檢測器查看返回值，用以判斷是否當前目標物脫離了攝像機的可視範圍、是否本次特定目標檢測、跟蹤、距離輸出的處理流程完結。
第六，上一步驟中輸出的距離計算結果，以及對應的採集攝像機左、右目圖像的系統時間戳，一併返回至高精度導航模塊，直接或間接校正高精度導航對應系統時間戳的縱向車輛位置。
至此，本發明的實施例結束，即完成了一次自動駕駛中基於可變網格的圖像特徵檢測在車輛縱向定位上的應用實例。
在本說明書的描述中，術語「一個實施例」等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或特點包含於本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或實例。而且，描述的具體特徵、結構、材料或特點可以在任何的一個或多個實施例或示例中以合適的方式結合。
說明書中未闡述的部分均為現有技術或公知常識。本實施例僅用於說明該發明，而不用於限制本發明的範圍，本領域技術人員對於本發明所做的等價置換等修改均認為是落入該發明權利要求書所保護範圍內。