基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法
2023-05-05 04:27:41
專利名稱：基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法
基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法技術領域：
本發明屬於移動載體的自主制導技術領域，特別涉及一種基於序列雙色點陣式航標的 魚眼鏡頭全向視覺制導方法。背景技術：
普通視覺系統的成像範圍窄，固定指向的普通視覺系統有很大的應用局限性。而全向 視覺的超大廣角視野則非常有利於全方位觀測，具有很大的應用潛力。反射式全景攝像機 構建的全景視覺系統，在移動機器人導航領域已得到廣泛應用，而採用魚眼鏡頭得到的全 向視覺系統的應用尚待開發。魚眼鏡頭垂直於水平面豎直向上放置的全向機械視覺可以一 次性攝取整個半球域的全部場景，無需依靠單臺攝像機的雲臺轉動或多臺攝像機的影像合 成，因此將其應用於大廣角安全監控和移動體的自主制導有極大的優勢，因此具有重要的 研究意義和廣泛的應用前景。然而魚眼鏡頭成像的桶形畸變很大，因此在應用開發中要克 服圖像畸變帶來的問題。
目標識別是圖像處理領域的熱門課題，在有具體應用目標的識別系統中目標識別依賴 於特定對象物特徵的表述、檢測、提取和分析。各種理論和算法的發展可以為魚眼鏡頭全 向視覺制導方法的開發借鑑並進行應用創新。適合全向視覺圖像導航應用的航標模式設 計，目標特徵向量的確定，多目標的分割，識別算法的選擇和集成，處理程序的開發則是 本專利的創新點，而在圖像畸變環境，複雜背景，目標部分遮擋及光照條件影響等這些幹 擾存在的不利條件下能保證航標識別程序的實時性，準確性，可靠性和魯棒性則有更實際 的應用價值。
以傳統的PC機或高性能工控機加圖像採集卡搭建的視覺處理系統技術成熟。但資源配 置冗餘，體積大，不宜應用於機載系統。而數位訊號處理器(Digital Signal Processor, 簡稱DSP )以其特有的靈活性、穩定性、體積小、功耗小和易於實現自適應處理等特點， 在數據、語音、視像信號等高速數學運算和實時處理方面具有獨特的優勢，是進行產品定 制開發的理想硬體平臺，特別在當前圖像處理領域中有潛在的應用前景，亟待大力開展應 用研究和開發。
移動體制導是一項有著廣泛應用領域的關鍵技術，自主制導的移動機器人和自引導車 巳應用於先進位造、自動運輸、智能倉庫及導購，娛樂、家用、助殘機器人等領域。而"視 覺制導"是一項在室內外環境導航應用中經常為人們首選的方法。其主要優勢是"視覺制 導"是一種被動的導航技術，它只利用環境中自然的或者人為設置的特徵物進行定位導航， 而不需要外部專設的制導基站的支持(如全球定位系統GPS等)。而全向視覺的自主制導 則是一種全新的解決方案。
發明內容
3本發明目的是提供一種通用性強、應用範圍較廣的序列雙色點陣式航標，以及基於該 航標的魚眼鏡頭全向視覺制導方法。該方法採用序列雙色點陣式航標，在魚眼鏡頭全向視 覺圖像中進行特定航標的識別，並在機載嵌入式DSP平臺上實現移動體自主制導的全新 方法。
本發明提供的基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法包括-
步驟一、魚眼鏡頭全向視覺系統建立將魚眼鏡頭垂直於水平面豎直向上放置，配合 高性能模擬相機建立魚眼鏡頭全向視覺系統；
步驟二、航標構建採用兩種不同顏色組建航標對，利用顏色閾值區分單一航標，由 一組航標對組成具有拓撲特性的序列模式，構建成序列雙色點陣式航標，有效解決移動體 運行中的航標丟失及太遠處航標撲獲識別定位困難的實際問題；
步驟三航標識別器初始化包括室內外光照條件檢測，優化圖像反差和顏色匹配； 系統初始參數設置如採樣窗口標定及顏色參數自動整定等；顏色參數自動整定步驟為在 採集圖像後，通過程序在圖像中建立顏色標定區域，將被標定航標移動至圖像中的標定區 域，系統自動讀取相關變量數值，進行均值及方差計算，獲得標定參數；
步驟四圖像的前期處理每次採樣獲得的圖像將利用優化的顏色閾值對圖像進行二 值化處理，達到抑制背景突出航標的效果，同時在圖像關聯區域內進行圖像增強濾波處理， 採用分塊統計收縮、膨脹的圖像平滑算法去除其中的噪聲信息；
步驟五當前有效航標識別每次採樣選定用於定位導航計算的一對航標為當前有效 航標。通過區域分割算法和連通域分析，對每個連通域進行認證，貼上標籤並計算出中心 點坐標，由標籤號大小，連通域面積和連通域中心點位置信息共同建構辨識法則來給航標 分組，配準雙色航標對並判定當前一對有效航標位置同時存儲航標切換時備用航標對的信 息；
步驟六序列航標切換為提高識別效率和定位精度選擇儘量靠近鏡頭的航標對為最 佳航標位置參與定位導航計算。為此需設定最佳航標位置區及跟蹤門起始和終結閾值。當 檢驗到當前航標對中的任一個點超出終結閾值線時即進行航標切換和更新，同時提取先前 已備份的新航標對的位置信息；
步驟七移動體制導策略為控制移動體運行實現自主制導，在快速採樣小偏差情 況下可採用圖像坐標相對定位方法進行制導計算。即隨時檢測航標對連線相對圖像坐標系 的位姿，用角度和位置偏差值加權處理後獲得移動體驅動控制的反饋信息進行導航。對由 兩後輪速度差驅動的履帶式移動機器人為自主導航的移動體而言兩輪電機驅動電壓差應 和這個角度和位置偏差值加權求和的值成正比。
本發明的優點和積極效果
參基於魚眼鏡頭建立的全向視覺圖像採集系統。魚眼鏡頭垂直於水平面豎直向上放 置，每幀圖像可攝取前後左右及上方整個半球域的全部場景，無需依靠單臺攝像機的轉動 或多臺攝像機的影像合成，將周圍環境一眼看遍，非常適用移動體制導的應用。參根據魚眼圖像信息量大的特點，設計了一種序列雙色點陣式航標，用於移動載體 自主制導。航標的大小、高度、形狀、及航標間距包括顏色搭配均可根據實際應用場合進 行調整。序列雙色點陣式航標模式在室內外結構環境中具有貼近自然景物的拓撲特徵、簡 單實用、易於設置和維護，在魚眼全向視覺大場景畸變圖像中，可有效地提高航標自動識 別和跟蹤效率。
參系統自動進行顏色參數整定，無需人為設置。
特定航標多目標識別跟蹤的綜合算法，集成了一系列有效的圖像處理手段和圖像 增強濾波算法並進行了優化、改進和創新，消除了幹擾信息對航標識別造成的影響，計算 速度快、識別效果好。
參對圖像中的多個航標可以進行動態處理和跟蹤並實時選擇最佳位置航標，優化處 理程序，適時進行航標切換，提高了系統的精確性、可靠性及魯棒性。
參應用於大場景畸變圖像環境中的制導策略簡單、有效，提供了可以廣泛應用到移 動體自主制導的一種可行解決方案。
參依託於嵌入式DSP平臺，構成一套完整的、軟硬體結合的、實時性強集成度高的 車載制導系統。
圖1是全向視覺自主制導方法與系統框圖2是航標設置模式示例；
圖3是全向視覺識別器程序框圖4是制導策略；
圖5是自動顏色參數整定；
圖6-A是原始圖像；
圖6-B是航標識別器的航標識別結果。
具體實施方式
實施例1:
基於序列雙色點陣航標的魚眼鏡頭全向視覺制導方法與系統如圖1所示，過程由七個 步驟組成魚眼鏡頭全向視覺系統建立、航標設置、航標識別器初始化、圖像的前期處理、 當前有效航標識別、序列航標切換、移動體制導策略。
下面的實用案例具體說明了本發明的實施步驟和應用效果。
步驟一試驗環境為室外，利用8支燈杆，每兩支為一對，每對分別由黃色、藍色組 成，建立燈杆序列航標。
步驟二以魚眼鏡頭FE185C046HA-1及Watec221S模擬相機建立全向視覺圖像採集系統，圖像採集、輸出解析度均為720X576。 ICETEK-DM642-PCI為DSP圖像處理硬體平臺。 採用由兩後輪速度差驅動的履帶式移動機器人為自主導航的移動載體。
步驟三航標識別器初始化。對室外光線進行檢測，調整FE185C046HA-1魚眼鏡頭光 圈。顏色匹配優化，保證與周圍環境及航標對顏色之間的反差，將燈杆序列分別設定為黃 色和藍色。航標採樣窗口配置，根據實施例現場情況，將圖像橫坐標150到550，縱坐標 0到300設定為航標採樣窗口。顏色閾值的自動整定，將黃色、藍色航標分別移動至圖像 中的顏色自動標定區域，系統自動讀取相關變量數值，進行均值及方差計算，分別得到藍 色Y、 Cb、 Cr閾值限定範圍為80<Y<120、 130<Cb<160 、 100<Cr<125，黃色Y、 Cb、 Cr閾值限定範圍為9(XY〈130、 70<Cb<100 、 130<Cr<160。
步驟四圖像的前期處理。利用步驟三中得到的圖像閾值範圍對航標採樣窗口內的每 一像素點進行圖像二值化處理，不在閾值範圍內的像素點的灰度值均被置為O，屬於藍色
範圍內的像素灰度值被置為100，屬於黃色範圍內的像素灰度值被置為150。將航標採樣 窗口劃分為2500個圖像模塊，每塊為6X8的矩形，統計模塊內非零點的個數，小於20 個非零點即被認定為噪聲，將此模塊內的每一個像素灰度值置零。
步驟五當前有效航標識別。在航標採樣窗口範圍內，按照灰度值100和灰度值150 分別進行兩次八連通域分析，分析的同時給每個連通域貼上標籤。灰度值為IOO的連通域 標籤號由奇數組成；灰度值為150的連通域標號由偶數組成，同時計算出圖6-B中的四個 連通域的中心點坐標，從左邊第一行起分別為(449， 161)、 (223， 175)、 (468， 285)、 (217， 291);面積分別為237、 201、 493、 481。圖6-B中左上航標標籤號為2，左下航 標標籤號為4，右上航標標號為1，右下航標標號為3。確認當前有效航標的策略為，必 須同時滿足三個條件 一，奇、偶標籤號中的最大值。二，面積值在每種顏色航標中最大。 三、中心點坐標在每種顏色航標中距離圖像中心點(360， 288)最近。用十字線標識當前 有效航標。處理結果如圖6-B中所示。
步驟六航標切換判斷。檢驗是否需要對當前航標進行切換，具體方法為實時監測當 前有效航標對，當兩個航標中的任意一個中心點的X或者Y坐標超出圖像有效區域(X 方向150-550， Y方向0-300)則捨棄當前航標組，切換到標籤號相鄰的下一組航標。
步驟七移動載體自動制導。制導方法如圖4所示，在圖6-B的實例中當前兩個有效 航標連線的中心點O'，其坐標為(383， 287)，角度偏差0等於-3° ，位置偏差r為23。 Speed為左、右輪默認速度，等於0.2單位為米每秒，Id等於0.007， K2等於0.002 (Id、 K2 需根據不同的移動載體求出)。在圖6-B狀態下，按照用公式1進行計算履帶式移動機器 人輪速計算，結果為左輪速度0.267米每秒，右輪速度0.133米每秒。 S戸dl = S戸d - (iH x + AT2 x Ar) S戸d及=S戸d + (in x + x Ar)
權利要求
1、一種基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法，其特徵在於該方法依次包括魚眼鏡頭全向視覺系統建立、航標構建、航標識別器初始化、圖像的前期處理、當前有效航標識別、序列航標切換、移動體制導策略。
2、 根據權利要求1所述的基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法， 其特徵在於所述的魚眼鏡頭全向視覺系統建立是，將魚眼鏡頭垂直於水平面豎直向上放 置，配合高性能模擬相機建立魚眼鏡頭全向視覺系統。
3、 根據權利要求1所述的基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法， 其特徵在於所述的航標構建，採用兩種不同顏色組建航標對，利用顏色閾值區分單一航標， 由一組航標對組成具有拓撲特性的序列模式，構建成序列雙色點陣式航標，有效解決移動 體運行中的航標丟失及太遠處航標撲獲識別定位困難的實際問題。
4、 根據權利要求1所述的基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法，其特徵在於所述的航標識別器初始化，包括室內外光照條件檢測，優化圖像反差和顏色匹配；系統初始參數設置如採樣窗口標定及顏色參數自動整定等；顏色參數自動整定步驟為 在採集圖像後，通過程序在圖像中建立顏色標定區域，將被標定航標移動至圖像中的標定 區域，系統自動讀取相關變量數值，進行均值及方差計算，獲得標定參數。
5、 根據權利要求1所述的基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法， 其特徵在於所述的圖像前期處理，每次採樣獲得的圖像將利用優化的顏色閾值對圖像進行 二值化處理，達到抑制背景突出航標的效果，同時在圖像關聯區域內進行圖像增強濾波處 理，採用分塊統計收縮、膨脹的圖像平滑算法去除其中的噪聲信息。
6、 根據權利要求1所述的基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法， 其特徵在於所述的當前有效航標識別，每次採樣選定用於定位導航計算的一對航標為當前 有效航標，通過區域分割算法和連通域分析，對每個連通域進行認證，貼上標籤並計算出 中心點坐標，由標籤號大小，連通域面積和連通域中心點位置信息共同建構辨識法則來給 航標分組，配準雙色航標對並判定當前一對有效航標位置同時存儲航標切換時備用航標對 的信息。
7、 根據權利要求1所述的基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法， 其特徵在於所述的序列航標切換，為提高識別效率和定位精度選擇儘量靠近鏡頭的航標對 為最佳航標位置參與定位導航計算；需設定最佳航標位置區及跟蹤門起始和終結閾值；當 檢驗到當前航標對中的任一個點超出終結閾值線時即進行航標切換和更新，同時提取先前 已備份的新航標對的位置信息。
8、 根據權利要求1所述的基於序列雙色點陣式航標的魚眼鏡頭全向視覺制導方法， 其特徵在於所述的移動體制導策略，為控制移動體運行實現自主制導，在快速採樣小偏差 情況下可採用圖像坐標相對定位方法進行制導計算，即隨時檢測航標對連線相對圖像坐標 系的位姿，用角度和位置偏差值加權處理後獲得移動體驅動控制的反饋信息進行導航，對 由兩後輪速度差驅動的履帶式移動機器人為自主導航的移動體而言兩輪電機驅動電壓差 應和這個角度和位置偏差值加權求和的值成正比。
全文摘要
基於序列雙色點陣航標的魚眼鏡頭全向視覺制導方法。包括魚眼鏡頭全向視覺系統建立、航標構建、航標識別器初始化、圖像的前期處理、當前有效航標識別、序列航標切換、移動體制導策略。本發明涉及魚眼鏡頭全向視覺的導航應用，一次性攝取整個半球域的全部場景，無需依靠單臺攝像機的轉動或多臺攝像機的影像合成，對全方位觀測及移動體的自主制導極為有利；序列雙色點陣式航標模式在室內外結構環境中具有貼近自然景物的拓撲特徵、簡單實用、易於設置和維護，在魚眼全向視覺大場景畸變圖像中，可有效地提高航標自動識別和跟蹤效率；特定航標多目標識別器依託於嵌入式DSP硬體平臺，構成的全向視覺車載制導系統，實現了移動體自主制導的應用目標。
文檔編號G05D1/02GK101452292SQ200810154620
公開日2009年6月10日 申請日期2008年12月29日 優先權日2008年12月29日
發明者馮為嘉, 曹作良 申請人:天津理工大學