船舶行駛智能型全天候主動安全預警系統及其預警方法

2023-04-24 12:39:11

專利名稱：船舶行駛智能型全天候主動安全預警系統及其預警方法
船舶行駛智能型全天候主動安全預警系統及其預警方法技術領域 本發明涉及一種預警系統，特別涉及一種船舶行駛智能型全天候 主動安全預警系統及其預警方法。
背景技術：
隨著我國航運業的增長導致航運事故發生的風險也同樣的增加。 隨著我國航運的巨大發展，船舶朝著大型化、高速化方向發展，船舶數量與水 域交通密度及危險貨物裝載量不斷增加，海損事故時有發生，造成大量的人員 傷亡和經濟損失，並嚴重汙染水域和自然環境。通過對大量的船舶相撞、船撞橋事故進行統計分析表明，事故原因主要有 三大類第一大類是人員失誤；第二大類是機械故障；第三大類是惡劣的自然 環境。在能見度較差的情況下發生的事故比例達到了 85%以上。船舶避碰成功的關鍵之一是獲取他船等其他危險目標的準確信息。應用雷 達，隨著時間的推移可以通過監視目標船舶的方位和距離的改變來確定目標船 舶的航跡。但是，如果單獨使用雷達，由於雷達在短時間範圍內的精度很低， 立即檢測路線的改變很困難，同時，由於雷達在工作時要向空中輻射大功率電 磁波，因而易遭受電子幹擾，並且角度測量精度較低。另外，由於有很多沒有 安裝AIS或GPS的船舶，或者對於通信協議接口不相同的GPS船舶，本船的 AIS或GPS設備將無法發現。紅外成像設備具有抗幹擾能力強，氣候環境適應性強，晝夜連續被動探測 等優點。尤其是可克服雷達目標因雜波幹擾而難於探測的問題。隨著科技的發 展，紅外成像設備不斷走向成熟，價格上也逐漸走向民用市場。非致冷紅外焦 平面陣列熱像儀是小型低成本應用的主流。從目前發展趨勢來看，該市場即將 出現新的轉折，未來5 10年間將成為與目前CCD可見光攝像技術相匹敵的新興熱門產業。由於紅外目標檢測、跟蹤和識別的優勢，紅外成像設備作為雷達、GPS和AIS等設備外一種視覺信息的補充，必然將會在航運交通系統中發揮重 要作用。紅外成像設備安裝在港口、碼頭、橋梁、躉船、危險江段、閘口、限制區 等重點區域以及海洋和內河中各類船舶上，用於檢測監視船舶導航，在船舶的 安全航行和避碰中發揮積極的作用。此外，紅外圖像信息也可以與其它檢測設 備提供的信息進行融合，為船舶航行提供更加可靠的數據。可以極大地提高操 船人員對於航行周圍環境的感知能力，提高船舶在能見度不良情況下的主動安 全航行保障能力，輔助操船人員進行決策，減少操船的失誤，極大的提高船舶 主動避碰成功率，保障人員的生命和財產的安全，減少或避免嚴重汙染水域和 自然環境事故的發生，確保航行運輸安全。
發明內容
本發明的目的就是針對現有技術的不足，提供一種安裝在港口、 碼頭、橋梁、躉船、危險江段、閘口、限制區等重點區域以及海洋和內河中各 類船舶上，尤其是大型遊船、客船、滾裝船、貨櫃船舶、油船、危險品運輸 船、水上搜救和執法的船舶，解決在夜間及雨天霧天等惡劣天氣下，對周圍多 個運動船舶目標、橋梁、橋墩、礁石目標進行有效監管的體積小、功能全、價 格低、具有智能決策控制功能，且便於加裝的民用產品，極大地提高人員對於 航行周圍環境的感知能力，提高船舶在能見度不良情況下的主動安全航行保障 能力，輔助人員進行決策，減少操船的失誤，極大的提高船舶主動避碰成功率， 可大量減少或避免避碰交通事故的發生，保障人員的生命和財產的安全，減少 或避免嚴重汙染水域和自然環境事故的發生，確保航行運輸安全的船舶行駛智 能型全天候主動安全預警系統及其預警方法。為實現上述目的，本發明採用如下技術方案船舶行駛智能型全天候主動安全預警系統，由目標採樣單元、系統中央處 理單元、顯示單元、單片機、安全預警單元構成；所述目標採樣單元由帶有解碼器的室外智能高速雲臺、帶有視頻採集卡的 紅外熱像儀組成，紅外熱像儀固定在室外智能高速雲臺上，室外智能高速雲臺 通過解碼器與系統中央處理單元聯接，紅外熱像儀通過視頻採集卡與系統中央 處理單元聯接；所述中央處理系統包括鍵盤、紅外視頻圖像數位訊號處理單元、系統決策 處理單元； 其中，鍵盤用於向系統決策處理單元輸入信息和控制指令；紅外視頻圖像數位訊號處理單元，用於接收目標採樣單元的數字圖像信號， 根據數字圖像信號，利用存儲器裡的處理和分析裝置，計算目標的位置、方位 角、速度和加速度，並通過串行通訊接口將計算結果送到系統決策處理單元用；系統決策處理單元用於將來自於數位訊號處理單元的信息，結合鍵盤信息 輸入單元輸入的信息，進行主動安全預警決策分析和計算，得到最終的避讓方 案後，通過顯示單元和報警單元同時進行主動安全預警；顯示單元，用於顯示本系統安裝處的周圍已對目標進行了標記的圖像，以 及各目標與本系統安裝處之間的方位角、速度和加速度，同時顯示推薦的避讓 方案、危險級別；單片機，用於接收系統決策處理單元的決策結果，控制報警單元的報警方式；報警單元，用於接收單片機的控制信號，使用不同頻率的聲、光方式表示 危險級別和危險方向的提示信息。系統由於採用一體化設計，實現了對系統安裝處與周圍的多個運動船舶目標、橋梁、橋墩、礁石目標之間距離、方位、速度和加速度的實時探測，中央處理單元智能分析處理，自動進行危險預警判斷決策，並通過直觀的視頻、文字、聲、光、電等符合人性化特點的方式進行自動報警，並最終實現船舶全天候主動安全預警的目的。優選的，所述的紅外視頻圖像數位訊號處理單元為2個浮點數位訊號處理器TMS320C6713， 2個TMS320C6713與紅外熱像儀的視頻採集卡連接；所述的浮點數位訊號處理器TMS320C6713包含圖像存儲器、可編程邏輯器、程序存儲器和控制器，程序存儲器中設有處理和分析裝置。TMS320C6713具有體積小，成本低，穩定性高、實時性好等特點，可同時實現4路視頻採集處理，同時TMS320C6713具有極強的處理能力、高度的靈活性和可編程性，並能很好的滿足目標檢測、跟蹤和識別算法的需要。優選的，在所述紅外視頻圖像數位訊號處理單元中的存儲器內設有大視場圖像配準與拼接裝置，將紅外序列圖像自動拼接為全景視圖，並將自動拼接的全景視圖送到系統決策處理單元存儲。大視場圖像配準與拼接裝置，利用全局運動估計方法，通過估算幀間的變換參數，實現了序列圖像的全景視圖自動拼接。在運動參數估算時，採用了金字塔分層的塊匹配運動矢量估算，有效提高程序的運行速度，其中加入對於異常塊的剔除運算，大大提高全局運動估計的精度。另外，在圖像間光照強度不一的情況下。採用了均衡光差運算，達到了較好的拼接效果。該方法能精確、快速的生成視頻序列的大視場圖像，使得視 頻監控的視野範圍擴大。將自動拼接的全景視圖送到系統決策處理單元存儲， 可以用於後期分析評價以及事故原因分析。優選的，所述的系統決策處理單元為一臺PC計算機。採用普通PC計算機具有價格便宜、功能強大、接口方便，既能夠滿足系統決策計算的要求，又便 於與系統的各個部件進行連接，同時由於計算機的硬碟容量大，可以充分存儲 目標採樣單元採集的紅外視頻圖像和圖像配準與拼接裝置進行自動拼接的全景 視圖。優選的，所述的顯示單元為2臺顯示器，其中一臺顯示器顯示周圍多個已 作標記的目標的圖像；相關的文字信息船舶行駛智能型全天候主動安全預警 系統安裝處與周圍多個船舶、橋梁、橋墩、礁石目標之間的距離、方位角、速 度和加速度；另一個顯示器顯示推薦的避讓方案的文字描述包括採用變速讓 和/或轉舵讓、速度、方位、危險級別、危險方向、報警方式。採用兩臺顯示器 的顯示方式，利用已經得到了實時的全景視像，並且已經對行駛船舶前方 區域的其他會遇船舶(多個目標)、橋梁(橋墩)、水面礁石等多目標進行了有 效的檢測、識別與跟蹤。通過對拼接以後的全景視像的水面區域和檢測到 的多個目標進行彩色著色渲染標記目標，並同時把拼接以後的全景視像和 經過彩色著色渲染標記目標的全景視像同時顯示在顯示器上，經過標記的 圖像顯示可以確保使用者直觀使用本系統，利用文字描述可以使得使用者便於 對系統的性能進行評價，滿足使用者的不同需求。優選的，所述的報警單元為，通過與系統決策處理單元串行通信接口連接 的單片機控制外置的揚聲器和/或報警燈。綜合使用視頻、聲、光、電等符合人 性化特點的方式進行自動報警，提高操船人員對於航行環境的感知能力，並對避撞決策進行輔助，從而提高船舶避碰成功率。優選的，所述目標採樣單元還配備有雷達，雷達屏幕前設有帶視頻採集卡 的可見光圖像傳感器，可見光圖像傳感器通過視頻採集卡與系統中央處理單元 中的可見光視頻圖像數位訊號處理單元聯接，所述的可見光視頻圖像數位訊號處理單元為2個浮點數位訊號處理器TMS320C6713;所述的浮點數位訊號處理 器TMS320C6713包含圖像存儲器、可編程邏輯器、程序存儲器和控制器，程序 存儲器中設有處理和分析裝置；在所述中央處理系統還設有信息融合單元，信 息融合單元，用於將分別來自於紅外視頻圖像數位訊號處理單元和可見光視頻 圖像數位訊號處理單元的各種信息進行信息融合，得到最終目標的距離、方位 角、速度和加速度，同時對圖像中的目標做出標記，並通過串行通訊接口將計 算結果送到系統決策處理單元；所述的信息融合單元為一臺高速實時數位訊號 處理器ADSP21060。通過這種方式不破壞原船舶雷達導航系統、不影響雷達的 使用，不改動電氣線路、只在原雷達上加裝可見光傳感器，為獲取雷達中多目 標的信息帶來了極大的便利。ADSP21060內部集成了 4Mbit的雙埠靜態存儲 器，擁有專用的外圍I/0總線，十分有效地將數位訊號處理系統的主要功能集成 在一片晶片上，容易構成單片系統，縮小電路板的體積。片內的高速指令緩衝 存儲器(CACHE)使得指令以流水線方式執行，確保每條指令在單周期(25ns)內完 成，浮點峰值運算速率高達120MFLOPS(每秒百萬次浮點運算)，正常浮點運算 速率為80MFLOPS。外圍I/O總線的控制器提供六套高速鏈路口和兩套同步串 行口，用鏈路口可以將大量的ADSP21060構成一個鬆耦合並行處理系統。另外， 處理器還包括3個中斷引腳、4個標誌引腳、MSO-MS3片選引腳，使處理器與 其他外設接口簡單。總之，ADSP21060龐大的地址空間，功能強大的尋址方式， 48bit的超長指令字及其浮點運算能力，完全能夠滿足融合器軟體算法實時性的需求。優選的，所述的船舶行駛智能型全天候主動安全預警系統是設在橋梁、港 口、碼頭、躉船、危險江段、限制區、閘口或船上；當本船舶行駛智能型全天 候主動安全預警系統設在船上時，顯示單元還顯示本船周圍多個已作標記的目 標的圖像；相關的文字信息本船型號、尺寸、本船操控性能參數、載重、本 船方位、本船實時船速、本船與周圍多個船舶、橋梁、橋墩、礁石目標之間的 距離、方位角、速度和加速度。通過把系統固定安裝在海洋和內河中港口、碼 頭、橋梁、躉船、限制區等關鍵區域，利用紅外視頻圖像處理對通過這些關鍵 區域的運動船舶進行檢測和識別，並對其進行跟蹤定位處理，判定船舶未來的 運動方向，對運行船舶進行實時監控，當船舶進入預警區域，經過計算機判斷 處理，如果其未來運動方向是指向橋墩、限制區、對港口、碼頭關鍵區域的重 要設備設施造成威脅等情形時，提醒監控人員並通過廣播對船舶駕駛人員發出 警告，避免事故的發生。實現上述船舶行駛智能型全天候主動安全預警系統的預警方法，其特徵在 於包括以下步驟a、 啟動系統啟動船舶行駛智能型全天候主動安全預警系統，由鍵盤輸入信息和控制指 令；如果船舶行駛智能型全天候主動安全預警系統是安裝在船上，則由鍵盤輸 入本船的船舶型號、船舶尺寸、船舶操控性能參數和載重信息，同時把本船船 載GPS中的本船方位和實時船速信息，通過串行通訊接口，送到系統決策處理 單元；b、 目標採樣及數位訊號處理紅外視頻圖像目標採樣及數位訊號處理單元用紅外熱像儀通過雲臺帶動，對周圍按規定的時間間隔和角度步長進行掃描，從而使得紅外熱像儀對周圍的 水面環境進行攝像，經視頻採集卡將攝錄的圖像轉換為數位訊號，並送到紅外 視頻圖像數位訊號處理單元中的可編程邏輯器進行時序轉換和總線控制，把控 制行信號和圖像信息分別送到數位訊號處理單元中的圖像存儲器進行存儲，圖 像存儲器得到信息後給數位訊號處理單元中的可編程邏輯器一個確認信息，用 數位訊號處理單元中程序存儲器裡的處理和分析裝置，從圖像存儲器提取圖像 進行處理和分析，把處理和分析的結果送到數位訊號處理單元的控制器，控制 器得到信息後，給視頻採集卡一個確認信號，並把最終的本系統安裝處與周圍 多個目標船舶、橋梁、橋墩、礁石之間的方位角、速度和加速度信息，通過 串行通訊接口送到系統決策單元；c、系統決策單元得到來自a的信息，結合來自b的信息，由系統決策單元 進行主動安全預警決策分析和計算，得到最終的避讓方案後，通過顯示器和聲 光報警終端同時進行主動安全預警；其中顯示器顯示的內容為，本系統安裝處的周圍多個已作標記的目標的圖像； 相關的文字信息本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間 的距離、方位角、速度和加速度；如果本系統是安裝在船上，還應顯示本船型 號、尺寸、本船操控性能參數、載重、本船方位、本船實時船速、以及推薦的 避讓方案的文字描述包括採用變速讓和/或轉舵讓、速度、方位；根據上述信息進行智能避碰主動安全預警，如果有危險，進行危險級別判 斷，並通過聲光報警終端使用不同頻率的聲、光方式表示危險級別和危險方向 的提示信息，通過與系統決策處理單元串行通信接口連接的單片機，控制外置 的揚聲器或報警燈來進行報警。優選的，在步驟b中還包括圖像配準與拼接，將序列圖像自動拼接為全景 視圖，並將自動拼接的全景視圖送到系統決策處理單元存儲。大視場圖像配準 與拼接裝置，利用全局運動估計方法，通過估算幀間的變換參數，實現了序列 圖像的全景視圖自動拼接。在運動參數估算時，採用了金字塔分層的塊匹配運 動矢量估算，有效提高程序的運行速度，其中加入對於異常塊的剔除運算，大 大提高全局運動估計的精度。該方法能精確、快速的生成視頻序列的大視場圖 像，使得視頻監控的視野範圍擴大。將自動拼接的全景視圖送到系統決策處理 單元存儲，可以用於後期分析評價以及事故原因分析。優選的，步驟b中圖像處理和分析按照如下步驟進行先進行紅外圖像預處理，包括圖像去噪、圖像增強與銳化、圖像校正、運 動背景校正；紅外圖像是一個由真實場景圖像、成像噪聲和成像幹擾組成的集合。假設y"，力表示成像系統獲取的紅外圖像，則包含有目標的紅外場景圖像 可以描速為力=(A力+ A (X，力+ "(A力+ ", (x，力A"，力為目標灰度值；A"力為背景圖像，""力表示成像噪聲，"^，力表示成像幹擾。背景圖像A"，力通常都有較長的相關長度，它佔據了場景圖像 /"力空間頻率中的低頻信息。同時，由於場景和傳感器內部熱分布的不均勻性，背景圖像A"，力是一個非平穩過程，圖像中局部灰度值可能會有較大的變化，另外，A"，力也包含部分空間頻率域中的高頻分量，它們主要分布在背景像各個同質區的邊緣處。成像噪聲"(x，力是在成像過程引入的，是疊加在紅外圖像隨機位置上的一些小擾動；而成像幹擾"!"，力則是由於紅外成像光敏元響應非均勻性或啞元引起的它在紅外圖像的隨機或固定位置上形成一些錯誤的圖像數據點。因此，成像幹擾"!"力在圖像中表現為象素灰度值遠大於或小於其周圍鄰域中值的一些孤立 點，紅外圖像去噪的目的就是從圖像f中估計真實場景圖像。運動背景校正，由於圖像傳感器有時安裝在運動平臺上，或即使安裝在靜 止平臺上，也可能由於某些幹擾導致傳感器抖動，傳感器的抖動將引起背景抖 動。通過全局運動參數估計技術。它首先估計出背景的運動參數，然後利用估 計出的運動參數作背景校正，將多幀圖像校正在同一坐標系之下。直接對圖像區域分割，然後提取橋梁、橋墩和礁石特徵，進行有效的跟蹤和識別；分別採用兩種不同算法組合進行天水線提取，其中，第一條可能天水線的 提取算法組合包括的步驟依次是圖像迭代閾值分割、Roberts梯度算子邊緣檢 測、細化、利用Hough變換提取第一條天水線；第二條可能天水線的提取算法 組合包括的步驟依次是Roberts梯度算子邊緣檢測及二值化、細化、利用Hough 變換提取第二條天水線；取兩條可能的天水線中靠近圖像下端的一條天水線作 為最終提取的天水線，並對天水線進行可信度判斷，然後把天水線上下一定範 圍內的圖像區域作為感興趣區域ROI;基於天水線與船舶目標的位置關係，船舶目標圖像一般處在天水線區域。 這是由中距離平面成像而決定的。目標不可能完全脫離天水線而處在天空區域， 也不可能完全脫離天水線而處在陸地、峽谷等其它區域。因此正確的檢測出天 水線，然後把天水線上下一定範圍內的圖像區域作為感興趣區域(ROI)，後續 紅外船舶目標的檢測、跟蹤和識別，就極大的縮小了圖像處理範圍，並且極大 地避免了空中的雲、水波、陸地或峽谷上的一些高輻射區的幹擾，從而使得各 種算法的計算量得到大幅度的減小，確保了算法實時性的要求。本發明採用的天水線提取過程為首先對原始圖像進行圖像質量進行評價, 根據評價結果確定是否對圖像進行預處理，然後同時用兩種不同算法組合進行 天水線提取，其中，第一條可能天水線的提取算法組合包括的步驟依次是圖像迭代閾值分割、Roberts梯度算子邊緣檢測、細化、利用Hough變換提取第一 條；第二條可能天水線的提取算法組合包括的步驟依次是Roberts梯度算子邊 緣檢測及二值化、細化、利用Hough變換提取第二條天水線。當完成兩條可能 的天水線提取後，取靠近圖像下端的一條天水線作為最終提取的天水線。圖像質量評價釆用均方誤差(MSE)來對圖像質量進行評價，用來確定 是否對圖像進行預處理。if MSE>K then進行圖像預處理if MSE《K then不進行圖像預處理取K-25。第一級圖像預處理在紅外圖像中天水線以上的天空和地面區域中，有橋 梁、地面建築、連續的巖石等目標的存在，這些目標的灰度值一般都處於圖像 最高灰度級，它們與周圍環境之間的梯度常大於天水線兩側的梯度，尤其是這 些目標在圖像中呈現近水平方向連續直線狀分布時，造成目前己有的算法均不 能正確提取天水線。採用如下的方法來消除這些亮度值高的目標幹擾假設圖 像中像素的灰度值為/Yxj^，圖像中象素總數為MX見需要消除亮度值高的象 素比例為及，/^w^ 6:j^表示當灰度值從高到低排列時的第MXWX及個象素 的灰度值，r表示象素"J^的八鄰接象素中的最低灰度值，預處理後像素對應 的灰度值為g(3c,"，則if f (x，y)》4pwm (x，y) then g(x， y)=rif f (x, y) <fMxwx/ (x，y) then g(x，y)=f (x, y)該步驟中由於只降低部分高亮度值象素的亮度值，不會對天水線的精確提取造成影響。線0.05。第二級圖像預處理在紅外圖像中天水線以下的水面區域，強水波的幹擾 是造成天水線不能提取又一個主要因素。強水波幹擾在水面區域所佔的像元較 多，其灰度值分布在整幅圖像的均值附近，採用如下的方法來去除強水波幹擾: 計算得出圖像均值finean，第二級預處理後象素對應的灰度值為h(x， y)，則if f (x, y) 〉 fmean then h(x， y)= f (x，y) - fmeanif f (x，y)《fineanthen h(x， y)=0經第二級預處理後，大部分的強水波幹擾被抑制。同樣該步驟由於只降低 部分強水波幹擾象素的亮度值，不會對天水線的精確提取造成影響。圖像迭代閾值分割水運環境中整個圖像看作由兩個區域構成，即天水線 以下的水面區域和天水線以上的天空和地面區域。當原始圖像的MSE《K時， 由於受到的幹擾小，直接對圖像進行迭代閾值分割，即可實現對兩個區域進行 有效的、可靠的分割；當原始圖像的MSE〉K時，經過圖像預處理後，去除了 大部分幹擾，這時再對圖像進行迭代閾值分割，即可實現對兩個區域進行有效 的、可靠的分割。Roberts梯度算子邊緣檢測分別求取圖像中每個象素點的Roberts梯度。 二值化對梯度圖像採用邊緣閾值策略二值化。在一幅圖像中，非邊緣點 數目在總圖像像素點數目中佔有一定比例，對應的比例因子表示為Ratio。根據 圖像梯度值對應直方圖，從低梯度值等級開始逐步累加圖像點，當累加數目達 到圖像總像素數目的Ratio時，對應的圖像梯度值即為分割閾值。Ratio取0.95。 細化二值圖像中可能有像素連成一片，影響Hough變換的提取精度和實 時性，所以要進行細化。細化的原則為沿垂直方向將線段簡化為一個像素。利用H0Ugh變換提取天水線利用Hough變換提取直線，實現了一種從圖像空間向參數空間的映射，其 基本思想是點一線的對偶性。通過直線的極坐標方程P =xcos 9+ysin e ，進行 Hough變換，即用正弦曲線表示圖像空間中直線上的點。本文中將參數空間離 散化成一個累加器陣，將圖像中的每一點(x，y)映射到參數空間對應的一系列累加 器中，使對應的累加器值加l，如果圖像空間中包含一條直線，則在參數空間中 有一個對應的累加器會出現局部最大值。通過檢測這個局部最大值，可以確定 與該直線對應的一對參數(p，e)，從而檢測出直線。天水線的信度是一個需多個證據支持同一事實的減少不確定性的問題，為 此用證據理論對提取的天水線進行可信度判斷。(1) 天水線是否位於可能的天水線區域；當本相同安裝完成以後，天水線的必然處在一個子區域中，如提取的天水 線在子區域內，則提取天水線的可信度M1-1，否則，提取天水線的可信度 M1=0。通過公式Ml=l, yl《y《y2M1=0， yy2式中yl， y2分別為最高、最低可能天水線的中間象素點行坐標；y為提 取天水線的中間象素點行坐標。(2) 通過天水線上下方子區域的對比度判斷，得到天水線的可信度； 由於天水線上方區域的灰度一般要高於下方區域，當上下方區域對比度反差越大，則天水線的可信度越高。通過公式計算formula see original document page 24(3)前後幀提取的天水線的中間象素點相關聯證據的可信度formula see original document page 24分別為通過當前幀和前一幀圖像提取的天水線的中間象素點行坐 標，當二者的差別越大，則天水線的可信度越低。(4)利用D-S的合成規則，得到天水線的綜合可信度M，有M-M'Af2'M3令Mt為一個合適選擇的門限，當M〉Mt時，認為本幀圖像的天水線的提取 正確；否則，上述判據無法確認本幀的天水線的正確性。此時，保存前一幀天 水線的位置、天水線上下區域的對比度。繼續進行下一幀的天水線的識別處理。正確的檢測出天水線後把天水線上下一定範圍內的圖像區域作為感興趣區 域(ROI)。對圖像感興趣區域ROI進行圖像質量的評價，當評價結果為l時，採用基 於單幀圖像的紅外目標檢測算法；當評價結果為0時，採用基於圖像序列的紅 外目標檢檢測算法；分別使用小波分析方法中的二維小波變換實現頻率選擇和多尺度分解，抑 制背景噪聲和增強目標;將原始圖像進行低頻部分和高頻部分的分離，然後分別 對各低頻和高頻分量進行多解析度分析，提取目標特徵，進行目標檢測；分形方法中依據船舶和橋墩等人造目標的分形特徵隨尺度變化比自然背景 劇烈的特點，由經過模糊濾波方法進行圖像增強後的ROI子圖像提取出多尺度 分形特徵圖像；最後，利用概率鬆弛法對多尺度分形特徵進行目標檢測；分形 模型是一種適合於描述具有複雜和不規則形狀對象的數學模型，其基本原理是利用自然景物和人造目標在分形維數上的差異，通常分形維數是計算各尺度夏 的度量值與度量尺度之間對數值的線型估計，即在各尺度範圍內認為分形維數 是一個恆常值，這符合理想分形模型的特徵。但對於大多數自然景物，只是在 一定的尺度範圍內近似具有分形特徵，而且實際圖像受成像噪聲、量化誤差等 影響，自然景物在很多情況下不能用標準分維數描述，因此從標準分形維數上 的差別來區分自然背景和人造目標往往不能取得理想的效果。考慮目標檢測是 利用目標與背景之間的分形特徵差異，並不需要精確計算其分形參數，而圖像 中背景和目標隨尺度變化的差異不同，利用兩者多尺度變化的差異來進行目標 檢測。數學形態學方法中先對ROI子圖進行中值濾波，然後取濾波後的圖像中亮 度值最大的像素作為標記圖像；原圖像經頂帽變換，並進行迭代閾值分割後的 圖像作為掩模圖像來進行形態學重構，實現紅外船舶目標檢測；形態學重構 重構的思想就是通過對標記圖像不斷地膨脹來逼近掩模圖像，從而恢復掩模圖 像的某一部份或全部掩模圖像，這依賴於標記圖像的選取。重構的特點是通過 標記圖像的選取，可以提取出掩模圖像中自己感興趣的區域。由f (標記圖像)重構g (掩模圖像)由下面的迭代過程定義將hl初始化為標記圖像f;創建3x3結構元素B,B中每個元素都為1 ，限定連同法則； 重複= B)I g ，直到= &注意標記f必須是g的一個子集，重構後的圖像是掩模圖像g的子集。 最後應用證據推理組合對來自不同方法的目標檢測結果進行證據推理組 合，採用Dempster證據合成法則將證據合成，得到一個置信度識別高的紅外船 舶目標檢測結果；證據理論可以不需要先驗概率和條件概率密度，採用信任函數而不是概率作為度量，對不確定信息的描述採用"區間估計"，而不是"點估 計"的方法，在區分不知道與不確定方面以及精確反映證據收集方面顯示出很 大的靈活性。優選的，步驟b中圖像處理和分析還包括以下步驟應用人工神經網絡技術、模糊推理技術實現智能型多機動紅外船舶目標跟 蹤；應用人工神經網絡進行多機動目標跟蹤，具有良好的自適應、自組織學習 以及聯想和容錯能力，通過學習和訓練，有更強的判斷和識別能力，可以自主 找到解決問題的辦法；應用模糊推理技術對所跟蹤的多個目標進行威脅評估， 判斷目標類型、目標速度，從而推斷出它們的威脅等級；人工神經網絡與傳統 的隨機自適應系統相比，通過學習和訓練，有更強的判斷和識別能力，可以自 主找到解決問題的辦法。而且它的容錯能力很強，在數據和環境不確定情況下， 尤其在大量噪聲和幹擾的情況下，仍能進行目標檢測、參數估計、目標特徵提 取與識別、系統建模等。模糊推理是模仿了人類思維對現實事物的推理過程， 多目標跟蹤過程經常會出現目標之間"可能關聯"或"可能不關聯"，目標"可 能屬於一類目標"或"可能不屬於一類目標"等類似情況。運用模糊推理對所 跟蹤的多個目標進行威脅評估，判斷目標類型、目標速度等，從而推斷出它們 的威脅等級，為操船人員能準確提出避撞方案，提供有利保障。這些運用傳統 的方法很難滿足工程上的需求，而運用模糊推理可使問題簡單化，以滿足目標 跟蹤中實時性的需要。優選的，步驟b中圖像處理和分析還包括以下步驟採用在經典模式識別算法中增加自適應和學習能力，利用圖像前後關係， 融入人工智慧技術的知識基進行紅外船舶目標的識別，在分割區域進行目標特 徵的提取，分別提取位置特徵、形狀特徵、尺寸特徵、輻射特徵和基於小波分析提取的特徵，並把這些特徵作為RBF神經網絡的輸入端，進行紅外船舶目標 的識別。本發明設計的RBF神經網絡具有三層網絡結構，輸入層包括8個輸入 參數，隱層有12個節點，輸出層輸入目標的類型。 優選的，步驟b中還包括以下步驟bl、可見光視頻圖像目標採樣及數位訊號處理單元用安裝在雷達屏幕前 面的可見光圖像傳感器，對雷達屏幕進行攝像，獲取雷達屏幕圖像，經視頻採 集卡將攝錄的圖像轉換為數位訊號，並送到可見光視頻圖像數位訊號處理單元 中的可編程邏輯器進行時序轉換和總線控制，把控制行信號和圖像信息分別送 到數位訊號處理單元中的圖像存儲器進行存儲，圖像存儲器得到信息後給數字 信號處理單元中的可編程邏輯器一個確認信息，用數位訊號處理單元中程序存 儲器裡的處理和分析裝置，從圖像存儲器提取圖像進行處理和分析，把處理和 分析的結果送到數位訊號處理單元的控制器，控制器得到信息後，給視頻採集卡一個確認信號，並把最終的本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度信息，通過串行通訊接口送到中央處理系統中的信息融合單元進行息融合；b2、信息融合信息融合單元得到來自於紅外視頻圖像數位訊號處理單元 和可見光視頻圖像數位訊號處理單元的信息，分別給對應步驟b中的紅外視頻 圖像數位訊號處理單元和可見光視頻圖像數位訊號處理單元一個確認信息，信息融合單元將從步驟b中紅外視頻圖像數位訊號處理單元獲取的本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間的方位角、速度和加速度，以及 可見光視頻圖像數位訊號處理單元獲取的本系統安裝處與周圍多個目標船舶、 橋梁、礁石之間的距離、方位角、速度和加速度，經過信息融合處理，得到最 終的融合結果信息，即本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度的準確信息，同時對圖像中的目標做出標 記，通過串行通訊接口送到系統決策單元。優選的，根據步驟a中輸入的信息，結合步驟b中中得到的本系統安裝處 與周圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度； 採用模糊專家系統方法，對各預警決策要素及其影響程度，綜合成相互獨立正 交的主分量，最終確定船舶避碰危險度，以此為基礎進行主動預警決策；如果 本系統是安裝在船上，根據步驟a中得到的本船型號、尺寸、本船操控性能參 數、載重、本船方位、本船實時船速，結合步驟b中得到的本系統安裝處與周 圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度；採 用模糊專家系統方法，對各預警決策要素及其影響程度，綜合成相互獨立正交 的主分量，最終確定船舶避碰危險度，以此為基礎進行主動預警決策。主動安全預警系統是由人一船一環境三要素組成的複雜系統。因而影響人、 船舶、環境三要素的因素對主動安全預警決策產生重要的影響。在利用船舶導 航設備獲取的避碰信息的基礎上，擬採用模糊專家系統方法確定船舶避碰危險 度，以此為基礎進行主動預警決策。船舶在行駛中，各個傳感器得到預警決策要素為A，^,A......&，各個要素對預警決策的影響程度是不一樣的，並且要素之間也互相影響。設第f個要素對預警決策的影響程度為w' (1 "2")，設抽取的n個樣本為X:<，《,...，《((^w")).現在n個特徵指標綜合成n個互相正交獨立的主分量W...，尺，寫成矩陣形式為formula see original document page 28 (2)其中formula see original document page 29
模糊專家系統可以處理不確定性的數據和命題，即可以在[O， l]中取值，它採用模糊集、模糊數和模糊關係等模糊技術手段來表示和處理知識的不確定性 和不精確性。因為在船舶行駛過程中，不確定因素是非常多的，所以主動安全 預警決策採用模糊專家系統能增強系統的實用性。主動安全預警系統由信息收集、數據處理、決策等三個主要部分組成。優選的，步驟b2中根據步驟b中的紅外視頻圖像數位訊號處理單元獲取的 本船舶行駛智能型全天候主動安全預警系統與前方多個目標船舶、橋梁、橋墩、 礁石之間的方位角、速度和加速度，和從步驟bl中可見光視頻圖像數位訊號處 理單元獲取的本船舶行駛智能型全天候主動安全預警系統與前方多個目標船 舶、橋梁、礁石之間的距離、方位角、速度和加速度，利用紅外熱像儀高精度 的角度測量和雷達高精度的距離測量，利用信息互補，通過信息融合技術，給 出對目標位置的精確估計；特徵層融合採用集中式處理方法實現雷達和紅外熱 像儀融合，首先提取紅外圖像中的目標質心，然後用最小二乘估計法對紅外熱 像儀的冗餘角度技術進行壓縮，以產生在時間上和雷達測量對準的偽角度測量， 再分別與雷達的方位角測量進行融合處理，以得到同步數據融合估計，最後把 基於雷達和紅外融合得到的數據用於更新濾波器的目標狀態，決策層融合採用 分布式處理方法，首先由雷達和紅外各自建立關於目標的航跡，然後再進行雷 達與紅外航跡的關聯和融合。雷達作為主動傳感器，由於能全天候測量並提供目標完整的位置信息，因 而在目標探測及跟蹤方面發揮了重要的作用。但是，由於雷達在工作時要向空 中輻射大功率電磁波，因而易遭受電子幹擾，並且角度測量精度較低。紅外熱像儀不向空中輻射任何能量，它通過接收目標輻射的熱能進行探測 和定位，具有較強的抗千擾能力，同時紅外熱像儀還具有測角精度高和目標識 別能力強等優點，但不能測距離。利用雷達高精度的距離測量和紅外熱像儀高精度的角度測量，利用信息互 補，通過信息融合技術，可以給出對目標位置的精確估計，改善對目標的跟蹤 和識別。(1)傳感器測量模型紅外成像熱像儀測量的是目標亮度中心的方位角和高低角，這裡假設目標 的亮度中心與質心重合,則其測量模型為式中《")、AW為紅外的測量值，^t)、 ^"為實際角度，、("、 ,("為角度測量噪聲，他們的均值為零、方差為高斯白噪聲。目標狀態向量選為慣性中 的位置速度和加速 S即—物_formula see original document page 30則有雷達可以直接測量目標的距離以及方位角，其測量模型為式中 W、 A(W、八("為雷達的測量值，""、""、^"為實際值， w、 ")為測量噪聲，他們的均值為零、方差為高斯白噪聲。目標狀態向量 選取同上，則有formula see original document page 31(2)雷達、紅外圖像信號融合和決策系統的結構模型及算法 特徵層融合的作用為利用紅外成像目標識別和跟蹤的特徵信息來幫助雷 達的目標識別和跟蹤，從而提高系統的目標檢測概率和降低虛警概率；決策層 融合的作用為在離目標相對距離遠的時候，根據雷達模塊的跟蹤決策信息來 弓I導紅外熱像儀的伺服控制系統跟蹤目標，使目標落在紅外熱像儀的視角內， 以便當接近目標時紅外熱像儀能通過成像分析來自行識別和跟蹤目標，從而能 彌補紅外成像熱像儀作用距離近的不足，發揮紅外成像熱像儀在接近目標時跟 蹤決策信息的精度高的優勢。當因幹擾等原因一傳感器模塊失去跟蹤目標能力 或跟蹤目標能力差時，可根據另一傳感器模塊的跟蹤決策信息來矯正該受幹擾 的傳感器模塊的目標跟蹤能力，從而提高系統的抗幹擾性，另外提高了整個目 標識別跟蹤系統的可靠性， 一旦因軟體或硬體故障其中某一傳感器失去了目標 識別和跟蹤能力，融合中心決策控制器仍能根據另一傳感器的目標識別和跟蹤 決策信號正確跟蹤目標。由於紅外熱像儀的數據採集率明顯高於雷達，因此，特徵層融合採用集中 式處理方法，實現雷達和紅外熱像儀融合的基本思想是首先提取紅外圖像中 的目標質心，然後用最小二乘估計法對紅外熱像儀的冗餘角度技術進行壓縮， 以產生在時間上和雷達測量對準的偽角度測量，再分別與雷達的方位角測量進行融合處理，以得到同步數據融合估計，最後把基於雷達和紅外融合得到的數 據用於更新濾波器的目標狀態。對於決策層融合雷達和紅外數據融合，採用分布式處理方法，即首先由雷 達和紅外各自建立關於目標的航跡，然後再進行雷達與紅外航跡的關聯和融合。本發明的優點在於(1) 系統由於採用一體化設計，實現了對行駛船舶與前方的多個目標之間 距離、方位、速度和加速度的實時探測，中央處理單元(計算機)智能分析處 理，自動進行危險預警判斷決策，並通過直觀的視頻、文字、聲、光、電等符 合人性化特點的方式進行自動報警，並最終實現船舶全天候主動安全預警的目 的。(2) 運用電子技術、電路總線技術與設計原理，中央處理單元採用了優化 集成設計，將信號調製，輸入緩衝、採樣保持、數據採集、A/D轉換、CPU處 理、D/A轉換、信號放大、顯示報警電路和執行控制系統電路經優化組合、集 成，形成功能於一體的中央處理單元，實現了數據採樣、轉換和智能分析處理 及控制的一體化。(3) 紅外熱成像技術應用於船舶的安全航行和避碰，不受電磁幹擾影響。(4) 通過信息融合專用計算機對分別來自船載雷達、紅外的信息進行融合， 提高了系統的目標檢測概率、降低虛警概率；提高系統的抗幹擾性、提高了整 個目標識別跟蹤系統的可靠性。(5) 系統可全天候工作，尤其是在能見度不良的夜晚、霧天和雨天；(6) 報警方式的多樣化，主動安全預警決策智能化，操船人員獲取多目標 信息準確、及時、充分、便利、直觀；(7) 體積小、功能全、價格低；(8) 系統具有穩定性、實時性和準確性。對距離本系統3公裡左右遠的橋梁誤報率《1%;漏報率《1%;檢測、跟蹤和識別正確率》98%。對距離本系 統l公裡左右遠的船舶誤報率《2%;漏報率《2%;檢測、跟蹤和識別正確率>980/0。(9) 系統各部件的安裝，由於採取了不破壞原船舶外型、不改動電氣線路、 只在原船舶基礎上加裝的原則，為各類船舶安裝系統部件帶來了極大的便利。船舶行駛智能型全天候主動安全預警方法及其預警系統，可以極大地提高 操船人員對於航行周圍環境的感知能力，提高船舶在能見度不良情況下的主動 安全航行保障能力，輔助操船人員進行決策，減少操船的失誤，極大的提高船 舶主動避碰成功率，可大量減少或避免船舶相撞、船撞橋、觸礁等交通事故的 發生，保障人員的生命和財產的安全，減少或避免嚴重汙染水域和自然環境事 故的發生，確保航行運輸安全


圖1是本發明的結構示意圖；圖2是本發明紅外視頻圖像數位訊號處理單元的結構示意圖； 圖3是本發明紅外目標採樣、處理、識別方法的步驟框圖； 圖4是本發明安全預警方的步驟框圖；具體實施方式
下面結合具體實施方式
對本發明作進一步的說明，但並不因 此將本發明限制在所述的實施例範圍之中 實施例l:系統安裝在橋梁上將船舶行駛智能型全天候主動安全預警系統固定安裝在橋梁上，用於實現 對本橋梁的橋墩防撞的主動安全預警，利用紅外視頻圖像處理對通過橋梁的運 動船舶進行檢測和識別，並對其進行跟蹤定位處理，判定船舶未來的運動方向， 對運行船舶進行實時監控，當船舶進入預警區域，預警區域的大小根據實際情況決定，經過計算機判斷處理，當船舶的運動方向不是指向橋墩的時候，船舶 安全行駛，不啟動報警裝置；如果船舶的運動矢量方向是指向橋墩的，啟動報 警裝置，通過廣播發出警報，提醒船舶駕駛員採取改變航向或變速等避讓措施， 確保橋墩和船舶都安全。當然，根據船舶行駛智能型全天候主動安全預警系統固定安裝位置以及現 場情況的不同，也可以把系統固定安裝在港口和碼頭附近的陸地建築中的港口 交通安全管理監控臺上、橋梁上、躉船頂部、限制區的相關助航建築中等處。 如果其未來運動方向是指向橋墩、限制區、對港口、碼頭關鍵區域的重要設備 設施造成威脅等情形時，啟動報警裝置，通過廣播發出警報，提醒監控人員並 對船舶駕駛人員發出警告，提醒船舶駕駛員採取改變航向或變速等避讓措施， 避免各種事故的發生。安裝系統系統安裝應確保紅外熱像儀111通過雲臺112帶動形成的視場能夠全部覆 蓋需要監控的關鍵區域和水域，無遮擋，安裝位置距離水平面的垂直距離要求 大於5米以上，並使全部覆蓋關鍵區域和水域的成像佔整個圖像區域的一半以 上。系統部分參見圖l、圖2，船舶行駛智能型全天候主動安全預警系統，由目標採樣單 元l、系統中央處理單元2、顯示單元3、單片機4、安全預警單元5構成；目標採樣單元1由帶有解碼器的室外智能高速雲臺112、帶有視頻採集卡 113的紅外熱像儀111組成，紅外熱像儀111固定在室外智能高速雲臺112上， 室外智能高速雲臺112通過解碼器與系統中央處理單元2聯接，紅外熱像儀lll 通過視頻採集卡113與系統中央處理單元2聯接；中央處理系統2包括鍵盤26、紅外視頻圖像數位訊號處理單元21、系統決 策處理單元25; 其中，鍵盤26用於向系統決策處理單元25輸入信息和控制指令； 紅外視頻圖像數位訊號處理單元21，用於接收目標採樣單元1的數字圖像 信號，根據數字圖像信號，利用存儲器裡的處理和分析裝置，計算目標的位置、 方位角、速度和加速度，並通過串行通訊接口將計算結果送到系統決策處理單 元25用；系統決策處理單元25用於將來自於數位訊號處理單元的信息，結合鍵盤26 信息輸入單元輸入的信息，進行主動安全預警決策分析和計算，得到最終的避 讓方案後，通過顯示單元3和報警單元5同時進行主動安全預警；顯示單元3，用於顯示本系統安裝處的周圍己對目標進行了標記的圖像，以 及各目標與本系統安裝處之間的方位角、速度和加速度，同時顯示推薦的避讓 方案、危險級別；單片機4，用於接收系統決策處理單元25的決策結果，控制報警單元5的 報警方式；報警單元5，用於接收單片機4的控制信號，使用不同頻率的聲、光方式表 示危險級別和危險方向的提示信息。系統由於採用一體化設計，實現了對系統安裝處與周圍的多個運動船舶目 標、橋梁、橋墩、礁石目標之間距離、方位、速度和加速度的實時探測，中央 處理單元智能分析處理，自動進行危險預警判斷決策，並通過直觀的視頻、文 字、聲、光、電等符合人性化特點的方式進行自動報警，並最終實現船舶全天 候主動安全預警的目的。紅外視頻圖像數位訊號處理單元21為2個浮點數位訊號處理器 TMS320C6713， 2個TMS320C6713與紅外熱像儀111的視頻採集卡113連接；所 述的浮點數位訊號處理器TMS320C6713包含圖像存儲器、可編程邏輯器、程序 存儲器和控制器，程序存儲器中設有處理和分析裝置。TMS320C6713具有體積 小，成本低，穩定性高、實時性好等特點，可同時實現4路視頻採集處理，同 時TMS320C6713具有極強的處理能力、高度的靈活性和可編程性，並能很好的 滿足目標檢測、跟蹤和識別算法的需要。紅外視頻圖像數位訊號處理單元21中的存儲器內設有大視場圖像配準與拼 接裝置，將紅外序列圖像自動拼接為全景視圖，並將自動拼接的全景視圖送到 系統決策處理單元25存儲。大視場圖像配準與拼接裝置，利用全局運動估計方 法，通過估算幀間的變換參數，實現了序列圖像的全景視圖自動拼接。在運動 參數估算時，採用了金字塔分層的塊匹配運動矢量估算，有效提高程序的運行 速度，其中加入對於異常塊的剔除運算，大大提高全局運動估計的精度。另外， 在圖像間光照強度不一的情況下。採用了均衡光差運算，達到了較好的拼接效 果。該方法能精確、快速的生成視頻序列的大視場圖像，使得視頻監控的視野 範圍擴大。將自動拼接的全景視圖送到系統決策處理單元25存儲，可以用於後 期分析評價以及事故原因分析。系統決策處理單元25為一臺PC計算機。採用普通PC計算機具有價格便宜、 功能強大、接口方便，既能夠滿足系統決策計算的要求，又便於與系統的各個 部件進行連接，同時由於計算機的硬碟容量大，可以充分存儲目標採樣單元1 採集的紅外視頻圖像和紅外視頻圖像數位訊號處理單元21中圖像配準與拼接裝 置進行自動拼接的全景視圖。顯示單元3為2臺顯示器，顯示器31和顯示器32，顯示器31顯示周圍多個已作標記的目標的紅外視頻圖像；相關的文字信息船舶行駛智能型全天候 主動安全預警系統安裝處與周圍多個船舶、橋梁、橋墩、礁石目標之間的距離、 方位角、速度和加速度；顯示器32顯示推薦的避讓方案的文字描述包括採用 變速讓和/或轉舵讓、速度、方位、危險級別、危險方向、報警方式。報警單元5為，通過與系統決策處理單元25串行通信接口連接的單片機4 控制外置的揚聲器和/或報警燈。船舶行駛智能型全天候主動安全預警系統可固定安裝在橋梁、港口、碼頭、 躉船、危險江段、限制區、閘口或船上。通過把系統固定安裝在海洋和內河中 港口、碼頭、橋梁、躉船、限制區等關鍵區域，利用紅外視頻圖像處理對通過 這些關鍵區域的運動船舶進行檢測和識別，並對其進行跟蹤定位處理，判定船 舶未來的運動方向，對運行船舶進行實時監控，當船舶進入預警區域，經過計 算機判斷處理，如果其未來運動方向是指向橋墩、限制區、對港口、碼頭關鍵 區域的重要設備設施造成威脅等情形時，提醒監控人員並通過廣播對船舶駕駛 人員發出警告，避免事故的發生。方法部分參見圖1、圖2、圖3、圖4,船舶行駛智能型全天候主動安全預警系統的 預警方法，包括以下步驟a、 啟動系統啟動船舶行駛智能型全天候主動安全預警系統，由鍵盤26輸入信息和控制 指令；船舶行駛智能型全天候主動安全預警系統可固定安裝在不同的位置，根 據實際情況決定預警區域的大小，並通過鍵盤26進行設置，並通過串行通訊接 口，送到系統決策處理單元25;b、 目標採樣及數位訊號處理紅外視頻圖像目標採樣及數位訊號處理單元用紅外熱像儀111通過雲臺 112帶動，對周圍按規定的時間間隔和角度步長進行掃描，從而使得紅外熱像儀 111對周圍的水面環境進行攝像，經視頻採集卡113將攝錄的圖像轉換為數字信 號，並送到紅外視頻圖像數位訊號處理單元21中的可編程邏輯器進行時序轉換和總線控制，把控制行信號和圖像信息分別送到數位訊號處理單元中的圖像存 儲器進行存儲，圖像存儲器得到信息後給數位訊號處理單元中的可編程邏輯器 一個確認信息，用數位訊號處理單元中程序存儲器裡的處理和分析裝置，從圖 像存儲器提取圖像進行處理和分析，把處理和分析的結果送到數位訊號處理單元的控制器，控制器得到信息後，給視頻採集卡113 —個確認信號，並把最終 的本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間的方位角、速 度和加速度信息，通過串行通訊接口送到系統決策單元25;c、系統決策單元25得到來自a的信息，結合來自b的信息，由系統決策 單元25進行主動安全預警決策分析和計算，得到最終的避讓方案後，通過顯示 器3和聲光報警終端5同時進行主動安全預警；其中顯示器3顯示的內容為，本系統安裝處的周圍多個已作標記的目標的圖像； 相關的文字信息本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間 的方位角、速度和加速度；以及推薦的避讓方案的文字描述包括採用變速讓 和/或轉舵讓、速度、方位；根據上述信息進行智能避碰主動安全預警，如果有危險，進行危險級別判 斷，並通過聲光報警終端5使用不同頻率的聲、光方式表示危險級別和危險方 向的提示信息，通過與系統決策處理單元25串行通信接口連接的單片機4，控制 外置的揚聲器或報警燈來進行報警。在步驟b中還包括圖像配準與拼接，將紅外序列圖像自動拼接為全景視圖，並將自動拼接的全景視圖送到系統決策處理單元25存儲。大視場圖像配準與拼 接裝置，利用全局運動估計方法，通過估算幀間的變換參數，實現了序列圖像 的全景視圖自動拼接。在運動參數估算時，採用了金字塔分層的塊匹配運動矢 量估算，有效提高程序的運行速度，其中加入對於異常塊的剔除運算，大大提 高全局運動估計的精度。該方法能精確、快速的生成視頻序列的大視場圖像， 使得視頻監控的視野範圍擴大。將自動拼接的全景視圖送到系統決策處理單元 25存儲，可以用於後期分析評價以及事故原因分析。 步驟b中圖像處理和分析按照如下步驟進行先進行紅外圖像預處理，包括圖像去噪、圖像增強與銳化、圖像校正；紅外圖像是一個由真實場景圖像、成像噪聲和成像幹擾組成的集合。假設/"，力表 示成像系統獲取的紅外圖像，則包含有目標的紅外場景圖像可以描速為 /(x,力=/r O，力+/8 O，力+ "(x，力+ w, 0,力力"，力為目標灰度值；A"力為背景圖像，""，力表示成像噪聲，","，力表示成像幹擾。背景圖像/a"，力通常都有較長的相關長度，它佔據了場景圖像 /"，力空間頻率中的低頻信息。同時，由於場景和傳感器內部熱分布的不均勻性， 背景圖像A"，力是一個非平穩過程，圖像中局部灰度值可能會有較大的變化， 另外，A"力也包含部分空間頻率域中的高頻分量，它們主要分布在背景 像各個同質區的邊緣處。成像噪聲""，力是在成像過程引入的，是疊加在紅外圖像隨機位置上的一些小擾動；而成像幹擾"'"，力則是由於紅外成像光敏元響應非均勻性或啞元引起的 它在紅外圖像的隨機或固定位置上形成一些錯誤的圖像數據點。因此，成像幹 擾A"，力在圖像中表現為象素灰度值遠大於或小於其周圍鄰域中值的一些孤立點，紅外圖像去噪的目的就是從圖像f中估計真實場景圖像。分別採用兩種不同算法組合進行天水線提取，首先對原始圖像進行圖像質 量進行評價，根據評價結果確定是否對圖像進行預處理，然後同時用兩種不同 算法組合進行天水線提取，其中，第一條可能天水線的提取算法組合包括的步驟依次是圖像迭代閾值分割、Roberts梯度算子邊緣檢測、細化、利用Hough 變換提取第一條；第二條可能天水線的提取算法組合包括的步驟依次是 Roberts梯度算子邊緣檢測及二值化、細化、利用Hough變換提取第二條天水線。 當完成兩條可能的天水線提取後，取靠近圖像下端的一條天水線作為最終提取 的天水線。圖像質量評價採用均方誤差(MSE)來對圖像質量進行評價，用來確定 是否對圖像進行預處理。if MSE>K then進行圖像預處理 if MSE《K then不進行圖像預處理 取K^25。第一級圖像預處理在紅外圖像中天水線以上的天空和地面區域中，有橋 梁、地面建築、連續的巖石等目標的存在，這些目標的灰度值一般都處於圖像 最高灰度級，它們與周圍環境之間的梯度常大於天水線兩側的梯度，尤其是這 些目標在圖像中呈現近水平方向連續直線狀分布時，造成目前已有的算法均不 能正確提取天水線。採用如下的方法來消除這些亮度值高的目標幹擾假設圖 像中像素的灰度值為/6c，3;義圖像中象素總數為MXW，需要消除亮度值高的象 素比例為/ ， /^wxw 6cjJ表示當灰度值從高到低排列時的第MXWX/ 個象素 的灰度值，r表示象素6c,;;J的八鄰接象素中的最低灰度值，預處理後像素對應 的灰度值為g&"，貝IJformula see original document page 41formula see original document page 41該步驟中由於只降低部分高亮度值象素的亮度值，不會對天水線的精確提 取造成影響。i 取0.05。第二級圖像預處理在紅外圖像中天水線以下的水面區域，強水波的幹擾 是造成天水線不能提取又一個主要因素。強水波幹擾在水面區域所佔的像元較 多，其灰度值分布在整幅圖像的均值附近，採用如下的方法來去除強水波幹擾: 計算得出圖像均值finean，第二級預處理後象素對應的灰度值為h(x， y)，則formula see original document page 41formula see original document page 41經第二級預處理後，大部分的強水波幹擾被抑制。同樣該步驟由於只降低 部分強水波幹擾象素的亮度值，不會對天水線的精確提取造成影響。圖像迭代閾值分割水運環境中整個圖像看作由兩個區域構成，即天水線以下的水面區域和天水線以上的天空和地面區域。當原始圖像的MSE《K時， 由於受到的幹擾小，直接對圖像進行迭代閾值分割，即可實現對兩個區域進行 有效的、可靠的分割；當原始圖像的MSE〉K時，經過圖像預處理後，去除了 大部分幹擾，這時再對圖像進行迭代閾值分割，即可實現對兩個區域進行有效 的、可靠的分割。Roberts梯度算子邊緣檢測分別求取圖像中每個象素點的Roberts梯度。 二值化對梯度圖像採用邊緣閾值策略二值化。在一幅圖像中，非邊緣點 數目在總圖像像素點數目中佔有一定比例，對應的比例因子表示為Ratio。根據 圖像梯度值對應直方圖，從低梯度值等級開始逐步累加圖像點，當累加數目達 到圖像總像素數目的Ratio時，對應的圖像梯度值即為分割閾值。Ratio取0.95。細化二值圖像中可能有像素連成一片，影響Hough變換的提取精度和實 時性，所以要進行細化。細化的原則為沿垂直方向將線段簡化為一個像素。 利用H0Ugh變換提取天水線利用Hough變換提取直線，實現了一種從圖像空間向參數空間的映射，其基本思想是點一線的對偶性。通過直線的極坐標方程P-XCOS 6+ySin 9 ，進行Hough變換，即用正弦曲線表示圖像空間中直線上的點。本文中將參數空間離 散化成一個累加器陣，將圖像中的每一點(x,y)映射到參數空間對應的一系列累加 器中，使對應的累加器值加l，如果圖像空間中包含一條直線，則在參數空間中 有一個對應的累加器會出現局部最大值。通過檢測這個局部最大值，可以確定 與該直線對應的一對參數(P，e)，從而檢測出直線。天水線的信度是一個需多個證據支持同一事實的減少不確定性的問題，為 此用證據理論對提取的天水線進行可信度判斷。(1) 天水線是否位於可能的天水線區域；當本系統安裝以後，天水線的必然處在一個子區域中，如提取的天水線在 子區域內，則提取天水線的可信度M1-1，否則，提取天水線的可信度Ml-O。 通過公式Ml=l， yl《y《y2M1=0, yy2式中yl， y2分別為最高、最低可能天水線的中間象素點行坐標；y為提 取天水線的中間象素點行坐標。(2) 通過天水線上下方子區域的對比度判斷，得到天水線的可信度； 由於天水線上方區域的灰度一般要高於下方區域，當上下方區域對比度反差越大，則天水線的可信度越高。通過公式計算(3) 前後幀提取的天水線的中間象素點相關聯證據的可信度M3。 碼,w "，， XO = W-l)時，M3=ly(t)，y(t-l)分別為通過當前幀和前一幀圖像提取的天水線的中間象素點行坐 標，當二者的差別越大，則天水線的可信度越低。(4) 利用D-S的合成規則，得到天水線的綜合可信度M,有^ = ^'^2'^3 令Mt為一個合適選擇的門限，當lVOMt時，認為本幀圖像的天水線的提取正確；否則，上述判據無法確認本幀的天水線的正確性。此時，保存前一幀天 水線的位置、天水線上下區域的對比度。繼續進行下一幀的天水線的識別處理。 正確的檢測出天水線後把天水線上下一定範圍內的圖像區域作為感興趣區 域(ROI)。對圖像感興趣區域ROI進行圖像質量的評價，當評價結果為l時，採用基 於單幀圖像的紅外目標檢測算法；當評價結果為0時，採用基於圖像序列的紅 外目標檢檢測算法；分別使用小波分析方法中的二維小波變換實現頻率選擇和多尺度分解，抑 制背景噪聲和增強目標;將原始圖像進行低頻部分和高頻部分的分離，然後分別 對各低頻和高頻分量進行多解析度分析，提取目標特徵，進行目標檢測；分形方法中依據船舶和橋墩等人造目標的分形特徵隨尺度變化比自然背景 劇烈的特點，由經過模糊濾波方法進行圖像增強後的ROI子圖像提取出多尺度 分形特徵圖像；最後，利用概率鬆弛法對多尺度分形特徵進行目標檢測；分形 模型是一種適合於描述具有複雜和不規則形狀對象的數學模型，其基本原理是利用自然景物和人造目標在分形維數上的差異，通常分形維數是計算各尺度夏 的度量值與度量尺度之間對數值的線型估計，即在各尺度範圍內認為分形維數 是一個恆常值，這符合理想分形模型的特徵。但對於大多數自然景物，只是在 一定的尺度範圍內近似具有分形特徵，而且實際圖像受成像噪聲、量化誤差等 影響，自然景物在很多情況下不能用標準分維數描述，因此從標準分形維數上 的差別來區分自然背景和人造目標往往不能取得理想的效果。考慮目標檢測是 利用目標與背景之間的分形特徵差異，並不需要精確計算其分形參數，而圖像 中背景和目標隨尺度變化的差異不同，利用兩者多尺度變化的差異來進行目標 檢測。數學形態學方法中先對ROI子圖進行中值濾波，然後取濾波後的圖像中亮 度值最大的像素作為標記圖像；原圖像經頂帽變換，並進行迭代閾值分割後的 圖像作為掩模圖像來進行形態學重構，實現紅外船舶目標檢測；形態學重構 重構的思想就是通過對標記圖像不斷地膨脹來逼近掩模圖像，從而恢復掩模圖 像的某一部份或全部掩模圖像，這依賴於標記圖像的選取。重構的特點是通過 標記圖像的選取，可以提取出掩模圖像中自己感興趣的區域。由f (標記圖像)重構g (掩模圖像)由下面的迭代過程定義將hl初始化為標記圖像f;創建3x3結構元素B,B中每個元素都為1 ，限定連同法則； 重複4+1 = I g ，直到= &注意標記f必須是g的一個子集，重構後的圖像是掩模圖像g的子集。 最後應用證據推理組合對來自不同方法的目標檢測結果進行證據推理組 合，採用Dempster證據合成法則將證據合成，得到一個置信度識別高的紅外船 舶目標檢測結果；證據理論可以不需要先驗概率和條件概率密度，採用信任函數而不是概率作為度量，對不確定信息的描述採用"區間估計"，而不是"點估 計"的方法，在區分不知道與不確定方面以及精確反映證據收集方面顯示出很 大的靈活性。步驟b中圖像處理和分析還包括以下步驟應用人工神經網絡技術、模糊推理技術實現智能型多機動紅外船舶目標跟 蹤；應用人工神經網絡進行多機動目標跟蹤，具有良好的自適應、自組織學習 以及聯想和容錯能力，通過學習和訓練，有更強的判斷和識別能力，可以自主 找到解決問題的辦法；應用模糊推理技術對所跟蹤的多個目標進行威脅評估， 判斷目標類型、目標速度，從而推斷出它們的威脅等級；人工神經網絡與傳統的隨機自適應系統相比，通過學習和訓練，有更強的判斷和識別能力，可以自 主找到解決問題的辦法。而且它的容錯能力很強，在數據和環境不確定情況下， 尤其在大量噪聲和幹擾的情況下，仍能進行目標檢測、參數估計、目標特徵提 取與識別、系統建模等。模糊推理是模仿了人類思維對現實事物的推理過程， 多目標跟蹤過程經常會出現目標之間"可能關聯"或"可能不關聯"，目標"可 能屬於一類目標"或"可能不屬於一類目標"等類似情況。運用模糊推理對所 跟蹤的多個目標進行威脅評估，判斷目標類型、目標速度等，從而推斷出它們 的威脅等級，為操船人員能準確提出避撞方案，提供有利保障。這些運用傳統 的方法很難滿足工程上的需求，而運用模糊推理可使問題簡單化，以滿足目標 跟蹤中實時性的需要。步驟b中圖像處理和分析還包括以下步驟採用在經典模式識別算法中增加自適應和學習能力，利用圖像前後關係， 融入人工智慧技術的知識基進行紅外船舶目標的識別，在分割區域進行目標特 徵的提取，分別提取位置特徵、形狀特徵、尺寸特徵、輻射特徵和基於小波分析提取的特徵，並把這些特徵作為RBF神經網絡的輸入端，進行紅外船舶目標 的識別。本發明設計的RBF神經網絡具有三層網絡結構，輸入層包括8個輸入 參數，隱層有12個節點，輸出層輸入目標的類型。步驟c中，根據步驟a中輸入的信息，結合步驟b中中得到的本系統安裝處 與周圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度； 採用模糊專家系統方法，對各預警決策要素及其影響程度，綜合成相互獨立正 交的主分量，最終確定船舶避碰危險度，以此為基礎進行主動預警決策；如果 本系統是安裝在船上，根據步驟a中得到的本船型號、尺寸、本船操控性能參 數、載重、本船方位、本船實時船速，結合步驟b中得到的本系統安裝處與周 圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度；採 用模糊專家系統方法，對各預警決策要素及其影響程度，綜合成相互獨立正交 的主分量，最終確定船舶避碰危險度，以此為基礎進行主動預警決策。主動安全預警系統是由人一船一環境三要素組成的複雜系統。因而影響人、 船舶、環境三要素的因素對主動安全預警決策產生重要的影響。在利用船舶導 航設備獲取的避碰信息的基礎上，擬採用模糊專家系統方法確定船舶避碰危險 度，以此為基礎進行主動預警決策。船舶在行駛中，各個傳感器得到預警決策要素為^/2/3......&，各個要素對預警決策的影響程度是不一樣的，並且要素之間也互相影響。設第z'個要素對預警決策的影響程度為w' (1《'、")，設抽取的n個樣本為X:<，formula see original document page 46現在n個特徵指標綜合成n個互相正交獨立的主分量formula see original document page 46寫成矩陣形式為7 = C" (2)其中formula see original document page 47模糊專家系統可以處理不確定性的數據和命題，即可以在[o， l]中取值，它採用模糊集、模糊數和模糊關係等模糊技術手段來表示和處理知識的不確定性 和不精確性。因為在船舶行駛過程中，不確定因素是非常多的，所以主動安全 預警決策採用模糊專家系統能增強系統的實用性。主動安全預警系統由信息收集、數據處理、決策等三個主要部分組成。實施例2:系統安裝在船舶上將船舶行駛智能型全天候主動安全預警系統固定安裝在船舶駕駛室前方， 通過對安裝本系統的船舶周圍的多個目標船舶、橋梁、橋墩、礁石進行檢測和 識別，並對其進行跟蹤定位處理，進行實時監控，在獲取避碰信息的基礎上， 並經過計算機自動判斷周圍的多個目標船舶、橋梁、橋墩、礁石是否對安裝本 系統的船舶構成威脅，採用模糊專家系統方法確定船舶避碰危險度，以此為基 礎進行主動預警決策。當然，根據現場情況的不同，也可以把系統固定安裝在船舶的頂層屋面甲 板前部，或滾裝船的挑臂上面等處。當周圍的多個目標船舶、橋梁、橋墩、礁 石對安裝本系統的船舶造成威脅等情形時，綜合使用視頻、聲、光、電等符合 人性化特點的方式進行自動報警，對船舶駕駛人員發出警告，避免事故的發生。 可極大地提高操船人員對於航行周圍環境的感知能力，提高船舶在能見度不良 情況下的主動安全航行保障能力，輔助操船人員進行決策，減少操船的失誤， 極大的提高船舶主動避碰成功率，保障人員的生命和財產的安全，減少或避免 嚴重汙染水域和自然環境事故的發生，確保航行運輸安全。安裝系統系統安裝應確保紅外熱像儀111通過雲臺112帶動形成的視場能夠全部覆 蓋需要監控的關鍵區域和水域，無遮擋，安裝位置距離水平面的垂直距離要求 大於5米以上，並使全部覆蓋關鍵區域和水域的成像佔整個圖像區域的一半以 上。系統部分參見圖l、圖2，船舶行駛智能型全天候主動安全預警系統，由目標採樣單 元l、系統中央處理單元2、顯示單元3、單片機4、安全預警單元5構成；目標採樣單元1由帶有解碼器的室外智能高速雲臺112、帶有視頻採集卡 113的紅外熱像儀111組成，紅外熱像儀111固定在室外智能高速雲臺112上， 室外智能高速雲臺112通過解碼器與系統中央處理單元2聯接，紅外熱像儀lll 通過視頻採集卡113與系統中央處理單元2聯接；中央處理系統2包括鍵盤26、紅外視頻圖像數位訊號處理單元21、系統決 策處理單元25;其中，鍵盤26用於向系統決策處理單元25輸入信息和控制指令； 紅外視頻圖像數位訊號處理單元21，用於接收目標採樣單元l的數字圖像 信號，根據數字圖像信號，利用存儲器裡的處理和分析裝置，計算目標的位置、 方位角、速度和加速度，並通過串行通訊接口將計算結果送到系統決策處理單 元25用；系統決策處理單元25用於將來自於數位訊號處理單元的信息，結合鍵盤26 信息輸入單元輸入的信息，進行主動安全預警決策分析和計算，得到最終的避讓方案後，通過顯示單元3和報警單元5同時進行主動安全預警；顯示單元3，用於顯示本系統安裝處的周圍己對目標進行了標記的圖像，以 及各目標與本系統安裝處之間的方位角、速度和加速度，同時顯示推薦的避讓 方案、危險級別；單片機4，用於接收系統決策處理單元25的決策結果，控制報警單元5的 報警方式；報警單元5，用於接收單片機4的控制信號，使用不同頻率的聲、光方式表 示危險級別和危險方向的提示信息。系統由於採用一體化設計，實現了對系統安裝處與周圍的多個運動船舶目標、橋梁、橋墩、礁石目標之間距離、方位、速度和加速度的實時探測，中央處理單元智能分析處理，自動進行危險預警判斷決策，並通過直觀的視頻、文字、聲、光、電等符合人性化特點的方式進行自動報警，並最終實現船舶全天候主動安全預警的目的。紅外視頻圖像數位訊號處理單元21為2個浮點數位訊號處理器TMS320C6713， 2個TMS320C6713與紅外熱像儀111的視頻採集卡113連接；所述的浮點數位訊號處理器TMS320C6713包含圖像存儲器、可編程邏輯器、程序存儲器和控制器，程序存儲器中設有處理和分析裝置。TMS320C6713具有體積小，成本低，穩定性高、實時性好等特點，可同時實現4路視頻採集處理，同時TMS320C6713具有極強的處理能力、高度的靈活性和可編程性，並能很好的滿足目標檢測、跟蹤和識別算法的需要。紅外視頻圖像數位訊號處理單元21中的存儲器內設有大視場圖像配準與拼 接裝置，將紅外序列圖像自動拼接為全景視圖，並將自動拼接的全景視圖送到 系統決策處理單元存儲。大視場圖像配準與拼接裝置，利用全局運動估計方法， 通過估算幀間的變換參數，實現了序列圖像的全景視圖自動拼接。在運動參數 估算時，採用了金字塔分層的塊匹配運動矢量估算，有效提高程序的運行速度， 其中加入對於異常塊的剔除運算，大大提高全局運動估計的精度。另外，在圖 像間光照強度不一的情況下。採用了均衡光差運算，達到了較好的拼接效果。 該方法能精確、快速的生成視頻序列的大視場圖像，使得視頻監控的視野範圍 擴大。將自動拼接的全景視圖送到系統決策處理單元25存儲，可以用於後期分 析評價以及事故原因分析。系統決策處理單元25為一臺PC計算機。採用普通PC計算機具有價格便 宜、功能強大、接口方便，既能夠滿足系統決策計算的要求，又便於與系統的 各個部件進行連接，同時由於計算機的硬碟容量大，可以充分存儲目標採樣單 元採集的紅外視頻圖像和圖像配準與拼接裝置進行自動拼接的全景視圖。顯示單元3為2臺顯示器，，顯示器31和顯示器32，顯示器31顯示周圍多 個已作標記的目標的圖像；相關的文字信息船舶行駛智能型全天候主動安全 預警系統安裝處與周圍多個船舶、橋梁、橋墩、礁石目標之間的距離、方位角、 速度和加速度；顯示器32顯示推薦的避讓方案的文字描述包括採用變速讓和 /或轉舵讓、速度、方位、危險級別、危險方向、報警方式。採用兩臺顯示器的 顯示方式，利用已經得到了實時的全景視像，並且已經對行駛船舶前方區 域的其他會遇船舶(多個目標)、橋梁(橋墩)、水面礁石等多目標進行了有效 的檢測、識別與跟蹤。通過對拼接以後的全景視像的水面區域和檢測到的 多個目標進行彩色著色渲染標記目標，並同時把拼接以後的全景視像和經過彩色著色渲染標記目標的全景視像同時顯示在顯示器31上，經過標記的 圖像顯示可以確保使用者直觀使用本系統，利用文字描述可以使得使用者便於 對系統的性能進行評價，滿足使用者的不同需求。報警單元5為，通過與系統決策處理單元25串行通信接口連接的單片機4 控制外置的揚聲器和/或報警燈。綜合使用視頻、聲、光、電等符合人性化特點 的方式進行自動報警，提高操船人員對於航行環境的感知能力，並對避撞決策 進行輔助，從而提高船舶避碰成功率。目標採樣單元1還配備有雷達121，雷達121屏幕前設有帶視頻採集卡123 的可見光圖像傳感器122,可見光圖像傳感器122通過視頻採集卡123與系統中 央處理單元2中的可見光視頻圖像數位訊號處理單元22聯接，所述的可見光視 頻圖像數位訊號處理單元22為2個浮點數位訊號處理器TMS320C6713;所述 的浮點數位訊號處理器TMS320C6713包含圖像存儲器、可編程邏輯器、程序存 儲器和控制器，程序存儲器中設有處理和分析裝置；在所述中央處理系統2還 設有信息融合單元23，信息融合單元23，用於將分別來自於紅外視頻圖像數字 信號處理單元21和可見光視頻圖像數位訊號處理單元22的各種信息進行信息 融合，得到最終目標的距離、方位角、速度和加速度，同時對圖像中的目標做 出標記，並通過串行通訊接口將計算結果送到系統決策處理單元25;所述的信 息融合單元23為一臺高速實時數位訊號處理器ADSP21060。通過這種方式不破 壞原船舶雷達導航系統、不影響雷達121的使用，不改動電氣線路、只在原雷 達121上加裝可見光傳感器，為獲取雷達121中多目標的信息帶來了極大的便 利。ADSP21060內部集成了 4Mbit的雙埠靜態存儲器，擁有專用的外圍I/O 總線，十分有效地將數位訊號處理系統的主要功能集成在一片晶片上，容易構 成單片系統，縮小電路板的體積。片內的高速指令緩衝存儲器(CACHE)使得指令以流水線方式執行，確保每條指令在單周期(25ns)內完成，浮點峰值運算速率 高達120MFLOPS(每秒百萬次浮點運算)，正常浮點運算速率為80MFLOPS。外 圍I/O總線的控制器提供六套高速鏈路口和兩套同步串行口，用鏈路口可以將大 量的ADSP21060構成一個鬆耦合並行處理系統。另外，處理器還包括3個中斷 引腳、4個標誌引腳、MSO-MS3片選引腳，使處理器與其他外設接口簡單。總 之，ADSP21060龐大的地址空間，功能強大的尋址方式，48bit的超長指令字及 其浮點運算能力，完全能夠滿足融合器軟體算法實時性的需求。顯示單元3還顯示本船周圍多個已作標記的目標的圖像；相關的文字信息 本船型號、尺寸、本船操控性能參數、載重、本船方位、本船實時船速、本船 與周圍多個船舶、橋梁、橋墩、礁石目標之間的距離、方位角、速度和加速度。方法部分參見圖1、圖2、圖3、圖4，船舶行駛智能型全天候主動安全預警系統的 預警方法，包括以下步驟a、 啟動系統啟動船舶行駛智能型全天候主動安全預警系統，由鍵盤26輸入信息和控制 指令；由鍵盤26輸入本船的船舶型號、船舶尺寸、船舶操控性能參數和載重信 息，同時把本船船載GPS24中的本船方位和實時船速信息，通過串行通訊接口， 送到系統決策處理單元25;b、 目標採樣及數位訊號處理紅外視頻圖像目標採樣及數位訊號處理單元用紅外熱像儀111通過雲臺 112帶動，對周圍按規定的時間間隔和角度步長進行掃描，從而使得紅外熱像儀 111對周圍的水面環境進行攝像，經視頻採集卡113將攝錄的圖像轉換為數字信 號，並送到紅外視頻圖像數位訊號處理單元21中的可編程邏輯器進行時序轉換和總線控制，把控制行信號和圖像信息分別送到數位訊號處理單元中的圖像存 儲器進行存儲，圖像存儲器得到信息後給數位訊號處理單元中的可編程邏輯器 一個確認信息，用數位訊號處理單元中程序存儲器裡的處理和分析裝置，從圖 像存儲器提取圖像進行處理和分析，把處理和分析的結果送到數位訊號處理單元的控制器，控制器得到信息後，給視頻採集卡113 —個確認信號，並把最終 的本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間的方位角、速 度和加速度信息，通過串行通訊接口送到系統決策單元25;c、系統決策單元25得到來自a的信息，結合來自b的信息，由系統決策 單元25進行主動安全預警決策分析和計算，得到最終的避讓方案後，通過顯示 器3和聲光報警終端5同時進行主動安全預警；其中顯示器3顯示的內容為，本系統安裝處的周圍多個已作標記的目標的圖像； 相關的文字信息本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間 的距離、方位角、速度和加速度；如果本系統是安裝在船上，還應顯示本船型 號、尺寸、本船操控性能參數、載重、本船方位、本船實時船速、以及推薦的 避讓方案的文字描述包括採用變速讓和/或轉舵讓、速度、方位；根據上述信息進行智能避碰主動安全預警，如果有危險，進行危險級別判 斷，並通過聲光報警終端5使用不同頻率的聲、光方式表示危險級別和危險方 向的提示信息，通過與系統決策處理單元25串行通信接口連接的單片機4，控 制外置的揚聲器或報警燈來進行報警。在步驟b中還包括圖像配準與拼接，將序列圖像自動拼接為全景視圖，並 將自動拼接的全景視圖送到系統決策處理單元25存儲。大視場圖像配準與拼接 裝置，利用全局運動估計方法，通過估算幀間的變換參數，實現了序列圖像的全景視圖自動拼接。在運動參數估算時，採用了金字塔分層的塊匹配運動矢量 估算，有效提高程序的運行速度，其中加入對於異常塊的剔除運算，大大提高 全局運動估計的精度。該方法能精確、快速的生成視頻序列的大視場圖像，使得視頻監控的視野範圍擴大。將自動拼接的全景視圖送到系統決策處理單元25 存儲，可以用於後期分析評價以及事故原因分析。 步驟b中圖像處理和分析按照如下步驟進行先進行紅外圖像預處理，包括圖像去噪、圖像增強與銳化、圖像校正、運 動背景校正；紅外圖像是一個由真實場景圖像、成像噪聲和成像幹擾組成的集合。假設,"，力表示成像系統獲取的紅外圖像，則包含有目標的紅外場景圖像 可以描速為formula see original document page 54力OC，力為目標灰度值；A"力為背景圖像，""力表示成像噪聲，"'"力表示成像幹擾。背景圖像A"力通常都有較長的相關長度，它佔據了場景圖像 /"，力空間頻率中的低頻信息。同時，由於場景和傳感器內部熱分布的不均勻性， 背景圖像A"，力是一個非平穩過程，圖像中局部灰度值可能會有較大的變化，另外，/s"，力也包含部分空間頻率域中的高頻分量，它們主要分布在背景 像各個同質區的邊緣處。成像噪聲""，力是在成像過程引入的，是疊加在紅外圖像隨機位置上的一些小擾動；而成像幹擾"i"，力則是由於紅外成像光敏元響應非均勻性或啞元引起的它在紅外圖像的隨機或固定位置上形成一些錯誤的圖像數據點。因此，成像幹 擾"^，力在圖像中表現為象素灰度值遠大於或小於其周圍鄰域中值的一些孤立點，紅外圖像去噪的目的就是從圖像f中估計真實場景圖像。運動背景校正，由於圖像傳感器有時安裝在運動平臺上，或即使安裝在靜止平臺上，也可能由於某些幹擾導致傳感器抖動，傳感器的抖動將引起背景抖 動。通過全局運動參數估計技術。它首先估計出背景的運動參數，然後利用估 計出的運動參數作背景校正，將多幀圖像校正在同一坐標系之下。直接對圖像區域分割，然後提取橋梁、橋墩和礁石特徵，進行有效的跟蹤和識別；分別採用兩種不同算法組合進行天水線提取，其中，第一條可能天水線的 提取算法組合包括的步驟依次是圖像迭代閾值分割、Roberts梯度算子邊緣檢 測、細化、利用Hough變換提取第一條天水線；第二條可能天水線的提取算法 組合包括的步驟依次是Roberts梯度算子邊緣檢測及二值化、細化、利用Hough 變換提取第二條天水線；取兩條可能的天水線中靠近圖像下端的一條天水線作 為最終提取的天水線，並對天水線進行可信度判斷，然後把天水線上下一定範 圍內的圖像區域作為感興趣區域ROI;基於天水線與船舶目標的位置關係，船舶目標圖像一般處在天水線區域。 這是由中距離平面成像而決定的。目標不可能完全脫離天水線而處在天空區域， 也不可能完全脫離天水線而處在陸地、峽谷等其它區域。因此正確的檢測出天 水線，然後把天水線上下一定範圍內的圖像區域作為感興趣區域(ROI)，後續 紅外船舶目標的檢測、跟蹤和識別，就極大的縮小了圖像處理範圍，並且極大 地避免了空中的雲、水波、陸地或峽谷上的一些高輻射區的幹擾，從而使得各 種算法的計算量得到大幅度的減小，確保了算法實時性的要求。本發明採用的天水線提取過程為首先對原始圖像進行圖像質量進行評價，根據評價結果確定是否對圖像進行預處理，然後同時用兩種不同算法組合進行天水線提取，其中，第一條可能天水線的提取算法組合包括的步驟依次是圖像迭代閾值分割、Roberts梯度算子邊緣檢測、細化、利用Hough變換提取第一條；第二條可能天水線的提取算法組合包括的步驟依次是Roberts梯度算子邊緣檢測及二值化、細化、利用Hough變換提取第二條天水線。當完成兩條可能的天水線提取後，取靠近圖像下端的一條天水線作為最終提取的天水線。圖像質量評價採用均方誤差(MSE)來對圖像質量進行評價，用來確定是否對圖像進行預處理。if MSE>K then進行圖像預處理 if MSE《K then不進行圖像預處理 取K:25。第一級圖像預處理在紅外圖像中天水線以上的天空和地面區域中，有橋 梁、地面建築、連續的巖石等目標的存在，這些目標的灰度值一般都處於圖像 最高灰度級，它們與周圍環境之間的梯度常大於天水線兩側的梯度，尤其是這 些目標在圖像中呈現近水平方向連續直線狀分布時，造成目前已有的算法均不 能正確提取天水線。採用如下的方法來消除這些亮度值高的目標幹擾假設圖 像中像素的灰度值為/6rj^，圖像中象素總數為MX見需要消除亮度值高的象 素比例為i ， / w 表示當灰度值從高到低排列時的第MXWX及個象素 的灰度值，r表示象素&>0的八鄰接象素中的最低灰度值，預處理後像素對應 的灰度值為g&"，貝Uif f (x，y)》fM乂騰(x，y) then g(x, y)=rif f (x，y) K時，經過圖像預處理後，去除了 大部分幹擾，這時再對圖像進行迭代閾值分割，即可實現對兩個區域進行有效 的、可靠的分割。Roberts梯度算子邊緣檢測分別求取圖像中每個象素點的Roberts梯度。二值化對梯度圖像採用邊緣閾值策略二值化。在一幅圖像中，非邊緣點 數目在總圖像像素點數目中佔有一定比例，對應的比例因子表示為Ratio。根據 圖像梯度值對應直方圖，從低梯度值等級開始逐步累加圖像點，當累加數目達 到圖像總像素數目的Ratio時，對應的圖像梯度值即為分割閾值。Ratio取0.95。細化二值圖像中可能有像素連成一片，影響Hough變換的提取精度和實 時性，所以要進行細化。細化的原則為沿垂直方向將線段簡化為一個像素。利用Hough變換提取天水線利用Hough變換提取直線，實現了一種從圖像空間向參數空間的映射，其 基本思想是點一線的對偶性。通過直線的極坐標方程P =XC0S 6+ySin e ，進行 Hough變換，即用正弦曲線表示圖像空間中直線上的點。本文中將參數空間離散化成一個累加器陣，將圖像中的每一點(x,y)映射到參數空間對應的一系列累加 器中，使對應的累加器值加l，如果圖像空間中包含一條直線，則在參數空間中 有一個對應的累加器會出現局部最大值。通過檢測這個局部最大值，可以確定 與該直線對應的一對參數(P,0)，從而檢測出直線。天水線的信度是一個需多個證據支持同一事實的減少不確定性的問題，為 此用證據理論對提取的天水線進行可信度判斷。(1) 天水線是否位於可能的天水線區域； 當本系統在船舶上安裝後，天水線的必然處在一個子區域中，如提取的天水線在子區域內，則提取天水線的可信度M1^1，否則，提取天水線的可信度 M1=0。通過公式Ml=l ， yl《y《y2M1=0， yy2式中yl， y2分別為最高、最低可能天水線的中間象素點行坐標；y為提 取天水線的中間象素點行坐標。(2) 通過天水線上下方子區域的對比度判斷，得到天水線的可信度； 由於天水線上方區域的灰度一般要高於下方區域，當上下方區域對比度反差越大，則天水線的可信度越高。通過公式計算formula see original document page 58(3) 前後幀提取的天水線的中間象素點相關聯證據的可信度M3。formula see original document page 58y(t),y(t-i)分別為通過當前幀和前一幀圖像提取的天水線的中間象素點行坐 標，當二者的差別越大，則天水線的可信度越低。(4)利用D-S的合成規則，得到天水線的綜合可信度M,有M-^'^2'^3 令Mt為一個合適選擇的門限，當M〉Mt時，認為本幀圖像的天水線的提取 正確；否則，上述判據無法確認本幀的天水線的正確性。此時，保存前一幀天 水線的位置、天水線上下區域的對比度。繼續進行下一幀的天水線的識別處理。 正確的檢測出天水線後把天水線上下一定範圍內的圖像區域作為感興趣區 域(ROI)。對圖像感興趣區域ROI進行圖像質量的評價，當評價結果為l時，採用基 於單幀圖像的紅外目標檢測算法；當評價結果為0時，採用基於圖像序列的紅 外目標檢檢測算法；分別使用小波分析方法中的二維小波變換實現頻率選擇和多尺度分解，抑 制背景噪聲和增強目標;將原始圖像進行低頻部分和高頻部分的分離，然後分別 對各低頻和高頻分量進行多解析度分析，提取目標特徵，進行目標檢測；分形方法中依據船舶和橋墩等人造目標的分形特徵隨尺度變化比自然背景 劇烈的特點，由經過模糊濾波方法進行圖像增強後的ROI子圖像提取出多尺度 分形特徵圖像；最後，利用概率鬆弛法對多尺度分形特徵進行目標檢測；分形 模型是一種適合於描述具有複雜和不規則形狀對象的數學模型，其基本原理是 利用自然景物和人造目標在分形維數上的差異，通常分形維數是計算各尺度夏 的度量值與度量尺度之間對數值的線型估計，即在各尺度範圍內認為分形維數 是一個恆常值，這符合理想分形模型的特徵。但對於大多數自然景物，只是在 一定的尺度範圍內近似具有分形特徵，而且實際圖像受成像噪聲、量化誤差等 影響，自然景物在很多情況下不能用標準分維數描述，因此從標準分形維數上的差別來區分自然背景和人造目標往往不能取得理想的效果。考慮目標檢測是 利用目標與背景之間的分形特徵差異，並不需要精確計算其分形參數，而圖像 中背景和目標隨尺度變化的差異不同，利用兩者多尺度變化的差異來進行目標數學形態學方法中先對ROI子圖進行中值濾波，然後取濾波後的圖像中亮 度值最大的像素作為標記圖像；原圖像經頂帽變換，並進行迭代閾值分割後的 圖像作為掩模圖像來進行形態學重構，實現紅外船舶目標檢測；形態學重構 重構的思想就是通過對標記圖像不斷地膨脹來逼近掩模圖像，從而恢復掩模圖 像的某一部份或全部掩模圖像，這依賴於標記圖像的選取。重構的特點是通過 標記圖像的選取，可以提取出掩模圖像中自己感興趣的區域。由f (標記圖像)重構g (掩模圖像)由下面的迭代過程定義將hl初始化為標記圖像f;創建3x3結構元素B，B中每個元素都為1 ，限定連同法則； 重複= (~十5) I g ，直到= &注意標記f必須是g的一個子集，重構後的圖像是掩模圖像g的子集。 最後應用證據推理組合對來自不同方法的目標檢測結果進行證據推理組 合，採用Dempster證據合成法則將證據合成，得到一個置信度識別高的紅外船 舶目標檢測結果；證據理論可以不需要先驗概率和條件概率密度，採用信任函 數而不是概率作為度量，對不確定信息的描述採用"區間估計"，而不是"點估 計"的方法，在區分不知道與不確定方面以及精確反映證據收集方面顯示出很 大的靈活性。步驟b中圖像處理和分析還包括以下步驟應用人工神經網絡技術、模糊推理技術實現智能型多機動紅外船舶目標跟蹤；應用人工神經網絡進行多機動目標跟蹤，具有良好的自適應、自組織學習 以及聯想和容錯能力，通過學習和訓練，有更強的判斷和識別能力，可以自主 找到解決問題的辦法；應用模糊推理技術對所跟蹤的多個目標進行威脅評估， 判斷目標類型、目標速度，從而推斷出它們的威脅等級；人工神經網絡與傳統 的隨機自適應系統相比，通過學習和訓練，有更強的判斷和識別能力，可以自 主找到解決問題的辦法。而且它的容錯能力很強，在數據和環境不確定情況下， 尤其在大量噪聲和幹擾的情況下，仍能進行目標檢測、參數估計、目標特徵提 取與識別、系統建模等。模糊推理是模仿了人類思維對現實事物的推理過程， 多目標跟蹤過程經常會出現目標之間"可能關聯"或"可能不關聯"，目標"可 能屬於一類目標"或"可能不屬於一類目標"等類似情況。運用模糊推理對所 跟蹤的多個目標進行威脅評估，判斷目標類型、目標速度等，從而推斷出它們 的威脅等級，為操船人員能準確提出避撞方案，提供有利保障。這些運用傳統 的方法很難滿足工程上的需求，而運用模糊推理可使問題簡單化，以滿足目標 跟蹤中實時性的需要。步驟b中圖像處理和分析還包括以下步驟採用在經典模式識別算法中增加自適應和學習能力，利用圖像前後關係， 融入人工智慧技術的知識基進行紅外船舶目標的識別，在分割區域進行目標特 徵的提取，分別提取位置特徵、形狀特徵、尺寸特徵、輻射特徵和基於小波分 析提取的特徵，並把這些特徵作為RBF神經網絡的輸入端，進行紅外船舶目標 的識別。本發明設計的RBF神經網絡具有三層網絡結構，輸入層包括8個輸入 參數，隱層有12個節點，輸出層輸入目標的類型。步驟b中還包括以下步驟bl、可見光視頻圖像目標採樣及數位訊號處理單元用安裝在雷達121屏 幕前面的可見光圖像傳感器122，對雷達121屏幕進行攝像，獲取雷達121屏幕 圖像，經視頻採集卡123將攝錄的圖像轉換為數位訊號，並送到可見光視頻圖 像數位訊號處理單元22中的可編程邏輯器進行時序轉換和總線控制，把控制行 信號和圖像信息分別送到數位訊號處理單元中的圖像存儲器進行存儲，圖像存 儲器得到信息後給數位訊號處理單元中的可編程邏輯器一個確認信息，用數字 信號處理單元中程序存儲器裡的處理和分析裝置，從圖像存儲器提取圖像進行 處理和分析，把處理和分析的結果送到數位訊號處理單元的控制器，控制器得 到信息後，給視頻採集卡123—個確認信號，並把最終的本系統安裝處與周圍 多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度信息， 通過串行通訊接口送到中央處理系統2中的信息融合單元23進行息融合；b2、信息融合信息融合單元23得到來自於紅外視頻圖像數位訊號處理單 元21和可見光視頻圖像數位訊號處理單元22的信息，分別給對應步驟b中的 紅外視頻圖像數位訊號處理單元21和可見光視頻圖像數位訊號處理單元22 — 個確認信息，信息融合單元23將從步驟b中紅外視頻圖像數位訊號處理單元21 獲取的本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間的方位角、 速度和加速度，以及可見光視頻圖像數位訊號處理單元22獲取的本系統安裝處 與周圍多個目標船舶、橋梁、礁石之間的距離、方位角、速度和加速度，經過 信息融合處理，得到最終的融合結果信息，即本系統安裝處與周圍多個目標船 舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度的準確信息，同時 對圖像中的目標做出標記，通過串行通訊接口送到系統決策單元25。根據步驟a中輸入的信息，結合步驟b中中得到的本系統安裝處與周圍多 個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度；採用模糊專家系統方法，對各預警決策要素及其影響程度，綜合成相互獨立正交的主分量，最終確定船舶避碰危險度，以此為基礎進行主動預警決策；如果本系統 是安裝在船上，根據步驟a中得到的本船型號、尺寸、本船操控性能參數、載 重、本船方位、本船實時船速，結合步驟b中得到的本系統安裝處與周圍多個 目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度；採用模糊 專家系統方法，對各預警決策要素及其影響程度，綜合成相互獨立正交的主分 量，最終確定船舶避碰危險度，以此為基礎進行主動預警決策。主動安全預警系統是由人一船一環境三要素組成的複雜系統。因而影響人、 船舶、環境三要素的因素對主動安全預警決策產生重要的影響。在利用船舶導 航設備獲取的避碰信息的基礎上，擬採用模糊專家系統方法確定船舶避碰危險 度，以此為基礎進行主動預警決策。船舶在行駛中，各個傳感器得到預警決策要素為、/2/3......、，各個要素對預警決策的影響程度是不一樣的，並且要素之間也互相影響。設第z'個要素對預警決策的影響程度為w' G "、")，設抽取的n個樣本為X:<，formula see original document page 63現在n個特徵指標綜合成n個互相正交獨立的主分量formula see original document page 63寫成矩陣形式為y-C" (2)其中formula see original document page 63模糊專家系統可以處理不確定性的數據和命題，即可以在[o， l]中取值，它採用模糊集、模糊數和模糊關係等模糊技術手段來表示和處理知識的不確定性 和不精確性。因為在船舶行駛過程中，不確定因素是非常多的，所以主動安全預警決策採用模糊專家系統能增強系統的實用性。主動安全預警系統由信息收集、數據處理、決策等三個主要部分組成。步驟b2中根據步驟b中的紅外視頻圖像數位訊號處理單元21獲取的本船 舶行駛智能型全天候主動安全預警系統與前方多個目標船舶、橋梁、橋墩、礁 石之間的方位角、速度和加速度，和從步驟bl中可見光視頻圖像數位訊號處理 單元22獲取的本船舶行駛智能型全天候主動安全預警系統與前方多個目標船 舶、橋梁、礁石之間的距離、方位角、速度和加速度，利用紅外熱像儀111高 精度的角度測量和雷達121高精度的距離測量，利用信息互補，通過信息融合 技術，給出對目標位置的精確估計；特徵層融合採用集中式處理方法實現雷達 121和紅外熱像儀111融合，首先提取紅外圖像中的目標質心，然後用最小二乘 估計法對紅外熱像儀111的冗餘角度技術進行壓縮，以產生在時間上和雷達121 測量對準的偽角度測量，再分別與雷達121的方位角測量進行融合處理，以得 到同步數據融合估計，最後把基於雷達121和紅外熱像儀111融合得到的數據 用於更新濾波器的目標狀態，決策層融合採用分布式處理方法，首先由雷達121 和紅外熱像儀111各自建立關於目標的航跡，然後再進行雷達121與紅外熱像 儀lll航跡的關聯和融合。雷達121作為主動傳感器，由於能全天候測量並提供目標完整的位置信息， 因而在目標探測及跟蹤方面發揮了重要的作用。但是，由於雷達121在工作時 要向空中輻射大功率電磁波，因而易遭受電子幹擾，並且角度測量精度較低。紅外熱像儀111不向空中輻射任何能量，它通過接收目標輻射的熱能進行 探測和定位，具有較強的抗幹擾能力，同時紅外熱像儀111還具有測角精度高 和目標識別能力強等優點，但不能測距離。利用雷達121高精度的距離測量和紅外熱像儀111高精度的角度測量，利用信息互補，通過信息融合技術，可以給出對目標位置的精確估計，改善對目 標的跟蹤和識別。(1)傳感器測量模型 紅外熱像儀111測量的是目標亮度中心的方位角和高低角，這裡假設目標 的亮度中心與質心重合，則其測量模型為式中《W、 AW為紅外的測量值，叭Q、 WQ為實際角度，、W、 W為角度測量噪聲，他們的均值為零、方差為高斯白噪聲。目標狀態向量選為慣性 系 中 的 位 置、 速 度 和 加 速 度， 即10)formula see original document page 65，則有formula see original document page 65一 雷達121可以直接測量目標的距離以及方位角，其測量模型為式中t/幻、AW、 ^W為雷達i21的測量值，KW、 W"、 ^"為實際值， 、("、)、 ("為測量噪聲，他們的均值為零、方差為高斯白噪聲。目標 狀態向量選取同上，則有formula see original document page 66
_ (2)雷達、紅外圖像信號融合和決策系統的結構模型及算法 特徵層融合的作用為利用紅外成像目標識別和跟蹤的特徵信息來幫助雷 達的目標識別和跟蹤，從而提高系統的目標檢測概率和降低虛警概率；決策層 融合的作用為在離目標相對距離遠的時候，根據雷達121模塊的跟蹤決策信息來引導紅外熱像儀lll的伺服控制系統跟蹤目標，使目標落在紅外熱像儀lll 的視角內，以便當接近目標時紅外熱像儀111能通過成像分析來自行識別和跟 蹤目標，從而能彌補紅外熱像儀111作用距離近的不足，發揮紅外熱像儀111 在接近目標時跟蹤決策信息的精度高的優勢。當因幹擾等原因一傳感器模塊失 去跟蹤目標能力或跟蹤目標能力差時，可根據另一傳感器模塊的跟蹤決策信息 來矯正該受幹擾的傳感器模塊的目標跟蹤能力，從而提高系統的抗幹擾性，另 外提高了整個目標識別跟蹤系統的可靠性， 一旦因軟體或硬體故障其中某一傳 感器失去了目標識別和跟蹤能力，融合中心決策控制器仍能根據另一傳感器的 目標識別和跟蹤決策信號正確跟蹤目標。由於紅外熱像儀111的數據採集率明顯高於雷達121，因此，特徵層融合採用集中式處理方法，實現雷達121和紅外熱像儀111融合的基本思想是首先提取紅外圖像中的目標質心，然後用最小二乘估計法對紅外熱像儀111的冗餘角度技術進行壓縮，以產生在時間上和雷達121測量對準的偽角度測量，再分 別與雷達121的方位角測量進行融合處理，以得到同步數據融合估計，最後把 基於雷達121和紅外熱像儀111融合得到的數據用於更新濾波器的目標狀態。對於決策層融合雷達和紅外數據融合，採用分布式處理方法，即首先由雷 達和紅外各自建立關於目標的航跡，然後再進行雷達與紅外航跡的關聯和融合。
權利要求
1、船舶行駛智能型全天候主動安全預警系統，其特徵在於由目標採樣單元(1)、系統中央處理單元(2)、顯示單元(3)、單片機(4)、安全預警單元(5)構成；所述目標採樣單元(1)由帶有解碼器的室外智能高速雲臺(112)、帶有視頻採集卡(113)的紅外熱像儀(111)組成，紅外熱像儀(111)固定在室外智能高速雲臺(112)上，室外智能高速雲臺(112)通過解碼器與系統中央處理單元(2)聯接，紅外熱像儀(111)通過視頻採集卡(113)與系統中央處理單元(2)聯接；所述中央處理系統(2)包括鍵盤(26)、紅外視頻圖像數位訊號處理單元(21)、系統決策處理單元(25)；其中，鍵盤(26)用於向系統決策處理單元(25)輸入信息和控制指令；紅外視頻圖像數位訊號處理單元(21)，用於接收目標採樣單元(1)的數字圖像信號，根據數字圖像信號，利用存儲器裡的處理和分析裝置，計算目標的位置、方位角、速度和加速度，並通過串行通訊接口將計算結果送到系統決策處理單元(25)用；系統決策處理單元(25)用於將來自於數位訊號處理單元的信息，結合鍵盤(26)信息輸入單元輸入的信息，進行主動安全預警決策分析和計算，得到最終的避讓方案後，通過顯示單元(3)和安全預警單元(5)同時進行主動安全預警；顯示單元(3)，用於顯示本系統安裝處的周圍已對目標進行了標記的圖像，以及各目標與本系統安裝處之間的方位角、速度和加速度，同時顯示推薦的避讓方案、危險級別；單片機(4)，用於接收系統決策處理單元(25)的決策結果，控制安全預警單元(5)的報警方式；安全預警單元(5)，用於接收單片機(4)的控制信號，使用不同頻率的聲、光方式表示危險級別和危險方向的提示信息。
2、根據權利要求1所述的船舶行駛智能型全天候主動安全預警系統，其特 徵在於所述的紅外視頻圖像數位訊號處理單元(21)為2個浮點數位訊號處 理器TMS320C6713， 2個TMS320C6713與紅外熱像儀(111)的視頻採集卡(113) 連接；所述的浮點數位訊號處理器TMS320C6713包含圖像存儲器、可編程邏輯 器、程序存儲器和控制器，程序存儲器中設有處理和分析裝置。
3、根據權利要求1所述的船舶行駛智能型全天候主動安全預警系統，其特 徵在於在所述紅外視頻圖像數位訊號處理單元(21)中的存儲器內設有大視 場圖像配準與拼接裝置，將紅外序列圖像自動拼接為全景視圖，並將自動拼接 的全景視圖送到系統決策處理單元(25)存儲。
4、 根據權利要求1所述的船舶行駛智能型全天候主動安全預警系統，其特 徵在於所述的系統決策處理單元(25)為一臺PC計算機。
5、 根據權利要求1所述的船舶行駛智能型全天候主動安全預警系統，其特 徵在於所述的顯示單元(3)為2臺顯示器，顯示器(31)和顯示器(32)， 顯示器(31)顯示周圍多個已作標記的目標的紅外視頻圖像；相關的文字信息 船舶行駛智能型全天候主動安全預警系統安裝處與周圍多個船舶、橋梁、橋墩、 礁石目標之間的距離、方位角、速度和加速度；顯示器(32)顯示推薦的避讓 方案的文字描述包括採用變速讓和/或轉舵讓、速度、方位、危險級別、危險 方向、報警方式。
6、 根據權利要求1所述的船舶行駛智能型全天候主動安全預警系統，其特徵在於所述的安全預警單元(5)為通過與系統決策處理單元(25)串行通信 接口連接的單片機(4)控制外置的揚聲器和/或報警燈。
7、 根據權利要求1所述的船舶行駛智能型全天候主動安全預警系統，其特 徵在於所述目標採樣單元(1)還配備有雷達(121)，雷達(121)屏幕前設 有帶視頻採集卡(123)的可見光圖像傳感器(122)，可見光圖像傳感器(122) 通過視頻採集卡(123)與系統中央處理單元(2)中的可見光視頻圖像數字信 號處理單元(22)聯接，所述的可見光視頻圖像數位訊號處理單元(22)為2 個浮點數位訊號處理器TMS320C6713;所述的浮點數位訊號處理器TMS320C6713 包含圖像存儲器、可編程邏輯器、程序存儲器和控制器，程序存儲器中設有處 理和分析裝置；在所述中央處理系統(2)還設有信息融合單元(23)，信息融 合單元(23)，用於將分別來自於紅外視頻圖像數位訊號處理單元(21)和可見 光視頻圖像數位訊號處理單元(22)的各種信息進行信息融合，得到最終目標 的距離、方位角、速度和加速度，同時對圖像中的目標做出標記，並通過串行 通訊接口將計算結果送到系統決策處理單元(25);所述的信息融合單元(23) 為一臺高速實時數位訊號處理器ADSP21060。
8、 根據權利要求1所述的船舶行駛智能型全天候主動安全預警系統，其特 徵在於所述的船舶行駛智能型全天候主動安全預警系統是設在橋梁、港口、 碼頭、躉船、危險江段、限制區、閘口或船上；當本船舶行駛智能型全天候主 動安全預警系統設在船上時，顯示單元(3)還顯示本船周圍多個己作標記的目 標的圖像；相關的文字信息本船型號、尺寸、本船操控性能參數、載重、本 船方位、本船實時船速、本船與周圍多個船舶、橋梁、橋墩、礁石目標之間的 距離、方位角、速度和加速度。
9、 實現權利要求1所述船舶行駛智能型全天候主動安全預警系統的預警方法，其特徵在於包括以下步驟a、 啟動系統啟動船舶行駛智能型全天候主動安全預警系統，由鍵盤(26)輸入信息和 控制指令；如果船舶行駛智能型全天候主動安全預警系統是安裝在船上，則由 鍵盤(26)輸入本船的船舶型號、船舶尺寸、船舶操控性能參數和載重信息， 同時把本船船載GPS (24)中的本船方位和實時船速信息，通過串行通訊接口， 送到系統決策處理單元(25);b、 目標採樣及數位訊號處理紅外視頻圖像目標採樣及數位訊號處理單元用紅外熱像儀(111)通過雲 臺(112)帶動，對周圍按規定的時間間隔和角度步長進行掃描，從而使得紅外 熱像儀(111)對周圍的水面環境進行攝像，經視頻採集卡(113)將攝錄的圖 像轉換為數位訊號，並送到紅外視頻圖像數位訊號處理單元(21)中的可編程 邏輯器進行時序轉換和總線控制，把控制行信號和圖像信息分別送到數位訊號 處理單元中的圖像存儲器進行存儲，圖像存儲器得到信息後給數位訊號處理單 元中的可編程邏輯器一個確認信息，用數位訊號處理單元中程序存儲器裡的處 理和分析裝置，從圖像存儲器提取圖像進行處理和分析，把處理和分析的結果 送到數位訊號處理單元的控制器，控制器得到信息後，給視頻採集卡(113) — 個確認信號，並把最終的本系統安裝處與周圍多個目標船舶、橋梁、橋墩、 礁石之間的方位角、速度和加速度信息，通過串行通訊接口送到系統決策處理 單元(25);c、 系統決策處理單元(25)得到來自a的信息，結合來自b的信息，由系 統決策處理單元(25)進行主動安全預警決策分析和計算，得到最終的避讓方 案後，通過顯示器(3)和聲光安全預警單元(5)同時進行主動安全預警；其中顯示器(3)顯示的內容為，本系統安裝處的周圍多個已作標記的目標的圖 像；相關的文字信息本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石 之間的方位角、速度和加速度；如果本系統是安裝在船上，還應顯示本船型號、 尺寸、本船操控性能參數、載重、本船方位、本船實時船速、以及推薦的避讓 方案的文字描述包括採用變速讓和/或轉舵讓、速度、方位；根據上述信息進行智能避碰主動安全預警，如果有危險，進行危險級別判 斷，並通過聲光安全預警單元(5)使用不同頻率的聲、光方式表示危險級別和 危險方向的提示信息，通過與系統決策處理單元(25)串行通信接口連接的單 片機(4)，控制外置的揚聲器或報警燈來進行報警。
10、 根據權利要求9所述的船舶行駛智能型全天候主動安全預警方法，其 特徵在於在步驟b中還包括圖像配準與拼接，將紅外序列圖像自動拼接為全 景視圖，並將自動拼接的全景視圖送到系統決策處理單元(25)存儲。
11、 根據權利要求9所述的船舶行駛智能型全天候主動安全預警方法，其 特徵在於步驟b中圖像處理和分析按照如下步驟進行先進行紅外圖像預處理，包括圖像去噪、圖像增強與銳化、圖像校正、運 動背景校正；直接對圖像區域分割，然後提取橋梁、橋墩和礁石特徵，進行有效的跟蹤 和識別；分別採用兩種不同算法組合進行天水線提取，其中，第一條可能天水線的 提取算法組合包括的步驟依次是圖像迭代閾值分割、Roberts梯度算子邊緣檢 測、細化、利用Hough變換提取第一條天水線；第二條可能天水線的提取算法 組合包括的步驟依次是Roberts梯度算子邊緣檢測及二值化、細化、利用Hough變換提取第二條天水線；取兩條可能的天水線中靠近圖像下端的一條天水線作 為最終提取的天水線，並對天水線進行可信度判斷，然後把天水線上下一定範 圍內的圖像區域作為感興趣區域ROI;對圖像感興趣區域ROI進行圖像質量的評價，當評價結果為l時，採用基 於單幀圖像的紅外目標檢測算法；當評價結果為0時，採用基於圖像序列的紅 外目標檢檢測算法；分別使用小波分析方法中的二維小波變換實現頻率選擇和多尺度分解，抑 制背景噪聲和增強目標；將原始圖像進行低頻部分和高頻部分的分離，然後分 別對各低頻和高頻分量進行多解析度分析，提取目標特徵，進行目標檢測；分 形方法中依據船舶和橋墩等人造目標的分形特徵隨尺度變化比自然背景劇烈的 特點，由經過模糊濾波方法進行圖像增強後的ROI子圖像提取出多尺度分形特 徵圖像；最後，利用概率鬆弛法對多尺度分形特徵進行目標檢測；數學形態學 方法中先對ROI子圖進行中值濾波，然後取濾波後的圖像中亮度值最大的像素 作為標記圖像；原圖像經頂帽變換，並進行迭代閾值分割後的圖像作為掩模圖 像來進行形態學重構，實現紅外船舶目標檢測；最後應用證據推理組合對來自 不同方法的目標檢測結果進行證據推理組合，採用Dempster證據合成法則將證 據合成，得到一個置信度識別高的紅外船舶目標檢測結果。
12、根據權利要求9所述的船舶行駛智能型全天候主動安全預警方法，其 特徵在於步驟b中圖像處理和分析還包括以下步驟應用人工神經網絡技術、模糊推理技術實現智能型多機動紅外船舶目標跟 蹤；應用人工神經網絡進行多機動目標跟蹤，具有良好的自適應、自組織學習 以及聯想和容錯能力，通過學習和訓練，有更強的判斷和識別能力，可以自主找到解決問題的辦法；應用模糊推理技術對所跟蹤的多個目標進行威脅評估， 判斷目標類型、目標速度，從而推斷出它們的威脅等級。
13、 根據權利要求9所述的船舶行駛智能型全天候主動安全預警方法，其 特徵在於步驟b中圖像處理和分析還包括以下步驟-採用在經典模式識別算法中增加自適應和學習能力，利用圖像前後關係， 融入人工智慧技術的知識基進行紅外船舶目標的識別，在分割區域進行目標特 徵的提取，分別提取位置特徵、形狀特徵、尺寸特徵、輻射特徵和基於小波分 析提取的特徵，並把這些特徵作為RBF神經網絡的輸入端，進行紅外船舶目標 的識別。
14、 根據權利要求9所述的船舶行駛智能型全天候主動安全預警方法，其 特徵在於步驟b中還包括以下步驟bl、可見光視頻圖像目標採樣及數位訊號處理單元用安裝在雷達(121) 屏幕前面的可見光圖像傳感器(122)，對雷達(121)屏幕進行攝像，獲取雷達 (121)屏幕圖像，經視頻採集卡(123)將攝錄的圖像轉換為數位訊號，並送 到可見光視頻圖像數位訊號處理單元(22)中的可編程邏輯器進行時序轉換和 總線控制，把控制行信號和圖像信息分別送到數位訊號處理單元中的圖像存儲 器進行存儲，圖像存儲器得到信息後給數位訊號處理單元中的可編程邏輯器一 個確認信息，用數位訊號處理單元中程序存儲器裡的處理和分析裝置，從圖像 存儲器提取圖像進行處理和分析，把處理和分析的結果送到數位訊號處理單元 的控制器，控制器得到信息後，給視頻採集卡(123) —個確認信號，並把最終 的本系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位 角、速度和加速度信息，通過串行通訊接口送到中央處理系統(2)中的信息融 合單元(23)進行息融合；b2、信息融合信息融合單元(23)得到來自於紅外視頻圖像數位訊號處 理單元(21)和可見光視頻圖像數位訊號處理單元(22)的信息，分別給對應 步驟b中的紅外視頻圖像數位訊號處理單元(21)和可見光視頻圖像數位訊號 處理單元(22) —個確認信息，信息融合單元(23)將從步驟b中紅外視頻圖 像數位訊號處理單元(21)獲取的本系統安裝處與周圍多個目標船舶、橋梁、 橋墩、礁石之間的方位角、速度和加速度，以及可見光視頻圖像數位訊號處理 單元(22)獲取的本系統安裝處與周圍多個目標船舶、橋梁、礁石之間的距離、 方位角、速度和加速度，經過信息融合處理，得到最終的融合結果信息，即本 系統安裝處與周圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速 度和加速度的準確信息，同時對圖像中的目標做出標記，通過串行通訊接口送 到系統決策單元(25)。
15、根據權利要求9所述的船舶行駛智能型全天候主動安全預警方法，其 特徵在於根據步驟a中輸入的信息，結合步驟b中中得到的本系統安裝處與 周圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度； 採用模糊專家系統方法，對各預警決策要素及其影響程度，綜合成相互獨立正 交的主分量，最終確定船舶避碰危險度，以此為基礎進行主動預警決策；如果 本系統是安裝在船上，根據步驟a中得到的本船型號、尺寸、本船操控性能參 數、載重、本船方位、本船實時船速，結合步驟b中得到的本系統安裝處與周 圍多個目標船舶、橋梁、橋墩、礁石之間的距離、方位角、速度和加速度；採 用模糊專家系統方法，對各預警決策要素及其影響程度，綜合成相互獨立正交 的主分量，最終確定船舶避碰危險度，以此為基礎進行主動預警決策。
16、根據權利要求14所述的船舶行駛智能型全天候主動安全預警方法，其 特徵在於步驟b2中根據步驟b中的紅外視頻圖像數位訊號處理單元(21)獲取的本船舶行駛智能型全天候主動安全預警系統與前方多個目標船舶、橋梁、橋墩、礁石之間的方位角、速度和加速度，和從步驟bl中可見光視頻圖像數字 信號處理單元(22)獲取的本船舶行駛智能型全天候主動安全預警系統與前方 多個目標船舶、橋梁、礁石之間的距離、方位角、速度和加速度，利用紅外熱 像儀(111)高精度的角度測量和雷達(121)高精度的距離測量，利用信息互 補，通過信息融合技術，給出對目標位置的精確估計；特徵層融合採用集中式 處理方法實現雷達(121)和紅外熱像儀(111)融合，首先提取紅外圖像中的 目標質心，然後用最小二乘估計法對紅外熱像儀111的冗餘角度技術進行壓縮， 以產生在時間上和雷達(121)測量對準的偽角度測量，再分別與雷達(121) 的方位角測量進行融合處理，以得到同步數據融合估計，最後把基於雷達(121) 和紅外熱像儀(111)融合得到的數據用於更新濾波器的目標狀態，決策層融合 採用分布式處理方法，首先由雷達(121)和紅外熱像儀(111)各自建立關於 目標的航跡，然後再進行雷達(121)與紅外熱像儀(111)航跡的關聯和融合。
全文摘要
本發明公開了一種船舶行駛智能型全天候主動安全預警系統及其預警方法，預警系統由目標採樣單元、系統中央處理單元、顯示單元、單片機、安全預警單元構成；預警方法，包括以下步驟a.啟動系統；b.目標採樣及數位訊號處理；c.系統決策單元得到來自a的信息，結合來自b的信息，由系統決策單元進行主動安全預警決策分析和計算，得到最終的避讓方案通過顯示器和聲光報警終端同時進行主動安全預警。本發明極大地提高操船人員對於航行周圍環境的感知能力和船舶在能見度不良情況下的主動安全航行保障能力，輔助操船人員進行決策，減少操船的失誤，提高船舶主動避碰成功率，減少或避免船舶相撞、船撞橋、觸礁等交通事故的發生，確保航行運輸安全。
文檔編號B63H25/04GK101214851SQ20081006923
公開日2008年7月9日 申請日期2008年1月10日 優先權日2008年1月10日
發明者俊 劉, 黃席樾, 黃瀚敏 申請人:黃席樾;重慶安馳科技有限公司