一種多模監控裝置及方法
2023-07-27 19:56:36
專利名稱：一種多模監控裝置及方法
技術領域：
本發明涉及的技術領域圖像處理技術領域，尤其涉及一種將可見光、紅外線以及 SAR (合成孔徑雷達)圖像融合的監控裝置及方法。
背景技術：
隨著物聯網的發展，傳感器在人們的生活中將無處不在，尤其是安全監控對生命安全，企業安全以及國防安全起著越來越重要的作用。現有的傳感器監控系統主要是單傳感器，在夜晚以及天氣惡劣的情況下監控效果並不是特別理想，比如紅外傳感器主要在夜間使用，可見光相機在夜晚發揮不了作用；而且在雨天或者多霧天氣，監控的實際效果較差；發現目標以及確認目標的能力較差。多傳感器綜合決策和判斷的技術發展較為緩慢，目前已有的可見光和「紅外」一體化的監控攝像機，但其所包含的並不是真正的紅外攝像機(僅為紅外燈)，且沒有進行其圖像相關性處理和融合處理。同時，隨著SAR技術的發展，小型輕型SAR已經可用於安全監控(比如海面艦船、高速公路車輛等)。目前尚未有SAR實際應用於監控領域，實際應用的通常是用於測速或監視的常規雷達(這類雷達不能成像，只能結合地圖進行聯合應用)，而SAR (合成孔徑雷達)，是一種成像雷達，其相對可見光成像，可視性差一些，但其穿透能力和全天候工作能力強，且對目標(艦船、車輛等)的檢測更加有效。
發明內容
本發明的目的就是針對現有技術存在的問題，提供一種將可見光、紅外線以及SAR (合成孔徑雷達)圖像融合的監控裝置及方法。上述目的是通過下述方案實現的 一種多模監控裝置，其特徵在於，所述裝置包括 可見光圖像獲取模塊，其用於獲取可見光圖像； 紅外線圖像獲取模塊，其用於獲取紅外線圖像； SAR圖像獲取模塊，其用於獲取SAR圖像；
中央處理器模塊，其連接有緩衝存儲器和電源模塊，所述中央處理器模塊用於接收所述可見光圖像、紅外線圖像和SAR圖像數據，並將所述可見光圖像、紅外線圖像和SAR圖像數據發送給圖像處理模塊，並接收所述圖像處理模塊處理後的數據，將處理後的數據發送給無線終端；
圖像處理模塊，其與所述中央處理器模塊連接，並用於接收所述中央處理器模塊發送的可見光圖像、紅外線圖像和SAR圖像數據，將可見光圖像與紅外圖像或SAR圖像進行融合處理，然後將融合處理後的數據發送給中央處理器模塊；
無線終端，其用於將接收到的數據以無線方式發送給遠程伺服器。根據上述的多模監控裝置，其特徵在於，圖像處理模塊在將可見光圖像與紅外圖像或SAR圖像進行融合處理之前，先對可見光圖像進行增強處理。根 據上述的多模監控裝置，其特徵在於，所述可見光圖像獲取模塊和紅外線圖像獲取模塊通過PAL輸入接口和圖像編碼器與所述中央處理器模塊連接；所述SAR圖像獲取模塊通過LVDS接口與所述中央處理器模塊連接。根據上述的多模監控裝置，其特徵在於，所述圖像處理模塊連接有獨立的存儲器。根據上述的多模監控裝置，其特徵在於，所述緩衝存儲器為DDR2存儲器。根據上述的多模監控裝置，其特徵在於，所述獨立的存儲器為SRAM存儲器。根據上述的多模監控裝置，其特徵在於，所述圖像編碼器為ADV7179編碼器。根據上述的多模監控裝置，其特徵在於，所述中央處理器模塊為FPGA，所述圖像處理模塊為DSP，並且所述中央處理模塊通過EMIF接口與所述圖像處理模塊連接。根據上述的多模監控裝置，其特徵在於，所述中央處理器模塊通過422接口、USB 接口或乙太網接口與所述無線終端連接。根據上述的多模監控裝置，其特徵在於，所述圖像處理模塊對可見光進行的增強處理為去霧處理。根據上述的多模監控裝置，其特徵在於，所述圖像處理模塊對可見光與紅外線圖像的融合處理包括對紅外線圖像進行中值濾波，對進行濾波後的紅外線圖像和圖像增強後的可見光圖像進行圖像配準，對配準後的紅外線圖像進行基於區域增長和邊緣檢測的紅外圖像目標提取，然後進行目標分割，將分割後的圖像與配準後的可見光圖像進行融合處理。根據上述的多模監控裝置，其特徵在於，所述圖像處理模塊對可見光與SAR圖像的融合處理包括對SAR圖像依次進行相干斑濾波、構建雜波統計模型、CFAR檢測、形態學濾波、ROI定位提取，對所述可見光圖像進行幾何配準，然後將ROI定位提取的數據映射到所述可將光圖像上，以在可見光圖像上定位相同的目標，然後進行融合。根據上述的多模監控裝置，其特徵在於，在進行圖像融合之前，將SAR圖像和可將光圖像進行進行特徵提取，然後進行圖像的融合和鑑別。一種多模監控方法，其特徵在於，所述方法包括以下步驟
(1)獲取可見光圖像、紅外線圖像和SAR圖像；
(2)將可見光圖像進行增強處理，並將增強處理後的可見光圖像與紅外圖像或SAR圖像進行融合處理；
(3)然後將處理後的數據發送給無線終端，無線終端將接收到的數據以無線方式發送給遠程伺服器。根據上述的多模監控方法，其特徵在於，在步驟(2)中，在將可見光圖像與紅外圖像或SAR圖像進行融合處理之前，先對可見光圖像進行增強處理。根據上述的多模監控方法，其特徵在於，所述增強處理為去霧處理。根據上述的多模監控方法，其特徵在於，所述融合處理包括對紅外線圖像進行中值濾波，對濾波後的紅外線圖像和圖像增強後的可見光圖像進行圖像配準，對配準後的紅外線圖像進行基於區域增長和邊緣檢測的紅外圖像目標提取，然後進行目標分割，將分割後的圖像與配準後的可見光圖像進行融合處理。根據上述的多模監控方法，其特徵在於，對可見光與SAR圖像的融合處理包括對 SAR圖像依次進行相干斑濾波、構建雜波統計模型、CFAR檢測、形態學濾波、ROI定位提取，對所述可見光圖像進行幾何配準，然後將ROI定位提取的數據映射到所述可將光圖像上， 以在可見光圖像上定位相同的目標，然後進行融合。根據上述的多模監控方法，其特徵在於，在進行圖像融合之前，將SAR圖像和可將光圖像進行進行特徵提取，然後進行圖像的融合和鑑別。本發明的有益效果本發明將可見光圖像與紅外圖像或SAR圖像融合在一起，從而能夠提高監控裝置全天候工作能力。
圖1是本發明的多模監控裝置的結構示意圖； 圖2是本發明的多模監控方法的流程圖3是本發明的多模監控方法中涉及的可見光與紅外線圖像的融合算法流程圖； 圖4是本發明的多模監控方法中涉及的可見光與SAR圖像的融合算法流程圖。
具體實施例方式參見圖1，本發明的多模監控裝置包括用於獲取可見光圖像的可見光圖像獲取模塊1，用於獲取紅外線圖像的紅外線圖像獲取模塊2，用於獲取SAR圖像，SAR圖像獲取模塊 3。還包括中央處理器模塊4，其連接有緩衝存儲器和電源模塊，用於接收所述可見光圖像、 紅外線圖像和SAR圖像數據。優選地，緩衝存儲器為DDR2存儲器，數據流通過DDR2存儲器進行緩存，中央處理器模塊4將可見光圖像、紅外線圖像和SAR圖像數據發送給圖像處理模塊5，並接收圖像處理模塊5處理後的數據，將處理後的數據發送給無線終端6 ；圖像處理模塊5，其與中央處理器模塊4連接，並用於接收中央處理器模塊4發送的可見光圖像、紅外線圖像和SAR圖像數據，可對可見光圖像進行空間或圖像增強處理，並將增強處理後的可見光圖像與紅外圖像或SAR圖像進行融合處理，然後將融合處理後的數據發送給中央處理器模塊5 ；無線終端6，其用於將接收到的數據以無線方式發送給遠程伺服器。優選地，可見光圖像獲取模塊1和紅外線圖像獲取模塊2通過PAL輸入接口 7、8 和圖像編碼器9、10與中央處理器模塊4連接；SAR圖像獲取模塊3通過LVDS接口 11與中央處理器模塊4連接。為了滿足圖像處理模塊5允許圖像處理算法的要求，優選地，圖像處理模塊5連接有獨立的SRAM存儲器。優選地，圖像編碼器選用ADV7179編碼器。中央處理器模塊4為FPGA，圖像處理模塊5為DSP，並且中央處理模塊4通過EMIF接口與圖像處理模塊5連接。中央處理器模塊 4通過422接口、USB接口或乙太網接口與無線終端6連接。進一步，FPGA可選用Xilinx公司的Spartan3A系列的晶片，具有處理速度快，功耗較低的特性，並且具有工業級產品，能夠很好的是適應惡劣環境下的應用需求。DSP選用 TI公司的64系列晶片，具有高速的處理能力和浮點運算能力(為保證算法實現的精度，需要一定的浮點運算能力)。輸入輸出接口均選用較成熟的視頻編解碼晶片、串口通信晶片， USB接口採用賽普拉斯公司的USB2. 0 PHY接口晶片，可實現高速的數據傳輸能力。圖像處理模塊5對可見光進行的增強處理包括去霧處理，去雨處理等。去霧算法可以使用Dark Channel算法。
圖像處理模塊5對可見光與紅外線圖像的融合處理包括對紅外線圖像進行中值濾波，對可見光圖像進行空間域圖像增強，對進行濾波後的紅外線圖像和圖像增強後的可見光圖像進行圖像配準，對配準後的紅外線圖像進行基於區域增長和邊緣檢測的紅外圖像目標提取，然後進行目標分割，將分割後的圖像與配準後的可見光圖像進行融合處理。 在本實施例中，可以採用基於小波變換的快速配準方法對紅外圖像和可見光圖像進行圖像配準。圖像融合可以採用通常的融合算法(如像素灰度值選大算法、金字塔圖像融合法、小波變換圖像融合法等)，還可以採用像素鄰域能量取大法，即先對圖像中每個像素計算其區域能量，比較紅外圖像與可見光圖像中對應像素點的區域能量大小，當紅外圖像中的像素點的區域能量大於可見光圖像中對應位置的像素點的區域能量時，取紅外圖像中該像素點的灰度值作為融合圖像對應位置的灰度值；反之，若紅外圖像中的像素點的區域能量小於可見光圖像中對應位置的像素點的區域能量時，取可見光圖像中該像素點的灰度值作為融合圖像對應位置的灰度值。而對於非目標區域，為了儘可能的保留可見光圖像中豐富的光譜信息，我們直接將可見光圖像各像素點作為一次融合圖像中對應位置的像素值。這樣既能突出紅外圖像中我們感興趣的熱目標區域，同時又保留可見光圖像中的豐富的光譜信息。這種融合方法具有計算數據量小，實時性強的特點，並且易於實現。圖像處理模塊對可見光與SAR圖像的融合處理包括對SAR圖像依次進行相干斑濾波、構建雜波統計模型、CFAR檢測、形態學濾波、ROI (Regions of Interest，感興趣區域) 定位提取，對所述可見光圖像進行幾何配準，然後將ROI定位提取的數據映射到所述可將光圖像上，以在可見光圖像上定位相同的目標，然後進行融合。在進行圖像融合之前，將SAR圖像和可將光圖像進行進行特徵提取，然後進行圖像的融合和鑑別。參見圖2，本發明的多模監控方法包括以下步驟(1)獲取可見光圖像、紅外線圖像和SAR圖像；(2)將可見光圖像與紅外圖像或SAR圖像進行融合處理；(3)然後將處理後的數據發送給無線終端，無線終端將接收到的數據以無線方式發送給遠程伺服器。在步驟(2)中可以對可見光圖像進行空間或圖像增強處理。對可見光進行的增強處理包括去霧處理、去雨處理等。去霧算法可以使用Dark Channel算法。參見圖3，可見光與紅外圖像的融合處理包括對紅外線圖像進行中值濾波，對可見光圖像進行空間域圖像增強，對濾波後的紅外線圖像和圖像增強後的可見光圖像進行圖像配準，對配準後的紅外線圖像進行基於區域增長和邊緣檢測的紅外圖像目標提取，然後進行目標分割，將分割後的圖像與配準後的可見光圖像進行融合處理。在本實施例中，可以採用基於小波變換的快速配準方法對紅外圖像和可見光圖像進行圖像配準。圖像融合可以採用通常的融合算法(如像素灰度值選大算法、金字塔圖像融合法、小波變換圖像融合法等)，還可以採用像素鄰域能量取大法即先對圖像中每個像素計算其區域能量，比較紅外圖像與可見光圖像中對應像素點的區域能量大小，當紅外圖像中的像素點的區域能量大於可見光圖像中對應位置的像素點的區域能量時，取紅外圖像中該像素點的灰度值作為融合圖像對應位置的灰度值；反之，若紅外圖像中的像素點的區域能量小於可見光圖像中對應位置的像素點的區域能量時，取可見光圖像中該像素點的灰度值作為融合圖像對應位置的灰度值。而對於非目標區域，為了儘可能的保留可見光圖像中豐富的光譜信息，我們直接將可見光圖像各像素點作為一次融合圖像中對應位置的像素值。這樣既能突出紅外圖像中我們感興趣的熱目標區域，同時又保留可見光圖像中的豐富的光譜信息。這種融合方法具有計算數據量小，實時性強的特點，並且易於實現。參見圖4，對可見光與SAR圖像的融合處理包括對SAR圖像依次進行相干斑濾波、 構建雜波統計模型、CFAR檢測(恆虛警率目標檢測)、形態學濾波、ROI定位提取，對所述可見光圖像進行幾何配準，然後將ROI定位提取的數據映射到所述可將光圖像上，以在可見光圖像上定位相同的目標，然後進行融合。相干 斑濾波可通過以下算法進行
(1)通過大量SAR數據得出，對於單視系統，噪聲趨近於瑞利/負指數分布，並且95. 5% 的像素分布在均值以及兩個sigma值範圍內。(2)因此以負指數理論分布來模擬噪聲分布，計算兩個sigma值的範圍。(3)統計像素分布直方圖，找出累積分布98%處的閾值。判斷窗口內中心點是否大於閾值。若是，且大於亮度閾值k，則對中心像素進行保留不處理，若否，則進行下列處理。(4)某一窗口中，進行最小二乘匪SE運算，確定sigma範圍。將該範圍內的像素作為參與運算的有效像素，計算有效像素均值方差，並用最小二乘MMSE進行中心像素估計。(5)設置像素分布閾值，不再將95. 5%作為恆定值，在目標提取時，自適應選擇閾值參數，用80-90%之間的值為最佳。基於SAR圖像的目標檢測任務就是尋找亮度分布的局部異常，檢測結果的好壞在很大程度上取決於兩個基本雷達參數(1)目標背景比，即信噪比；(2)背景的標準方差。在對SAR圖像進行目標檢測之前需要對背景雜波進行統計建模。通過理論分析和大量實測數據實驗，證明Gtj分布最適於描述SAR圖像雜波特性，它對均勻，一般不均勻和極不均勻雜波區域(多目標環境)都能較精確的建模，且參數估計容易，計算複雜度低。因此採用爐分布作為局部滑窗內雜波區域的統計模型。考慮強度數據，用Gci分布的強度形式g分布建模。CFAR檢測方法是一種像素級水平的目標檢測方法，其前提是目標相對於背景有較強的對比度。CFAR算法通過單個像素灰度和某一門限的比較達到檢測目標像素的目的。高解析度光學圖像中軍事目標通常具有一定的幾何結構和尺寸，其輪廓通常為矩形，三角形，圓形等規則圖形，當視角不同時，會呈現平行四邊形結構。這種人工線形特徵具有良好的鑑別性能。光學ROI處理步驟為首先利用Carmy算子提取ROI邊緣，然後進行而至形態學運算獲取更光滑輪廓。最後提取邊緣形狀特徵參數，如長寬比，面積，馬氏距離不變量，目標不變矩等。在進行圖像融合之前，可將SAR圖像和可將光圖像進行進行特徵提取，然後進行圖像的融合和鑑別。
權利要求
1.一種多模監控裝置，其特徵在於，所述裝置包括可見光圖像獲取模塊，其用於獲取可見光圖像；紅外線圖像獲取模塊，其用於獲取紅外線圖像；SAR圖像獲取模塊，其用於獲取SAR圖像；中央處理器模塊，其連接有緩衝存儲器和電源模塊，所述中央處理器模塊用於接收所述可見光圖像、紅外線圖像和SAR圖像數據，並將所述可見光圖像、紅外線圖像和SAR圖像數據發送給圖像處理模塊，並接收所述圖像處理模塊處理後的數據，將處理後的數據發送給無線終端；圖像處理模塊，其與所述中央處理器模塊連接，並用於接收所述中央處理器模塊發送的可見光圖像、紅外線圖像和SAR圖像數據，將可見光圖像與紅外圖像或SAR圖像進行融合處理，然後將融合處理後的數據發送給中央處理器模塊；無線終端，其用於將接收到的數據以無線方式發送給遠程伺服器。
2.根據權利要求1所述的多模監控裝置，其特徵在於，圖像處理模塊在將可見光圖像與紅外圖像或SAR圖像進行融合處理之前，先對可見光圖像進行增強處理。
3.根據權利要求1所述的多模監控裝置，其特徵在於，所述可見光圖像獲取模塊和紅外線圖像獲取模塊通過PAL輸入接口和圖像編碼器與所述中央處理器模塊連接；所述SAR 圖像獲取模塊通過LVDS接口與所述中央處理器模塊連接。
4.根據權利要求1所述的多模監控裝置，其特徵在於，所述圖像處理模塊連接有獨立的存儲器。
5.根據權利要求1所述的多模監控裝置，其特徵在於，所述緩衝存儲器為DDR2存儲器。
6.根據權利要求3所述的多模監控裝置，其特徵在於，所述獨立的存儲器為SRAM存儲器。
7.根據權利要求2所述的多模監控裝置，其特徵在於，所述圖像編碼器為ADV7179編碼器。
8.根據權利要求1所述的多模監控裝置，其特徵在於，所述中央處理器模塊為FPGA，所述圖像處理模塊為DSP，並且所述中央處理模塊通過EMIF接口與所述圖像處理模塊連接。
9.根據權利要求1所述的多模監控裝置，其特徵在於，所述中央處理器模塊通過422接口、USB接口或乙太網接口與所述無線終端連接。
10.根據權利要求2所述的多模監控裝置，其特徵在於，所述圖像處理模塊對可見光進行的增強處理為去霧處理。
11.根據權利要求2所述的多模監控裝置，其特徵在於，所述圖像處理模塊對可見光與紅外線圖像的融合處理包括對紅外線圖像進行中值濾波，對進行濾波後的紅外線圖像和圖像增強後的可見光圖像進行圖像配準，對配準後的紅外線圖像進行基於區域增長和邊緣檢測的紅外圖像目標提取，然後進行目標分割，將分割後的圖像與配準後的可見光圖像進行融合處理。
12.根據權利要求1所述的多模監控裝置，其特徵在於，所述圖像處理模塊對可見光與 SAR圖像的融合處理包括對SAR圖像依次進行相干斑濾波、構建雜波統計模型、CFAR檢測、 形態學濾波、ROI定位提取，對所述可見光圖像進行幾何配準，然後將ROI定位提取的數據映射到所述可將光圖像上，以在可見光圖像上定位相同的目標，然後進行融合。
13.根據權利要求12所述的多模監控裝置，其特徵在於，在進行圖像融合之前，將SAR 圖像和可將光圖像進行進行特徵提取，然後進行圖像的融合和鑑別。
14.一種多模監控方法，其特徵在於，所述方法包括以下步驟(1)獲取可見光圖像、紅外線圖像和SAR圖像；(2)將可見光圖像進行增強處理，並將增強處理後的可見光圖像與紅外圖像或SAR圖像進行融合處理；(3)然後將處理後的數據發送給無線終端，無線終端將接收到的數據以無線方式發送給遠程伺服器。
15.根據權利要求14所述的多模監控方法，其特徵在於，在步驟(2)中，在將可見光圖像與紅外圖像或SAR圖像進行融合處理之前，先對可見光圖像進行增強處理。
16.根據權利要求15所述的多模監控方法，其特徵在於，所述增強處理為去霧處理。
17.根據權利要求15所述的多模監控方法，其特徵在於，所述融合處理包括對紅外線圖像進行中值濾波，對濾波後的紅外線圖像和圖像增強後的可見光圖像進行圖像配準，對配準後的紅外線圖像進行基於區域增長和邊緣檢測的紅外圖像目標提取，然後進行目標分害IJ，將分割後的圖像與配準後的可見光圖像進行融合處理。
18.根據權利要求14所述的多模監控方法，其特徵在於，對可見光與SAR圖像的融合處理包括對SAR圖像依次進行相干斑濾波、構建雜波統計模型、CFAR檢測、形態學濾波、ROI 定位提取，對所述可見光圖像進行幾何配準，然後將ROI定位提取的數據映射到所述可將光圖像上，以在可見光圖像上定位相同的目標，然後進行融合。
19.根據權利要求14所述的多模監控裝置，其特徵在於，在進行圖像融合之前，將SAR 圖像和可將光圖像進行進行特徵提取，然後進行圖像的融合和鑑別。
全文摘要
本發明公開了一種多模監控裝置及方法，裝置包括可見光圖像獲取模塊、紅外線圖像獲取模塊、SAR圖像獲取模塊、中央處理器模塊、圖像處理模塊和無線終端。本發明的方法是中央處理器模塊接收所述可見光圖像、紅外線圖像和SAR圖像數據，並將所述可見光圖像、紅外線圖像和SAR圖像數據發送給圖像處理模塊，並接收所述圖像處理模塊進入融合處理後的數據，將處理後的數據發送給無線終端，無線終端將接收到的數據以無線方式發送給遠程伺服器。本發明將可見光圖像與紅外圖像或SAR圖像融合在一起，從而能夠提高監控裝置全天候工作能力。
文檔編號H04N7/18GK102231205SQ20111017219
公開日2011年11月2日 申請日期2011年6月24日 優先權日2011年6月24日
發明者全升學, 熊鋒, 王小珍 申請人:北京戎大時代科技有限公司