紅外與可見光視頻融合系統的製作方法
2023-04-24 22:35:36
專利名稱：紅外與可見光視頻融合系統的製作方法
技術領域：
本發明是一種視頻融合系統，涉及圖像處理領域，視頻處理領域還有自動控制領域。具體涉及一種紅外與可見光視頻融合的方法和系統。
背景技術：
不同傳感器自身物理特性、成像機理和觀察視角等各個方面的種種限制，單一的圖像傳感器往往不能夠從場景中提取足夠的信息，以致於很難甚至無法獨立獲得對一幅場景的全面描述。為了滿足實際中的需要，充分利用多傳感器的圖像信息，各種圖像融合技術快速發展起來。視頻融合是一種以圖像融合為基礎的技術，將不同傳感器捕獲的視頻幀，對 同一時段的同一背景圖像採用圖像融合的方式進行融合，並最終將融合後的圖像幀以視頻的形式讀出，即為視頻融合的過程。可見光圖像是反射圖像，高頻成分多，在一定照度下能反映場景的細節，但照度不佳時的見光圖像的對比度較低；紅外圖像是輻射圖像，灰度由目標與背景的溫差決定，不能反映真實的場景。單獨使用可見光或紅外圖像均存在不足之處，當目標本身各部位溫度變化較大或者背景熱輻射特性較弱時，紅外圖像包含的目標或背景的細節信息較少，而可見光圖像則可含豐富的細節信息；然而，在光線較暗或有少量煙、雲、霧環境中，可見光圖像質量較差，紅外圖像中的目標卻依然清晰可辨。可見光圖像和紅外圖像的融合就可以適應晝夜光線變換較大的情況，並具備一定的穿透能力，從而有效地綜合和發掘各自的特徵信息，增強場景理解，突出目標，有利於在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標。圖像融合作為一種綜合處理多傳感器圖像數據的有效技術途徑日益引起人們的重視，其應用範圍已遍及軍事、遙感、醫學、安全監控等領域。視頻融合也能在以上領域大有作為，視頻的動態顯示給人更直觀的感覺，並能快速方便的發現背景中目標的變化，比靜態圖像顯示的信息要豐富的多，因此也更具有優勢。視頻融合以圖像融合為基礎，將攝像頭採集的圖像幀採取逐幀融合的方式進行融合，在各個領域有著廣泛的應用，具有很高的實用價值和研究意義。目前的視頻融合方法中存在計算效率低、實時性較差等問題。
發明內容
本發明提出一種視頻融合的方法和裝置，可以很方便的實現可見光與熱圖像視頻的融合。提出一種電腦串口直接控制z 臺和攝像頭轉的技術方案，解決現有視頻融合系統需要採集卡軟體控制的弊端。整套裝置不需要採集卡，採用電腦直接控制融合過程。本發明充分利用電腦的計算和顯示能力，與同類發明相比儘可能減少了裝置的數目和提高了融合及顯不的速度。本發明給出了一種具體的可見光與熱圖像視頻融合方法。其特徵在於直接將紅外與可見光攝像頭的輸出連接電腦，減少中間環節，通過電腦的快速處理，加快了視頻融合和輸出顯示的時間。將兩個攝像頭垂直固定在雲臺的同一位置上，採用有usb接口的攝像頭，通過USb接口將兩路視頻直接輸入電腦，雲臺控制的方式採用電腦串口輸出數據控制，結構簡單，實現方便。雲臺採用有特製解碼器的雲臺，通過電腦的串口，將控制信息傳送給解碼器，解碼器解析控制信息，控制雲臺轉動或者攝像頭變焦。規定一種新的電腦與雲臺的通信協議。
系統控制界面採用VC++6. O編寫，雲臺的運動控制及攝像頭的變焦分別通過雲臺控制界面上的按鈕來控制。很方便的實現雲臺的向上、向下、向左、向右控制及攝像頭的變焦。規定一種電腦和雲臺的通信協議，其特徵在於電腦對雲臺的直接串口控制過程中所採用的數據幀格式包括幀頭、標識碼、控制欄位、和校驗碼四個欄位，其中幀頭用於標記信息的開始標識碼用於表示數據幀的類型，包括0χ01Η、0χ02Η兩個值，當標識碼為OxOlH時表示雲臺轉動控制，當標識碼為0χ02Η時表示攝像頭的聚焦控制；控制欄位用於表示不同標識碼下對應的數據內容當標識碼為OxOlH時，控制碼為雲臺的控制信息；0χ01Η、0χ02Η、0χ03Η、0χ04Η、0χ05Η分別表示雲臺向上、向下、向左、向右和停止。當標識碼為0χ02Η時,控制欄位對應的是攝像頭控制彳目息。本發明給出了詳細的數據幀格式，具體的控制在物理層上看就是電腦向雲臺發送相應的數據幀，然後雲臺做出響應動作。幀頭、標識碼、控制欄位、和校驗碼都為一個字節。紅外和可見光攝像頭的圖像輸入和顯示均由opencv編寫的代碼進行控制，在VC++中安裝和配置opencv工具,寫代碼的時候就可以輕鬆調用opencv的庫函數來處理採集的圖像幀。可以用代碼來控制採集的視頻幀的速率，攝像頭的顯示等。整個系統的視頻融合處理步驟為S1.同時採集一幀紅外和可見光視頻圖像S2.計算圖像配準參數S3.對輸入的視頻幀採用S2的配準參數進行逐幀配準，逐幀融合，對融合後的視頻幀進行保存S4.將保存的融合圖像幀以動態視頻的方式在顯示界面中顯出出來。在本發明中，圖像的配準對視頻的融合效果起著重要的作用，本發明採用一種進行圖像預處理、圖像增強、特徵點提取與匹配、採用仿射模型計算配準參數的方法求解配準參數的方法。具有很高的配準精度，充分消除由於噪聲和配準精度對融合效果帶來的影響。S2具體步驟為S20.對採集到的兩幀圖像分別進行預處理，對紅外圖像進行二維傅立葉變化，再進行高斯高通濾波，增強紅外圖像的高頻部分，突出圖像中的目標，對見光圖像先進行小波去噪，濾去可見光攝像頭產生的隨機噪聲，再進行直方圖增強，增強圖像的背景信息。S21.採用一種特徵點標記的算法，標記增強後的紅外和可見光圖像的特徵點，並進行特徵點匹配。在經過S20後的紅外和可見光圖像中選擇特別突出的特徵點進行手動標記，電腦記錄下可見光標記點在圖像平面中特徵點的坐標A0(x0, y0),通過一定的模型計算出標記點在實體空間中的坐標Al (xl, yl, zI);電腦同時記錄下紅外熱圖像在平面中特徵點的坐標BO (xO』，y0』)，通過一定的模型計算出標記點在實體空間中的坐標Β1(χΓ，yl』，ζΓ );設選定Al，尋址BI，若出現有一點BI使
= \m-=^(xl -xl) -(jl'-xl) -(zl -xl) Q+義』 a為兩攝像頭鏡頭中心點的距尚，入為可變調節閾值，則認定此BI點與相應的Al點匹配，記錄下保存此兩點的平面坐標BO、AO作為一組匹配點；S22.通過匹配成功的特徵點，在仿射模型下求出圖像配準的參數。本發明中紅外和可見光攝像頭同軸固定在雲臺的垂直位置上，減少了配準的難度，步驟S2計算出的配準參數可以作為攝像頭在某一位置本系統在圖像幀融合過程中的一固定參數。當雲臺有轉動時，重新通過步驟S2計算新的配準參數。本發明採用一種用visual c++編寫的融合控制界面對話框來控制融合的過程，包括融合開始的時間，融合圖像保存的位置，融合圖像每秒融合的幀數，融合方法的選擇。其中融合方法包括，基於小波變換的圖像融合，基於NSCT的圖像融合。本發明的融合控制系統是一種開放式的系統，可以拓展加入新的融合方法。 本發明在visual c++編程中引入opencv工具箱來聯合編程,可以將對攝像頭的讀取過程簡單化，提高整體的實現效果。充分發揮opencv的圖像處理能力，在圖像預處理和圖像配準是實現快速運算，提高系統的實時性。本發明編寫的電腦制界面可以選擇圖像融合的方式，同時軟體有默認的融合方式。點擊按鈕，視頻融合開始，選擇融合視頻幀保存的位置，視頻幀採用逐幀融合的方式，同時融合的結果將在融合控制界面中實時輸出。
本發明的
如下圖1是本發明的系統結構示意圖；圖2是本發明紅外與可見光視頻幀的配準過程；圖3是本發明的紅外與可見光視頻融合處理流程；圖4是電腦串口與特製解碼器的通信協議幀格式。
具體實施例方式下面祥述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能理解為對本發明的限制。如圖1所示系統包含兩種攝像頭，分別為紅外熱像儀和可見光攝像頭，並通過usb接口直接與電腦相連。雲臺通過串口與電腦相連，電腦發送數據巾貞，實現雲臺的運動控制和攝像頭的變焦。本發明採用一種特製的雲臺解碼器，接收電腦串口的信息後發送指令給雲臺，驅動雲臺電機的轉動，或者將解碼的指令發送攝像機，控制攝像機的變焦。規定一種電腦串口與雲臺特製解碼器的通信協議，其特徵在於電腦對雲臺的直接串口控制過程中所採用的數據幀格式包括幀頭、標識碼、控制欄位、和校驗碼四個欄位，其中幀頭用於標記信息的開始標識碼用於表示數據幀的類型，包括0χ01Η、0χ02Η兩個值，當標識碼為OxOlH時表示雲臺轉動控制，當標識碼為0χ02Η時表示攝像頭的聚焦控制；控制欄位用於表示不同標識碼下對應的數據內容當標識碼為OxOlH時，控制碼為雲臺的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分別表示雲臺向上、向下、向左、向右和停止；當標識碼為0x02H時，控制欄位對應的是攝像頭控制信息；幀頭、標識碼、控制欄位、和校驗碼都為一個字節；本協議的通信過程是單向的，即由電腦發送信息雲臺解碼器接收，雲臺解碼器無返回信息。整個系統的視頻融合處理步驟為S1.同時採集一幀紅外和可見光視頻圖像S2.計算圖像配準參數S3.對輸入的視頻幀採用S2的配準參數進行逐幀配準，逐幀融合，對融合後的視頻幀進行保存
S4.將保存的融合圖像幀以動態視頻的方式在顯示界面中顯出出來。在本發明中，圖像的配準對視頻的融合效果起著重要的作用，本發明採用一種進行圖像預處理、圖像增強、特徵點提取與匹配、採用仿射模型計算配準參數的方法求解配準參數的方法。具有很高的配準精度，充分消除由於噪聲和配準精度對融合效果帶來的影響。S2具體步驟為S20.對採集到的兩幀圖像分別進行預處理，對紅外圖像進行二維傅立葉變化，再進行高斯高通濾波，增強紅外圖像的高頻部分，突出圖像中的目標，對見光圖像先進行小波去噪，濾去可見光攝像頭產生的隨機噪聲，再進行直方圖增強，增強圖像的背景信息。S21.採用一種特徵點標記的算法，標記增強後的紅外和可見光圖像的特徵點，並進行特徵點匹配。在經過S20後的紅外和可見光圖像中選擇特別突出的特徵點進行手動標記，電腦記錄下可見光標記點在圖像平面中特徵點的坐標AO (xO, y0),通過一定的模型計算出標記點在實體空間中的坐標Al (xl, yl, zI);電腦同時記錄下紅外熱圖像在平面中特徵點的坐標BO (xO』，y0』)，通過一定的模型計算出標記點在實體空間中的坐標Β1(χΓ，yl』，ζΓ );設選定Al，尋址BI，若出現有一點BI使
s—=Im--41I = j(xl -xl) -(jl'-xl) -(zl -xl) ^α + λ，a為兩攝像頭鏡頭中心點的距尚，入為可變調
節閾值，則認定此BI點與相應的Al點匹配，記錄下保存此兩點的平面坐標Β0、Α0作為一組匹配點；S22.通過匹配成功的特徵點，在仿射模型下求出圖像配準的參數。本發明中紅外和可見光攝像頭同軸固定在雲臺的垂直位置上，減少了配準的難度，步驟S2計算出的配準參數可以作為攝像頭在某一位置本系統在圖像幀融合過程中的一固定參數。當雲臺有轉動時，重新通過步驟S2計算新的配準參數。在本發明的第一實施例中，該紅外成像傳感器採用北京歐萬電子科技有限公司生產的PI400在線紅外熱像儀，支持USB2. O接口，它具有每秒響應80幀的速率，高熱靈敏度，體積小，重量輕等優點，可遠程實時監控，附有功能強大的pc軟體開發包。可見光成像傳感器採用深圳市欣創騰電子有限公司生產的AC815攝像頭，它是一種具有近紅外CCD成像特性的高性能可見光成像傳感器，攝像頭支持USB2. O接口，硬體像素300萬，最大幀數30幀/s，支持各種解析度，可手動調節亮度、對比度、飽和度、清晰度和伽瑪值。可見光傳感器配備一個電動鏡頭，電動鏡頭的控制器通過RS232串行接口與解碼器連接，通過該解碼器輸出可對該電動鏡頭進行縮放、變焦和光圈控制。
本發明的雲臺採用普天視公司生產的普天視301型雲臺。雲臺選用永久型重載磁同步電機，具有雲臺停保護功能，抗強風，裝有高性能長壽命進口組件變速箱、金屬齒輪，水平自動限位調節，鋁合金材料模壓鑄造成型。旋轉角度水平最大350度，垂直最大正負60度。滿足全方位的視角要求。系統的控制界面採用VC++6. O編寫，雲臺的運動控制及攝像頭的變焦分別通過雲臺控制界面上的按鈕來控制。很方便的實現雲臺的向上、向下、向左、向右控制及攝像頭的變焦。規定一種電腦與雲臺的通信協議，給出了詳細的數據幀格式，具體的控制在物理層上看就是電腦向雲臺發送相應的數據幀，然後雲臺做出響應動作。在visual c++編程中引入opencv工具箱來聯合編程,可以將對攝像頭的讀取過程簡單化，提高整體的實現效果。充分發揮opencv的圖像處理能力，在圖像預處理和圖像 配準是實現快速運算，提高系統的實時性。採用一種用visual c++編寫的融合控制界面對話框來控制融合的過程，包括融合開始的時間，融合圖像保存的位置，融合圖像每秒融合的幀數，融合方法的選擇。其中融合方法包括，基於小波變換的圖像融合，基於NSCT的圖像融合。如圖1所示可見光攝像頭和紅外熱像儀分別採集圖像幀，在進行預處理後進行配準，計算出配準的參數，並保存配準參數，之後每幀圖像融合前都採用此參數進行配準，若攝像頭有位置的變動，則要重新配置一次；選擇融合算法，點擊融合控制界面中的融合按鈕，開始融合，保存融合後的圖像序列到指定位置。對配準後的圖像採取逐幀融合的方式，一邊保存融合後的圖像幀，一般讀出視頻幀。。圖像融合的控制過程同樣通過軟體的控制界面來控制，可以選擇融合的幀率，融合的算法，還可以選擇測試融合圖像的客觀評價指數。本發明提出一種新的雲臺控制方法，規定出一種電腦串口和雲臺解碼器的通信控制協議，操作簡單，易於實現，有著很好的推廣和應用前景。提出一種新的紅外與可見光視頻圖像融合處理方法，滿足一般視頻融合的實時性要求，在遙感，遠程監控，自動控制等領域有很高的實用價值。儘管已經示出和描述了本發明的實施例，但本發明並不局限於前述的具體實施方式
，在不脫離本發明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的範圍由權利要求及其等同物限定。
權利要求
1.一種紅外與可見光視頻融合系統，其特徵在於包括特製解碼器的雲臺(I),可見光視頻圖像採集模塊(2)，紅外熱像儀(3)，電腦PC (4);還包括規定一種電腦串口和雲臺特製解碼器的通信協議，採用一種新的紅外與可見光視頻融合處理流程。
2.權利要求1所述電腦串口與雲臺特製解碼器的通信協議，其特徵在於電腦對雲臺的直接串口控制過程中所採用的數據幀格式包括幀頭、標識碼、控制欄位、和校驗碼四個欄位，其中幀頭用於標記信息的開始 標識碼用於表示數據幀的類型，包括0X01H、0X02H兩個值，當標識碼為OxOlH時表示雲臺轉動控制，當標識碼為0x02H時表示攝像頭的聚焦控制； 控制欄位用於表示不同標識碼下對應的數據內容當標識碼為OxOlH時，控制碼為雲臺的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分別表示雲臺向上、向下、向左、向右和停止；當標識碼為0x02H時，控制欄位對應的是攝像頭控制信息；幀頭、標識碼、控制欄位、和校驗碼都為一個字節； 本協議的通信過程是單向的，即由電腦發送信息雲臺解碼器接收，雲臺解碼器無返回信息。
3.權利要求書I所述的一種新的紅外與可見光視頻融合處理流程，其特徵在於 51、對圖像進行預處理，計算配準參數； 52、在控制軟體界面中選擇融合的算法； 53、採用逐幀融合的方式進行視頻幀圖像融合，融合的圖像保存在指定位置； 54、融合後的圖像一邊保存，同時在pc的融合控制界面中顯示。
4.權利要求3中SI的具體步驟為 510、通過兩種攝像頭分別採集一張可見光和紅外熱圖像； 511、對採集到的兩幀圖像分別進行預處理，對紅外圖像進行二維傅立葉變化，再進行高斯高通濾波，增強紅外圖像的高頻部分，突出圖像中的目標，對見光圖像先進行小波去噪，濾去可見光攝像頭產生的隨機噪聲，再進行直方圖增強，增強圖像的背景信息。
512、採用一種特徵點標記的算法，標記增強後的紅外和可見光圖像的特徵點，並進行特徵點匹配。在經過S20後的紅外和可見光圖像中選擇特別突出的特徵點進行手動標記，電腦記錄下可見光標記點在圖像平面中特徵點的坐標A0(x0, y0),通過一定的模型計算出標記點在實體空間中的坐標Al (xl, yl, zl);電腦同時記錄下紅外熱圖像在平面中特徵點的坐標B0(x0』，y0』)，通過一定的模型計算出標記點在實體空間中的坐標BI (xl』，yl』，zl』)；設選定 Al,尋址 BI,若出現有一點 BI 使L-圳=j(jd-xl) -(jl'-xl) -(zl-xl) ^α + λ，a 為兩攝像頭鏡頭中心點的距離，λ為可變調節閾值，則認定此BI點與相應的Al點匹配，記錄下保存此兩點的平面坐標BO、AO作為一組匹配點； 513、通過匹配成功的特徵點，在仿射模型下求出圖像配準的參數。
5.權利要求3所述S2其特徵在於可以在pc的融合控制軟體中選擇融合算法，包括小波分析的算法、非下採樣contourlet變換算法。
6.權利要求1所述pc(4)上包含雲臺的控制界面，其特徵在於在軟體界面中有雲臺向上，雲臺向下，雲臺向左，雲臺向右，雲臺停止，轉速增加，轉速減小控制按鈕，通過軟體直接給特製的雲臺解碼器發送數據，控制雲臺的上下左右轉動和轉動速度。
7.權利要求1所述可見光攝像頭(2)與紅外熱像儀(3)分別採帶usb接口的(如果沒有USb 口可以轉接成USb 口)設備，其特徵在於直接連接上電腦的埠，減少中間環節。
8.權利要求1中電腦的控制界面含有攝像頭的控制部分，其特徵在於控制界面中用進度條的方式，採用滑鼠拖動，控制紅外熱像儀和可見光攝像頭的鏡頭大小。
9.權利要求1中紅外熱像儀(3)和可見光攝像頭(2)垂直連接放置在雲臺(I)上，其特徵在於固定紅外熱像儀和可見光攝像頭的相距距離，且紅外熱像儀和可見光攝像頭的連線正90度垂直於地面。
10.權利要求1中PC編寫的融合控制界面，其特徵在於具有設置融合前採集的熱圖像和可見光圖像是同一尺寸的功能，這樣降低了配準的難度。
11.權利要求3所述S4，其特徵在於電腦將融合的圖片保存在指定位置，同時用視頻方式在融合控制界面中顯示出來。
全文摘要
本發明是關於一種視頻融合系統，提出一種電腦串口控制雲臺的通信協議以及一種新的紅外與可見光視頻融合處理方法。分為雲臺控制部分，攝像頭視頻採集部分，視頻融合部分，融合顯示部分。採用vc++編寫控制和顯示界面，在視頻圖像的處理方面引入了opencv庫，將最後的融合結果顯示出來。雲臺的控制包括上下左右轉動還有轉速的控制，攝像頭採集部分分為紅外熱像儀和可見光攝像頭，分別採集兩種視頻信息，同時還可以通過控制界面控制攝像頭的變焦等。採用一種新的可見光與紅外圖像配準方法，簡單快速，增強了系統的實時性。由於紅外圖像和可見光圖像具有良好的互補性，使得本發明具有很高的實用性，融合效果良好，應用廣泛。
文檔編號G06T5/00GK103024281SQ20131001098
公開日2013年4月3日 申請日期2013年1月11日 優先權日2013年1月11日
發明者韓亮, 賀晨輝, 蒲秀娟 申請人:重慶大學