紅外熱圖數位訊號處理系統及方法
2023-11-10 09:37:47
專利名稱：紅外熱圖數位訊號處理系統及方法
技術領域：
本發明涉及一種紅外熱成像技術領域，特別是涉及一種紅外熱圖的數位訊號處理 (FPGA實現)等技術。
背景技術：
目前大多數的紅外熱成像系統，紅外探測器輸出的模擬信號，經過前端A/D轉換得到14bit的數位訊號，進入數位訊號處理模塊，轉換成8bit的灰度信號，再由視頻解碼模塊產生標準電視信號輸出到監視器。為了將高比特大動態範圍的輸入信號變成符合人眼觀察習慣的256級灰度信號， 數位訊號處理模塊需要實時、快速地進行數位訊號的壓縮/拉伸、溢出/截止處理、亮度偏移、增益調整等操作，才能將高比特大動態範圍的輸入信號變成符合人眼觀察習慣的圖像信號。現有的技術之一，是基於通常情況下上當前幀圖像之間存在連續性的這一特點， 以上一幀圖像各個點AD值(數位化能量值)的累計平均值來作為當前幀圖像亮度偏移的參考。現有的技術之二，是基於直方圖統計的圖像均衡化技術，通過統計上一幀圖像各個灰度級的像素個數，得到分布曲線，輸出時將沒有像素數的灰度級或者像素數很少的灰度級壓縮、像素數多的灰度級拉伸，實現圖像增強。然而，這兩種現有技術存在以下缺點針對現有技術一，當場景中出現小面積比平均值高很多的亮目標時，AD值的累計和會大幅增加，而使當前幀圖像的亮度下降較多，甚至將其他大面積的目標完全壓黑，而影響目標的觀察。針對現有技術二，在圖像增強的同時，也提升了背景和噪聲，甚至使一些像素數少的「關鍵目標」被淹沒，目標的邊緣像素點也會被合併，從而使圖像細節丟失。
發明內容
本發明用以解決當場景發生較大變化時，紅外熱圖像適應性不佳而影響目標觀察的問題。具體而言，針對現有技術一和二的上述不足，本發明提供一種能夠結合兩者優點並具有較佳場景適應性的紅外熱圖數位訊號處理系統及方法，其針對上一幀圖像的不同等級的AD值作差別權重累加，保證圖像的整體亮度不受局部過亮、過暗目標的影響，同時結合直方圖統計技術，將超出線性範圍的亮、暗目標進行灰度值偏移，壓縮至線性範圍內，保留亮、暗目標的細節。為實現上述目的，本發明提供一種紅外熱圖數位訊號處理系統，其包括設置在紅外熱像儀上的FPGA晶片，用以對由紅外熱像儀拍攝的多幀紅外熱圖的數位訊號進行處理， 該FPGA晶片包括圖像處理模塊，在幀逆程中，對表示當前幀圖像的原始直方圖曲線分布的原始直方圖數據進行差別權重累加處理，以濾除過亮或過暗的像素，並將經該圖像處理模塊在上一個幀逆程中處理後的上一幀圖像的灰度值數據輸送至該圖像輸出模塊；以及圖像輸出模塊，與該圖像處理模塊連通，在幀正程中，對所接收的上一幀圖像的灰度值數據進行多段折線式灰度偏移處理，以針對亮度偏亮或偏暗的灰度值數據進行不同程度的灰度偏移，並輸出經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據。根據本發明的實施例，該圖像處理模塊對該原始直方圖數據進行的差別權重累加處理包括找出像素個數佔總像素個數2%的具有最大灰度值的像素中的最小灰度值作為總像素的最大灰度值，即在該直方圖中從最大灰度值的像素點開始往下累加像素個數， 直到累加的像素個數佔總像素個數的2%為止，此時對應的灰度值為總像素的最大灰度值 Xmax找出像素個數佔總像素個數2%的具有最小灰度值的像素中的最大灰度值作為總像素的最小灰度值，即在該直方圖中從最小灰度值像素點開始往上累加像素個數，直到累加的像素個數佔總像素個數的2%為止，此時對應的灰度值為總像素的最小灰度值Xmin;以及將大於Xmax的所有像素的灰度值壓縮為255，以及將小於Xmin的所有像素的灰度值壓縮為0。根據本發明的實施例，在幀逆程中，該圖像處理模塊通過計算加權函數y (X)來對經差別權重累加處理後的直方圖數據進行直方圖加權處理，以平滑掉該原始直方圖的主峰而獲得更為均勻的目標直方圖分布曲線，其中計算該加權函數y包括確定該原始直方圖分布曲線的函數hOCn)的主峰的最高點h(X0) JPh(XO) =MAX[h(Xn)]；確定該主峰的平
滑處理帶寬為當hOCn)的幅度從該主峰下降到該主峰值的1ΛΡ時的灰度值)(bwl-xbw2 ；根
據期望的平滑效果，獲得該目標直方圖的目標直方圖分布曲線的函數h(Xk)，其中在該帶寬)(bWl-XbW2中的h(Xk)具有類似於位於該帶寬)(bWl-XbW2之外的該原始直方圖分布曲線的函數hOCn)的曲線波形，而位於該帶寬)(bWl-XbW2之外的h(Xk)近似等於位於該帶寬 )(bWl-XbW2之外的該原始直方圖分布曲線的函數hOCn)；以及該加權函數y(X)與該原始直方圖分布曲線的函數hOCn)和該目標直方圖分布曲線的函數h(Xk)之間具有如下的關係式h(Xk) =h0Cn)*y(X)，其中)(r!表示原始圖像中一個像素的灰度值，hOCn)是對應於該灰度值的像素個數；Xk表示目標直方圖中一個像素的灰度值，h(Xk)是對應於該灰度值的像素個數；X表示加權函數y(X)的與Xk對應的定義域，且y (X)表示該加權函數的值域。根據本發明的實施例，該圖像輸出模塊進行的多段折線式灰度偏移處理包括將該上一幀圖像的像素灰度值的灰度空間分為多段，每一段對應於分別表示不同的灰度偏移係數的多個斜率之一，每一段中的每個像素的灰度值分別乘以該段所對應的斜率，以作為該像素的經多段折線式灰度偏移處理後的灰度值。根據本發明的實施例，該FPGA晶片還包括同步/控制模塊，用以控制該圖像輸出模塊和該圖像處理模塊，以使其分別在信號處理時序中的不同時機進行所述幀正程中的處理和幀逆程中的處理。根據本發明的實施例，該FPGA晶片還包括雙口 RAM，與該圖像處理模塊連通，用以接收來自紅外熱像儀的所述多幀紅外熱圖的數位訊號，並統計該當前幀圖像中每個灰度級的像素個數。根據本發明的實施例，在幀逆程中，該圖像處理模塊在對該當前幀圖像的原始直方圖數據完成上述處理之後，還對處理後的直方圖數據進行灰度變換處理，以獲得均衡化的直方圖。根據本發明的實施例，在幀逆程中，該圖像處理模塊在完成灰度變換處理之後，再對均衡化後的直方圖數據作中值濾波處理，以濾除所述均衡化帶來的背景噪聲。根據本發明的實施例，該圖像輸出模塊將經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據輸出至設置在該紅外熱像儀上的視頻解碼模塊來進行視頻數據解碼，解碼後的視頻數據繼而被輸送至同樣設置在該紅外熱像儀上的圖像顯示模塊以供顯示。為實現上述目的，本發明還提供一種紅外熱圖數位訊號處理方法，其包括以下步驟在幀逆程中，對表示當前幀圖像的原始直方圖曲線分布的原始直方圖數據進行差別權重累加處理，以濾除過亮或過暗的像素，並將在上一個幀逆程中處理後的上一幀圖像的灰度值數據輸送至該圖像輸出模塊；以及在幀正程中，對所接收的上一幀圖像的灰度值數據進行多段折線式灰度偏移處理，以針對亮度偏亮或偏暗的灰度值數據進行不同程度的灰度偏移，並輸出經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據。根據本發明的實施例，對該原始直方圖數據進行的差別權重累加處理包括以下步驟找出像素個數佔總像素個數2%的具有最大灰度值的像素中的最小灰度值作為總像素的最大灰度值，即在該直方圖中從最大灰度值的像素點開始往下累加像素個數，直到累加的像素個數佔總像素個數的2%為止，此時對應的灰度值為總像素的最大灰度值ftiax找出像素個數佔總像素個數2%的具有最小灰度值的像素中的最大灰度值作為總像素的最小灰度值，即在該直方圖中從最小灰度值像素點開始往上累加像素個數，直到累加的像素個數佔總像素個數的2%為止，此時對應的灰度值為總像素的最小灰度值Xmin;以及將大於 Xmax的所有像素的灰度值壓縮為255，以及將小於Xmin的所有像素的灰度值壓縮為0。根據本發明的實施例，在幀逆程中，在完成差別權重累加處理之後，通過計算加權函數y (X)來對經差別權重累加處理後的直方圖數據進行直方圖加權處理，以平滑掉該原始直方圖的主峰而獲得更為均勻的目標直方圖分布曲線，其中計算該加權函數y包括以下步驟確定該原始直方圖分布曲線的函數hOCn)的主峰的最高點h(X0) JPh(XO)= MAXth(Xn)]；確定該主峰的平滑處理帶寬為當hOCn)的幅度從該主峰下降到該主峰值的
時的灰度值)(bwl-Xbw2;根據期望的平滑效果，獲得該目標直方圖的目標直方圖分布曲線的函數h(k)，其中在該帶寬)(bWl-XbW2中的h (Xk)具有類似於位於該帶寬)(bWl-XbW2 之外的該原始直方圖分布曲線的函數hOCn)的曲線波形，而位於該帶寬)(bWl-XbW2之外的 h(Xk)近似等於位於該帶寬)(bWl-XbW2之外的該原始直方圖分布曲線的函數hOCn)；以及該加權函數y(X)與該原始直方圖分布曲線的函數hOCn)和該目標直方圖分布曲線的函數 h(Xk)之間具有如下的關係式h(Xk) = h0Cn)*y(X)，其中fti表示原始圖像中一個像素的灰度值，h(Xn)是對應於該灰度值的像素個數；Xk表示目標直方圖中一個像素的灰度值， h(Xk)是對應於該灰度值的像素個數；X表示加權函數y (X)的與灶對應的定義域，且y (X) 表示該加權函數的值域。根據本發明的實施例，所述多段折線式灰度偏移處理包括將該上一幀圖像的像素灰度值的灰度空間分為多段，每一段對應於分別表示不同的灰度偏移係數的多個斜率之一，每一段中的每個像素的灰度值分別乘以該段所對應的斜率，以作為該像素的經多段折線式灰度偏移處理後的灰度值。根據本發明的實施例，分別在信號處理時序中的不同時機進行所述幀正程中的處理和幀逆程中的處理。根據本發明的實施例，該方法還包括以下步驟在幀逆程中，在進行所述差別權重累加處理之前，接收來自紅外熱像儀的所述多幀紅外熱圖的數位訊號，統計該當前幀圖像中每個灰度級的像素個數，並根據所統計的數值獲得當前幀圖像的原始直方圖分布曲線。根據本發明的實施例，在幀逆程中，在完成上述處理之後，再對處理後的直方圖數據進行灰度變換處理，以獲得均衡化的直方圖。根據本發明的實施例，在幀逆程中，在完成對加權後的所述直方圖的灰度變換處理之後，再對均衡化後的直方圖數據作中值濾波處理，以濾掉所述均衡化帶來的背景噪聲。根據本發明的實施例，該方法還包括以下步驟對所輸出的經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據進行視頻數據解碼，以供顯示。本發明在增強圖像對比度的同時，有效地提高了信噪比，使目標圖像的細節更清晰，並提高了對不同場景的適應性。具體而言，本發明具有以下優點1、對於對比度較低的紅外圖像，其直方圖分布集中，主峰所對應的灰度級往往是圖像中的背景，尤其是目標較小時，這種分布更加明顯。加權處理可以把這個主峰平滑掉， 給後端的直方圖均衡化處理留下了空間；2、中值濾波可以有效地濾除直方圖均衡化後帶來的背景噪聲；3、圖像的整體亮度可以保持在一個合適穩定的水平，場景適應性強；4、對過亮目標的灰度值進行多段折線式的偏移，避免了圖像局部飽和。
圖1為根據本發明的實施例的紅外熱圖數位訊號處理系統的原理方框圖；圖2為根據該實施例的紅外熱圖數位訊號處理方法的工作流程圖；圖3為圖像輸出模塊針對上一幀圖像進行的三段折線式灰度偏移方式的示意圖；圖如為當前幀圖像的原始直方圖；圖4b為根據本發明的紅外熱圖數位訊號處理方法計算出的加權函數示意圖；圖如為圖如中的原始直方圖採用圖恥所示加權函數進行直方圖加權處理後的直方圖；圖fe示意性示出所顯示的當前幀紅外熱圖的原始圖像；圖恥示意性示出圖fe中的原始圖像經傳統直方圖均衡化後的圖像；圖5c示意性示出圖fe中的原始圖像經本發明的紅外熱圖數位訊號處理方法處理後的圖像。
具體實施例方式為了使本發明的實施例的目的、技術方案和優點更加清楚明白，下面結合實施例和附圖，對本發明的實施例做進一步詳細地說明。在此，本發明的示意性實施例及其說明僅用於解釋本發明，但並不作為對本發明的限定。
以上一幀圖像各個點AD值的累計平均值，作為當前幀圖像亮度偏移的參考和直方圖均衡化是圖像處理的常用手法，尤其是直方圖均衡化，到目前為止還是圖像增強最重要的手段之一。對於可見光圖像，均衡化的效果尤為明顯，但是因為紅外圖像本身的特點 (背景所佔的灰度級較大，目標灰度級較小)，不作預處理就均衡化就很容易把背景噪聲也一起放大，甚至均衡化後拉伸的是圖像的背景，而目標被抑制掉。本發明的核心就是在作均衡化之前先作直方圖加權處理，抑制了背景噪聲，而中值濾波更進一步提高了信噪比。如圖1所示，根據本發明的一個實施例，本發明的紅外熱圖數位訊號處理系統可包括設置在紅外熱像儀上的FPGA晶片，用以對由紅外熱像儀拍攝的多幀紅外熱圖的數位訊號進行處理，該FPGA晶片包括圖像處理模塊，在幀逆程中，對表示當前幀圖像的原始直方圖曲線分布的原始直方圖數據進行差別權重累加處理，以濾除過亮或過暗的像素，並將經該圖像處理模塊在上一個幀逆程中處理後的上一幀圖像的灰度值數據輸送至該圖像輸出模塊；以及圖像輸出模塊，與該圖像處理模塊連通，在幀正程中，對所接收的上一幀圖像的灰度值數據進行多段折線式灰度偏移處理，以針對亮度偏亮或偏暗的灰度值數據進行不同程度的灰度偏移，並輸出經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據；同步/控制模塊，用以控制該圖像處理模塊和該圖像輸出模塊，以使其分別在信號處理時序中的不同時機進行所述差別權重累加處理和多段折線式灰度偏移處理；雙口 RAM，與該圖像處理模塊連通，用以接收來自紅外熱像儀的所述多幀紅外熱圖的數位訊號，並統計該當前幀圖像中每個灰度級的像素個數。圖像輸出模塊將經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據輸出至設置在該紅外熱像儀上的視頻解碼模塊來進行視頻數據解碼，解碼後的視頻數據繼而被輸送至設置在該紅外熱像儀上的圖像顯示模塊以供顯示。圖2為根據該實施例的紅外熱圖數位訊號處理方法的工作流程圖。如圖2所示，根據本發明的一個實施例，本發明的紅外熱圖數位訊號處理方法主要包括幀正程和幀逆程這兩個處理過程。在幀逆程中，對表示當前幀圖像的原始直方圖曲線分布的原始直方圖數據進行差別權重累加處理，以濾除過亮或過暗的像素，並將在上一個幀逆程中處理後的上一幀圖像的灰度值數據輸送至該圖像輸出模塊；以及在幀正程中，對所接收的上一幀圖像的灰度值數據進行多段折線式灰度偏移處理，以針對亮度偏亮或偏暗的灰度值數據進行不同程度的灰度偏移，並輸出經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據。具體而言，幀正程處理和幀逆程處理一般包括以下內容1、在幀正程處理期間，系統同時做兩件事情輸出並顯示上一幀圖像的灰度值數據和統計當前幀圖像的灰度值數據。其中1)輸出上一幀圖像的數據以當前幀圖像的原始AD值為基地址，在找查表中找查上一幀圖像的統計好和處理後的數據(灰度映射值，即上一幀圖像在經過幀正程和幀逆程處理之後，最後存儲在找查表中的經中值濾波處理後的直方圖數據)並將之輸送給FPGA內部的圖像輸出模塊，由該模塊進行多段折線式灰度偏移，以防止圖像過暗和過亮。多段折線式灰度偏移處理包括將該上一幀圖像的像素灰度值的灰度空間分為多段，每一段對應於分別表示不同的灰度偏移係數的多個斜率之一，每一段中的每個像素的灰度值分別乘以該段所對應的斜率，以作為該像素的經多段折線式灰度偏移處理後的灰度值。例如，作為本發明的一個實施例，圖3示出了由圖像輸出模塊針對上一幀圖像進行三段折線式灰度偏移的方式，其中X軸表示上一幀圖像的所有像素的灰度值的灰度空間，y軸表示進行灰度偏移後的灰度值)。在進行灰度偏移時，可把上一幀圖像的灰度空間分為三段，每一段分別乘以相應的斜率(該斜率表示灰度偏移係數，低灰度級段對應的灰度偏移係數一般大於1，而中間段一般不作偏移，即其對應的灰度偏移係數是1，而高灰度段對應的灰度偏移係數一般小於1)即可，最後將偏移後的灰度值數據送給FPGA晶片外部的視頻解碼模塊輸出顯示。本發明所進行的多段折線式灰度偏移處理不應局限於上述實施例，針對上一幀圖像的灰度空間的分段段數和與每段對應的折線斜率的大小可根據原始圖像和目標圖像 (即處理後圖像)的顯示質量做適當調整。2)統計當前幀圖像的數據FPGA通過自帶的雙口 RAM接收來自紅外熱像儀的所述多幀紅外熱圖的數位訊號，統計當前幀圖像中每個灰度級的像素個數，並根據所統計的數值得出當前幀圖像的原始圖像的直方圖分布(之後稱為原始直方圖)，然後對該原始圖像直方圖中不同等級的AD值作差別權重累加處理，所述差別權重累加處理的實現分三步(1)找出例如2% (該百分比可根據顯示的圖像質量適當加減)最大灰度值中的最小值作為總像素的最大灰度值，即在直方圖中最大灰度值的像素點開始往下累加，直到累加的像素個數佔總像素的2%為止，此時的灰度值即是要找查的最大灰度值Xmax ；(2)找出例如2% (該百分比可根據顯示的圖像質量適當加減)最小灰度值中的最大值作為最小灰度值，即在直方圖中的最小灰度值像素點開始往上累加，直到累加的像素個數佔總像素的2%為止，此時的灰度值即是要找查的最小灰度值Xmin ；以及具體的場景目標和輸出的圖像質量(3)將大於Xmax的所有像素的灰度值一律壓縮為255，以及將小於Xmin的所有像素的灰度值壓縮為0(假設圖像灰度的量化級為8bit)。2、在幀逆程處理期間，系統進行以下處理1)在幀逆程的第一階段，根據經差別權重累加處理後的直方圖分布曲線，計算出加權函數。在完成差別權重累加處理之後，通過計算加權函數y (X)來對經差別權重累加處理後的直方圖數據進行直方圖加權處理，以平滑掉該原始直方圖的主峰而獲得更為均勻的目標直方圖分布曲線。請參閱圖如至圖4c。其中，圖如為當前幀圖像的原始直方圖；圖 4b為根據本發明的紅外熱圖數位訊號處理方法計算出的加權函數示意圖；圖如為圖如中的原始直方圖採用圖恥所示加權函數進行直方圖加權處理後的直方圖。其中計算該加權函數y包括以下步驟確定該原始直方圖分布曲線的函數hOCn)的主峰的最高點h(X0) JPh(XO)= MAX[h (Xn)]；確定該主峰的平滑處理帶寬為當hOCn)的幅度從該主峰下降到該主峰值的時的灰度值)(bwl-XbW2 ；根據期望的平滑效果，獲得該目標直方圖的目標直方圖分布曲線的函數h(Xk)，其中在該帶寬)(bwl-XbW2中的h(Xk)具有類似於位於該帶寬)(bWl-XbW2之外的該原始直方圖分布曲線的函數hOCn)的曲線波形，而位於該帶寬)(bWl-XbW2之外的h(Xk)近似等於位於該帶寬)(bWl-XbW2之外的該原始直方圖分布曲線的函數hOCn)；以及該加權函數y(X)與該原始直方圖分布曲線的函數hOCn)和該目標直方圖分布曲線的函數h (Xk)之間具有如下的關係式h (Xk) = h (Xn) *y (X)其中，如圖如所示，)(r!是原始圖像中包含的灰度值，hOCn)是具有相同灰度值的像素點的個數；如圖4b所示，其中X是與原始圖像中的灰度值對應的灰度值，y是具有相同灰度值的像素點的加權函數值，換句話，X表示加權函數的與灶和&對應的定義域，且y⑴ 表示該加權函數的值域；如圖4c所示，Xk是加權處理後圖像中包含的灰度值，從圖中可以看出Xk與&基本對應，y是具有相同灰度值的像素點的個數。實驗表明，在該帶寬)(bWl-XbW2中，紅外圖像的原始直方圖主峰一般呈指數形式分布，所以這一帶寬中的加權函數ι (X)也必須是指數形式，而在該帶寬)(bwl-xbw2之外，因為h (Xk)近似等於hOCn)，所以y(X)近似等於1，如圖4b所示。2)在幀逆程的第二階段，利用加權函數對原始直方圖數據進行直方圖加權處理 (須注意，這裡的直方圖加權處理與前述差別權重累加處理是兩回事。針對某一幀圖像， 根據其具體的場景目標和輸出的圖像質量的優劣，由用戶確定是單作差別權重累加處理還是要進一步作直方圖加權處理，並通過在終端發出控制指令來選擇性地進行直方圖加權處理。如圖如所示，經加權後的直方圖變得更加平滑和均勻。因此，直方圖加權處理的主要作用就是把原始直方圖的主峰平滑掉，使加權後獲得的直方圖分布更加均勻。3)在幀逆程的第三階段，對直方圖加權處理後的直方圖數據作灰度變換處理以實現直方圖均衡化。應了解，在進行本發明前述直方圖加權處理之後再作直方圖均衡化，會比傳統的未進行加權處理而直接進行直方圖均衡化所帶來的背景噪聲的嚴重程度有所改善。4)在幀逆程的最後階段，對均衡化後的直方圖作中值濾波處理。雖然直方圖加權可以很好地平滑掉原始直方圖的主峰，但再次均衡化後依然可能會把背景噪聲放大，須知直方圖均衡化的一大負作用就是放大背景噪聲，一般不可避免，只能儘量減少，在均衡化之前先作加權處理就是為了儘量減輕背景噪聲，但不可避免依然存在背景噪聲的放大，故此需再作中值濾波處理。中值濾波就是濾除均衡化後可能帶來的背景噪聲。根據實際效果，中值濾波例如可選取四個點或者九個點作中值處理，這樣不但可以較好地濾除噪聲，還可以使輸出版面更加均勻，場景適應性更好。將中值濾波後的直方圖數據存入找查表，同時清空雙口 RAM。此後，查詢是否還有下一幀圖像存在，如果有，將經過上述處理後的當前幀圖像作為上一幀圖像，並將下一幀圖像作為當前幀圖像，對相關的數據重複進行上述從幀正程到幀逆程的處理。其中，在FPGA晶片上的同步/控制模塊的控制下，由同在FPGA晶片上的圖像輸出模塊和圖像處理模塊分別在信號處理時序中的不同時機進行所述幀正程處理和幀逆程處理。進而，本發明實際上是利用原有的信號處理時序上的一些空隙，分別進行幀正程和幀逆程處理中的數據統計、計算和變換，因而無須消耗更多的時序資源和FPGA晶片內部的RAM 資源。每幀圖像在完成上述幀正程處理和幀逆程處理之後，由設置在紅外熱像儀上的視頻解碼模塊對從圖像輸出模塊輸出的經多段折線式灰度偏移處理後的該幀(此時作為相對於當前幀的上一幀)圖像的灰度值數據進行視頻數據解碼，以供紅外熱像儀上的圖像顯示模塊顯示。圖5a_圖5c分別實例性示出紅外熱圖的當前幀的原始圖像、該原始圖像經傳統直方圖均衡化後的圖像及該原始圖像經本發明的數位訊號處理方法處理後的圖像的顯示效
果ο如圖fe所示，原始圖像在未經任何處理時，其顯示出當場景中出現高亮目標時， 背景被壓黑的情形。如圖恥所示，當對原始圖像進行傳統的直方圖均衡化後，其顯示出的圖像具有噪聲較大、高亮目標易飽和的缺陷。如圖5c所示，當根據本發明的紅外熱圖數位訊號處理方法對原始圖像進行處理後，其顯示出的圖像在增強對比度的同時也抑制了噪聲，因而場景適應性得以改善，圖像清晰度也相應得到了明顯提高。本發明相比現有技術在整體流程上具有如下的效果和優點本發明與現有技術，在信號處理的整體流程上是相近的。但在處理時，結合了兩種舊方式的優點，利用原有的信號處理時序上的空隙增加了一些統計、計算和變換，不需消耗更多的時序資源和FPGA晶片內部的RAM資源，因此硬體系統無需升級，卻可以使紅外熱圖像的場景適應性得到較大的提高。結合直方圖加權處理的圖像增強方式，可以較好地抑制圖像的背景，突出目標。本發明的技術關鍵點在於a、對不同等級的AD值作差別權重累加，以濾除過亮或過暗的像素，保持圖像的整體亮度穩定，提高場景適應性；b、多段折線式的灰度偏移針對亮度偏亮或偏暗的灰度值數據進行不同程度的灰度偏移，使圖像的整體亮度更為均勻，場景適應性更佳；C、結合直方圖加權處理及中值濾波等直方圖增強方式，可實現有效的圖像增強並抑制背景和噪聲，突出目標。本算法克服了一般直方圖均衡化算法的缺點，對於不同的場景能夠自適應地對原始圖像增強，較好地抑制圖像的背景，突出目標。儘管前面結合附圖而對本發明的多個示例性實施例進行了具體描述，但可以理解的是，在本公開內容的原理的精神和範圍之內，本領域技術人員完全可以推導出許多其它變化和實施例。尤其是，可以在該公開、附圖和所附權利要求的範圍內對組件和/或附件的設置組合進行多種變化和改進。除組件和/或附件的變化和改進之外，其他可選擇的應用對於本領域技術人員而言也是顯而易見的。
權利要求
1.一種紅外熱圖數位訊號處理系統，其包括設置在紅外熱像儀上的FPGA晶片，用以對由紅外熱像儀拍攝的多幀紅外熱圖的數位訊號進行處理，該FPGA晶片包括圖像處理模塊，在幀逆程中，對表示當前幀圖像的原始直方圖曲線分布的原始直方圖數據進行差別權重累加處理，以濾除過亮或過暗的像素，並將經該圖像處理模塊在上一個幀逆程中處理後的上一幀圖像的灰度值數據輸送至該圖像輸出模塊；以及圖像輸出模塊，與該圖像處理模塊連通，在幀正程中，對所接收的上一幀圖像的灰度值數據進行多段折線式灰度偏移處理，以針對亮度偏亮或偏暗的灰度值數據進行不同程度的灰度偏移，並輸出經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據。
2.根據權利要求1所述的紅外熱圖數位訊號處理系統，其中，該圖像處理模塊對該原始直方圖數據進行的差別權重累加處理包括找出像素個數佔總像素個數2%的具有最大灰度值的像素中的最小灰度值作為總像素的最大灰度值，即在該直方圖中從最大灰度值的像素點開始往下累加像素個數，直到累加的像素個數佔總像素個數的2%為止，此時對應的灰度值為總像素的最大灰度值Xmax ；找出像素個數佔總像素個數2%的具有最小灰度值的像素中的最大灰度值作為總像素的最小灰度值，即在該直方圖中從最小灰度值像素點開始往上累加像素個數，直到累加的像素個數佔總像素個數的2%為止，此時對應的灰度值為總像素的最小灰度值Xmin ；以及將大於Xmax的所有像素的灰度值壓縮為255，以及將小於Xmin的所有像素的灰度值壓縮為0。
3.根據權利要求2所述的紅外熱圖數位訊號處理系統，其中，在幀逆程中，該圖像處理模塊通過計算加權函數y (X)來對經差別權重累加處理後的直方圖數據進行直方圖加權處理，以平滑掉該原始直方圖的主峰而獲得更為均勻的目標直方圖分布曲線，其中計算該加權函數y包括確定該原始直方圖分布曲線的函數h(Xn)的主峰的最高點h(X0)，即h(X0)= MAXDi(Xn)]；確定該主峰的平滑處理帶寬為當h(Xn)的幅度從該主峰下降到該主峰值的1/丨時的灰度值 Xbwl-Xbw2 ；根據期望的平滑效果，獲得該目標直方圖的目標直方圖分布曲線的函數h(Xk)，其中在該帶寬Xbwl-Xbw2中的h(Xk)具有類似於位於該帶寬Xbwl-Xbw2之外的該原始直方圖分布曲線的函數h(Xn)的曲線波形，而位於該帶寬Xbwl-Xbw2之外的h(Xk)近似等於位於該帶寬Xbwl-Xbw2之外的該原始直方圖分布曲線的函數h (Xn)；以及該加權函數y(X)與該原始直方圖分布曲線的函數h(Xn)和該目標直方圖分布曲線的函數h (Xk)之間具有如下的關係式h(Xk) = h(Xn)*y(X)，其中Xn表示原始圖像中一個像素的灰度值，h(Xn)是對應於該灰度值的像素個數；Xk表示目標直方圖中一個像素的灰度值，h(Xk)是對應於該灰度值的像素個數；X表示加權函數 y(X)的與Xk對應的定義域，且y (X)表示該加權函數的值域。
4.根據權利要求1所述的紅外熱圖數位訊號處理系統，其中，該圖像輸出模塊進行的多段折線式灰度偏移處理包括將該上一幀圖像的像素灰度值的灰度空間分為多段，每一段對應於分別表示不同的灰度偏移係數的多個斜率之一，每一段中的每個像素的灰度值分別乘以該段所對應的斜率，以作為該像素的經多段折線式灰度偏移處理後的灰度值。
5.根據權利要求1至4的任意一項所述的紅外熱圖數位訊號處理系統，其中，該FPGA 晶片還包括同步/控制模塊，用以控制該圖像輸出模塊和該圖像處理模塊，以使其分別在信號處理時序中的不同時機進行所述幀正程中的處理和幀逆程中的處理。
6.根據權利要求5所述的紅外熱圖數位訊號處理系統，其中，該FPGA晶片還包括雙口 RAM，與該圖像處理模塊連通，用以接收來自紅外熱像儀的所述多幀紅外熱圖的數位訊號，並統計該當前幀圖像中每個灰度級的像素個數。
7.根據權利要求1至4的任意一項所述的紅外熱圖數位訊號處理系統，其中，在幀逆程中，該圖像處理模塊在對該當前幀圖像的原始直方圖數據完成上述處理之後，還對處理後的直方圖數據進行灰度變換處理，以獲得均衡化的直方圖。
8.根據權利要求7所述的紅外熱圖數位訊號處理系統，其中，在幀逆程中，該圖像處理模塊在完成灰度變換處理之後，再對均衡化後的直方圖數據作中值濾波處理，以濾除所述均衡化帶來的背景噪聲。
9.根據權利要求1至4的任意一項所述的紅外熱圖數位訊號處理系統，其中，該圖像輸出模塊將經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據輸出至設置在該紅外熱像儀上的視頻解碼模塊來進行視頻數據解碼，解碼後的視頻數據繼而被輸送至設置在該紅外熱像儀上的圖像顯示模塊以供顯示。
10.一種紅外熱圖數位訊號處理方法，其包括以下步驟在幀逆程中，對表示當前幀圖像的原始直方圖曲線分布的原始直方圖數據進行差別權重累加處理，以濾除過亮或過暗的像素，並將在上一個幀逆程中處理後的上一幀圖像的灰度值數據輸送至該圖像輸出模塊；以及在幀正程中，對所接收的上一幀圖像的灰度值數據進行多段折線式灰度偏移處理，以針對亮度偏亮或偏暗的灰度值數據進行不同程度的灰度偏移，並輸出經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據。
11.根據權利要求10所述的紅外熱圖數位訊號處理方法，其中，對該原始直方圖數據進行的差別權重累加處理包括以下步驟找出像素個數佔總像素個數2%的具有最大灰度值的像素中的最小灰度值作為總像素的最大灰度值，即在該直方圖中從最大灰度值的像素點開始往下累加像素個數，直到累加的像素個數佔總像素個數的2%為止，此時對應的灰度值為總像素的最大灰度值Xmax ；找出像素個數佔總像素個數2%的具有最小灰度值的像素中的最大灰度值作為總像素的最小灰度值，即在該直方圖中從最小灰度值像素點開始往上累加像素個數，直到累加的像素個數佔總像素個數的2%為止，此時對應的灰度值為總像素的最小灰度值Xmin ；以及將大於Xmax的所有像素的灰度值壓縮為255，以及將小於Xmin的所有像素的灰度值壓縮為0。
12.根據權利要求11所述的紅外熱圖數位訊號處理方法，其中，在幀逆程中，在完成差別權重累加處理之後，通過計算加權函數y (X)來對經差別權重累加處理後的直方圖數據進行直方圖加權處理，以平滑掉該原始直方圖的主峰而獲得更為均勻的目標直方圖分布曲線，其中計算該加權函數1包括以下步驟確定該原始直方圖分布曲線的函數hOCn)的主峰的最高點h(X0)，即h(X0)= MAX[h (Xn)]；確定該主峰的平滑處理帶寬為當hOCn)的幅度從該主峰下降到該主峰值的時的灰度值)(bwl-Xl3w2 ；根據期望的平滑效果，獲得該目標直方圖的目標直方圖分布曲線的函數h(Xk)，其中在該帶寬)(bWl-XbW2中的h(Xk)具有類似於位於該帶寬)(bWl-XbW2之外的該原始直方圖分布曲線的函數hOCn)的曲線波形，而位於該帶寬)(bWl-XbW2之外的h(Xk)近似等於位於該帶寬)(bWl-XbW2之外的該原始直方圖分布曲線的函數hOCn)；以及該加權函數y(X)與該原始直方圖分布曲線的函數hOCn)和該目標直方圖分布曲線的函數h (Xk)之間具有如下的關係式h(Xk) = hO(n)*y(X)，其中ft!表示原始圖像中一個像素的灰度值，h(Xn)是對應於該灰度值的像素個數；Xk表示目標直方圖中一個像素的灰度值，h(Xk)是對應於該灰度值的像素個數；X表示加權函數 y(X)的與Xk對應的定義域，且y (X)表示該加權函數的值域。
13.根據權利要求10所述的紅外熱圖數位訊號處理方法，其中，所述多段折線式灰度偏移處理包括將該上一幀圖像的像素灰度值的灰度空間分為多段，每一段對應於分別表示不同的灰度偏移係數的多個斜率之一，每一段中的每個像素的灰度值分別乘以該段所對應的斜率，以作為該像素的經多段折線式灰度偏移處理後的灰度值。
14.根據權利要求10至13的任意一項所述的紅外熱圖數位訊號處理方法，其中，分別在信號處理時序中的不同時機進行所述幀正程中的處理和幀逆程中的處理。
15.根據權利要求14所述的紅外熱圖數位訊號處理方法，其中，該方法還包括以下步驟在幀逆程中，在進行所述差別權重累加處理之前，接收來自紅外熱像儀的所述多幀紅外熱圖的數位訊號，統計該當前幀圖像中每個灰度級的像素個數，並根據所統計的數值獲得當前幀圖像的原始直方圖分布曲線。
16.根據權利要求10至13的任意一項所述的紅外熱圖數位訊號處理方法，其中，在幀逆程中，在完成上述處理之後，再對處理後的直方圖數據進行灰度變換處理，以獲得均衡化的直方圖。
17.根據權利要求16所述的紅外熱圖數位訊號處理系統，其中，在幀逆程中，在完成對加權後的所述直方圖的灰度變換處理之後，再對均衡化後的直方圖數據作中值濾波處理， 以濾掉所述均衡化帶來的背景噪聲。
18.根據權利要求10至13的任意一項所述的紅外熱圖數位訊號處理方法，其中，該方法還包括以下步驟對所輸出的經多段折線式灰度偏移處理後的上一幀圖像的灰度值數據進行視頻數據解碼，以供顯示。
全文摘要
一種紅外熱圖數位訊號處理系統及方法，該系統包括設置在紅外熱像儀上的FPGA晶片，用以對由紅外熱像儀拍攝的多幀紅外熱圖的數位訊號進行處理，該晶片包括圖像處理模塊，在幀逆程中，對表示當前幀圖像的原始直方圖曲線分布的原始直方圖數據進行差別權重累加處理，以濾除過亮或過暗的像素，並將經該圖像處理模塊在上一個幀逆程中處理後的上一幀圖像的灰度值數據輸送至該圖像輸出模塊；以及圖像輸出模塊，與該圖像處理模塊連通，在幀正程中，對所接收的上一幀圖像的灰度值數據進行多段折線式灰度偏移處理，以針對亮度偏亮或偏暗的灰度值數據進行不同程度的灰度偏移，並輸出處理後的灰度值數據。本發明能提供具有較佳場景適應性的紅外熱圖。
文檔編號H04N5/232GK102413283SQ201110340580
公開日2012年4月11日 申請日期2011年10月25日 優先權日2011年10月25日
發明者吳繼平 申請人:廣州颯特紅外股份有限公司