一種彈載圖像質量評價方法與流程

2023-05-31 00:16:26

本發明涉及彈載圖像處理技術領域，特別涉及一種彈載圖像質量評價方法。

背景技術：

圖像質量的評價，根據有無參考圖像和信息，可分為三大類：(1)全參考圖像質量評價方法(Full-Refrence Image Quality Assessment，FR-IQA)；(2)弱參考圖像質量評價方法(Reduced-Refrence Image Quality Assessment，RR-IQA)；(3)無(盲)參考圖像質量評價方法(No-Refrence/Blind Image Quality Assessment，NR-IQA)。其中無參考圖像質量評價是目前人們研究的重點內容，無參考圖像質量評價可進一步劃分為兩類：限定失真評價方法和非限定失真評價方法，對於由高速飛行體的空對地成像圖像，如彈載偵察圖像的質量評價，由於缺乏相應參考圖像，只能採用無參考圖像質量評價的方法，同時用於多失真混雜，需要研究非限定失真的圖像質量評價方法和實際應用。

由於高速飛行體成像設備的相機運動呈現高速旋轉、多自由度的抖動，圖像的相應高頻部分會受到不同程度的減弱，不同於目標相對背景運動帶來的模糊，相機抖動的方向和速度變化產生的模糊在圖像上呈現明顯的各向異性；高速飛行體，如彈丸在下落過程中，由於彈體高過載、彈丸高速旋轉、圖像編解碼不完全、信號幹擾等因素會造成顏色漂移、顏色損失、顏色模糊等色彩失真，利用現有方法難以有效解決；

而且，彈載圖像經常呈現多失真混疊的現象，只針對某一類失真類型特徵無法提取滿足需求的結構變化特徵；彈載成像平臺由空中拋撒，空對地成像，場景細節變化和圖像中地貌特徵也不相同，用常見的清晰圖像進行處理難以得到滿意結果；

因此，高速飛行體的旋轉造成的相機成像複雜，拍攝圖像存在多類失真降質，常規特徵因子和算法難以評估。

技術實現要素：

為此，本發明提供了一種彈載圖像質量評價方法，以解決高速飛行體設備旋轉、抖動、高過載引起圖像高頻部分衰減、編解碼不完全、顏色失真等造成的無法正確評估圖像質量的問題。

為達到上述目的，本發明的技術方案是這樣實現的：

第一技術方案為一種彈載圖像質量評價方法，所述彈載圖像質量評價方法包括如下步驟：

步驟S11：利用高解析度的測繪圖像建立原始基準圖像資料庫；

步驟S12：以原始基準圖像為原始訓練參考圖像，進行p×p分塊，對每一子塊提取與圖像失真程度相關，與圖像失真類型無關的圖像質量敏感特徵因子；

步驟S13：對原始圖像各子塊的質量敏感特徵因子進行MVG擬合，構建基準MVG模型；

步驟S21：獲取待評價圖像數據；

步驟S22：對待評價圖像進行p×p分塊，與原始基準圖像相同，對每一子塊提取圖像質量敏感特徵因子；

步驟S23：對待評價圖像的質量敏感特徵因子進行MVG擬合，構建待評價MVG模型；

步驟S31：比較基準MVG模型與待評價MVG模型的特性分布差異，得到各對應子塊的質量得分；

步驟S32：計算各個子塊質量得分的平均值作為整幅圖像的最終得分。

第二技術方案基於第一技術方案，所述步驟S12、S22中，提取的所述圖像質量敏感特徵因子包括：抖動失真相關特徵因子、結構失真相關特徵因子、顏色失真相關特徵因子。

第三技術方案基於第二技術方案，所述步驟S12、S22中，提取的所述抖動失真相關特徵因子包括：方向特徵和形狀特徵。

第四技術方案基於第二技術方案，所述步驟S12、S22中，提取的所述結構失真相關特徵因子包括：MSCN統計因子、MSCN因子兩側水平方向因子、局部方差。

第五技術方案基於第二技術方案，所述步驟S12、S22中，所述顏色失真相關特徵因子的提取包括：灰度對比度熵、黃藍對比度熵、紅綠對比度熵、色調和色度。

第六技術方案基於第三技術方案，所述步驟S12、S22中，所述抖動相關特徵因子的提取包括：

首先定義圖像DFT變換係數的方向能力和方向加權熵，再計算變換係數的清晰度，進一步得到方向特徵的均值；同時，根據形狀特徵離心率和頻譜輪廓數量，計算形狀特徵的離心率方差。

第七技術方案基於第四技術方案，所述步驟S12、S22中，所述結構相關特徵因子的提取包括：

基於自然場景統計，對自然灰度圖像的局部進行歸一化預處理，得到MSCN因子和局部方差，在採用經驗分布函數計算得到MSCN因子兩側水平的因子。

第八技術方案基於第五技術方案，所述步驟S12、S22中，所述顏色失真相關因子的提取包括：

圖像在空域中通過高斯二階倒數差分濾波器分解，分解後的濾波器響應被整合，選取顏色分量包括：灰度對比度熵、黃藍對比度熵和紅綠對比度熵，進一步在圖像的H通道中計算色調和色度。

第九技術方案基於第一技術方案，所述步驟13、23中，先對各子塊的質量敏感特徵因子構成的多維特徵向量，用PCA方法進行降維得到映射矩陣，之後利用最大似然估計算法計算得到MVG分布的擬合特性。

第十技術方案基於第一技術方案，所述S31中，採用馬氏距離計算方法比較基準MVG模型的特性與待評價MVG模型的特性之間的距離，對基準MVG的特性與待評價MVG的特性的差異進行量化評分，得到各子塊的得分。

本發明的優點和有益效果：本發明提出的圖像質量評價方法和系統，通過構建原始基準圖像單元，對原始基準圖像進行分塊，由各子塊提取例如與圖像的抖動、結構、顏色相關的三類質量敏感特徵因子，分塊提取的特徵進行MVG擬合獲得MVG模型，即，基準分布特性，同時對如彈載圖像進行分塊處理得到相應的MVG分布特性，比較其與基準MVG的特性分布差異，如馬氏距離作為子塊質量得分，進一步得到整體圖像的得分。由於選取的質量敏感特徵因子與圖像失真程度相關，與圖像失真類型無關，能夠準確表徵成像設備旋轉、抖動、高過載引起圖像高頻部分衰減、編解碼不完全、顏色失真等問題，能夠正確地對高速飛行體成像，即彈載圖像的圖像質量進行評價，與現有技術相比更加高效、準確。

附圖說明

圖1是本發明實施方式的結構框圖，

圖2是本發明實施方式的流程圖。

具體實施方式

為了使本發明的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本發明進行詳細描述，在本實施方式中，高速飛行體的空對地成像圖像為彈載圖像。

如圖1所示，本發明彈載圖像質量評價系統包括如下結構：

原始基準圖像資料庫1，儲存原始基準圖像，該原始基準圖像為高解析度測繪圖像；

原始圖像特徵因子提取單元2，以原始基準圖像為原始訓練參考圖像，進行p×p分塊，對每一子塊提取與圖像失真程度相關，與圖像失真類型無關的圖像質量敏感特徵因子；

基準MVG模型構建單元3，對各子塊的質量敏感特徵因子進行MVG擬合，構建基準MVG模型；

獲取待評價圖像數據單元4，獲取待評價圖像數據；

待評價圖像特徵因子提取單元5，對待評價圖像進行p×p分塊，與原始基準圖像相同，對每一子塊提取圖像質量敏感特徵因子；

待評價MVG模型構建單元6，對各子塊的質量敏感特徵因子進行MVG擬合，構建待評價MVG模型；

子塊質量評價單元7，比較基準MVG模型的特性與待評價MVG模型的差異，得到各對應子塊的質量得分；

整幅圖像質量評價單元8，計算各個子塊質量得分的平均值作為整幅圖像的最終得分。

以下首先對圖像質量敏感特徵因子進行說明。

圖像特徵的準確提取是質量評價模型構建成功的關鍵，在「主觀未知」盲評價方法的特徵選取時重要的原則是：選取的特徵應與圖像的失真類型無關，而與圖像的失真程度相關。考慮彈載圖像成像方式的極端特殊性，需要重點考慮選取以下三類特徵，抖動失真相關特徵因子，結構失真相關類特徵因子，顏色失真類特徵因子。

抖動失真相關特徵因子：

關於圖像模糊失真的特徵選取和評價已經有了不少方法，主要分為基於邊緣測量、基於譜分析兩大類型，較好地解決了散焦、相對運動和壓縮帶來的模糊；由於彈載成像設備相機運動呈現高速旋轉、多自由度的抖動，圖像的相應高頻部分會受到不同程度的減弱，不同於目標相對背景運動帶來的模糊，相機抖動的方向和速度變化產生的模糊在圖像上呈現明顯的各向異性，利用現有方法難以有效解決，因此必須尋找適合彈載圖像模糊失真的特徵因子。

針對由相機抖動帶來的模糊評價問題，提出了兩類6個圖像特徵，一類是方向特徵，用於表示相機按不同方向抖動帶來的圖像譜結構多方向變化，有均值、方差和最小銳度三個特徵；另一類是形狀特徵，相機抖動會非對稱的改變圖像頻帶形狀，提出了用橢圓來建模圖像的DFT變換域頻譜輪廓，有面積、離心率方差和長軸方向三個特徵，考慮計算代價，本實施方式中，選取方向特徵的均值和形狀特徵的離心率方差作為表徵因子，簡化計算過程，提升計算效率。

定義圖像DFT變換係數φn方向能量和方向加權熵分別為DE(φn)、DV(φn)，那麼沿φn方向的清晰度s(φn)就可表示為DE(φn)與DV(φn)的乘積：

s(φn)＝DE(φn)×DV(φn) (1)

那麼方向特徵的均值可以表述為：

進一步用Nel表示頻譜輪廓數量，n表示頻譜輪廓編號，形狀特徵的離心率方差表示為：

其中表示離心率均值，en表示橢圓n階離心率；

選取方向特徵的均值和形狀特徵的離心率方差作為表徵因子分別記作f1、f2。

結構失真相關特徵因子：

彈載圖像經常呈現多失真混疊的現象，本發明著眼於多失真帶來的圖像結構變化特徵提取，而不糾纏於某一失真類型的特徵尋找，研究表明由於自然場景統計(Natural Scene Statistics，NSS)能夠顯著地揭示失真圖像質量的衰退程度，本發明採用此方法來表徵多失真帶來的圖像結構上的變化。

自然灰度圖像的局部歸一化亮度因子服從高斯分布，可將這個歸一化過程可描述為：

式(4)中i、j為空間像素點，IMSCN表示歸一化預處理的係數，i∈1，2，...，M，j∈1，2，...，N；

式(5)、(6)分別為圖像的局部的均值和方差，w＝{wk，l|k＝-K，...，K，l＝-L，...，L}定義為二維循環對稱高斯權重函數，定義K＝L＝3；Igray為自然圖像的灰度圖；將歸一化預處理後MSCN因子選取為第三個特徵f3；

此外由於圖像中的MSCN因子高度相似，水平方向上相鄰的兩個因子間存在著規律性的結構。因此採用經驗分布函數分別在MSCN因子兩側的水平方向上進行計算：

IHpair_MSCN(i，j)＝IMSCN(i，j)·IMSCN(i，j+1) (7)

經公式(7)可計算出兩個特徵f4、f5；

此外公式(6)的局部方差σ(i，j)是一個量化圖像局部結構信息的重要參數，用來描述圖像的銳度因此可將其作為另一個特徵f6。

其中，MSCN代表歸一化預處理方法，

MVG代表多變量高斯模型。

顏色失真相關特徵因子：

彈丸在下落過程中，由於彈體高過載、彈丸高速旋轉、圖像編解碼不完全、信號幹擾等因素會造成顏色漂移、顏色損失、顏色模糊等色彩失真，但是前兩類特徵因子無法有效表達，需對彈載圖像顏色信息的失真專門提取相關因子；

研究表明對比度熵(CE)可預測自然圖像的局部對比度，選用對比熵這個特徵是因為它能很好地描述基於空中成像平臺拍攝照片的特徵。圖像在空域中通過高斯二階導數差分濾波器分解，分解後的濾波器響應被整合。選取在每個獨立的顏色分量(灰度(gray)、黃藍(yb)、和紅綠(rg))上的對比度熵作為特徵因子f7、f8、f9：

式(8)、(9)中c∈{gray，yb，rg}代表顏色通道，計算公式為：gray＝0.299R+0.587G+0.114B，yb＝0.5(R+G)-B，rg＝R-G；

α表示Z(Ic)的最大值，κ表示對比度增益，τc為當前圖像顏色通道的噪聲閾值，符號表示卷積，hh和hv分別是高斯函數的水平和垂直二階導數；我們定義gray、yb、rg三個通道的噪聲閾值，分別設定為0.2353，0.2287和0.0528；

考慮到HSV色彩空間更適合於人眼視覺系統來感知彩色特性的處理，其H分量與人感知彩色的方式緊密相聯。因此在圖像的H通道中計算圖像的色調Ihue，而色度(CF)可通過以下公式計算：

Ihue(i，j)＝IHSV(i，j，1) (10)

式(11)中IHSV表示為圖像由RGB轉換到HSV後的圖像空間，rg＝R-G，yb＝0.5(R+G)-B，像素點的範圍為x＝1...X；通過以上兩個公式獲得最後兩個特徵f10、f11。

以下對圖像質量評價系統進行詳細說明。

原始基準圖像資料庫1構建過程如下：不同於陸基平臺採集的圖像，在構建基準MVG模型時可以選擇常見的清晰圖像作為原始參考，彈載成像平臺由空中拋撒，空對地成像，場景細節變化和圖像中地貌特徵也不相同，用常見的清晰圖像進行處理難以得到滿意結果，因此本發明選擇了與彈載成像平臺的拍攝高度相似的高解析度測繪圖像作為原始基準圖像，從多幅清晰圖像中選取800幅圖像集，每一幅圖像由多個子塊構成，相鄰子塊之間，有一部分重疊，與IL-NIQE選取基準計算圖像過程類似，分別挑選出包含：植被、土壤、人工目標、水體等四類各100副清晰圖像共400幅基準圖像；然後再從400幅圖像中挑選出90幅圖像最後的原始基準圖像。通過對特定圖像的選擇，構建出基準圖像庫，使得質量評價分數更加準確。

原始圖像特徵因子提取單元2，針對原始基準圖像，進行p×p分塊，得到n個子塊，分塊時，使相鄰子塊之間有一部分重疊，以防止植被、土壤、人工目標、水體等被分割。不同於IL-NIQE，本發明中對每一子塊不再進行篩選，全部參與計算。對每一子塊進行上述敏感特徵因子(f1...f11)提取，形成d維特徵向量，為提升預測效率和降低計算成本，本實施方式中，採用PCA方法對d維特徵向量進行降維處理。基準MVG模型構建單元3從n個子塊選取的特徵可用特徵矩陣X＝[x1，x2，...，xn]∈Rd×n表示，對X進行PCA降維處理得到映射矩陣Φ∈Rd×m，其中m個主成分向量對應X的協方差矩陣的m個特徵值(m＜d)；

藉助於映射矩陣Φ，每個特徵向量可變換為：

x′i＝ΦTxi，x′i∈Rm×1，i＝1，...，n (12)

假定x′i，i＝1，...，n獨立採樣服從於一個m維MVG分布，即可利用標準的最大似然估計方法計算得到MVG分布的擬合特性，公式如下：

式(13)中x∈Rm×1，μ、∑分別為矩陣X均值向量和方差，這樣構建的MVG模型即可用(μ，∑)表達；

通過採用PCA降維處理，可以提升預測效率，降低計算成本。

獲取待評價圖像數據單元4，可從圖像資料庫也可實時獲得彈載圖像作為待評價圖像數據；

待評價圖像特徵因子提取單元5和待評價MVG模型構建單元6與原始圖像特徵因子提取單元2和基準MVG模型構建單元3同樣，待評價圖像特徵因子提取單元5針對待評價圖像，進行p×p分塊，得到k個子塊。對每一子塊對每個子塊i進行特徵提取得到d維向量yi，同樣待評價MVG模型構建單元6利用映射矩陣Φ對yi進行降維處理：

y′i＝ΦTyi，y′i∈Rm×1，i＝1，...，k (14)

這樣一幅待評價圖像可用一個特徵向量集合加以表徵，對每一子塊i進行MVG擬合得到(μi，∑i)。

子塊質量評價單元7計算待評價模型(μi，∑i)與基準MVG模型(μ，∑)之間的馬氏距離即可得到對應塊得分：

整幅圖像質量評價單元8，計算各個子塊質量得分的平均值作為整幅圖像的最終得分。

在進行質量得分計算時也可以考慮不同圖像塊賦予不同權重，由於彈載圖像包含失真類型混合，難以有效區分顯著性貢獻，因此本發明採用均值方法得到最後整幅圖像的質量等分。由於避免了加權步驟和顯著性貢獻區分，簡化計算過程，提升計算效率。

馬氏距離是由印度統計學家馬哈拉諾比斯(P.C.Mahalanobis)提出的，表示數據的協方差距離。它是一種有效的計算兩個未知樣本集的相似度的方法，對於一個均值為μ，協方差矩陣為∑的多變量向量，其馬氏距離為馬氏距離具有如下優點：不受量綱的影響，兩點之間的馬氏距離與原始數據的測量單位無關；由標準化數據和中心化數據(即原始數據與均值之差)計算出的二點之間的馬氏距離相同，馬氏距離還可以排除變量之間的相關性的幹擾。

圖2是本發明實施方式的流程圖

步驟S11：利用高解析度的測繪圖像建立原始基準圖像資料庫1

步驟S12(S12a、S12b)：以原始基準圖像為原始訓練參考圖像，進行p×p分塊，對每一子塊提取與圖像失真程度相關，與圖像失真類型無關的圖像質量敏感特徵因子。

步驟S13(S13a、S13b)：對原始圖像各子塊的質量敏感特徵因子進行MVG擬合，構建基準MVG模型，即，用PCA方法對圖像質量敏感特徵因子構成的多維向量進行降維得到映射矩陣，之後利用最大似然估計算法計算得到MVG分布的擬合特性。

步驟S21：獲取待評價圖像數據。

步驟S22(S22a、S22b)：對待評價圖像進行p×p分塊，與原始基準圖像相同，對每一子塊提取圖像質量敏感特徵因子。

步驟S23(S23a、S23b)：對待評價圖像的質量敏感特徵因子進行MVG擬合，構建待評價MVG模型，即，用PCA方法對圖像質量敏感特徵因子構成的多維向量進行降維得到映射矩陣，之後利用最大似然估計算法計算得到MVG分布的擬合特性。

步驟S31：比較基準MVG模型與待評價MVG模型的特性分布差異，得到各對應子塊的質量得分，即，採用馬氏距離計算方法比較基準MVG 模型的特性與待評價MVG模型的特性之間的距離，對基準MVG的特性與待評價MVG的特性的差異進行量化評分，得到各子塊的得分。

步驟S32：計算各個子塊質量得分的平均值作為整幅圖像的最終得分。

本實施例圖像質量評價方法，以實彈射擊獲取的彈載偵察圖像為對象，緊密跟蹤偵察彈裝備技術和圖像質量評價技術的發展，應用和改進相關圖像質量評價方法，構建相關模型並進行算法實現，為高速飛行體，如彈載偵察圖像質量評估提供理論基礎和技術參考；不僅具有一定的軍事應用價值，也將是圖像質量評價理論在軍事領域的一點拓展，具有較好的可行性和理論意義；同時可為類似的基於空基成像平臺的圖像質量評價研究提供借鑑和參考。

應該注意的是，上述實施例對本發明進行說明而不是對本發明進行限制，並且本領域技術人員在不脫離所附權利要求的範圍的情況下可設計出替換實施例。在權利要求中，不應將位於括號之間的任何參考符號構造成對權利要求的限制。單詞「包含」不排除存在未列在權利要求中的元件或步驟。位於元件之前的單詞「一」或「一個」不排除存在多個這樣的元件。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。