基於視覺特性與結構相似度的圖像質量評測方法

2024-03-22 19:07:05 1

專利名稱：基於視覺特性與結構相似度的圖像質量評測方法
技術領域：
本發明涉及一種圖像質量評價，特別是涉及一種基於對結構相似度算法改進的客 觀圖像質量評價方法。
背景技術：
隨著移動通信業務的增加，無線通信已獲得非常廣泛的應用。無線通信環境(無 線信道、移動終端等)以及移動多媒體應用業務的特點是越來越趨於對圖像業務和視頻業 務的支持和優化。隨著無線網絡的多樣化以及無線環境的多元化和複雜化，圖像在傳輸過 程中信號會有所損失，因此圖像直觀質量的好壞是衡量系統的重要指標。目前圖像質量評價方法可分為主觀評價和客觀測試兩類，傳統的以人的視覺觀察 和主觀感知為主的主觀評測，對人的圖像觀察能力要求很高，而且這種方法勞動強度大、費 時，且受觀察者背景知識、觀測動機和觀測環境等因素的影響，結果穩定性差，可移植性也 不好；客觀評價則是利用客觀的數學評測模型來進行視頻質量的評測，以達到與主觀的評 測方法一致的效果，與主觀評價相比，具有速度快、費用低和可以嵌入到數字系統等優點， 因此比較實用。實際應用中，圖像質量評測方法已經越來越成熟，在各個生產實踐、科學研究中 都已經得到廣泛的應用。目前廣泛使用的算法是以均方信噪比為基礎，代表性的方法有 MSE(MeanSquared Error,均方差)，PSNR(Peak-Signal-to_Noise Ratio,峰值信噪比) 等，都是基於對應像素點間的誤差，即基於誤差敏感的圖像質量評價，儘管這種算法計算相 對簡單、實現方便，但是忽略了相鄰像素之間的結構相關性以及人眼視覺系統HVS(Human Visual System)的特殊性質，可能對圖像內容的質量評測與人的主觀評測有偏差，試驗表 明這些算法與人眼主觀評測的相關係數僅為0. 4 0. 7。此後，人們開始利用人眼視覺系 統的某些特性對客觀評價尺度進行修改，例如歸一化均方誤差(匪SE，Nor2malizedMean Square Error)評價方法。20世紀90年代後期，人們對視覺系統功能的理解有了顯著的進 展，各種基於HVS(Human VisualSystem)模型的圖像質量評價方法應運而生。其性能明顯 提高(與主觀評測的相關係數都在0. 8以上)，在實際應用中，正逐步取代傳統的均方差或 峰值信噪比算法。HVS(人眼視覺系統)認為，人眼的主要功能是從視野中提取結構信息，對結構信 息的測量應該是對圖像感知失真的一個很好近似。相比於傳統的均方差或峰值信噪比算 法，當圖像的亮度改變時，可能感知誤差的計算結果是一樣的，但是人眼對結構失真的察覺 卻是很敏感的。考慮到以圖像信息角度，結構信息是展現在畫面上對象的結構，基於結構 失真的客觀評價方式更能夠真實地反映人的主觀評價。在此基礎上，王舟等人(Z.Wang， A.C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image quality assessment :From error measurement to structuralsimilarity,，，IEEE Trans, image Processing,2004,13 600-612)實現了基於結構失真的一種質量評價方法SSIM(Structural Similarity Index, 結構相似度係數)評測法，是一種自頂而下的模擬人眼視覺系統模型，從高層次上模擬假定的人眼視覺系統的功能，採取了用感知結構化信息的丟失代替感知差錯，即通過感知結 構信息的改變來分析圖像的失真情況。結構相似性理論認為，自然圖像信號是高度結構化 的，即像素間有很強的相關性，特別是空域中最接近的像素，這種相關性蘊含著視覺場景中 物體結構的重要信息。SSIM(結構相似度係數)算法的實現，從圖像組成的角度將結構信息定義為獨立 於亮度、對比度的，反映場景中物體結構的屬性，並將失真建模為亮度、對比度和結構三個 不同因素的組合。結構相似度算法提出後引起了國內外學者的廣泛關注，並且被應用到其 它領域，如圖像融合質量評價，相似圖像搜索，信息隱藏盲檢測和視頻編碼器的率失真優化 等。此外，著名的開源H. 264編碼器x264在近期版本中也引入了 SSIM結構相似度係數值 計算，作為評價編碼質量的一個指標，而以往的編碼器通常只計算峰值信噪比或信噪比。其他方面，Sheikh等(Z.Wang，H. R. Sheikh，and A. C. Bovik, "Ob jective video qualityassessment,，，The Handbook of Video Databases :Design and Applications, Boca Raton, FL :CRCPress, 2003)提出了兩種基於資訊理論的全參考方法IFC (Information Fidelity Criterion，信息保真度準則)和 VIF(Visual Information Fidelity，視覺信息 保真度)。基於資訊理論的方法從另一個角度模擬人眼視覺系統的功能，將質量評價問題看成 是「信息」保真度而不是「信號」保真度的問題，將失真過程建模為一個有損信道，認為待測 圖像是源圖像通過這個信道而得到的，從而將視覺質量與參考圖像和待測圖像之間的互信 息聯繫起來。該方法準確度高，但模型的參數估計導致運算量較大，較難應用於實際，有待 於進一步減小運算複雜度。作為結構相似性理論的一個實現，結構相似度(SSIM)指數有著簡單高效的優點。 對SSIM算法進行深入研究發現，仍然存在以下不足(1)結構相似度(SSIM)算法，簡單地將圖像空間劃分為不重疊的等大的8X8的方 塊，提取各方塊的像素平均值，以計算待測圖像的亮度失真。實際應用中，參考圖像和待測 圖像，可能一方方塊中的各像素亮度差異比較大，另一方方塊中的像素則較均勻地分布在 平均亮度附近，而兩者的平均亮度計算結果可能相似。因此，簡單地以平均亮度代替方塊中 所有像素進行亮度失真計算，不夠合理。(2)人眼對各分塊失真的敏感程度是不一樣的。結構相似度算法，主要從亮度、對 比度、相關度對圖像失真情況進行分析，並以三者的線性組合作為質量指數。整個圖像的質 量指數MSSIM(平均結構相似度係數)是各方塊的SS頂(結構相似度係數)的平均值，並沒 有考慮對各方塊的加權平均，忽略了圖像失真在平坦區、紋理區、高頻區等不同頻率區域的 影響不同的特性。

發明內容
本發明的目的在於針對已有的圖像客觀質量評估模型進行深入理解和詳盡分析 的基礎上，結合人眼的視覺特性，對傳統的分塊方法和結構相似度評測方法進行改進，提供 一種基於視覺特性與結構相似度的圖像質量評測方法。本發明包括以下步驟1)讀取參考圖像和待測圖像的像素信息，以矩陣的形式存儲，設為矩陣X和y，並 對圖像空間進行不均勻分塊，記錄下每個分塊block(n)，使待測圖像和參考圖像的分塊布局相同；2)對參考圖像和待測圖像的每個方塊block(n)進行SSIM結構相似度指數運算；3)提取各方塊block (n)的權重係數w(n)，具體步驟如下①提取相對亮度變化引起的權重因子p(n)；②提取邊緣活動性失真引起的權重因子r(n)；③提取由於方塊block(n)面積以及像素頻率不同引起的權重因子z(n)；④綜合上述對相對亮度變化引起的權重因子p(n)、邊緣活動性失真引起的權重因 子r(n)、由於方塊blockfc)面積以及像素頻率不同引起的權重因子z(n)的分析，確定綜合 權重因子w(n)，並歸一化；4)對各分塊blockfc)對應的SSIM結構相似度指數進行綜合加權，得圖像綜合質
N_block
量麗SSIM，『MSS/M 二 J w(n)*5S/M( )，完成基於視覺特性與結構相似度的圖像質量
i=l
評測方法。在步驟1)中，所述對圖像空間進行不均勻分塊的方法，是以參考圖像的分塊布局 為準，將參考圖像空間劃分為互不重疊的、等大的32X32的方塊，並以每一個32X32的方 塊開始，重複下面步驟如果一個方塊block (n)邊長大於4，且方塊中像素方差o2(n)大 於閾值，那麼對該方塊進行四分(即劃分成4個16X 16，如果不符合條件，則將不滿足條 件16X 16的方塊再細分成4個8X8的方塊)，直到滿足條件。待測圖像的分塊布局，應該 與參考圖像的分塊布局blockfc) —樣，在劃分過程中，需要對各方塊計算相應的像素方差 o2(n)和均值u(n)，定義如下
1 Nbhck(n)u(n) =--V Data{n, i)
NbiocM tr
1 u") 式中，Nbl。。k(n)為第n個方塊中包含的像素總個數，Data(n, i)為圖像第n個方塊 內的像素數據，實際操作中，取Data(n，i)矩陣分別為參考圖像數據x(n，i)和待測圖像數 據y(n，i)，利用上述公式，可分別得到參考圖像和待測圖像各分塊中的像素方差02x(n)、 02y(n)以及像素均值！^!!)、!^!!)。在步驟2)中，所述對待測圖像每個方塊block (n)進行SSIM結構相似度指數運 算，是假設參考圖像為質量理想的圖像，將待測圖像與參考圖像進行對比，並以亮度函數 l(x, 7)、對比度函數(3 0^，y)和結構函數s(X，y)三個函數的組合為評價依據，用均值(Ux， uy)作為亮度的估計，標準差(ox，oy)作為對比度的估計，協方差(oxy)作為結構相似程 度的度量，計算圖像的質量情況，定義如下 最後，SSIM結構相似度指數定義為 其中，a，0，Y > 0，這3個參量用來調整亮度、對比度和結構信息的權重。當a =^ = Y = 1時，則各方塊block (n)所對應的結構相似度指數SSIM(n)可簡化為 在步驟3)中，所述提取相對亮度變化引起的權重因子p(n)的方法的具體步驟為 對人類視覺系統的研究發現，對信號亮度變化的反應不是取決於信號的絕對亮度，而是取 決於信號與背景亮度之間的相對差異，I_n為每個32X32方塊的亮度均值，視為每個方塊 block(n)的背景亮度，考慮各個方塊block(n)平均亮度 仏)與背景亮度之間的相對 差異，同時考慮人眼在中等亮度背景下對信息的辨別力較強，背景太亮或太暗時，人眼對方 塊像素亮度的失真較為不敏感，以127為最佳背景，綜合考慮在背景亮度不同的情況下，由 分塊相對亮度變化引起的權重因子，定義如下 式中，k為常數，ux(n)為各分塊block(n)平均亮度，為背景亮度。在步驟3)中，所述提取邊緣活動性失真引起的權重因子r(n)的方法的具體步驟 是根據人眼對圖像邊緣輪廓的失真比較敏感的特性，考慮待測圖像相對參考圖像各方塊 中，邊緣能量的增加或者減少，分析圖像邊緣活動性的失真情況，包括以下幾個步驟①選用Sobel水平濾波器ghOTiz。ntal(i，j)和垂直濾波器gVCTti。al(i，j)，提取出圖像 水平和垂直邊緣數據，分別記為Rh(i，j)和Rv(i，j)，定義如下Rh(i，j) = Data(i, j) *gh。riz。ntal (i，j)Rv (i，j) = Data (i，j) *gvertical (i，j)式中，Data(i, j)為圖像像素矩陣，實際操作中，分別為參考圖像和待測圖像數據 矩陣x和y。②提取邊緣梯度矢量，矢量幅度記為R_edge(i，j, k)，即邊緣能量大小，定義如 下 ③對邊緣像素進行二值化，提取出邊緣的結構信息，記錄下邊緣像素的具體位置 信息，定義如下 其中value為圖像內的邊緣像素的閾值，計算定義如下 value (i) = imhist(R edge(i, j)), , imhist(R_edge(i, j))表示邊緣圖像的直方圖，Num表示圖像內的像素總數；④按照步驟①②③分別對待測圖像和參考圖像提取出二值化的邊緣圖像 Eybinary (i，j)和EXbin y (i，j)，統計待測圖像和參考圖像各分塊block (n)中相應的邊緣像素 同時，考慮邊緣輪廓的失真主要表現在圖像邊緣像素的增加或者減少，統計分析 待測圖像各分塊中邊緣像素相對於參考像素的變化情況，檢測邊緣的活動性失真情況，並 提取相應的權重係數r(n)定義如下 在步驟3)中，所述提取由於方塊面積以及像素頻率不同引起的權重因子z(n)的 方法，是以32X32方塊的面積為基準參照，可得由方塊面積引起的權重係數，定義如下 式中，Ablock (n)為第n個方塊的面積，&為32 X 32的方塊面積，k2為常數，多次 實驗表明，k2 = 6/5實驗效果比較好，為簡化運算&取1運算。在步驟3)中，所述綜合權重因子w(n)的確定的方法，是對所述相對亮度變化引起 的權重因子P(n)、邊緣活動性失真引起的權重因子r(n)、由於方塊blockfc)面積以及像素 頻率不同引起的權重因子z(n)三個權重因子的綜合，定義w(n)為 簡化運算可取a =日=人=1，並對w(n)歸一化，定義如下 式中，N_block為圖像內總的方塊的數目。本發明的整體流程包括圖像獲取、圖像劣化實現以及圖像質量自動評測。①圖像獲取圖像的獲取可來自常見的移動手機終端、相機等，獲取裝置設有攝像 頭、存儲器以及實時處理晶片(MCU)等部件，用於採集攝像頭攝取的圖像信號以及保存圖 像文件。②圖像劣化實現由圖像獲取裝置得到的圖像往往是清晰的無劣化的圖像，作為 參考圖像。而待測圖像的獲取可以來自模型的仿真以及真實信道的傳輸。前者往往是通過 模擬傳輸信道的特徵，並建立相應的模型，對圖像進行劣化仿真，諸如在圖像中加入方塊、 高斯模糊等劣化方式。後者可以通過實際的網絡傳輸，在真實的信道中得到圖像劣化，評測 更具有實際意義。仿真過程可以在PC機上編程實現，實際傳輸劣化的獲取則需要通過網 卡、發送裝置、傳輸網絡、接收裝置、存儲器、實時處理晶片以及外圍電路組成，除了硬體設 備，也涉及網絡協議、編解碼等軟體原理。③圖像質量自動評測圖像質量的評測過程是將上述步驟①②得到的參考圖像和 待測圖像進行比較分析，通過建立適當的模型，模擬人眼的主觀評測，對待測圖像的質量做 出客觀評價的過程。自動評測裝置設有實時處理晶片、存儲器和外圍設備以及相應的接口和驅動等，並需要編寫評測程序，處理晶片通過調用程序對圖像進行自動評測，並給出評測結果。評測的圖像素材主要針對灰度圖像，當圖像為RGB彩色格式時，可以通過公式轉 換，變換為YUV格式，並提取亮度分量Y作為圖像數據，以矩陣的形式存儲，進行質量評測， 這主要是依據人眼對色度的失真變化不敏感的特徵。本發明具有以下突出優點1)傳統的SSIM結構相似度算法將圖像空間劃分為等大的8X8的方塊，求方塊中 像素的平均值，表徵整個方塊像素的平均亮度，並以此計算亮度失真情況。本發明對傳統分 塊法進行改進，並以之對圖像空間進行劃分，先將圖像劃分為32X32的方塊，以此為基礎， 當方塊中像素方差大於閾值時，對方塊進行更細的劃分(即劃分成4個16X16，如果不符合 條件，則將不滿足條件16X 16方塊的再細分成4個8X8的方塊)，直至方塊中的像素方差 小於閾值，認為各個像素比較接近，提取此時方塊中的像素均值，作為平均亮度，由於各個 像素階躍變化比較小，灰度值比較接近，此時的亮度均值更具有代表性。2)傳統的SSIM結構相似度算法，求出各方塊的SSIM結構相似度指數後，對各指 數進行簡單的平均運算求得平均結構相似度MSSIM值，作為整個圖像的綜合質量指標，不 考慮各方塊SSIM結構相似度指數的權重情況。本發明從圖像相對亮度變化、邊緣活動性失 真、方塊面積及其像素頻率不同三方面因素出發，綜合考慮圖像的不同失真對人眼的刺激 感受不同，提取出了三個因素綜合的權重因子，並對各方塊的SSIM結構相似度值進行加權 平均，求最後的圖像結構相似度，使評測結果更符合人眼視覺特性。本發明提供的基於視覺特性與結構相似度的圖像質量評測方法，對傳統的SSIM 結構相似度模型進行改進，綜合考慮人眼對於圖像不同區域的關注程度不同，以及對圖像 的不同失真的敏感性不一樣的特性，對各方塊的結構相似度指數做適當的加權平均以使最 終的評測結果更符合人眼的主觀評測。
具體實施例方式本發明基於視覺特性與結構相似度的圖像質量評測方法是一種以人眼視覺特性 為基礎，建立數學模型對劣化的圖像進行質量評測，以期望評測結果與人眼主觀感受一致。 通過對圖像質量的評測，可以反映圖像傳輸信道的噪聲情況，以期望對網絡的改進提供參 考。評測的整體流程包括圖像獲取、圖像劣化實現以及圖像質量自動評測。詳細的實施步驟如下1.圖像獲取圖像的獲取可以來自常見的移動手機終端、相機等，獲取裝置設有 攝像頭、存儲器以及實時處理晶片(MCU)等部件，用於採集攝像頭攝取的圖像信號以及保 存圖像文件。2.圖像劣化實現由圖像獲取裝置得到的圖像往往是清晰的無劣化的圖像，作為 參考圖像。而待測圖像的獲取可以來自模型的仿真以及真實信道的傳輸。前者往往是通過 模擬傳輸信道的特徵，並建立相應的模型，對圖像進行劣化仿真，諸如在圖像中加入方塊、 高斯模糊等劣化方式。後者可以通過實際的網絡傳輸，在真實的信道中得到圖像劣化，評 測更具有實際意義。仿真過程可以在PC機上編程實現，實際傳輸劣化的獲取則需要通過網 卡、發送裝置、傳輸網絡、接收裝置、存儲器、實時處理晶片以及外圍電路組成，除了硬體設備，也涉及網絡協議、編解碼等軟體原理。3.圖像質量自動評測圖像質量的評測過程是將上述步驟中得到的參考圖像和 待測圖像進行比較分析，通過建立適當的模型，模擬人眼的主觀評測，對待測圖像的質量做 出客觀評價的過程。自動評測裝置設有實時處理晶片、存儲器和外圍設備以及相應的接口 和驅動，並需要事先編寫評測程序，處理晶片通過調用程序對圖像進行自動評測，並給出評 測結果，具體的評測實現如下所述3. 1軟體讀取圖像數據，並以矩陣形式存儲。利用數據連接線將圖像獲取裝置獲取 的參考圖像以及通過劣化實現得到的待測圖像導入自動評測裝置，並通過編程，軟體讀取 參考圖像和待測圖像數據信息分別表示為x和y矩陣。考慮人眼對圖像色度失真不敏感，而 對圖像亮度失真比較敏感的特性，當圖像格式為RGB色彩格式時，統一利用公式轉換成YUV 格式，並提取亮度Y分量作為圖像數據保存，並以矩陣的形式存儲。在本實施中，評測過程 是圍繞著矩陣x和y展開的，若圖像矩陣為MXN的二維矩陣，在本實施中，有軟體讀取的x 和y矩陣是長度為MXN的一維矩陣。3. 2對圖像空間進行分塊。具體過程如下3. 2. 1參考圖像分塊。首先，將圖像空間劃分為互不重疊的、等大的32X32的方 塊，並以每一個32X32的方塊開始，重複下面步驟如果一個塊邊長大於4，且滿足以下兩 個條件那麼對該塊從中間進行四分(即將該32X32的方塊劃分成4個16X 16的方塊，如 果不符合條件，則將不滿足條件16X 16方塊的再細分成4個8X8的方塊)(a)邊長大於4 ；(b)方塊中像素方差o 2大於閾值可見，重複進行上述方塊劃分，可使各方塊block (n)的方差o 2(n)儘可能都小於 閾值，即各方塊中的像素灰度儘量都比較接近，同時根據各方塊的邊長大小可以確定出各 方塊的頻率情況，邊長為4的方塊可視為高頻部分；邊長為32的可視為低頻部分，如圖像的 平坦區域；邊長為16或者8的則為中頻部分。在劃分過程中，需要對各方塊不斷地計算像 素方差o 2 (n)，定義如下: 其中o 2x(n)為第n個方塊的像素方差，Nbl。。k (n)為第n個方塊中包含的像素總個 數，x(n，i)為第n個方塊中的各像素灰度值，ux(n)為第n個方塊的像素亮度平均值，定義 如下 3. 2. 2對待測圖像進行分塊，分塊的布局與步驟3. 2. 1中確定的參考圖像的分塊 布局相同，並按照上述相同的方法提取出待測圖像各方塊中的像素方差。2y(n)以及像素 均值uy (n)。3. 3對待測圖像每個方塊block (n)進行SSIM結構相似度指數運算。SSIM算法從 圖像組成的角度解釋結構信息，將結構信息定義為圖像中獨立於亮度、對比度，反映場景中 物體結構的屬性。從而，將失真建模為三個不同因素的組合亮度l(x，y)、對比度c(x，y) 和結構s(x，y)，用均值(ux，uy)作為亮度的估計，標準差(ox，oy)作為對比度的估計，協方差(cxy)作為結構相似程度的度量。各指標定義如下 最後，SSIM結構相似度定義為 其中，a，0，Y > 0，這3個參量用來調整亮度、對比度和結構信息的權重。當 ux2+uy2或者。/—。/接近⑶勺時候，會產生不穩定現象…，仏，仏是為了防止此現象所添加 的常數，取0(山)2，。2= (K2L)2，C3 = C2/2，這裡L是像素值的範圍，Ki << 1，K2 << 1 是兩個較小的常數。提取出參考圖像和待測圖像各方塊中的像素均值(ux(n)，Uy(n))，標準 差(ox(n)，oy(n))，以及協方差0xy(n)，計算出每個方塊對應的SSIM指數SSIM(n)，取a =3 = Y = 1，則SSIM計算可簡化為 每個方塊中的SSIM(n)滿足如下關係(a)對稱性:SSIM(x, y) = SSIM(y, x)；(b)有界性:SSIM(n)≤ 1 ；(c)唯一最大值當x = y時，即待測圖像較參考圖像無損失時，SSIM(x，y) = 1。基於以上描述，當將參考圖像看作有完美質量時，SSIM給出待測圖像質量的量化 度量，SSIM(n)表示各方塊的圖像質量情況。3. 4提取各方塊權重係數。3. 4. 1相對亮度變化引起的權重因子p (n)。亮度表現度是指人眼對圖像平均亮度 所表現出的整體效果。對人類視覺系統的研究發現，對刺激信號的反應不是取決於信號的 絕對亮度，而是取決於信號相對背景亮度信號平均亮度的刺激度，通常人眼對圖像亮度的 反應表現在對亮度階躍的敏感性，即信號亮度與背景亮度的灰度級差別，階躍越大，越容易 引起人眼的關注。由韋伯_費克納(Weber2 Fechner)法則可知視覺上主觀亮度與光刺激 強度的對數成比例。以參考圖像為基準，對步驟3. 2. 1中劃分的每一個方塊block(n)進行 分析，提取由相對亮度變化而引起的權重係數，定義如下 式中，k為常數，p(n)為所對應的每個方塊block(n)的相對亮度變化引起的權重 係數，ux(n)是步驟3. 2. 1中參考圖像每個方塊的亮度均值，以方塊blockfc)所在的32X32 方塊為背景，I_n為這個32X32方塊的亮度均值，視為背景亮度。同時，考慮人眼對於圖像像素的辨別能力受到背景亮度的影響，當場景中的背景 很暗或很亮時，人眼在對亮度偏差的辨別敏感度低，不容易辨別該區域中出現的噪聲或者 模糊等圖像損害，而在中等亮度背景下對信息的辨別力較強，其中敏感度最高的是在灰度級約為127的背景區域。因而，當信號亮度與背景亮度的比值，相同時，由於背景亮度
mean
不同，人眼對圖像失真辨別能力也會受到影響，將上述權重係數P(n)，改進如下p(n) = k | lg^M | *Jl-丨 1 刪"~127 |
Im咖 V 127同樣的亮度階躍，相比在中等背景亮度，人眼在背景亮度很暗或者很亮，對圖像失 真的敏感度低，相應得到的由亮度變化引起的權重也會相對較低。3. 4. 2邊緣活動性失真引起的權重因子r(n)。邊緣灰度也是影響人眼視覺的主要 因素，物體的邊緣是圖像局部變化的重要特徵，所謂邊緣是指其周圍像素灰度有階躍變化 的那些像素的集合，這個階躍變化即從一個變化平緩的灰度區域急劇變化的一個灰度相差 較大的區域。在圖像傳輸中，圖像信息的損失造成圖像空間上的模糊，噪聲又會造成圖像空 間上的方塊效應，而圖像的模糊以及方塊效應直接體現在圖像邊緣能量的減少或者增加。 對人眼視覺系統的研究表明，人眼對圖像邊緣輪廓的失真比較敏感，考慮待測圖像相對參 考圖像各方塊中，邊緣能量的增加或者減少，分析圖像邊緣活動性的失真情況，包括以下幾 個步驟①選用Sobel水平濾波器ghorizontal(i, j)和垂直濾波器gvertical(i, j)，提取出圖像 水平和垂直邊緣數據，分別記為Rh(i，j)和Rv(i，j)，定義如下 式中，Data(i, j)為圖像像素矩陣，實際操作中，分別為參考圖像和待測圖像數據 矩陣x和y。②提取邊緣梯度矢量，矢量幅度記為R_edge(i，j, k)，即邊緣能量大小，定義如 下 ③對邊緣像素進行二值化，提取出邊緣的結構信息，記錄下邊緣像素的具體位置 信息，定義如下 其中value為圖像內的邊緣像素的閾值，計算定義如下 imhist (R_edge(i, j))表示邊緣圖像的直方圖，Num表示圖像內的像素總數。④按照步驟①②③分別對待測圖像和參考圖像提取出二值化的邊緣圖像 Eybinary (i，j)和EXbin y (i，j)，統計待測圖像和參考圖像各分塊block (n)中相應的邊緣像素 個數Nybin y (n)以及Nxbinmy (n)，定義如下Nybmary(n)= ￡ Eybmary(i) ,Nxbinaiy(n)^ X同時，考慮邊緣輪廓的失真主要表現在圖像邊緣像素的增加或者減少，統計分析
13待測圖像各分塊中邊緣像素相對於參考像素的變化情況，檢測邊緣的活動性失真情況，並 提取相應的權重係數r(n)定義如下 3. 4. 3方塊面積以及像素頻率不同引起的權重因子z (n)。考慮到人眼對圖像失真 的敏感性與方塊面積以及像素頻率有直接的關係，同樣程度的圖像失真，比如方塊中增加 同樣數量的邊緣像素，人眼對面積較小的方塊失真較為敏感，而面積較大的方塊產生的邊 緣像素變化，則不易引起人眼的注意。另外，人眼對不同頻率的方塊敏感度也是不同的，根 據空間頻率的不同可以把方塊分為高頻區、中頻區以及低頻區。高頻區，像素空間比較復 雜，頻率較大，像素變化比較快，人眼對圖像失真最不敏感；低頻區，像素空間比較平坦，頻 率較小，像素變化比較平緩，人眼對圖像失真比較敏感；中頻區，由於包含的紋理細節比較 多，人眼對於圖像失真最敏感。實驗表明，人眼對圖像失真的敏感性與方塊面積成正弦函數 關係或高斯分布，適中的分塊面積更容易引起人眼的關注。以32X32方塊的面積為基準參 照，可得由方塊面積引起的權重係數，定義如下 式中，Ablock(n)為第n個方塊的面積，A0為32X32的方塊的面積，k2為常數，多 次實驗表明，k2 = 6/5實驗效果比較好，為簡化運算&取1運算。3.4.4權重因子奴11)的確定。綜合上述對亮度影響因子p(n)，邊緣成分影響因子 r(n)，分塊面積影響因子z(n)的分析，定義w(n)為 簡化運算可取a =日=人=1，並對w(n)歸一化，定義如下 w(n)="I )式中，N_block為圖像內總的方塊的數目。3. 5綜合加權求圖像質量麗SSIM。待測圖像的整體質量是各分塊質量的加權平 均，使客觀評測結果更符合人眼的主觀評測，定義如下
權利要求
基於視覺特性與結構相似度的圖像質量評測方法，其特徵在於包括以下步驟1)讀取參考圖像和待測圖像的像素信息，以矩陣的形式存儲，設為矩陣x和y，並對圖像空間進行不均勻分塊，記錄下每個分塊block(n)，使待測圖像和參考圖像的分塊布局相同；2)對參考圖像和待測圖像的每個方塊block(n)進行SSIM結構相似度指數運算；3)提取各方塊block(n)的權重係數w(n)，具體步驟如下①提取相對亮度變化引起的權重因子p(n)；②提取邊緣活動性失真引起的權重因子r(n)；③提取由於方塊block(n)面積以及像素頻率不同引起的權重因子z(n)；④綜合對相對亮度變化引起的權重因子p(n)、邊緣活動性失真引起的權重因子r(n)、由於方塊block(n)面積以及像素頻率不同引起的權重因子z(n)的分析，確定綜合權重因子w(n)，並歸一化；4)對各分塊block(n)對應的SSIM結構相似度指數進行綜合加權，得圖像綜合質量WMSSIM，完成基於視覺特性與結構相似度的圖像質量評測方法。FSA00000095206900011.tif
2.如權利要求1所述的基於視覺特性與結構相似度的圖像質量評測方法，其特徵在於 在步驟1)中，所述對圖像空間進行不均勻分塊的方法，是以參考圖像的分塊布局為準，將 參考圖像空間劃分為互不重疊的、等大的32X32的方塊，並以每一個32X32的方塊開始， 重複下面步驟如果一個方塊block (η)邊長大於4，且方塊中像素方差ο 2 (η)大於閾值，那 麼對該方塊進行四分，即劃分成4個16 X 16，若不符合條件，則將不滿足條件16 X 16的方塊 再細分成4個8 X 8的方塊，直到滿足條件，待測圖像的分塊布局，應該與參考圖像的分塊布 局block (η) —樣，在劃分過程中，需要對各方塊計算相應的像素方差ο2 (η)和均值u(n)， 定義如下 式中，Nbl。。k(n)為第η個方塊中包含的像素總個數，Data(n，i)為圖像第η個方塊內的像 素數據，實際操作中，取Data(n，i)矩陣分別為參考圖像數據χ(n，i)和待測圖像數據y(n， i)，利用上述公式，分別得到參考圖像和待測圖像各分塊中的像素方差。2x(n)、O2y(η)以 及像素均值ux (n)、uy (η)。
3.如權利要求1所述的基於視覺特性與結構相似度的圖像質量評測方法，其特徵在於 在步驟2)中，所述對待測圖像每個方塊block (η)進行SSIM結構相似度指數運算，是假設 參考圖像為質量理想的圖像，將待測圖像與參考圖像進行對比，並以亮度函數l(x，y)、對比 度函數c(x，y)和結構函數s (χ，y)三個函數的組合為評價依據，用均值(ux，uy)作為亮度 的估計，標準差(ox，oy)作為對比度的估計，協方差(Oxy)作為結構相似程度的度量，計 算圖像的質量情況，定義如下 最後，SSIM結構相似度指數定義為SSIM (x, y) = [l(X，y)]a*[C(X，y)]e*[s(X，y)]Y其中，α，β，Y > 0，這3個參量用來調整亮度、對比度和結構信息的權重，當α = β = Y=I時，則各方塊block (η)所對應的結構相似度指數SSIM (η)簡化為SSIM(n) = ~；-—-；----；-ο(ux2 (n) + uy2 (η) + C1 )(σχ2 (η) + σ； (η)+ C2)
4.如權利要求1所述的基於視覺特性與結構相似度的圖像質量評測方法，其特徵在於 在步驟3)中，所述提取相對亮度變化引起的權重因子ρ (η)的方法的具體步驟為以1_為 每個32X32方塊的亮度均值，視為每個方塊block (η)的背景亮度，以127為最佳背景，由 分塊相對亮度變化引起的權重因子，定義如下 式中，k為常數，Ux(η)為各分塊blockfc)平均亮度，Inrean為背景亮度。
5.如權利要求1所述的基於視覺特性與結構相似度的圖像質量評測方法，其特徵在於 在步驟3)中，所述提取邊緣活動性失真引起的權重因子r (η)的方法的具體步驟是根據人 眼對圖像邊緣輪廓的失真比較敏感的特性，考慮待測圖像相對參考圖像各方塊中，邊緣能 量的增加或者減少，分析圖像邊緣活動性的失真情況，包括以下幾個步驟①選用Sobel水平濾波器ghOTiz。ntal(i，j)和垂直濾波器gVCTti。al(i，j)，提取出圖像水平 和垂直邊緣數據，分別記為Rh (i，j)和Rv (i，j)，定義如下 式中，Data(i, j)為圖像像素矩陣，實際操作中，分別為參考圖像和待測圖像數據矩陣 χ 禾口 y ；②提取邊緣梯度矢量，矢量幅度記為R_edge(i，j，k)，即邊緣能量大小，定義如下 ③對邊緣像素進行二值化，提取出邊緣的結構信息，記錄下邊緣像素的具體位置信息， 定義如下 其中value為圖像內的邊緣像素的閾值，計算定義如下 imhist(R_edge(i, j))表示邊緣圖像的直方圖，Num表示圖像內的像素總數；④按照步驟①②③分別對待測圖像和參考圖像提取出二值化的邊緣圖像Eybin y(i， j)和EXbin y(i，j)，統計待測圖像和參考圖像各分塊blockfc)中相應的邊緣像素個數 Nybinary (η)以及 Nxbinary (η)，定義如下 檢測邊緣的活動性失真情況，並提取相應的權重係數r (η)定義如下
6.如權利要求1所述的基於視覺特性與結構相似度的圖像質量評測方法，其特徵在於 在步驟3)中，所述提取由於方塊面積以及像素頻率不同引起的權重因子Z(n)的方法，是以 32X32方塊的面積為基準參照，得由方塊面積引起的權重係數，定義如下 式中，Ablock (η)為第η個方塊的面積，Atl為32 X 32的方塊面積，k1 k2為常數，多次實驗 表明，k2 = 6/5實驗效果比較好，為簡化運算Ic1取1運算。
7.如權利要求1所述的基於視覺特性與結構相似度的圖像質量評測方法，其特徵在於 在步驟3)中，所述綜合權重因子w (η)的確定的方法，是對所述相對亮度變化引起的權重因 子？(11)、邊緣活動性失真引起的權重因子1~(11)、由於方塊1310(^(11)面積以及像素頻率不同 引起的權重因子ζ(η)三個權重因子的綜合，定義w(η)為 簡化運算可取α = β = λ = 1，並對w(n)歸一化，定義如下 式中，N_block為圖像內總的方塊的數目。
全文摘要
基於視覺特性與結構相似度的圖像質量評測方法，涉及一種圖像質量評價。提供一種基於視覺特性與結構相似度的圖像質量評測方法。讀取參考圖像和待測圖像的像素信息，以矩陣的形式存儲，設為矩陣x和y，並對圖像空間進行不均勻分塊，記錄下每個分塊block(n)，使待測圖像和參考圖像的分塊布局相同；對參考圖像和待測圖像的每個方塊block(n)進行SSIM結構相似度指數運算；提取各方塊block(n)的權重係數w(n)；對各分塊block(n)對應的SSIM結構相似度指數進行綜合加權，得圖像綜合質量WMSSIM，完成基於視覺特性與結構相似度的圖像質量評測方法。
文檔編號G06T7/00GK101853504SQ20101016803
公開日2010年10月6日 申請日期2010年5月7日 優先權日2010年5月7日
發明者馮超, 施芝元, 李進錦, 林佳楠, 陳少俊, 黃聯芬 申請人:廈門大學