基於多尺度幾何分析的圖像質量評測方法

2023-04-29 06:54:46

專利名稱：基於多尺度幾何分析的圖像質量評測方法
技術領域：
本發明屬於圖像處理技術領域，特別是一種涉及對圖像質量的評測方法，可用於圖像壓縮、圖像存儲、圖像通信，圖像檢測等領域中對圖像質量的評測處理。

背景技術：
圖像是用各種觀測系統以不同形式和手段觀測客觀世界而獲得的，可以直接或間接作用於人眼並進而產生視覺的實體。人類從外界獲得的信息約有75％是從圖像中獲得的。隨著信號處理和計算機科學技術的發展，圖像工程也成為一門內容豐富且發展迅速的學科。一個圖像系統包括圖像的採集、顯示、存儲、通信、處理和分析。它廣泛地應用於國民經濟中的各個領域，如科學研究、工業生產、醫療衛生、教育、娛樂、管理和通信等領域，對推動社會發展，改善人們生活水平都起到重要的作用。雖然圖像技術取得了迅速的發展，但在目前的技術水平下仍需要在圖像處理算法和設備的設計中做出某些折衷，如時間解析度與噪聲敏感度之間的折衷、空間解析度與圖像尺寸的折衷、亮度的範圍與階數之間的折衷。當在其中做出某種選擇後，將會影響到重建圖像的感觀。為了取得最優的選擇，有必要知道這些選擇的結果怎樣，會給重建圖像的感觀造成怎樣的影響。通過圖像質量客觀評價方法，可以對一些圖像處理方法進行有效的評估，最終取得一個較好的圖像效果。
目前的數字圖像質量評價的研究可以分為兩種完全不同的方法主觀評價和客觀評價。
第一種主要是通過主觀實驗來評價圖像質量。一個典型方法是國際電信聯盟(ITU，International Telecommunications Union)提出的電視圖像的主觀評價方法。主觀評價實驗是指，在一定的條件(圖像源，顯示設備和觀看條件等)下，給觀看者同時提供兩幅圖片，其中一幅是原始圖像，另一幅是失真圖像。原始的圖像是沒有任何損傷的，失真圖像可能有失真也可能沒有，即失真為零。對於觀看者應包括普通人和圖像專業人員和非專業人員。最後還要對大量的評分數據進行統計(均值、標準偏差，95％置信度區間等)。主觀評價的結果有兩種表示方法一種是絕對評分表達MOS(Mean Opinion Score)，即表示失真圖像的絕對質量；另一種是差值表達DMOS(Difference Mean Opinion Score)，即表示失真圖像與原始圖像評價成績的絕對差。
圖像是為人所觀看的，因而主觀實驗評價方法是評價圖像質量最準確和最有效的方法，但也存在嚴重的缺點，即主觀評價實驗十分耗時。實際中，需要實驗的數據量非常大，並且每次做出新的設計選擇時都要重新進行實驗，而主觀評價實驗只能測試有限數量的圖像樣本。因此，該方法很難在實際中應用。人們迫切需要設計客觀的圖像質量評價方法來近似反映主觀感受，這就是第二種數字圖像質量的評價方法——數字圖像質量客觀評價方法。
數字圖像質量的客觀評價已經越來越為人們所重視，並已形成了許多完整有效的算法體系。從現有文獻看，根據對原始圖像的參考程度，圖像質量的客觀評價可分為三種全參考型(FR，Full Reference)、部分參考型(RR，Reduced Reference)和無參考型(NR，No Reference)。
1)全參考型 所謂全參考型也就是說算法的前提是原始的圖像是完全已知的，並且認為是沒有任何失真的，被用來作為評價失真圖像質量的參照。目前大多數圖像質量評價算法都屬於全參考型。
2)部分參考型 由於參考圖像數據量往往比較大，在一些情況下不便於傳輸和存儲，特別是在通信領域，對帶寬的要求很高。為了能在這種情況下仍能較好地評價圖像的質量，RR型圖像質量評價成為人們研究的熱點之一。部分參考型是介於全參考型和無參考型之間的一種圖像質量評價方法。這種方法只利用部分的原始圖像的信息來估計失真圖像的視覺感知質量。目前VQEG(Video Quality Experts Group)已經將其作為未來發展的一個方向。在某些應用領域RR型圖像質量評價方法十分有用。例如，在實時視頻通訊系統中，可以通過監控圖像質量來控制碼流資源，從而滿足不同的需要。一個成功的RR圖像質量評價方法必須在RR特徵數據率和圖像質量的預測精度上取得很好的平衡。這是因為，如果RR特徵數據率越大，能包含參考圖像的信息就越多，得到的預測就會越精確，但這也會給傳送這些參數造成很大負擔；相反，數據量越小越易於傳送，但最終的預測也會越差。
3)無參考型 全參考型和部分參考型方法的共同點是，它們都全部或部分地依靠一個原始的且無失真的圖像作為參考。無參考型方法是一種不需要原始圖像，直接對失真圖像進行評價的方法。近些年來，NR型圖像質量評價被越來越多的學者所關注。因而這是一個是非常有意義的研究方向。
全參考型方法最大的優點就是對失真圖像質量預測準確，然而，全參考型方法要求有無任何失真的原始圖像，這在很多實際應用中都難以實現。而對無參考型方法來說，一方面，無參考型方法是一種很難的工作，且現有的方法效果大都不夠理想，另一方面，現有的無參考型方法都有很強的前提條件即要預先知道圖像等失真方式或類型，這在實際應用中也很難實現。部分參考型方法利用了原始圖像的部分特徵信息，在不知道圖像失真類型時，依然能夠對失真圖像做出較準確的評測。
傳統的圖像質量評價方法峰值信噪比(PSNR，Peak Signal-to-Noise-Ratio)等是從純數學的角度對圖像的像素之間的誤差的統計，性能有很大的局限性。近來人類視覺系統(HVS，HumanVisual System)被引入來研究圖像質量評價的新方法，人眼的主要作用是為了提取視場中的結構信息，而且人類視覺系統也非常適用於這一目的。Z Wang等據此提出了基於結構相似度(SSIM，Mean Structural Similarity)的全參考型圖像質量評價方法「Z Wang，A C Bovik，H RSheikh，and E P Simoncelli.Image quality assessmentfrom error visibility to structural similarity[J].IEEE Trans.on Image Processing.2004，13(4)600-612.」實驗結果表明該方法與主觀評價具有很好的相關性。但是該方法是針對圖像中局部像素的相關性進行的，因此提取的圖像特徵信息就不夠完整。進而，在「Z Wang.and Simoncelli E.P.Reduced-reference image qualityassessment using a wavelet-domain natural image statistic model.Human Vision and ElectronicImaging X.Proc.Jan.2005，5666149-159.」中利用自然圖像的統計模型進行圖像質量評價(RR-WISM，Reduced-Reference Image Quality Assessment Using A Wavelet-Domain NaturalImage Statistic Model)。該方法針對自然圖像的小波子帶係數滿足廣義高斯分布的特性，用失真圖像的小波子帶係數來逼近該分布，然後根據擬合誤差對失真圖像質量進行估計，取得了良好的評價結果，但該方法結構較複雜，計算代價高，並且，該方法並沒有最優的解決評測效果與傳輸數據量代價之間的矛盾。由於小波子帶的係數分布僅僅利用子帶係數的統計獨立性，而係數之間非獨立性卻存在於各個方向、尺度、位置，因此其效果並不夠理想。參考型圖像質量評價方法的核心問題最有效的提取圖像中的特徵信息，通過比較圖像中特徵信息的變化情況來對被測圖像進行評測。所以，如何有效的提取和統計圖像的特徵信息成為對圖像質量評價的關鍵。


發明內容
本發明的目的在於克服上述已有技術的不足，提供一種基於多尺度幾何分析的圖像質量評測方法，以解決傳統部分參考型圖像質量評價方法中評測精確性與所需傳遞信息量的矛盾，實現更簡單、更有效、更準確的圖像質量評測。
實現本發明目的的技術方案是根據部分參考型圖像質量評價體系，採用多尺度幾何分析的變換方法，利用人眼視覺特性，對變換得到的子帶係數進行視覺掩模，定義相應的視覺感知閾值，統計各個子帶內大於視覺感知閾值的係數的變化情況，得到對圖像的評價測度。
具體過程如下 (1)利用多尺度幾何分析方法將參考圖像和被測圖像分解成不同的尺度和方向上的子帶； (2)對各個子帶係數進行歸一化加權，並根據參考圖像的子帶係數設定視覺感知閾值T， 式中，xi，j為子帶加權後最精細尺度上第i個方向子帶的第j個係數，

子帶加權 後第i個方向子帶係數的均值；M為子帶加權後所選方向子帶的數目，N為每個子帶中的係數的總個數； (3)分別計算參考圖像和被測圖像各對應尺度和方向子帶中大於所述視覺感知閾值T的係數佔所有係數的比重PR(n)和PD(n)， 式中，RT(n)和DT(n)分別為參考圖像和被測圖像的第n個子帶中大於視覺感知閾值T的個數，R(n)和D(n)為其對應子帶中所有係數的個數； (4)統計參考圖像和被測圖像各對應子帶中視覺感知係數所佔比重的絕對差值總量S， L為被選取子帶的總個數； (5)根據所述的絕對差值總量S，確定被測圖像的質量評價測度Q 式中，Q0為Q動態範圍的調節因子，Q取值範圍在0～1之間， 隨著Q值的增加，圖像質量也相應要提高。
本發明由於採用了多尺度幾何分析方法對圖像在尺度和方向上進行分解，利用子帶係數的變化對圖像質量進行評價，與現有技術相比較，具有如下優點 a)評測性能有較大提升，與人類視覺感知的一致性較好。以HWD變換應用到本發明並以JPEG圖像為例，其評測精確性、單調性、離出率分別為0.9702、0.9473、0.03，相對現有的RR-WISM的評測方法，其精確性、單調性、分別提高了0.05、0.04，離出率降低了0.11，相對於現有的SSIM評測方法，其精確性、單調性、分別提高了0.01，0.01，離出率降低了0.01。
b)結構簡單，計算量小。以小波變換為例，利用小波變換將圖像進行三級分解，如圖2(a)所示，在相同條件下，對相同的一對488×610圖像，用本發明進行評測所需的時間僅為現有RR-WISM方法評測時間的1/20； c)所需要傳輸的信息量較小。以wavelet變換應用到本發明為例，對任一幅圖像本發明需要傳遞的信息量僅為84bit，約為現有RR-WISM方法的一半。



圖1是本發明評測過程示意圖； 圖2是本發明的圖像分解示意圖，其中 圖2(a)是當小波變換應用到本發明時，圖像分解及子帶選取示意圖； 圖2(b)是當contourlet變換應用到本發明時，圖像分解及子帶選取示意圖； 圖3為幾種圖像質量評價方法與主觀MOS值的非線性擬合曲線圖，其中 圖(a1)為採用PSNR評測JPEG圖像時對MOS的預測曲線圖； 圖(a2)為採用PSNR評測JPEG2000圖像時對MOS的預測曲線圖； 圖(b1)為採用經典部分參考型方法RR-WISM評測JPEG圖像時對MOS的預測曲線圖； 圖(b2)為採用經典部分參考型方法RR-WISM評測JPEG2000圖像時對MOS的預測曲線圖； 圖(c1)為採用經典全參考型方法MSSIM評測JPEG圖像時對MOS的預測曲線圖； 圖(c2)為採用經典全參考型方法MSSIM評測JPEG2000圖像時對MOS的預測曲線圖； 圖(d1)為本發明利用WBCT時評測JPEG圖像對MOS的預測曲線圖； 圖(d2)為本發明利用WBCT時評測JPEG2000圖像對MOS的預測曲線圖。

具體實施例方式 本發明的核心思想是利用有效的多尺度幾何分析方法，獲得圖像的稀疏表示，提取圖像的紋理信息和方向信息。通過對比感知度掩模對靈敏度係數歸一化，根據參考圖像的子帶係數設定視覺感知閾值T，計算參考圖像和被測圖像各方向子帶中大於視覺感知閾值T的係數所佔的全部係數的比重，並統計和比較其差異，得到圖像的質量評價測度。
如圖1所示，將參考圖像置於發送端處理，將被測圖像置於接收端處理，將參考圖像處理得到的視覺感知閾值和大於視覺感知閾值的係數佔所有係數的比重通過輔助信道傳輸到接收端，在接收端通過比較參考圖像和被測圖像子帶係數的變化得到對被測圖像的評測結果。
本發明的主要步驟是 1)圖像預處理 利用多尺度幾何分析方法對參考圖像和被測圖像進行尺度和方向的子帶分解，該分解採用Beamlet變換、Wedgelet變換、Bandelet變換的自適應分析方法，或者Wavelet變換、Steerable Pyramid變換、Curvelet變換、Contourlet變換、基於Wavelet的Contourlet變換、Wavelets和方向濾波器組混合變換的非自適應分析方法進行，分別得到圖像的點、直線、光滑閉曲線、光滑輪廓區域、直線段、楔形、交叉直線特徵。以contourlet變換為例，進行三層Laplacian Pyramid分解，如圖2(b)所示，由細到粗各層分別採用4級、3級、3級方向濾波器分解，根據方向濾波器的性質，只選擇一半的方向子帶來提取圖像尺度信息和方向信息，即圖2(a)、圖2(b)中用白色虛線框和數字標出的子帶部分。
2)子帶歸一化加權 (a)對分解後的所有子帶利用圖像的歸一化頻率fn和圖像的採樣頻率fs，得到信號的空間頻率f，即 f＝fn·fs(1) 式中，fn，fs分別由下式得到 fn＝3/2n+2(2)
式中，n＝1，2……為被加權子帶所在尺度， v為觀測距離，單位為米，這裡v取顯示器高度的2-2.5倍。
r為顯示器的解析度，單位為像素/英寸，顯示器的尺寸為21英寸，解析度為1024×768，則有像素/英寸。
(b)利用空間頻率f，並利用對比敏感度函數， 對分解後的子帶進行歸一化加權，使不同頻域子帶中的係數對人眼有相同的視覺感知度。
3)設定視覺感知閾值 在不同頻域係數對人眼有相同感知的前提下，根據人眼視覺感知特性，按如下過程確定所有係數的視覺感知閾值T (a)利用下式計算經多尺度幾何分析和子帶加權後得到的每個尺度和方向子帶的標準差Ti， 式中，xi，j為子帶加權後所選第i個方向子帶的第j個係數，

為子帶加權後第i個方向子帶係數的均值；N為每個子帶中的係數的總個數； (b)選取子帶加權後最精細尺度上的M個方向子帶進行加權，並計算所有Ti的均值Th， (c)將計算所得的均值Th設定為視覺感知閾值T T＝α·Th(7) 式中，α為加權參數。
4)對大於視覺感知閾值T的係數歸一化 分別計算參考圖像和失真圖像各方向子帶中大於視覺感知閾值T的係數所佔的比重。
式中，RT(n)和DT(n)分別為參考圖像和失真圖像的第n個子帶中視覺感知係數的個數，R(n)和D(n)為其對應子帶中所有係數的個數； 為減小數據傳輸量，只將視覺感知閾值T和PR(n)作為參考圖像的特徵信息傳輸到被測圖像處理端，並在被測圖像處理端求得PD(n)； 5)統計比重絕對值差 由下式統計所選子帶中PR(n)和PD(n)的絕對差和S L為被選取子帶的總個數，實驗中取L＝24。
6)圖像質量評價測度 根據絕對值差S定義圖像質量的評價測度Q 式中，Q0為Q動態範圍的調節因子，Q取值範圍在0～1之間，隨著Q值的增加，圖像質量也相應要提高，實驗中取Q0＝0.1。
本發明的優點可通過以下實驗進一步說明 本實驗是在美國TEXAS大學LIVE圖像質量評估資料庫上進行的，該資料庫包含29幅高解析度的RGB圖像和通過JPEG和JPEG2000壓縮得到的一系列失真圖像，其中JPEG圖像175幅，JPEG2000圖像169幅，同時還給出了每幅圖像的主觀評價MOS等信息。為了測試本發明提出的圖像質量客觀評價結果與主觀感知的一致性，我們選擇了以下三種度量準則(1)相關係數，反映了客觀評價方法預測的精確性；(2)Spearman等級次序相關係數，反映了客觀評價成績預測的單調性；(3)離出率，反映了客觀評價方法估計的穩定性。表1給出了本發明與全參考型的PSNR、MSSIM和RR-WISM方法的對比實驗結果。
表1PSNR、MSSIM、RR-WISM和本發明的主客觀一致性評價比
由表1可以看出，本發明相對現有方法有很好的優越性1)有更高的預測精確性，即相關係數為0.9728和0.9565，比現有方法相關係數大；2)有更嚴格的預測單調性，即等級次序相關係數0.9527和0.9390，比現有方法等級次序相關係數大；3)有更好的穩定性，即離出率0.0457和0.0414，比現有方法離出率更低。
圖3顯示本發明比現有方法與主觀MOS值具有更好地的非線性擬合曲線逼近效果。曲線為主觀觀測值MOS與客觀評測值的最佳匹配曲線，橫坐標表示圖像的客觀評測值，縱坐標為圖像的主觀評測值，「+」代表圖像資料庫中JPEG或JPEG2000圖像，「+」的分布越接近圖中的曲線，表明本方法越有效。
圖(a1)是用現有方法PSNR評測JPEG圖像時對主觀評價值MOS的預測曲線，圖(a2)是用現有方法PSNR評測JPEG2000圖像時對主觀評價值MOS的預測曲線圖，從(a1)、(a2)可以看出「+」的分布範圍比較大，偏離曲線比較遠。
圖(b1)是用經典部分參考型方法RR-WISM評測JPEG圖像時對主觀評價值MOS的預測曲線圖。圖(b2)是用經典部分參考型方法RR-WISM評測JPEG2000圖像時對主觀評價值MOS的預測曲線圖。從圖(b1)、(b2)可以看出「+」的分布在尾部的時候比較逼近曲線，但整體的趨勢還是偏離曲線比較遠的。
圖(c1)是用經典全參考型方法MSSIM評測JPEG圖像時對主觀評價值MOS的預測曲線圖。圖(c2)是用經典全參考型方法MSSIM評測JPEG2000圖像時對主觀評價值MOS的預測曲線圖。從圖(c1)、圖(c2)可以看出「+」的分布在某些局部區域比較逼近曲線，但另外一些卻偏離很大，因此整體上說還是偏離曲線比較遠的。
圖(d1)是本發明利用WBCT變換進行圖像質量評價時，針對JPEG圖像對主觀評價值MOS的預測曲線圖，圖(d2)是本發明利用WBCT變換進行圖像質量評價時，針對JPEG2000圖像對主觀評價值MOS的預測曲線圖。從圖(d1)、圖(d2)可以看出「+」的分布整體上比較逼近曲線，僅有極個別的點偏離曲線較大，但在整體上還是很逼近曲線的。從以上圖的對比可以看出，本發明較已有的方法有很大的改進，且與主觀評價值具有較好的一致性。
權利要求
1.一種基於多尺度幾何分析的圖像質量評測方法，通過對參考圖像與被測圖像對比進行，具體過程如下
(1)利用多尺度幾何分析方法將參考圖像和被測圖像分解成不同尺度和方向上的子帶；
(2)對各個子帶係數進行歸一化加權，並根據參考圖像的子帶係數設定視覺感知閾值為，
式中xi，j為子帶加權後最精細尺度上第i個方向子帶的第j個係數，
為子帶加權後第i個方向子帶係數的均值，
M為所選方向子帶的數目，N為每個子帶中的係數的總個數；
(3)分別計算參考圖像和被測圖像各對應尺度和方向子帶中大於所述視覺感知閾值T的係數佔所有係數的比重PR(n)和PD(n)，即對大於視覺感知閾值T的係數歸一化，
式中，RT(n)和DT(n)分別為參考圖像和被測圖像的第n個子帶中大於視覺感知閾值T的個數，R(n)和D(n)為其對應子帶中所有係數的個數；
(4)統計參考圖像和被測圖像各對應子帶中視覺感知係數所佔比重的絕對差值總量S，
式中，L為被選取子帶的總個數；
(5)根據所述的絕對差值總量S，確定被測圖像的質量評價測度Q
式中，Q0為Q動態範圍的調節因子，Q取值範圍在0～1之間。
2.根據權利要求1所述的方法，其特徵在於利用多尺度幾何分析方法將圖像分解成不同的尺度和方向上的子帶，採用Beamlet變換、Wedgelet變換、Bandelet變換的自適應分析方法，或者Wavelet變換、Steerable Pyramid變換、Curvelet變換、Contourlet變換、基於Wavelet的Contourlet變換、Wavelets和方向濾波器組混合變換的非自適應分析方法，進行分解，分別得到圖像的點、直線、光滑閉曲線、光滑輪廓區域、直線段、楔形、交叉直線特徵。
3.根據權利要求1所述的方法，其特徵在於對子帶進行歸一化加權的過程如下
1)利用圖像的歸一化頻率fn和圖像的採樣頻率fs，得到信號的空間頻f，即
f＝fn·fs
式中，fn，fs分別由下式得到
fn＝3/2n+2
其中，n＝1，2……為被加權子帶所在尺度，v為觀測距離，單位為米，
r為顯示器的解析度，單位為像素/英寸；
2)利用空間頻率f，並利用對比敏感度函數，
對分解後的子帶進行歸一化加權。
4.根據權利要求1所述的方法，其特徵在於視覺感知閾值T的設定過程如下
1)利用下式計算經多尺度幾何分析和子帶加權後得到的每個尺度和方向子帶的標準差Ti，
式中，xi，j為子帶加權後所選第i個方向子帶的第j個係數，
為子帶加權後第i個方向子帶係數的均值；
N為每個子帶中的係數的總個數；
2)選取子帶加權後最精細尺度上的M個方向子帶進行加權，並計算所有Ti的均值為，
3)將計算所得的均值Th設定為視覺感知閾值T
T＝α·Th
式中，α為加權參數。
全文摘要
本發明公開了一種基於多尺度幾何分析的圖像質量評測方法，主要解決圖像質量客觀評測與主觀評測值一致性差的問題。該方法包括(1)利用多尺度幾何分析方法對參考圖像和被測圖像進行尺度和方向的子帶分解；(2)對分解後的所有子帶利用對比敏感度函數進行加權；(3)根據人眼視覺感知特性，確定所有係數的視覺感知閾值；(4)分別計算參考圖像和被測圖像各方向子帶中大於視覺感知閾值的係數所佔的比重；(5)統計參考圖像和被測圖像各方向子帶中大於視覺感知閾值的係數所佔比重的絕對值差，根據比重絕對值差定義圖像質量的評價測度。具有結構簡單，傳輸數據量小，計算複雜度低，與主觀評測一致性好的優點，可用於對圖像處理方法進行有效性評測。
文檔編號G06T7/00GK101127926SQ20071001867
公開日2008年2月20日 申請日期2007年9月14日 優先權日2007年9月14日
發明者高新波, 文 路, 王體勝, 鄧勤耕, 凱 曾, 潔 李, 成 鄧, 牛振興 申請人:西安電子科技大學