基於hvs的ssim與特徵匹配立體圖像質量評價方法

2023-05-15 16:16:21

專利名稱：基於hvs的ssim與特徵匹配立體圖像質量評價方法
技術領域：
本發明涉及圖像質量評價、3D圖像處理，具體是基於HVS的SSIM與特徵匹配立體圖像質量評價方法。
背景技術：
Pieter提出3DTV主觀質量評價方法，指出應該從圖像質量、圖像深度、立體感舒適程度、立體感是否存在、立體感是否自然、立體感是否符合視覺經驗等方面進行評價；I^trizio提出了一種立體圖像主觀質量評價方法，被測者佩戴立體眼鏡，使用France Telecom R&D (法國電信)的SEOVQ(視頻質量的主觀評估和優化)人機互動界面進行主觀評測，並用平均差異分數(DM0Q表示評價結果。主觀評價方法耗時、耗力，而且具有一定的不穩定因素；Patrizio等又提出將多個二維圖像評價指標SSIM(結構相似度指標)、 UQI (Universal Quality Index傳統的質量指標)、RRIQA(減少參考圖像的質量評價)用於對立體圖像的評價，在分別評價了左、右圖像質量的基礎上，用加權求和的方法給出評價結果。這種方法有借鑑價值，但是未考慮相應的立體視覺機理；Alexandre提出了一種基於視差的立體圖像客觀質量評價方法，分別計算出平面圖像質量失真和視差失真，然後再將二者加權，視差失真通過原圖像對和測試圖像對深度圖的相關係數計算得出，平面圖像質量失真利用平面圖像評價方法分別計算左圖像與右圖像間的失真指標，再求出平均值，但是， 在Alexandre的方法中用原圖像對和測試圖像對深度圖的相關係數表徵立體信息特徵，只能從整幅圖的角度給出一個總體認識，不能明顯的反映出局部視差失真給圖像質量評價帶來的影響；寧波大學提出了一種基於相似度的立體右圖像質量評價方法，該方法將視差用於右圖像的質量評價中，其實質只評價了單視點圖像質量，並非真正意義上的立體圖像質量評價。

發明內容
為克服現有技術的不足，提供一種基於HVS的SSIM與特徵匹配立體圖像質量評價方法，用來說明所生成立體圖像的逼真度和立體感、壓縮算法對立體圖像的損傷程度、傳輸過程引入的噪聲對立體圖像質量幹擾的程度、以及立體圖像顯示的自然感等，以作為衡量立體圖像處理效果的手段和標準，本發明採取的技術方案是，基於HVS的SSIM與特徵匹配立體圖像質量評價方法，包括如下步驟(1)用結構失真法比較原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度，提出結構失真度指標；(2)將測試圖像左右視圖的平均感知亮度的比值作為一個質量評價指標，來衡量左右視圖感知亮度的差異，即提取亮度對比度指標；(3)根據小波分解模擬人眼帶通特性原理，計算測試圖像左右視圖與原圖像左右視圖在各頻帶的誤差，並對其線性求和，然後進行信噪比評估，得出人眼視覺信噪比評價指標；
(4)用測試圖像左右視圖匹配點個數和原圖像左右視圖匹配點各數的比值反映立體圖像的立體感；(5)對上述所有的指標進行合理的加權，得出一個總的評價指標，從整體上反映立體圖像的質量。現在，對上述方法做進一步的敘述，具體為用L表示圖像絕對亮度，AL表示圖像相對亮度，Δ S表示亮度感覺的增量值，則可以用相對亮度的增量來度量亮度感覺的增量，如式(1)所示
ΛΟ 廠 ΔΙAS = K-
L(1)K為常數，對式(1)積分，得到感覺亮度SS = KlnL+K0 = K' lgL+K0 (2)其中，K' = KlnlOjtl為常數，依照公式(2)對灰度圖像的每個像素的亮度值進行變換，得到感知亮度。所述將測試圖像左右視圖的平均感知亮度的比值作為一個質量評價指標具體為， 用結構相似度法SSIM(struCtural similarity)分別提取原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度，並進行比較首先分別計算原始圖像X和測試圖像Y的平均感知亮度Uj^PUy，MXN為圖像大小， Xij> Yij為原始圖像X和測試圖像Y每個像素經過式( 處理的感知亮度；其次計算原始圖像X和測試圖像Y的標準差^和。y，以及兩者之間的協方差Oxy ；再次，根據(3) (5) 分別計算亮度比較函數1 (χ，y)、對比度比較函數c (χ，y)、結構相似性比較函數s (χ，y)
權利要求
1.一種基於HVS的SSIM與特徵匹配立體圖像質量評價方法，其特徵是，包括如下步驟，(1)用結構失真法比較原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度，提出結構失真度指標；(2)將測試圖像左右視圖的平均感知亮度的比值作為一個質量評價指標，來衡量左右視圖感知亮度的差異，即提取亮度對比度指標；(3)根據小波分解模擬人眼帶通特性原理，計算測試圖像左右視圖與原圖像左右視圖在各頻帶的誤差，並對其線性求和，然後進行信噪比評估，得出人眼視覺信噪比評價指標；(4)用測試圖像左右視圖匹配點個數和原圖像左右視圖匹配點各數的比值反映立體圖像的立體感；(5)對上述所有的指標進行合理的加權，得出一個總的評價指標，從整體上反映立體圖像的質量。
2.如權利要求1所述的方法，其特徵是，所述方法在所述各步驟前還包括一個預處理步驟，具體為用L表示圖像絕對亮度，AL表示圖像相對亮度，AS表示亮度感覺的增量值，則可以用相對亮度的增量來度量亮度感覺的增量，如式(1)所示M = AL (1) K為常數，對式(1)積分，得到感覺亮度S S = KlnL+K0 = K' lgL+K0(2)其中，K' = KlnlO, Ktl為常數，依照公式( 對灰度圖像的每個像素的亮度值進行變換，得到感知亮度。
3.如權利要求1所述的方法，其特徵是，所述將測試圖像左右視圖的平均感知亮度的比值作為一個質量評價指標具體為，用結構相似度法SSIM(strUCtUral similarity)分別提取原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度，並進行比較首先分別計算原始圖像X和測試圖像Y的平均感知亮度Ux和uy，MXN為圖像大小， XiJ> Yij為原始圖像X和測試圖像Y每個像素經過式(2)處理的感知亮度；其次計算原始圖像X和測試圖像Y的標準差％和Qy，以及兩者之間的協方差oxy;再次，根據(3) (5)分別計算亮度比較函數l(x，y)、對比度比較函數c(x，y)、結構相似性比較函數s(x， y)2uvu」 + C1l(x,y)=(C1 = (K1L)2)(3)+u +C1σ , σ , + Cc(x,y)= _2Χ y 2 (C2 = (K2L)2)(4)s^y)=砂丄二明+Q(5)CpCyC3分別是取值較小的常數，最後，根據式(6)計算結構失真度S1 S1= [l(X，y)]a[C(X，y)e[s(X，y)]Y (6) 令 α = β = γ=1，將每個評價指標取值都限定在
之間，因為l(x，y) ( l,c(x,y) ( l，s(x，y) ( 1， 故&彡1，所以將式(5-6)變換為
4.如權利要求1所述的方法，其特徵是，所述將測試圖左、右視圖的平均感知亮度的比值作為一個質量評價指標，來衡量左右視圖感知亮度的差異，指標為
5.如權利要求1所述的方法，其特徵是，所述得出人眼視覺信噪比評價指標步驟是， 採用小波分解模擬人眼帶通特性，並用經驗對比度靈敏度函數CSF(Contrast Sensitivity Function)曲線加權不同頻帶小波係數，模擬人眼的對比度敏感度特性，計算方法以左視圖為例，給出標準視圖和測試視圖在每個加權頻帶的誤差計算公式(10)
6.如權利要求1所述的方法，其特徵是，所述用測試圖像左右視圖匹配點個數和原圖像左右視圖匹配點各數的比值反映立體圖像的立體感，具體為提取標準圖像匹配點個數 0標_像和測試圖像的匹配點個數0測試_，並用匹配點個數比P作為一個評價指標，公式如 (15)，表徵圖像質量以及立體感覺的好壞，
7.如權利要求1所述的方法，其特徵是，所述對上述所有的指標進行合理的加權，得出一個總的評價指標具體為
8.如權利要求1所述的方法，其特徵是，所述方法是在計算機中執行下列步驟分別讀入標準圖像對和測試圖像對4幅圖像，再將其經過人眼視覺系統模型處理後，計算反映立體圖像質量的結構失真度量指標、亮度比較指標、人眼視覺信噪比指標、匹配點個數比指標、綜合評價值等各項指標值，保存為文本文件，用客觀數值反映測試立體圖像的質量好壞，並且可以在界面上直觀顯示各項指標的質量優良狀況，6個評價指標，依次為左視圖結構失真度量指標MrucL、右視圖結構失真度量指標StrucR、左右測試視圖亮度對比度指標LumaLR、左視圖人眼視覺信噪比指標HVSL、右視圖人眼視覺信噪比指標HVSR、匹配點個數比指標Match ；在設計的評價軟體系統的界面中，「Final Result」表示6個指標加權求和後總的評價指標，它用來表示測試立體圖像總體質量，可用於與MOS進行相關性比較，用「Excellent」、 「G00d」、「i^ir」、「P00r」、「Bad」表示五級標度評價質量等級，與其對應的Mhow Result」用 5種表情顯示質量。「0penSL」、「0penSR」、「0penTL」、「0penTR」表示加載圖像，分別表示打開原左視圖、打開原右視圖、打開測試左視圖、打開測試右視圖。「Play」開始運行計算指標值， 「Mve」保存指標到一個.txt文件，用於數據處理和分析。「耗時」顯示計算一次所消耗的時間，「Succeed」表示計算結束，和「Succeed」對應的狀態機state machine還有「^Testing...，， 表示使用測試功能，測試程序是否能正常運行、「Computer…」表示程序正在計算。
全文摘要
本發明涉及圖像質量評價。為說明所生成立體圖像的逼真度和立體感、壓縮算法對立體圖像的損傷程度、傳輸過程引入的噪聲對立體圖像質量幹擾的程度、以及立體圖像顯示的自然感等，本發明採取的技術方案是，基於HVS的SSIM與特徵匹配立體圖像質量評價方法，包括如下步驟(1)用結構失真法比較原圖像左右視圖與測試圖像左右視圖的亮度、對比度、結構相似度；(2)提取亮度對比度指標；(3)根據小波分解模擬人眼帶通特性原理，得出人眼視覺信噪比評價指標；(4)用測試圖像左右視圖匹配點個數和原圖像匹配點個數的比值反映立體圖像的立體感；(5)對上述所有的指標進行合理的加權，得出一個總的評價指標。本發明主要應用於圖像質量評價。
文檔編號H04N17/00GK102170581SQ201110115808
公開日2011年8月31日 申請日期2011年5月5日 優先權日2011年5月5日
發明者侯春萍, 衛津津, 李素梅, 趙瑞超 申請人:天津大學