一種基於梯度自相似度的無參考圖像客觀質量評價方法與流程

2023-06-26 04:36:41 2

本發明涉及一種圖像質量評價方法，尤其是涉及一種基於梯度自相似度的無參考圖像客觀質量評價方法。

背景技術：

圖像是人類獲取信息的重要途徑，圖像質量表示圖像向人或設備提供信息的能力，直接關係著所獲取信息的充分性與準確性。然而，圖像在獲取、處理、傳輸和存儲的過程中，由於各種因素影響，因此將不可避免的產生降質問題，這給信息的獲取或圖像的後期處理帶來了極大困難。因此，建立有效的圖像質量評價機制非常重要，如在圖像去噪、圖像融合等處理過程中可用於各種算法的性能比較、參數選擇；在圖像編碼與通信領域可用於指導整個圖像的傳輸過程並評估系統性能。

圖像質量評價方法可以分為兩類：主觀評價方法和客觀評價方法。前者是由觀察者對圖像質量進行評分，得到平均評價分用以衡量圖像質量；後者是利用數學模型計算圖像質量。主觀評價方法的實驗結果比較可靠，但費時費力。客觀評價方法又可分為三類：全參考圖像質量評價方法、半參考圖像質量評價方法和無參考圖像質量評價方法，當前研究最多的是全參考圖像質量評價方法，但是多數應用中無法獲得相應的原始圖像，因此，無參考圖像質量評價方法的研究更具實用價值。

無參考圖像質量評價方法可分為特定失真評價方法和通用評價方法兩種，特定失真評價方法只能對某種特定失真類型的圖像進行評價，例如jpeg、jpeg2k及gblur失真等，無法對其它失真類型的圖像及多種處理技術處理後的圖像進行質量評價；通用評價方法可以同時對多種失真類型的圖像進行評價。

然而，現有的通用無參考圖像質量評價方法並沒有充分考慮結構失真對視覺質量的影響，因此，如何在評價過程中有效地提取視覺結構特徵信息，在評價過程中與人眼視覺特性結合，通過梯度自相似度特徵提取和機器學習等方法，使得客觀評價結果更加符合人類視覺感知系統，是圖像進行客觀質量評價過程中需要研究解決的問題。

技術實現要素：

本發明所要解決的技術問題是提供一種基於梯度自相似度的無參考圖像客觀質量評價方法，其能夠充分考慮到圖像梯度自相似度改變對視覺質量的影響，從而能夠有效地提高客觀評價結果與主觀感知之間的相關性。

本發明解決上述技術問題所採用的技術方案為：一種基於梯度自相似度的無參考圖像客觀質量評價方法，其特徵在於包括以下步驟：

①令{id(x,y)}表示待評價的失真圖像，其中，1≤x≤w,1≤y≤h，w表示{id(x,y)}的寬度，h表示{id(x,y)}的高度，id(x,y)表示{id(x,y)}中坐標位置為(x,y)的像素點的像素值；

②對{id(x,y)}實施梯度濾波，得到{id(x,y)}的梯度信息的幅值圖像，記為{md(x,y)}，其中，md(x,y)表示{md(x,y)}中坐標位置為(x,y)的像素點的像素值；

③對{md(x,y)}進行四個方向的濾波處理，得到{md(x,y)}的水平方向信息圖像、垂直方向信息圖像、主對角線方向信息圖像和副對角線方向信息圖像，對應記為{hd(x,y)}、{vd(x,y)}、{dd(x,y)}和其中，hd(x,y)表示{hd(x,y)}中坐標位置為(x,y)的像素點的像素值，vd(x,y)表示{vd(x,y)}中坐標位置為(x,y)的像素點的像素值，dd(x,y)表示{dd(x,y)}中坐標位置為(x,y)的像素點的像素值，表示中坐標位置為(x,y)的像素點的像素值；

④計算{md(x,y)}與{hd(x,y)}之間的自相似度圖像，記為{hd,sim(x,y)}；同樣，計算{md(x,y)}與{vd(x,y)}之間的自相似度圖像，記為{vd,sim(x,y)}；計算{md(x,y)}與{dd(x,y)}之間的自相似度圖像，記為{dd,sim(x,y)}；計算{md(x,y)}與之間的自相似度圖像，記為其中，hd,sim(x,y)表示{hd,sim(x,y)}中坐標位置為(x,y)的像素點的像素值，vd,sim(x,y)表示{vd,sim(x,y)}中坐標位置為(x,y)的像素點的像素值，dd,sim(x,y)表示{dd,sim(x,y)}中坐標位置為(x,y)的像素點的像素值，表示中坐標位置為(x,y)的像素點的像素值；

⑤採用像素間特徵提取方法中的局部二值化模式操作對{hd,sim(x,y)}進行處理，得到{hd,sim(x,y)}的像素間特徵圖，記為{hd,sim,lbp(x,y)}；同樣，採用像素間特徵提取方法中的局部二值化模式操作對{vd,sim(x,y)}進行處理，得到{vd,sim(x,y)}的像素間特徵圖，記為{vd,sim,lbp(x,y)}；採用像素間特徵提取方法中的局部二值化模式操作對{dd,sim(x,y)}進行處理，得到{dd,sim(x,y)}的像素間特徵圖，記為{dd,sim,lbp(x,y)}；採用像素間特徵提取方法中的局部二值化模式操作對進行處理，得到的像素間特徵圖，記為其中，hd,sim,lbp(x,y)表示{hd,sim,lbp(x,y)}中坐標位置為(x,y)的像素點的像素值，vd,sim,lbp(x,y)表示{vd,sim,lbp(x,y)}中坐標位置為(x,y)的像素點的像素值，dd,sim,lbp(x,y)表示{dd,sim,lbp(x,y)}中坐標位置為(x,y)的像素點的像素值，表示中坐標位置為(x,y)的像素點的像素值；

並採用像素內特徵提取方法中的等步長量化操作對{hd,sim(x,y)}進行處理，得到{hd,sim(x,y)}的像素內特徵圖，記為{hd,sim,q(x,y)}；同樣，採用像素內特徵提取方法中的等步長量化操作對{vd,sim(x,y)}進行處理，得到{vd,sim(x,y)}的像素內特徵圖，記為{vd,sim,q(x,y)}；採用像素內特徵提取方法中的等步長量化操作對{dd,sim(x,y)}進行處理，得到{dd,sim(x,y)}的像素內特徵圖，記為{dd,sim,q(x,y)}；採用像素內特徵提取方法中的等步長量化操作對進行處理，得到的像素內特徵圖，記為其中，hd,sim,q(x,y)表示{hd,sim,q(x,y)}中坐標位置為(x,y)的像素點的像素值，vd,sim,q(x,y)表示{vd,sim,q(x,y)}中坐標位置為(x,y)的像素點的像素值，dd,sim,q(x,y)表示{dd,sim,q(x,y)}中坐標位置為(x,y)的像素點的像素值，表示中坐標位置為(x,y)的像素點的像素值；

⑥採用直方圖統計方法對{hd,sim,lbp(x,y)}進行統計操作，得到{hd,sim,lbp(x,y)}的直方圖統計特徵向量，記為hd,sim,lbp,hist；同樣，採用直方圖統計方法對{vd,sim,lbp(x,y)}進行統計操作，得到{vd,sim,lbp(x,y)}的直方圖統計特徵向量，記為vd,sim,lbp,hist；採用直方圖統計方法對{dd,sim,lbp(x,y)}進行統計操作，得到{dd,sim,lbp(x,y)}的直方圖統計特徵向量，記為dd,sim,lbp,hist；採用直方圖統計方法對進行統計操作，得到的直方圖統計特徵向量，記為其中，hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist和的維數均為1×m'維，m'＝p+2，p表示步驟⑤中的像素間特徵提取方法中的局部二值化模式操作中的鄰域參數；

採用直方圖統計方法對{hd,sim,q(x,y)}進行統計操作，得到{hd,sim,q(x,y)}的直方圖統計特徵向量，記為hd,sim,q,hist；同樣，採用直方圖統計方法對{vd,sim,q(x,y)}進行統計操作，得到{vd,sim,q(x,y)}的直方圖統計特徵向量，記為vd,sim,q,hist；採用直方圖統計方法對{dd,sim,q(x,y)}進行統計操作，得到{dd,sim,q(x,y)}的直方圖統計特徵向量，記為dd,sim,q,hist；採用直方圖統計方法對進行統計操作，得到的直方圖統計特徵向量，記為其中，hd,sim,q,hist、vd,sim,q,hist、dd,sim,q,hist和的維數均為1×n'維，符號為向上取整操作符號，max為取最大值函數，δ表示步驟⑤中的像素內特徵提取方法中的等步長量化操作的步長；

⑦採用n」幅原始的無失真圖像，建立其在不同失真類型不同失真程度下的失真圖像集合，將該失真圖像集合作為訓練集，訓練集包括多幅失真圖像；然後利用主觀質量評價方法評價出訓練集中的每幅失真圖像的主觀評分值，將訓練集中的第j幅失真圖像的主觀評分值記為dmosj；再按照步驟①至步驟⑥的操作，以相同的方式獲取訓練集中的每幅失真圖像對應的8個直方圖統計特徵向量，將訓練集中的第j幅失真圖像對應的8個直方圖統計特徵向量依次記為和其中，n」>1，1≤j≤n'，n'表示訓練集中包含的失真圖像的總幅數，0≤dmosj≤100，和的維數均為1×m'維，和的維數均為1×n'維；

⑧利用支持向量回歸對訓練集中的所有失真圖像各自的主觀評分值及對應的8個直方圖統計特徵向量進行訓練，使得經過訓練得到的回歸函數值與主觀評分值之間的誤差最小，擬合得到最優的權值矢量wopt和最優的偏置項bopt；接著利用wopt和bopt構造得到支持向量回歸訓練模型；再根據支持向量回歸訓練模型，對hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、hd,sim,q,hist、vd,sim,q,hist、dd,sim,q,hist和進行測試，預測得到{id(x,y)}的客觀質量評價預測值，記為q，q＝f(x)，其中，q是x的函數，f為函數表示形式，x為輸入變量，x表示hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、hd,sim,q,hist、vd,sim,q,hist、dd,sim,q,hist和(wopt)t為wopt的轉置矢量，為x的線性函數。

所述的步驟②中採用以sobel算子作為梯度算子的梯度濾波器對{id(x,y)}實施梯度濾波。

所述的步驟③中hd(x,y)＝md(x,y+1)，vd(x,y)＝md(x+1,y)，dd(x,y)＝md(x+1,y+1)，其中，若1h，則令md(x,y+1)＝md(x,h)，md(x,h)表示{md(x,y)}中坐標位置為(x,h)的像素點的像素值；若1w，則令md(x+1,y)＝md(w,y)，md(w,y)表示{md(x,y)}中坐標位置為(w,y)的像素點的像素值；若1<x+1≤w且1<y+1≤h，則md(x+1,y+1)表示{md(x,y)}中坐標位置為(x+1,y+1)的像素點的像素值，若1h，則令md(x+1,y+1)＝md(x+1,h)，若x+1>w且1w且y+1>h，則令md(x+1,y+1)＝md(w,h)，md(x+1,h)、md(w,y+1)和md(w,h)對應表示{md(x,y)}中坐標位置為(x+1,h)、(w,y+1)和(w,h)的像素點的像素值；若1<x+1≤w且1≤y-1<h，則md(x+1,y-1)表示{md(x,y)}中坐標位置為(x+1,y-1)的像素點的像素值，若1<x+1≤w且y-1w且1≤y-1w且y-1<1，則令md(x+1,y-1)＝md(w,1)，md(x+1,1)、md(w,y-1)和md(w,1)對應表示{md(x,y)}中坐標位置為(x+1,1)、(w,y-1)和(w,1)的像素點的像素值；上述，md(x,y+1)＝md(x,h)、md(x+1,y)＝md(w,y)、md(x+1,y+1)＝md(x+1,h)、md(x+1,y+1)＝md(w,y+1)、md(x+1,y+1)＝md(w,h)、md(x+1,y-1)＝md(x+1,1)、md(x+1,y-1)＝md(w,y-1)和md(x+1,y-1)＝md(w,1)中的「＝」為賦值符號。

所述的步驟④中其中，c為控制參數。

所述的步驟⑤中的像素間特徵提取方法中的局部二值化模式操作中的鄰域參數p取值為8，且局部半徑參數r取值為1；所述的步驟⑤中的像素內特徵提取方法中的等步長量化操作的步長δ取值為0.1。

與現有技術相比，本發明的優點在於：

1)本發明方法在充分利用了視覺感知特性的基礎上，採用計算梯度自相似度的方法獲取視覺感知特徵，因此能有效地提高客觀評價結果與主觀感知之間的相關性。

2)本發明方法在提取特徵時，採用了像素間特徵提取方法和像素內特徵提取方法相結合，使得圖像特徵更能反映圖像失真程度。

3)本發明方法採用機器學習的方法即支持向量回歸模擬視覺記憶檢索功能，能夠獲得更加準確的失真圖像的客觀質量評價預測值。

附圖說明

圖1為本發明方法的總體實現框圖。

具體實施方式

以下結合附圖實施例對本發明作進一步詳細描述。

本發明提出的一種基於梯度自相似度的無參考圖像客觀質量評價方法，其總體實現框圖如圖1所示，其包括以下步驟：

①令{id(x,y)}表示待評價的失真圖像，其中，1≤x≤w,1≤y≤h，w表示{id(x,y)}的寬度，h表示{id(x,y)}的高度，id(x,y)表示{id(x,y)}中坐標位置為(x,y)的像素點的像素值。

②對{id(x,y)}實施梯度濾波，得到{id(x,y)}的梯度信息的幅值圖像，記為{md(x,y)}，其中，md(x,y)表示{md(x,y)}中坐標位置為(x,y)的像素點的像素值。

在本實施例中，步驟②中採用以sobel算子作為梯度算子的梯度濾波器對{id(x,y)}實施梯度濾波。

③對{md(x,y)}進行四個方向的濾波處理，得到{md(x,y)}的水平方向信息圖像、垂直方向信息圖像、主對角線方向信息圖像和副對角線方向信息圖像，對應記為{hd(x,y)}、{vd(x,y)}、{dd(x,y)}和其中，hd(x,y)表示{hd(x,y)}中坐標位置為(x,y)的像素點的像素值，vd(x,y)表示{vd(x,y)}中坐標位置為(x,y)的像素點的像素值，dd(x,y)表示{dd(x,y)}中坐標位置為(x,y)的像素點的像素值，表示中坐標位置為(x,y)的像素點的像素值。

在本實施例中，步驟③中hd(x,y)＝md(x,y+1)，vd(x,y)＝md(x+1,y)，dd(x,y)＝md(x+1,y+1)，其中，若1h，則令md(x,y+1)＝md(x,h)，md(x,h)表示{md(x,y)}中坐標位置為(x,h)的像素點的像素值；若1w，則令md(x+1,y)＝md(w,y)，md(w,y)表示{md(x,y)}中坐標位置為(w,y)的像素點的像素值；若1<x+1≤w且1<y+1≤h，則md(x+1,y+1)表示{md(x,y)}中坐標位置為(x+1,y+1)的像素點的像素值，若1h，則令md(x+1,y+1)＝md(x+1,h)，若x+1>w且1w且y+1>h，則令md(x+1,y+1)＝md(w,h)，md(x+1,h)、md(w,y+1)和md(w,h)對應表示{md(x,y)}中坐標位置為(x+1,h)、(w,y+1)和(w,h)的像素點的像素值；若1<x+1≤w且1≤y-1<h，則md(x+1,y-1)表示{md(x,y)}中坐標位置為(x+1,y-1)的像素點的像素值，若1<x+1≤w且y-1w且1≤y-1w且y-11，如取n」＝3，1≤j≤n'，n'表示訓練集中包含的失真圖像的總幅數，0≤dmosj≤100，和的維數均為1×m'維，中的第m個元素為中的第m個元素為中的第m個元素為中的第m個元素為1≤m≤m'，m'＝p+2，和的維數均為1×n'維，中的第n個元素為中的第n個元素為中的第n個元素為中的第n個元素為1≤n≤n'。

⑧支持向量回歸(supportvectorregression，svr)是基於結構風險最小化準則的新型機器學習方法和統計學理論，其可以有效地抑制過擬合問題，因此本發明利用支持向量回歸對訓練集中的所有失真圖像各自的主觀評分值及對應的8個直方圖統計特徵向量進行訓練，使得經過訓練得到的回歸函數值與主觀評分值之間的誤差最小，擬合得到最優的權值矢量wopt和最優的偏置項bopt；接著利用wopt和bopt構造得到支持向量回歸訓練模型；再根據支持向量回歸訓練模型，對hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、hd,sim,q,hist、vd,sim,q,hist、dd,sim,q,hist和進行測試，預測得到{id(x,y)}的客觀質量評價預測值，記為q，q＝f(x)，其中，q是x的函數，f為函數表示形式，x為輸入變量，x表示hd,sim,lbp,hist、vd,sim,lbp,hist、dd,sim,lbp,hist、hd,sim,q,hist、vd,sim,q,hist、dd,sim,q,hist和(wopt)t為wopt的轉置矢量，為x的線性函數。

為了進一步驗證本發明方法的可行性和有效性，進行實驗。

在此，採用live圖像庫來分析利用本發明方法得到的失真圖像的客觀質量評價預測值與主觀評分值之間的相關性。這裡，利用評估圖像質量評價方法的3個常用客觀參量作為評價指標，即非線性回歸條件下的pearson相關係數(pearsonlinearcorrelationcoefficient，plcc)、spearman相關係數(spearmanrankordercorrelationcoefficient，srocc)、均方誤差(rootmeansquarederror，rmse)，plcc和rmse反映失真圖像的客觀評價結果的準確性，srocc反映其單調性。

利用本發明方法計算live圖像庫中的每幅失真圖像的客觀質量評價預測值，再利用現有的主觀質量評價方法獲得live圖像庫中的每幅失真圖像的主觀評分值。將按本發明方法計算得到的失真圖像的客觀質量評價預測值做五參數logistic函數非線性擬合，plcc和srocc值越高，rmse值越低說明客觀評價方法的客觀評價結果與主觀評分值之間的相關性越好。反映本發明方法的質量評價性能的plcc、srocc和rmse相關係數如表1所列。從表1所列的數據可知，按本發明方法得到的失真圖像的客觀質量評價預測值與主觀評分值之間的相關性是很好的，表明客觀評價結果與人眼主觀感知的結果較為一致，足以說明本發明方法的可行性和有效性。

表1利用本發明方法得到的失真圖像的客觀質量評價預測值與主觀評分值之間的相關性