一種圖像質量盲評估方法與流程
2023-05-29 21:55:01
本發明涉及圖像質量評估技術領域，特別是涉及一種圖像質量盲評估方法。
背景技術：
圖像主觀質量評價是一個研究熱點，有著非常廣泛的應用。圖像/視頻的獲取、傳輸和解碼過程都會引入一定的失真，降低圖像的主觀質量。由計算機輔助實現評價圖像質量的好壞可以幫助發現多媒體系統的設計缺陷，指導用戶對系統進行調整，進而保證用戶得到滿意的圖像質量。傳統的基於信噪比的圖像質量評價方法與人對圖像的主觀感受之間存在差距，不能很好地反應圖像質量。近年來對圖像質量評價的研究主要分為有參考和無參考兩類。
有參評價方法需要將理想質量的圖像與降質圖像相對比，在通信領域，由於接收端通常無法獲得理想質量的圖像，限制了有參評價方法的應用，例如：國家發明專利CN 105516713A中提出一種用可攜式影像裝置產生預製信號源，將信號源饋入多媒體，在進行對比評估的閉路電視系統的評價方法；國家發明專利CN 104166984A基於視網膜模型，儘可能減少視覺冗餘保留有用信號的假設，對失真圖和非失真圖先做濾波處理後，再進行質量評價；國家發明專利CN 104794716A採用分形維數矩陣和多重分形譜作為新的基準特徵信息，通過對比特徵的變化評價圖像質量。這些方法均屬於有參評價方法，但是難以在具有通信環節的多媒體系統中得到應用。
就無參圖像降質評價而言，國家發明專利CN 105049851A設計了一種局域彩色感知的通用無參圖像質量評價方法，該方法觀察G分量上MSCN係數分布的變化，並考慮R，B分量與G分量相干性的變化，判決圖像質量，然而，實驗表明，MSCN特徵不能很好的反映混合降質，所以該專利對於混合降質圖像的質量度量效果不佳；國家發明專利CN 104794503A基於分數階傅立葉變換和廣義伽馬分布設計了無參考圖像質量評價方法，該方法可以較好的區分圖像單降質類型，但未對多重降質問題進行深入研究；國家發明專利CN 104835172A基於相位一致性和頻域熵設計了無參圖像質量評價方法，就單一降質而言，該方法可以較好地評價圖像降質，但對於多重降質圖像，其包含的降質分量在相位及熵上有相反的表徵，所以該專利方案不適用於多重降質圖像。所以，無參評價方法通常是假設圖像降質具有某種特徵，通過尋找和度量該特徵來確定圖像質量，這類方法要求不同種類圖像降質的特徵明確，但在現實使用中，圖像/視頻往往同時被多重降質影響，使得圖像降質無法精確分類和度量，所以目前的無參圖像質量評估無法在工程中被應用。
綜上所述，目前急需一種新的圖像質量評價模型，適用於原始圖像無法獲得的多媒體系統中圖像獲取、壓縮及傳輸性能的綜合評價、並能夠提高無參質量評價的準確度、解決工程中對混合降質圖像進行評價的問題。
技術實現要素：
鑑於以上所述現有技術的缺點，本發明的目的在於提供一種圖像質量盲評估方法，用於解決現有技術中圖像質量盲評價方法不能夠對混合圖像降質類型進行判斷且對其視覺影響評價準確度低、以及難以在多媒體系統中應用的問題。
為實現上述目的，本發明採用以下方案：一種圖像質量盲評估方法，在無原始圖像作為參考的情況下，僅從單一降質或混合降質圖像本身對其質量進行評估，包括如下步驟：1)在訓練圖像集中提取降質圖像的圖像塊特徵，估計所述圖像塊特徵與非降質圖像塊特徵間的偏移；2)用概率潛在語義分析的方法分析不同類型的降質，並將不同類型的降質映射為不同的主題分布特徵，其中，所述不同類型的降質包括單一降質和混合降質；3)利用機器學習的方法在訓練圖像集基礎上建立圖像主題分布特徵與圖像質量間的關係，形成混合降質圖像的質量盲評價模型；4)用所述質量盲評價模型評估訓練圖像集以外的降質圖像質量。
於本發明的一實施方式中，在所述步驟1)中，還包括產生非降質圖像塊特徵的步驟：101)收集無損圖像作為訓練集；102)分解所述無損圖像中的圖像塊；103)用所述圖像塊聚類的類中心表徵該類圖像塊；104)用該類圖像塊的特徵的幾何均值表述該類圖像塊的特徵，也即產生非降質圖像塊特徵。
於本發明的一實施方式中，在所述步驟1)中，提取塊圖像特徵的具體步驟包括：105)將圖像塊去亮度均值，並作歸一化處理去除圖像相關性，產生歸一化亮度係數其中，為在坐標上像素的亮度，常數C＝1，μ(i,j)、分別為圖像塊的加權均值與方差，其中所述μ(i,j)、和的表達式如下：其中，w＝{wk,l|k＝-K,…,K,l＝-L,…,L}為權重係數，K＝L＝3，歸一化亮度係數的分布反應了圖像的失真程度；106)使用廣義高斯分布描述圖像的進而提取圖像的空域自然統計特徵：其中，α、β分別是廣義高斯分布函數的形狀與方差參數，觀察水平、垂直、主對角線、次對角線方向上像素乘積對的分布情況，像素乘積對的定義如下：其中，和分別表示水平、垂直、主對角線、次對角線方向上像素乘積對；107)使用零均值非對稱廣義高斯分布在上述四個方向上對像素乘積進行建模：
其中：v反映分布形狀，σl、σr分別為非對稱廣義高斯分布的左方差、右方差，η是非對稱廣義高斯分布的均值；108)擬合計算零均值非對稱廣義高斯分布在4個方向上的共16個參數，與中心方向上廣義高斯分布的α、β參數共同組成圖像特徵向量；109)將圖像縮放一次再產生18個特徵參數，總計產生36個圖像空域特徵參數。
於本發明的一實施方式中，在所述步驟1)中，估計塊圖像特徵與非降質圖像塊特徵間的偏移包括以下步驟：110)從圖像庫中取出最接近降質圖像的無損圖像的樣本；111)得到降質圖像樣本可能對應的無損空域特徵模型；112)計算降質圖像塊的空域特徵差，其中，該空域特徵差對應圖像的底層特徵。
於本發明的一實施方式中，在所述步驟2)中，用概率潛在語義分析的方法分析不同類型降質，具體包括以下步驟：21)將概率潛在語義分析中的文檔對應圖像頂層空域特徵，圖像塊的空域特徵差對應圖像的底層特徵，整幅圖像特徵與圖像塊特徵差間的關係被映射為概率潛在語義分析模型中「圖像文檔-潛在語義-圖像塊單詞」的關係；22)建立圖像單詞集，令圖像為圖像文檔集中的第p張圖像，含多個圖像塊，圖像的底層特徵組成概率潛在語義分析中的單詞wi，將圖像塊用圖像單詞集中的單詞wi代替後，被重建為求解概率潛在語義分析時引入潛在語義層Xs，s∈[1,S]，通過Xs建立和wi的關聯其中S為潛在語義主題數；概率潛在語義分析建模可表述為：其中，是圖像的單詞概率；23)使用最大相似估計和EM算法求解該模型，通過迭代求取圖像潛在主題分布觀察確定圖像所受到的降質類型。
於本發明的一實施方式中，在所述步驟3)中，建立圖像潛在主題分布與圖像質量間的關係，形成混合降質圖像的質量盲評價模型，具體包括以下步驟：31)使用支持向量機學習圖像質量與圖像特徵分布的關係；32)圖像質量評估時，使用圖像潛在主題分布作為特徵；33)將圖像潛在主題分布與訓練圖像的平均意見得分值代入支持向量機，產生圖像質量與圖像潛在主題分布間的關係模型。
於本發明的一實施方式中，在所述步驟4)中，用質量盲評價模型評估訓練集以外的降質圖像的質量，具體包括以下步驟：41)計算待測試圖像圖像塊的空域特徵；42)使用視覺單詞庫對其進行重構；43)求取待測試圖像潛在的主題分布；44)將待測試圖像的主題分布代入支持向量機訓練的質量盲評價模型中，產生待測試圖像的質量評估。
如上所述，本發明的圖像質量盲評估方法，設計了一種新的盲圖像質量評價架構，該架構引入間接的語義層描述圖像降質的成分，而非直接定義不同圖像降質的特徵，再基於潛在語義分析圖像質量。本發明具有以下有益效果：
1、在所設計的圖像質量評價模型下，無參質量評價的準確程度可以提高20％左右；
2、能夠解決工程中對混合降質圖像進行評價的問題；
3、適用於原始圖像無法獲得的，如視頻監控系統、無線圖傳系統和數位電視系統等場合，實現對上述多媒體系統中圖像獲取、壓縮及傳輸性能的綜合評價。
附圖說明
圖1為本發明圖像質量盲評估方法的流程圖。
圖2為本發明圖像質量盲評估方法中模型訓練的流程圖。
圖3為本發明圖像質量盲評估方法中圖像測試的流程圖。
元件標號說明
S1～S4 步驟
S21～S23 步驟
S31～S33 步驟
S41～S44 步驟
具體實施方式
以下通過特定的具體實例說明本發明的實施方式，本領域技術人員可由本說明書所揭露的內容輕易地了解本發明的其他優點與功效。本發明還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節也可以基於不同觀點與應用，在沒有背離本發明的精神下進行各種修飾或改變。需說明的是，在不衝突的情況下，以下實施例及實施例中的特徵可以相互組合。
需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發明的基本構想，雖圖示中僅顯示與本發明中有關的組件而非按照實際實施時的組件數目、形狀及尺寸繪製，其實際實施時各組件的型態、數量及比例可為一種隨意的改變，且其組件布局型態也可能更為複雜。
請參閱圖1，本發明提供一種圖像質量盲評估方法，在無原始圖像作為參考的情況下，僅從單一降質或混合降質圖像本身對其質量進行評估，包括如下步驟：
S1)在訓練圖像集中提取降質圖像的圖像塊特徵，估計所述圖像塊特徵與非降質圖像塊特徵間的偏移；
S2)用概率潛在語義分析的方法分析不同類型的降質，並將不同類型的降質映射為不同的主題分布特徵，其中，所述不同類型的降質包括單一降質和混合降質；
S3)利用機器學習的方法在訓練圖像集基礎上建立圖像主題分布特徵與圖像質量間的關係，形成混合降質圖像的質量盲評價模型；
S4)用所述質量盲評價模型評估訓練圖像集以外的降質圖像質量。
需要注意的是，由於圖像失真分布與圖像內容相關，圖像的整體空域統計特徵不能反映圖像不同區域和不同圖像塊間的失真差異，所以不適用於描述複雜圖像的失真情況。本發明實施時使用圖像塊作為基本分析單位，以增強圖像特徵的分辨力。
請參閱圖2，作為示例，本發明使用支持向量機SVM來學習圖像質量與圖像特徵分布的關係。在進行圖像質量評估時，使用圖像潛在主題分布作為特徵；訓練時，使用PLSA模型並獲得的訓練圖像潛在主題分布，並將潛在主題分布與訓練圖的MOS分值代入SVM產生圖像質量與潛在主題分布間的關係模型。
作為示例，在所述步驟S1)中，還包括產生非降質圖像塊特徵的步驟：S101)收集無損圖像作為訓練集；S102)分解所述無損圖像中的圖像塊；S103)用所述圖像塊聚類的類中心表徵該類圖像塊；S104)用該類圖像塊的特徵的幾何均值表述該類圖像塊的特徵，也即產生非降質圖像塊特徵。
作為示例，在所述步驟S1)中，在訓練圖像集中提取降質圖像的圖像塊特徵的具體步驟包括以下：
S105)將圖像塊去亮度均值，並作歸一化處理去除圖像相關性，產生歸一化亮度係數
其中為在坐標上像素的亮度，C為防止分母為零的常數，該實施例中C取1，μ(i,j)、為圖像塊的加權均值與方差：
其中，w＝{wk,l|k＝-K,…,K,l＝-L,…,L}為權重係數，K＝L＝3。
歸一化亮度係數又被稱為MSCN係數(mean subtracted contrast normalized)。MSCN分布反應了圖像的失真程度。實驗表明自然圖像的MSCN係數基本符合高斯分布(GD)，失真圖像的MSCN係數會偏離GD分布。
S106)為了量化偏差程度，使用廣義高斯分布(GGD)來描述圖像的MSCN係數，進而提取圖像的空域自然統計特徵(NSS)：
α、β分別是GGD函數的形狀與方差參數。我們觀察水平、垂直、主對角線、次對角線方向上像素乘積對的分布情況，像素乘積對的定義如下
S107)由於GGD函數對失真圖像MCSN分布的擬合效果較弱，因此使用零均值非對稱廣義高斯分布(AGGD)在四個方向上對像素乘積進行建模。
其中：
ν反映分布形狀，σl、σr分別為非對稱廣義高斯分布的左方差、右方差，η是非對稱廣義高斯分布的均值。
S108)擬合計算AGGD在4個方向上的共16個參數，與中心方向上廣義高斯分布的α、β參數共同組成圖像特徵向量。
S109)實驗表明特徵係數與圖像縮放有關，因此，將圖像縮放一次再產生18個特徵參數，總計產生36個圖像空域特徵參數。
作為示例，在所述步驟1)中，估計塊圖像特徵與非降質圖像塊特徵間的偏移包括以下步驟：110)從圖像庫中取出最接近降質圖像的無損圖像的樣本；111)得到降質圖像樣本可能對應的無損空域特徵模型；112)計算降質圖像塊的空域特徵差，其中，該空域特徵差對應圖像的底層特徵。
作為示例，在所述步驟2)中，用概率潛在語義分析的方法分析不同類型降質，具體包括以下步驟：
21)將概率潛在語義分析中的文檔對應圖像頂層空域特徵，圖像塊的空域特徵差對應圖像的底層特徵，整幅圖像特徵與圖像塊特徵差間的關係被映射為概率潛在語義分析模型中「圖像文檔-潛在語義-圖像塊單詞」的關係；
22)建立圖像單詞集，令圖像為圖像文檔集中的第p張圖像，含多個圖像塊，圖像的底層特徵組成概率潛在語義分析中的單詞wi，將圖像塊用圖像單詞集中的單詞wi代替後，被重建為求解概率潛在語義分析時引入潛在語義層Xs，s∈[1,S]，通過Xs建立和wi之間的關聯，其中S為潛在語義主題數；概率潛在語義分析建模可表述為：其中，是圖像的單詞概率；
23)使用最大相似估計和EM算法求解該模型，通過迭代求取圖像潛在主題分布圖像潛在語義層代表了圖像的潛在語義，該語義能夠描述圖像單詞無法體現的特徵，如整個圖像中的圖像塊失真結構。可以通過觀察確定圖像所受到的降質類型，如jp2000壓縮噪聲、jpeg壓縮噪聲、blur、白噪聲、fast fading，先blur後jpeg壓縮和先blur後wn等類型的降質。
作為示例，在所述步驟3)中，建立圖像潛在主題分布與圖像質量間的關係，形成混合降質圖像的質量盲評價模型，具體包括以下步驟：31)使用支持向量機學習圖像質量與圖像特徵分布的關係，其中，在圖像質量評估時，使用圖像潛在主題分布作為特徵；32)將圖像潛在主題分布與訓練圖像的平均意見得分值代入支持向量機；S33)產生圖像質量與圖像潛在主題分布間的關係模型，也即所述質量盲評價模型。
請參閱圖3，為本發明圖像質量盲評估方法中對待測試圖像進行測試的流程圖。
作為示例，在所述步驟S4)中，用質量盲評價模型評估訓練集以外的降質圖像的質量，具體包括以下步驟：S41)計算待測試圖像圖像塊的空域特徵，並使用視覺單詞庫對其進行重構；S42)基於訓練產生的單詞-主題關係P(wi|xs)求取圖像潛在主題分布；S43)將待測試圖像的主題分布代入支持向量機訓練的質量盲評價模型中；S44)產生待測試圖像的質量評估。
綜上所述，本發明提供一種圖像質量盲評估方法，可以對混合降質的圖形進行評價。首先，通過收集無損圖像作為訓練集，分解無損圖像集中的圖像塊，並將這些圖像塊聚類的類中心作為表徵圖像塊，並將該類圖像塊的特徵的幾何均值作為該類圖像的表述特徵；其次，在檢測圖像降質時，將待檢測圖像塊的內容與表徵圖像塊內容相比，確定該圖像塊的最佳表徵，並將該最佳表徵圖像塊對應的特徵作為待檢測圖像塊的理想特徵，在提取待檢測圖像塊的特徵後將該特徵與其理想特徵相比，將其變化作為描述降質的視覺單詞；然後應用語義分析的方法，對視覺單詞集進行分析，形成所有降質類型的主題分布，在降質主題分布的基礎上，利用機器學習方法確定不同降質主題分布變化對視覺的影響，最終實現對降質圖像的質量評價，包括確定整幅圖像的降質類型及其降質的構成因素。
本發明的圖像質量盲評估方法通過設計的圖像質量評價模型，可以將無參質量評價的準確程度可以提高20％左右；能夠解決工程中對混合降質圖像進行評價的問題；適用於原始圖像無法獲得的，如視頻監控系統、無線圖傳系統和數位電視系統等場合，實現對上述多媒體系統中圖像獲取、壓縮及傳輸性能的綜合評價。
上述實施例僅例示性說明本發明的原理及其功效，而非用於限制本發明。任何熟悉此技術的人士皆可在不違背本發明的精神及範疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術領域中具有通常知識者在未脫離本發明所揭示的精神與技術思想下所完成的一切等效修飾或改變，仍應由本發明的權利要求所涵蓋。