基於自回歸局部圖像描述的3D合成圖像質量評價方法與流程
2023-06-03 11:43:56 2
本發明屬於圖像和視頻質量評價的方法，利用自回歸建模方法建立質量評價模型，實現對3d合成圖像的有效評價。
背景技術：
二十一世紀以來，圖像和視頻逐漸成為人們獲取信息、溝通交流的重要途徑，全世界每年產生數百億張數字照片和數億段視頻，而伴隨著3g技術的普及和4g時代的開啟，基於3d技術的虛擬實境等全視角視頻是科技發展的必然趨勢。在製作自由視角視頻過程中，需要使用基於深度的圖像繪製(dibr)技術，根據臨近的多個視角圖像產生新的視角下的圖像。dibr技術生成合成圖像主要分為兩步：首先通過每個像素的深度信息在3d空間重新產生新的結構信息；然後將3d空間點延伸到2d像平面產生虛擬照相機，通過虛擬照相機產生新視角下的圖像。dibr技術的應用可以有效減少自由視角視頻拍攝過程中使用攝像機的數量，降低視頻拍攝難度，但合成圖像的過程中不可避免會產生幾何畸變。幾何畸變與自然圖像中發生的畸變(如模糊、塊效應和細節丟失等)具有不同的特徵，嚴重的幾何畸變會降低多視角視頻的觀看效果。因此，需要一種圖像質量評價方法有效識別dibr圖像中的幾何畸變。
目前已有的質量評價方法可以有效識別自然圖像(多重失真圖像、紅外圖像、立體圖像等)中的畸變，對dibr合成圖像中的幾何畸變評價效果並不理想。研究發現自然圖像臨近像素間存在漸變性，即自相似性，而幾何失真會破壞這種自相似性。基於此本發明使用自回歸方法對圖像建立局部自回歸模型，通過計算合成圖像與回歸模型之間的重構誤差識別幾何失真。本發明在評價dibr合成圖像時不需要無失真圖像信息，是一種無參考質量評價方法，實際應用過程中通常無失真圖像是不可能得到的，因此本發明完全符合實際應用需求。dibr合成圖像的無參考質量評價方法目前尚無人研究，本發明填補了這一方向的空白，對dibr合成圖像的評價提供有效的方法。
技術實現要素：
本發明依據建立自回歸模型提出一種dibr合成圖像評價方法，可以有效識別合成圖像中的失真畸變。通過irccyn/ivc資料庫中的96副圖片對該方法進行驗證，實驗結果表明，本發明對合成圖像的評價效果明顯高於已有的圖像質量評價方法，皮爾遜線性相關性係數(plcc)、斯皮爾曼排序相關性係數(srcc)和肯德爾排序相關性係數(krcc)分別達到0.7307、0.7157和0.5766，均優於已有的算法(最好效果分別為0.6772、0.6634和0.5382)，並且評價的均方根誤差(rmse)由最低的0.4899進一步降低到0.4546。本發明在質量評價效果和效率方面都有明顯提高。
基於自回歸局部圖像描述的3d合成圖像質量評價方法，其特徵在於包括以下步驟：
第一步、建立自回歸模型；
第二步、計算自回歸參數；
第三步、計算圖像與自回歸模型預測值之間的誤差；
第四步、二值化誤差，將誤差根據閾值變為0和1；
第五步、根據二值化誤差計算圖像質量得分；
第一步中：
自回歸模型建立方法如下：
對於圖像i中一個像素，定義其位置指標為i，值為zi，則構造該像素與其周邊像素的關係為：
zi＝rσ(zi)q+di(1)
其中rσ(zi)為像素zi周邊面積為的區域內σ個像素的值組成的矢量；q＝(q1,q2,…,qσ)t為自回歸參數矢量，(q1,q2,…,qσ)分別對應周邊σ個像素的參數，一個像素有一個參數；t表示轉置；di為當前像素值與相應的自回歸預測值之間的誤差；其中設定σ值為8；
第二步中：
自回歸參數計算方法如下：
為了計算合適的自回歸參數，首先將線性系統轉換為矩陣形式：
其中z＝(zi,1,zi,2,…,zi,φ)t，(zi,1,zi,2,…,zi,φ)為以像素xi為中心的區域內的φ個像素的值；x為φ行σ列的矩陣；z的第j行向量表達式為z(j,:)＝rσ(zi,j),j＝{1,2,…,φ}，表示像素zi,j周邊面積為的區域內σ個像素的值組成的矢量，其中設定σ值為8；將φ設定為48；
然後使用最小二乘方法得到最好的自回歸參數：
其中z與z的定義同公式(2)。
第三步中：
使用自回歸模型預測輸入dibr合成圖像並得到誤差；同時使用高斯濾波器對誤差進行濾波，移除孤立的噪聲點；然後只保留η％誤差顯著的區域，η％取值範圍為0％到50％。
第四步中：
二值化誤差方法如下：
通過閾值對誤差進行二值化操作：
其中ee為高斯濾波後的誤差，λt為恆定閾值，取值範圍為30到150；
第五步中：
圖像質量評分公式如下：
其中n1表示ed值為1的像素點的個數，n表示整個圖像中所有像素點的個數。
本發明的創造性主要體現在：
1)本發明利用建立自回歸模型對圖像進行局部描述，提出一種新的dibr合成圖像幾何畸變質量評價方法。
2)首次提出dibr合成圖像無參考質量評價方法。
3)本發明提出的質量評價方法魯棒性強，對中間參數不敏感。
4)該質量評價方法可以與已有的有參考質量評價方法相結合，可以對現有的質量評價方法起到擴展作用。
附圖說明
圖1、本發明的質量評價框圖。
具體實施方式：
下面對本發明的實施例作詳細說明，本實施例在本發明技術方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護範圍不限於下述的實施例。
實施例：
第一步、建立自回歸模型
對於圖像i中一個像素，定義其位置指標為i，值為zi，則構造該像素與其周邊像素的關係為：
zi＝rσ(zi)q+di(1)
其中rσ(zi)為像素zi周邊面積為的區域內σ個像素組成的矢量；q＝(q1,q2,…,qσ)t為自回歸參數矢量，(q1,q2,…,qσ)分別對應周邊σ個像素的參數，一個像素有一個參數；t表示轉置；di為當前像素值與相應的自回歸預測值之間的誤差；其中設定σ值為8，因為實驗表明增大θ值會增加計算量，但模型預測精度並沒有上升。
第二步、計算自回歸參數
為了計算合適的自回歸參數，首先將線性系統轉換為矩陣形式：
其中z＝(zi,1,zi,2,…,zi,φ)t，(zi,1,zi,2,…,zi,φ)為以像素xi為中心的區域內的φ個像素的值；z為φ行σ列的矩陣；z的第j行向量表達式為z(j,:)＝rσ(zi,j),j＝{1,2,…,φ}，表示像素zi,j周邊面積為的區域內σ個像素的值組成的矢量，其中設定σ值為8；根據人們對局部斑塊的廣義平穩和幾何二象性的有效性原則，將φ設定為48。
然後使用最小二乘方法得到最好的自回歸參數：
其中z與z的定義同公式(2)。
假設根據公式(1)對一個像素建立的關係，在7乘7的區域內仍存在臨近的48個像素點，我們使用中心像素點zi和周圍的48個像素信息共同確定自回歸參數該策略可以確保自回歸模型的可靠性。
第三步、計算誤差
使用自回歸模型預測輸入dibr合成圖像並得到誤差。同時使用高斯濾波器對誤差進行濾波，移除孤立的噪聲點。然後只保留η％(實驗驗證取值範圍為0％到50％效果最理想，本實例取10％)誤差顯著的區域，這是因為誤差顯著區域代表著幾何失真，非幾何失真區域的誤差與幾何失真區域的誤差值相差很大。
第四步、二值化誤差
通過閾值對誤差進行二值化操作：
其中ee為高斯濾波後的誤差，λt為恆定閾值(實驗結果表明取值範圍為30到150效果較理想，本實驗取100)。
第五步、計算圖像質量得分
根據已有的研究可知，比較一副失真圖像和相關的自然圖像的結構可以有效評估圖像質量。由公式(4)可知，自然圖像的誤差較低，因此自然圖像的二值化誤差均為1，記為er，通過比較er和失真圖像的二值化誤差ed可以預測dibr合成圖像的質量。
本發明定義合成圖像的質量評價公式如下：
其中n為像素位置指標，n為整個圖像中所有像素的個數；ε為為了避免分母為0的一個很小的正常數；α是與閔可夫斯基求和相關的活性指數，取值範圍為[1,4]，圖像質量越差的區域α值越大，這是因為人們對於即便區域的關注度較高。
由於自然圖像的幾何畸變十分輕微，因此er為單位變量1，公式(5)變為：
由於ed(l)2+1>0，因此公式(6)中的ε可以刪去，公式(6)變為：
其中n0和n1分別表示ed值為0和1的區域，n0+n1＝n。因此公式(7)可以簡化為
從公式(8)可知，α的值對最終的質量評分沒有影響，可以省略。
實施效果
依據上述步驟，本發明對irccyn/ivc資料庫的96幅圖片進行質量評價，其中12幅自然圖像和84幅幾何失真圖像。評價指標有plcc、srcc、krcc和rmse。
plcc的計算公式為：
其中ss表示本發明對96幅圖的質量評分組成的向量，sm表示96幅圖的主觀評價分數向量，和分別為ss和sm去均值化後的結果，t表示轉置。plcc的值越接近於1越好。
srcc的計算公式如下：
其中dm表示每一對主觀分數和去線性化的客觀分數的排序差異。m表示主客觀分數對的總數。srcc的值越接近於1越好。
krcc的計算公式如下：
其中mc和md表示數據集中一致和不一致圖相對的總數。krcc的值越接近於1越好。
rmse的計算公式為：
其中δs＝ss-sm。rmse的值越小越好。
最終可得本發明的plcc、srcc、krcc和rmse分別達到0.7307、0.7157、0.5766和0.4546。同時，與20種其它方法進行比較，比較結果見表1，可知本發明是唯一的針對dibr合成圖像的無參考質量評價方法，而且本發明在各個指標方面均優於所對比方法。
表1
表1中所述的算法具體是指：
[1]z.wang,a.c.bovik,h.r.sheikh,ande.p.simoncelli,「imagequalityassessment:fromerrorvisibilitytostructuralsimilarity,」ieeetrans.imageprocess.,vol.13,no.4,pp.600-612,apr.2004.
[2]d.m.chandlerands.s.hemami,「vsnr:awavelet-basedvisualsignal-to-noiseratiofornaturalimages,」ieeetrans.imageprocess.,vol.16,no.9,pp.2284-2298,sep.2007.
[3]e.c.larson,andd.m.chandler,「mostapparentdistortion:fullreferenceimagequalityassessmentandtheroleofstrategy,」journalofelectronicimaging,vol.19,no.1,jan.2010.
[4]z.wangandq.li,「informationcontentweightingforperceptualimagequalityassessment,」ieeetrans.imageprocess.,vol.20,no.5,pp.1185-1198,may2011.
[5]l.zhang,l.zhang,x.mou,andd.zhang,「fsim:afeaturesimilarityindexforimagequalityassessment,」ieeetrans.imageprocess.,vol.20,no.8,pp.2378-2386,aug.2011.
[6]w.xue,l.zhang,x.mou,anda.c.bovik,「gradientmagnitudesimilaritydeviation:ahighlyefficientperceptualimagequalityindex,」ieeetrans.imageprocess.,vol.23,no.2,pp.684-695,feb.2014.
[7]k.gu,s.wang,g.zhai,w.lin,x.yang,andw.zhang,「analysisofdistortiondistributionforpoolinginimagequalityprediction,」ieeetrans.broadcasting,vol.62,no.2,pp.446-456,jun.2016.
[8]r.soundararajananda.c.bovik,「rredindices:reduced-referenceentropicdifferencingforimagequalityassessment,」ieeetrans.imageprocess.,vol.21,no.2,pp.517-526,feb.2012.
[9]g.zhai,x.wu,x.yang,w.lin,andw.zhang,「apsychovisualqualitymetricinfree-energyprinciple,」ieeetrans.imageprocess.,vol.21,no.1,pp.41-52,jan.2012.
[10]m.narwaria,w.lin,i.v.mcloughlin,s.emmanuel,andl.t.chia,「fouriertransform-basedscalableimagequalitymeasure,」ieeetrans.imageprocess.,vol.21,no.8,pp.3364-3377,aug.2012.
[11]j.wu,w.lin,g.shi,l.li,andy.fang,「orientationselectivitybasedvisualpatternforreduced-referenceimagequalityassessment,」informationscience,vol.351,pp.18-29,jul.2016.
[12]a.mittal,r.soundararajan,anda.c.bovik,「makinga『completelyblind』imagequalityanalyzer,」ieeesignalprocess.lett.,vol.22,no.3,pp.209-212,mar.2013.
[13]w.xue,l.zhang,andx.mou,「learningwithouthumanscoresforblindimagequalityassessment,」inproc.ieeeint.conf.computervisionandpatternrecognition,pp.995-1002,jun.2013.
[14]k.gu,g.zhai,x.yang,andw.zhang,「hybridno-referencequalitymetricforsinglyandmultiplydistortedimages,」ieeetrans.broadcasting,vol.60,no.3,pp.555-567,sep.2014.
[15]l.zhang,l.zhang,anda.c.bovik,「afeature-enrichedcompletelyblindimagequalityevaluator,」ieeetrans.onimageprocess.,vol.24,no.8,pp.2579-2591,aug.2015.
[16]p.h.conze,p.robert,andl.morin,「objectiveviewsynthesisqualityassessment,」electron.imag.int.societyforopticsandphotonics,pp.8288-8256,feb.2012.
[17]f.battisti,e.bosc,m.carli,andp.lecallet,「objectiveimagequalityassessmentof3dsynthesizedviews,」signalprocess.imagecommun.,vol.30,pp.78-88,jan.2015.
[18]d.sandi_c-stankovi_c,d.kukolj,andp.lecallet,「dibr-synthesizedimagequalityassessmentbasedonmorphologicalwavelets,」inproc.ieeeint.workshoponqualityofmultimediaexperience,pp.1-6,jan.2015.
[19]d.sandi_c-stankovi_c,d.kukolj,andp.lecallet,「dibr-synthesizedimagequalityassessmentbasedonmorphologicalpyramids,」thetruevision-capture,transmissionanddisplayof3dvideo,pp.1-4,oct.2015.
[20]d.sandi_c-stankovi_c,d.kukolj,andp.lecallet,「multi-scalesynthesizedviewassessmentbasedonmorphologicalpyramids,」journalofelectricalengineering,vol.67,no.1,pp.1-9,jan.2016.