視覺多通道模型在立體視頻質量客觀評價中的應用方法與流程

2023-04-23 19:46:29

本發明屬於視頻和圖像處理領域，涉及到立體圖像質量評價方法和立體視頻質量評價方法的改進優化，以及人類視覺系統中的多通道效應在立體視頻質量客觀評價中的應用，具體講,涉及視覺多通道模型在立體視頻質量客觀評價中的應用方法。

背景技術：

人眼視覺系統(humanvisualsystem)可以被看成是一個錯綜複雜的綜合性信息處理系統，它是人類認知大自然的關鍵工具，在生物學上它由大量的神經細胞相互組織連接而成。通過了解人眼視覺系統及其特性，能更好的認識人眼觀看立體視頻的過程，從而更好地進行立體視頻的質量評價。

隨著對於視覺生理學與心理學方面的研究更加深入，研究者發現在人類視覺系統裡存在著多個獨立的頻率處理單元，人眼視覺系統通過這樣多個視覺通道來傳輸採集到的視覺信息。這些通道的空間頻率相互獨立，它們把採集到的視覺信號劃分到具有不同空間頻率的通道中進行處理。現階段，對於人眼視覺系統的多通道特性的研究主要包括時域多通道分解特性與空域多通道分解特性。對於時域多通道效應作用機制的研究仍然存在一些爭議，但大多數研究者認為時域多通道效應主要由永久機制與暫時機制兩部分構成[1]。而對於空域多通道效應的研究則比較完善，文獻[2]通過研究人眼視覺系統對於圖像信號處理過程，發現灰度信號通常可分解為4-6個頻帶和4-8個方向。通常情況下，我們可以採用諸如離散餘弦濾波器組、金字塔濾波器或二維方向小波變換的多分辨濾波器組來模擬人眼視覺系統的空域多通道特性。

立體視頻能夠使觀看者獲得立體感，這無疑增強了用戶的觀看體驗，使用戶的感受更加真實。圖像處理、顯示技術以及視頻編碼技術(例如h.264/avc,h.264/svc以及多視點視頻編碼(mvc))使得立體視頻技術在很多應用領域得到廣泛的發展。最近，最新的hevc/h.265標準[3]已經增加了對立體視頻編碼的支持，與h.264相比，在相同的碼速率條件下h.265壓縮的視頻質量更好。而且，隨著網絡容量和速度的快速增長，高清晰度的立體視頻向大的用戶群(移動用戶、桌面辦公用戶以及可穿戴設備用戶)投送成為可能。這些技術的發展為傳統立體電影以外的很多應用帶來了革命性的機會，例如行動電話立體視頻流、立體視頻在線交流、立體視頻會議、遠程三維重現以及沉浸式三維視頻遊戲等。全球很多組織機構已經在這方面加強學術交流和標準制定，例如3d@home[4]致力於3d消費產品對人類生理的影響，並且與很多國際性機構都有聯繫(包括中國3d工業聯盟[5]和日本的3d聯合會[6]等)。

立體視頻通過引入深度信息從而給觀眾帶來了更好的視覺體驗。然而，為了給用戶提供更好的立體視頻質量，那就不僅要面對2d視頻中存在的問題，而且還要面對3d視頻所特有的問題。典型的立體視頻分別由左右視點構成，有多種存儲方式。例如，立體視頻的左右視點可以分別存儲[7]；可以以彩色圖像加深度圖[8]的方式存儲，在這種存儲方式下顯示終端可以由深度圖來恢復左視圖或者右視圖；還可以以多視點[9]的方式存儲，這種格式可以創建出多種觀察角度的視圖[10]。立體視頻通常有很高的冗餘度，這些冗餘信息可以通過各種各樣的壓縮算法來部分消除。但是在對立體視頻壓縮的同時也會造成立體視頻質量的下降，從而影響用戶的觀看體驗甚至給用戶的視覺系統帶來傷害。所以對壓縮的立體視頻進行質量評價從而將壓縮立體視頻的質量管控在一定的範圍內顯得尤為重要。

立體視頻質量評價可分為主觀評價和客觀評價。由於主觀評價方法對實驗環境、測試流程、被試者素質等有較高要求，所以完成一次主觀評價既耗時又耗力，且結果的精確度易受外界條件影響，結果的可移植性和穩定性難以達到應用要求。客觀評價方法較主觀評價方法快速、穩定且簡單易行。因此，研究合理且高效的客觀評價方法意義重大。

立體視頻具有數據量大的特點，這給立體視頻的傳輸和存儲帶來了很大的挑戰，所以在立體視頻傳輸和存儲的過程中通常需要將其進行壓縮，然而不當的壓縮可能造成立體視頻質量的下降，而且在其傳輸過程中可能引入噪聲的影響，這同樣可能引起立體視頻質量的下降。所以，對立體視頻進行評價從而確定其質量範圍對於控制立體視頻的舒適度至關重要。由人來對其進行評價無疑是最準確有效的方法，這種直接由人來評價立體視頻質量的方式就是主觀評價。顯然主觀評價方法準確有效而且可以真正的反應人類對於立體視頻質量好壞的感受。然而主觀評價往往需要大量的人力物力和時間，而且對於不同的視頻內容需要進行多次的重複勞動，這對於立體視頻質量評價的實際應用十分不利。因此，尋求一種自動且智能的方法來評價立體視頻的質量顯的尤為重要。所以立體視頻質量的客觀評價方法就應運而生了，所謂客觀評價方法是指利用計算機執行相應的評價算法來對立體視頻進行評價從而得到立體視頻的質量。顯然客觀評價算法高效並且快速，然而客觀評價算法也有其面臨的難題，那就是客觀評價算法的準確性。畢竟客觀評價算法不是由人來做出評價的，所以客觀評價算法能夠在多大程度上反映人類的觀看體驗是其準確性的評價標準。然而人類的觀看體驗本身就很抽象又怎麼用來評價客觀算法的準確性呢？通常的做法是對相同的視頻材料分別進行主觀評價和客觀評價，再通過主客觀評價結果的一致性來衡量客觀評價算法的準確性，並且通過主客觀評價結果的一致性來指導客觀評價算法的設計。下面分別介紹一些立體內容的主觀評價方法和客觀評價方法。

主觀評價的基本過程是首先讓多名被試觀看同一段立體視頻，然後取這些被試給出的分值的平均值作為當前立體視頻所對應的主觀分值。主觀評價能夠直接體現觀看者的真實感受，結果更直接、更真實、更準確，是最有效的評價視頻質量的方法[11]。電視圖像質量主觀評價方法建議書(recommendationitu-rbt.500-11)是由國際電信聯盟(itu)制定的，其中推薦了很多圖像、視頻主觀質量評價的方法。在itu-rbt.500標準的基礎，itu制定了立體電視圖像主觀評價標準itu-rbt.1438[12]，其中雙重刺激連續質量標度(doublestimuluscontinuousqualityscale，dscqs)和雙重刺激損傷標度(doublestimulusimpairmentscale，dsis)方法是評價立體視頻質量時常用的主觀評價方法。

視頻專家組[13]是國際電信聯盟下屬的一個分支機構，他們提出可以根據客觀評價過程中對原始參考信息依賴程度的不同將客觀評價方法分為全參考(fullreference,fr)評價方法、部分參考(reducedreference,rr)評價方法和無參考(noreference,nr)評價方法。其中全參考評價方法是指在進行客觀質量評價時需要全部原始立體視頻作為評價時的參考依據；其中部分參考評價方法是指在進行客觀質量評價時需要原始立體視頻的部分參數作為評價時的參考依據，並不需要原始的立體視頻，這種方法與全參考立體視頻質量評價方法相比可以有效的節省帶寬資源；而無參考評價方法是指在進行客觀質量評價時完全不需要原始立體視頻作為參考，這種方法所需的傳輸代價最小，但是也是最難實現的。下面介紹幾種典型的客觀質量評價方案。

視覺信噪比(vsnr)是另一種比較經典的基於人類視覺特性的評價方法，該方法是由chandler等人[14,15,16,17]提出的。這種方法首先用小波變換計算失真圖像與原始圖像差異量的小波係數，然後判斷這些係數是否超過最小可辨失真的閾值，如果沒有超過閾值的係數就認為；如果小波係數超過閾值，則依據視覺敏感度計算出使失真最小的噪聲分布，最後將計算所得分布與理想分布之間的歐氏距離作為圖像質量的評價指標。

結構相似度(structuralsimilarity,ssim)是wangzhou等人[18,19,20,21]經過一系列研究提出的一種非常經典的圖像質量評價算法。該方法主要通過失真圖像與原始圖像之間的亮度相似性、對比度相似性和結構相似性三個指標來衡量失真圖像的質量的。在平面圖像質量評價領域，該方法以及其相關的衍生方法具有十分優秀的性能。是很多立體圖像和立體視頻質量評價算法的基礎。

在立體視頻質量評價方面研究人員通常都是結合一些已有的相關領域的方法通過迭代或者組合的方式來設計立體視頻質量評價算法。例如，通過將上面提到的一些平面圖像質量評價算法與視頻中特有的運動信息結合就可以得到視頻質量評價算法；將平面圖像質量評價方法與深度信息結合就可以得到立體圖象質量評價方法；將平面圖像質量評價方法、運動信息以及深度信息結合在一起就可以得到立體視頻質量評價算法。在此基礎上再結合人類視覺系統特性就可以得到更加符合人類視覺特性的立體視頻質量評價模型。其中在深度信息方面，人類視覺系統特性體現為雙目融合；在運動信息方面人類視覺系統特性體現為視覺顯著性；在圖像質量提取方面人類視覺特性通過對比敏感度、視覺多通道以及最小可辨失真等方面體現出來。目前大部分立體視頻質量評價算法都是以上所提內容優化組合的結果。

在客觀評價方面，比較經典的方法有基於統計方法的峰值信噪比psnr以及其衍生的一系列模型；還有基於結構相似度的方法以及其衍生出的一些方法；還有vqm模型[22]。有些研究人員直接將普通視頻質量評價方法應用於立體視頻中。例如，成於慶等人[23]通過將psnr應用於立體圖像的絕對差值圖來評價立體圖像的質量；donghyunkim等人[24]將運動信息和深度信息與ssim和psnr算法結合構造了一種用於評價立體視頻質量的算法；文獻[25]、[26]、[27]直接將vqm、ssim和psnr應用於立體視頻左、右視點，然後取左右視點的均值作為立體視頻的質量，其中vqm模型所得結果與主觀評價具有最好的一致性；文獻[28]所提立體視頻質量評價方法將視頻內容、環境亮度與vqm模型結合，這使得該方法更加接近人類視覺特性。有些文獻[29，30]將立體視頻質量的評價分為兩個部分：畫面質量和深度感。畫面質量可以通過普通視頻質量評價方法獲得，深度感的好壞可以通過評價深度圖來獲得，而要想獲得深度圖就需要先知道左右視點的視差圖，所以視差圖在某種程度上也可以反映立體視頻中的深度信息。張豔等人[31]分別對立體視頻左右視點和視差圖進行評價從而獲得了立體視頻的畫面質量和立體感質量，然後將這兩種質量通過加權的方式結合在一起從而得到最終的立體視頻質量。馬辰陽等人[32]所提的立體視頻質量評價方法中考慮了幀間的運動信息和幀內的結構信息和亮度信息，該方法利用gssim評價左右視點的質量，然後加權得到立體視頻的畫面質量，在深度質量方面該方法通過利用psnr評價絕對差值圖從而得到深度質量。文獻[33]所提方法首先提取圖像中的視覺顯著性區域，然後再提取這些區域中的空間複雜度信息、運動信息、視差信息以及不對稱性信息，最後通過訓練支持向量機來預測立體視頻的質量。文獻[34]提出了一種基於3d-dct的立體視頻質量評價方法。文獻[35]提出了一種空間頻率域(sfd)的立體視頻質量評價方法。文獻[36]提出了一種三維時空結構(3d-sts)的立體視頻質量評價方法。

還有一些研究人員在設計立體視頻質量評價算法時結合了人類視覺系統(humanvisualsystem，hvs)特性。文獻[37]提出了名為感知質量評價(perceptualqualitymetric，pqm)的立體視頻質量評價算法，該算法考慮了人類視覺系統中的對比度和亮度敏感特性。文獻[38]提出了一種名為vqm3d的立體視頻質量評價算法，該算法考慮了像素塊的邊界失真，在此基礎上利用pqm計算立體視頻質量。文獻[39]提出了一種新的最小可辨失真模型(justnoticeabledistortion，jnd)，該模型主要考慮了人類視覺系統中的雙目亮度掩蓋特性。文獻[40]提出立體視頻質量評價算法(stereoscopicvideoqualityassessment，svqa)，該算法構建了立體最小可變失真sjnd(stereojust-noticeabledifference，sjnd)模型，該模型主要模擬了人類視覺系統中的對比敏感度特性、空間掩蓋特性、時間掩蓋特性以及雙目掩蓋特性，該算法能夠較好的模擬人類視覺系統特性。文獻[41]中提出的一種立體視頻質量評價方法考慮了時空結構的相關性，通過提取視覺顯著性區域提升了計算速度；文獻[42]提出了一種針對非對稱編碼的立體視頻質量評價算法，該算法中結合了視頻的深度信息和單眼色度信息。jin等人[43]提出了一種frsiqa模型用於評價移動3d視頻，這種模型利用中央視野、雙目競爭以及場景的幾何結構來評價圖像的質量，最後通過機器學習來獲得立體視頻的質量。文獻[44]提出了一種基於視頻壓縮損傷特徵分析的質量評價方法，該方法主要考慮了視頻的時間特徵以及人類視覺中的雙目感知特性。文獻[45]提出了一種基於視覺顯著性和邊緣差異的立體視頻質量評價方法，該方法先利用邊緣信息計算塊效應、零交叉以及視差等特徵，再用視覺顯著性加權這些特徵來獲得立體視頻的質量。文獻[46]提出了一種基於視覺顯著性和最小可辨失真的立體視頻質量評價方法。

在實際應用中很難獲得原始的立體信息，所以全參考立體視頻質量評價方法往往不能直接應用於實際的生產環境當中，針對全參考立體視頻質量評價方法的這種局限性，又有一些研究人員設計並提出了半參考立體視頻質量評價方法和無參考立體視頻質量評價方法。例如文獻[47]和[48]中就提出了部分參考立體視頻質量評價算法，這些算法中所用到的參考信息是原始立體視頻的部分特徵，而且這些特徵只需要通過輔助信道傳輸即可；文獻[49]中提出了一種基於時空分割的無參考立體視頻質量評價算法，該算法主要考慮了立體視頻中的視差、時間特徵和空間特徵等指標；文獻[50]中提出了一種基於深度圖的立體視頻質量評價算法，該算法主要考慮了垂直視差、水平視差以及像素深度值在時間域上的跳變；文獻[51]中提出了另一種無參考立體視頻質量評價模型，該模型主要針對深度圖加彩色圖的立體視屏進行評價質量評價，該模型主要涉及到立體視頻中的空間差異、時間差異和時間不一致性這三個評價指標。文獻[52]提出了一種基於雙目感知的半參考立體視頻質量評價方法，該方法主要考慮了視頻的時域特徵以及人類視覺中的雙目感知特性。文獻[53]提出了一種無參考的質量評價方法，但是現存的一些無參考評價方法只對特定的內容或者特定的損傷類型有效。

技術實現要素：

為克服現有技術的不足，本發明旨在利用小波變換建模人類視覺系統中的視覺多通道特性，在關鍵幀上應用該模型以便得到更好的立體視頻質量評價結果。提出一種更加符合人類視覺系統相關特性且有效的立體視頻客觀質量評價方法。使新的立體視頻客觀質量評價方法更加準確高效的評價立體視頻的質量，同時在一定程度上推動立體成像技術的發展。本發明採用的技術方案是，視覺多通道模型在立體視頻質量客觀評價中的應用方法，利用haar小波建模視覺多通道模型，首先將關鍵幀的絕對差值圖進行三級小波變換，分解成不同的方向和頻率成分來模擬人眼多通道特性；然後應用ssim對變換所得的不同分量進行評價從而得到相應的的客觀質量，然後利用小波逆變換得到每一關鍵幀的單一質量；最後應用關鍵幀的權重加權關鍵幀的質量從而得到完整的立體視頻質量。

使用自適應權重法提取關鍵幀，具體是是將立體視頻中所有幀的權重看作是一個「基因序列」，然後通過變異、選擇等過程優化這組「基因序列」，最終得到一組能夠使得立體視頻主客觀質量一致性高的權重組合。

應用絕對差值圖來表示立體信息，絕對差值圖由式(1)計算得到:

iabs(x,y)＝|ileft(x,y)-iright(x,y)|(1)

式(1)中ileft(x,y)，iright(x,y)分別為立體圖像左右視點位置(x,y)的像素值，iabs(x,y)為所求的相應位置處的絕對差值。

haar小波對提取出的關鍵幀的絕對差值圖進行三級小波變換，經過三級小波變換後，共得到1個低頻近似分量係數矩陣ca(p)和9個高頻係數矩陣，分別為垂直方向高頻細節分量矩陣cvλ(p)，水平方向高頻細節分量矩陣chλ(p)和對角方向高頻細節分量矩陣cdλ(p)，其中λ為小波分解級數，λ＝{1,2,3}。

應用關鍵幀的權重加權關鍵幀的質量是用對比度敏感度函數對小波分解後得到的各個高頻係數矩陣進行加權，從而模擬人眼視覺系統在識別靜態圖像時的多通道特性，具體做法如下：首先計算各高頻係數矩陣空間頻率：

對於水平方向高頻細節係數矩陣chλ(p)，因為其描述的是圖像在水平方向的細節變化，所以在計算空間頻率的過程中，只需要計算水平方向的頻率，如式(8)所示，同理垂直方向高頻細節係數矩陣cvλ(p)，因為其描述的是圖像在垂直方向的細節變化，所以只需要計算垂直方向的頻率，如式(9)所示；對於對角方向的係數矩陣cdλ(p)，因為其反映的是45°和135°兩個方向上的邊緣細節信息，因此需要按照式(10)計算空間頻率：

其中，m為係數矩陣行數，n為係數矩陣列數，λ為小波分解級數，λ＝{1,2,3}，(i,j)為所得係數矩陣第i行、第j列元素值，是水平方向空間頻率；是垂直方向空間頻率；是圖像的空間頻率；

然後將各個高頻係數矩陣的空間頻率與觀看角度η的商μ作為對比度敏感度函數csf(f)的輸入，計算各通道對比度敏感度權重ω；

ω＝csf(μ)(11)

最後使用各通道對比度敏感度權重ω對高頻係數矩陣進行加權重構，計算重構後圖像p，如式(12)所示，其中分別代表第λ層小波分解後水平、垂直和對角方向權重係數，ca(p)表示低頻近似分量係數矩陣，chλ(p)、cvλ(p)、cdλ(p)分別代表水平、垂直和對角方向高頻細節分量係數矩陣，iwavelet代表小波逆變換，

重構後的圖像即為人眼實際感知到的圖像，使用重構後的圖像計算失真度。

本發明的特點及有益效果是：

本立體視頻質量客觀評價方法由於考慮了人眼單目視覺中的多通道效應視覺特性，通過自適應權重調節方法提取關鍵幀，然後將視覺多通道模型應用於關鍵幀，從而得到更加優秀的立體視頻質量評價方法。由於該立體視頻質量評價方法考慮到了人類視覺系統中很多視覺特性，所以其評價結果十分接近主觀質量評價的結果。實驗結果說明，本方法的準確性和可靠性優於目前常見的其它立體視頻質量客觀評價方法。

附圖說明：

圖1視覺多通道模型的應用。

圖2立體視頻庫中三段不同內容視頻圖示，圖中：

(a)airplane參考圖像(b)ballroom參考圖像(c)woshou參考圖像

(d)airplane失真圖像(e)ballroom失真圖像(f)woshou失真圖像。

圖3haar小波三級分解後的圖像，圖中：

(g)airplane(h)ballroom(i)woshou。

圖4haar小波分解圖。

圖5主客觀質量評價散點圖，圖中：

(a)3dvif散點圖(b)3dpsnr散點圖

(c)3dvsnr散點圖(d)3dssim散點圖

(e)3dmssim散點圖(f)3dms散點圖

(g)3dmsfw散點圖(h)3dmsfwmr散點圖。

具體實施方式

本發明利用小波變換建模人類視覺系統中的視覺多通道特性，在關鍵幀上應用該模型得到了很好的立體視頻質量評價結果。實驗結果表明，本發明提出的立體視頻質量評價模型的評價結果與主觀評價結果有很好的一致性，不僅能夠體現人類視覺特性，還能夠準確的評價立體視頻的質量。

視覺多通道模型源於對人類視覺系統中的外側膝狀體的研究，研究發現人類視覺系統會將人眼所感知到的場景中不同的頻率成分通過不同的神經通道傳輸，這就是所謂的人類視覺系統的視覺多通道效應。

為了建模視覺多通道效應，我們就應該將圖像進行多解析度分解從而得到圖像的不同頻率成分。然後再分別對不同頻率成分進行質量評價，最後再將不同頻率成分的質量分值合成完整的圖像質量分值。對圖像進行多解析度分解以及再對其中不同成分進行質量評價勢必會增加計算複雜度，雖然計算複雜度的增加對圖像處理沒有實質性的影響，但是對於立體視頻質量評價來說計算複雜度的增加會積累到每一幀上，這就使得立體視頻質量評價過程會變得非常緩慢。所以對立體視頻中每一幀都應用視覺多解析度模型是不可行的。

首先，我們通過自適應權重調整算法得到了具有稀疏性的權值向量，即能夠通過自適應權重調整算法確定立體視頻中的關鍵幀，而關鍵幀的數量遠遠少於立體視頻的幀數，這就使得將視覺多通道模型應用於立體視頻質量評價成為可能。所以本發明接下來視覺多通道的應用都是在圖像自適應權重處理所得的關鍵幀上進行的，其具體過程如圖1所示。

本發明是利用小波變換來建模人類視覺系統中的多通道特性的。小波變換能夠將圖像分解成不同的方向和頻率成分，這與人類視覺系統中的多通道特徵不謀而合，所以用小波變換建模視覺多通道很合適。本發明用haar小波建模視覺多通道模型，首先將提取的關鍵幀的絕對差值圖進行三級小波變換，分解成不同的方向和頻率成分來模擬人眼多通道特性；然後應用ssim對變換所得的不同分量進行評價從而得到相應的的客觀質量，然後利用小波逆變換得到每一關鍵幀的單一質量；最後應用關鍵幀的權重加權關鍵幀的質量從而得到完整的立體視頻質量。

立體視頻、立體圖像中的一個關鍵因素就是深度，然而本發明所涉及的立體視頻庫中並沒有深度信息，所以想要對深度信息做出評價就必須先對立體視頻中的所有幀進行立體匹配從而得到相應的深度圖。目前還沒有任何一種立體匹配算法能夠從原始立體圖像中獲得完美的深度圖，所以效果不是最好的立體匹配算法的性能也會影響立體視頻質量評價的準確性。而本發明所研究的目標並不在於立體匹配算法性能的好壞，所以我們並不希望立體匹配算法性能的差異影響立體視頻質量。因此本發明中並沒有利用立體匹配算法來提取深度信息，但是為了得到立體信息的近似表述，本發明應用絕對差值圖來表示立體信息。絕對差值圖的計算非常簡單，由式(1)計算得到:

iabs(x,y)＝|ileft(x,y)-iright(x,y)|(1)

式(1)中ileft(x,y)，iright(x,y)分別為立體圖像左右視點位置(x,y)的像素值，iabs(x,y)為所求的相應位置處的絕對差值。

本發明所提的關於視覺多通道模型的應用主要涉及如下內容。首先利用自適應權重調節算法來確定立體視頻中對評價起決定作用的關鍵幀，並利用小波變換建模人類視覺系統中的視覺多通道模型，然後將視覺多通道模型應用於這些關鍵幀的絕對差值圖來獲得最終的評價結果。由於自適應權重調節算法所得結果具有稀疏性，所以在關鍵幀上應用視覺多通道模型可以有效的節省計算資源。

本發明所提立體視頻庫中原始的立體視頻來自天津三維顯示技術有限公司和hhi研究所，其中包括三種不同內容的立體視頻，其信息列於表2中。

表2視頻內容及參數

由於人類視覺系統對量化參數小於24的壓縮失真不敏感，所以我們在建立主觀實驗資料庫時選擇了如下7種步長的量化參數：24、28、32、36、40、44、48。立體視頻左右視點分別以每種量化步長進行壓縮，再相互結合成完整的立體視頻，所以每種內容的立體視頻都包含有49種不同損傷程度的失真視頻和一個未失真的原始立體視頻，其中49種不同損傷程度的立體視頻既包括對稱壓縮損傷也包括非對稱壓縮損傷。本發明所提立體視頻主觀實驗資料庫一共包含150段不同內容和不同損傷程度的立體視頻。

下面結合技術方案詳細說明本方法：

本方法首先對立體視頻採用自適應權重法提取關鍵幀，然後將視覺多通道模型應用於關鍵幀，得出評價結果作為立體圖像失真程度的客觀評價的一部分。對於本發明所提的關於視覺多通道模型的應用主要涉及如下內容。首先利用自適應權重調節算法來確定立體視頻中對評價起決定作用的關鍵幀，並利用小波變換建模人類視覺系統中的視覺多通道模型，然後將視覺多通道模型應用於這些關鍵幀的絕對差值圖來獲得最終的評價結果。由於自適應權重調節算法所得結果具有稀疏性，所以在關鍵幀上應用視覺多通道模型可以有效的節省計算資源。

具體步驟如下：

1提取關鍵幀

本發明使用自適應權重法提取關鍵幀。自適應權重分配方法的思想來源於遺傳算法。而遺傳算法是對生物體的遺傳變異以及環境選擇的數學建模。其核心思想是基因的交叉、變異與選擇。自適應權重分配算法的核心思想是將立體視頻中所有幀的權重看作是一個「基因序列」，然後通過變異、選擇等過程優化這組「基因序列」，最終得到一組能夠使得立體視頻主客觀質量一致性高的權重組合。

實際上最後得到的最優權值向量具有稀疏性，即的大部分元素值為零，只有很少一部分元素的值不為零。這又進一步說明立體視頻中幀與幀之間存在著顯著性差異，某些幀的顯著性非常強，能夠引起觀看者較強烈的關注；而另外一些幀則不具有顯著性，甚至不能引起觀看者的注意。本發明把具有非零權值的少數幀稱作關鍵幀，顯然當對立體視頻進行質量預測時我們只需得到少數關鍵幀的立體圖像質量保真度就可以了，其它非關鍵幀根本無需計算其質量保真度，因為它們對立體視頻最終的質量預測值沒有任何影響(非關鍵幀所對應的權值因子都為零)。如果能夠在計算視頻中每幀立體圖像質量保真度前就確定關鍵幀，則會節省很多計算代價，與此同時會大大提升計算速度。

2差值圖的獲取

立體視頻、立體圖像中的一個關鍵因素就是深度，本發明所涉及的立體視頻庫中並沒有深度信息，所以想要對深度信息做出評價就必須先對立體視頻中的所有幀進行立體匹配從而得到相應的深度圖。然而，目前還沒有任何一種立體匹配算法能夠從原始立體圖像中獲得完美的深度圖，所以立體匹配算法的性能也會影響立體視頻質量評價的準確性。因為本發明所研究的目標並不在於立體匹配算法性能的好壞，所以我們並不希望立體匹配算法性能的差異影響立體視頻質量。故本發明中並沒有利用立體匹配算法來提取深度信息，但是為了得到立體信息的近似表述，本發明應用絕對差值圖來表示立體信息。絕對差值圖的計算非常簡單，由式(1)計算得到:

iabs(x,y)＝|ileft(x,y)-iright(x,y)|(1)

式(1)中ileft(x,y)，iright(x,y)分別為立體圖像左右視點位置(x,y)的像素值，iabs(x,y)為所求的相應位置處的絕對差值。

3視覺多通道模型應用

3.1多通道模型簡介

本發明是利用小波變換來建模人類視覺系統中的多通道特性的。小波變換能夠將圖像分解成不同的方向和頻率成分，這與人類視覺系統中的多通道特徵不謀而合，所以用小波變換建模視覺多通道很合適。本發明用haar小波建模視覺多通道模型，首先將關鍵幀的絕對差值圖進行三級小波變換，分解成不同的方向和頻率成分來模擬人眼多通道特性，然後應用ssim對變換所得的不同分量進行評價從而得到相應的的客觀質量，然後利用小波逆變換得到每一關鍵幀的單一質量，最後應用關鍵幀的權重加權關鍵幀的質量從而得到完整的立體視頻質量。

3.2小波變換

3.2.1一維小波變換

小波變換的產生是為了彌補傅立葉變換的不足。眾所周知傅立葉變換可以時域信號變換為頻域信號，這有助於將原來的問題轉化為頻域問題從而在頻域中尋找解決方案。式(2)和(3)分別為傅立葉正變換和傅立葉逆變換的計算公式。

式(2)和式(3)中的f(t)是時域信號，f(ω)是頻域信號。

從以上計算公式中我們可以看到頻域信號是由全部時域信號計算得到的，同理其反變換中時域信號是由全部頻域信號計算所得，這就說明每一個局部的頻域信號都會與全部的時域信號相關，而每一個局部的時域信號同樣與全部的頻域信號相關，這就使得傅立葉變換不能很好的同時體現局部的時頻域信息。為了同時獲得局部時域和頻域信息，小波變換就應運而生了。

小波變換由於其分析窗口的尺度可以自由調節，所以能夠同時獲得不同尺度的時域和頻域信息。正因為小波變換具有這種優良的分析性能，所以得到了廣泛的應用。

函數的小波變換定義如下：

其內積形式為：

wtf(α,τ)＝<f,ψα,τ}(5)

當滿足以下條件時，它存在逆變換：

小波逆變換的形式為：

式(4)中α是尺度參數，τ是時間參數或者平移參數，f(t)是輸入信號，wtf(α,τ)是指對信號f(t)在尺度參數α和平移參數τ下進行小波變換後的小波係數。式(5)中表示內積符號，f是輸入信號，ψα,τ是小波基。式(6)中的是小波基函數的傅立葉變換係數，ω是頻率。

由小波變換的計算公式可知，小波變換是將時域信號轉變為時間尺度域信號，而尺度就是頻率的另一種表述，所以小波變換可以同時獲得局部時域和頻域信息。這十分有利於同時在時域和頻域中分析信號。

3.2.2二維haar小波變換

在眾多正交函數中，haar小波函數是最簡單的正交函數，與其它正交函數相比，它具有構造簡單、對應的濾波器具有線性相位性、計算方便的特點。因此haar小波函數引起人們的普遍關注。haar函數的正交集是一些幅值為+1或-1的方波，而且在一段區間有值，其他區間為零。這使得haar小波變換比其它小波函數要快。

小波變換的基本思想是用一組小波函數或者基函數表示一個函數或者信號。信號分析一般是為了獲得時間和頻率域之間的相互關係，傅立葉變換提供了有關頻率域的信息，但時間方面的局部化信息卻基本丟失。與傅立葉變換不同，小波變換通過平移母小波可獲得信號的時間信息，而通過縮放小波的寬度(或者叫做尺度)可獲得信號的頻率特性。在小波變換中，近似值是大的縮放因子產生的係數，表示信號的低頻分量。而細節值是小的縮放因子產生的係數，表示信號的高頻分量。

對二維圖像進行haar小波變換有兩種方法：標準分解和非標準分解。標準分解是指先使用一維小波對圖像的每一行的像素值進行變換，產生每一行像素的平均值和細節係數，然後再使用一維小波對這個經過行變換的圖像的列進行變換，產生這個圖像的平均值和細節係數。非標準分解是指使用一維小波交替地對每一行和每一列像素值進行變換。圖4是haar小波對二維圖像的一級及三級分解子帶圖，在右圖中最低頻a3子帶圖像與原始圖像極其相似，只是尺寸變小，它包含了原圖的絕大部分能量,對恢復圖像質量影響較大，其餘高頻子帶的小波係數大多非常小。在同一層，由於v及h子圖表示的邊緣子圖像的小波係數和方差比d子圖要大，因此d子圖在重構圖像時不是很重要。

3.3多通道分解特性

視覺心理學和生理學實驗[24]表明人類視覺系統存在獨立的空間頻率處理單元，它通過多個並列的視覺通道來傳輸觀看到的信息，不同通道的處理單元整體上相互獨立。這些通道把視覺激勵劃分到不同的子帶進行處理，相當於一組方向性帶通濾波器，這些通道會對特定空間頻率和方向上的視覺激勵做出響應。通常使用低通與帶通濾波器來模擬實現。

小波分析是一種空間頻率局部化的分析方法，它具有良好的「空間域-頻域」定位能力[25]。通過設置不同的濾波器組，小波變換可以極大的減少或消除不同通道之間的相關性，這與人眼視覺系統的多通道效應不謀而合，與此同時，小波變換通過在低頻段使用寬分析窗口，在高頻段使用窄分析窗口，從而能夠準確的提取圖像不同頻率間的細節信息，這對立體圖像質量評價是非常重要的。因此本發明選取小波變換，來模擬人眼視覺系統中的多個通道。

對於二維平面圖像而言，它的一次小波分解是由行變換和列變換兩部分組成的。首先經過一次行變換後，圖像分成低頻矩陣l和高頻矩陣h，之後再對所得係數矩陣進行列變換。分別將低頻矩陣l和高頻矩陣h中的係數進行列變換，從而得到四個係數矩陣，分別為ll、lh、hl、hh。其中，ll表示圖像的低頻近似分量，其中包含著圖像大部分能量，呈現為原始圖像的縮略圖；lh表示圖像在水平方向(0°)高頻細節分量，hl表示圖像在垂直方向(90°)高頻細節分量，hh表示圖像在對角方向(45°、135°)高頻細節分量。經過一次完整的小波變換後，所得係數矩陣的尺寸變為分解前的四分之一，即矩陣的行數和列數均減半。對於一次小波分解後的係數矩陣，因為低頻係數矩陣中仍然包含著原始圖像的大部分能量，所以可以對其再進行小波分解，進一步提取圖像的高頻信息。重複上述過程，即可以得到經過多級小波分解的係數。

根據對比度敏感度理論，人眼視覺系統對於不同頻率的圖像呈現一種帶通特性，即當圖像頻率過低或過高的情況下，人眼對圖像的識別能力都會降低。同時為了降低計算複雜度，本方法選取haar小波對參考圖像和失真圖像進行三級小波分解。圖像p經過三級小波分解後，共得到1個低頻近似分量係數矩陣ca(p)和9個高頻係數矩陣，分別為垂直方向高頻細節分量矩陣cvλ(p)，水平方向高頻細節分量矩陣chλ(p)和對角方向高頻細節分量矩陣cdλ(p)，其中λ為小波分解級數，λ＝{1,2,3}。

根據對比度敏感度帶通理論，在識別靜態圖像時，對於空間頻率不同的圖像人眼對其的感知程度存在差異。因此，可以用對比度敏感度函數對小波分解後得到的各個高頻係數矩陣進行加權，從而模擬人眼視覺系統在識別靜態圖像時的多通道特性。具體做法如下：首先計算各高頻係數矩陣空間頻率。

對於水平方向高頻細節係數矩陣chλ(p)，因為其描述的是圖像在水平方向的細節變化，所以在計算空間頻率的過程中，只需要計算水平方向的頻率，如式(8)所示。同理垂直方向高頻細節係數矩陣cvλ(p)，因為其描述的是圖像在垂直方向的細節變化，所以只需要計算垂直方向的頻率，如式(9)所示。對於對角方向的係數矩陣cdλ(p)，因為其反映的是45°和135°兩個方向上的邊緣細節信息，因此需要按照式(10)計算空間頻率。

其中，m為係數矩陣行數，n為係數矩陣列數，λ為小波分解級數，λ＝{1,2,3}，(i,j)為所得係數矩陣第i行、第j列元素值。是水平方向空間頻率；是垂直方向空間頻率；是圖像的空間頻率。

然後將各個高頻係數矩陣的空間頻率與觀看角度η的商μ作為對比度敏感度函數csf(f)的輸入，計算各通道對比度敏感度權重ω。

ω＝csf(μ)(11)

最後使用各通道對比度敏感度權重ω對高頻係數矩陣進行加權重構，計算重構後圖像p，如式(12)所示。其中分別代表第λ層小波分解後水平、垂直和對角方向權重係數，ca(p)表示低頻近似分量係數矩陣，chλ(p)、cvλ(p)、cdλ(p)分別代表水平、垂直和對角方向高頻細節分量係數矩陣。iwavelet代表小波逆變換。

重構後的圖像即為人眼實際感知到的圖像，所以本方法使用重構後的圖像計算失真度。

4立體視頻質量評價結果與分析

在立體視頻客觀質量評價方面，目前常見的立體視頻質量評價方法大多是來自於2d圖像質量評價方法的改進，即直接應用2d圖像質量評價方法對立體視頻中的單一視點的每一幀圖像進行評價，然後再平均立體視頻中所有幀的2d質量得到最終的立體視頻質量。其中典型的2d圖像質量評價方法有視覺信息保真度(vif)、峰值信噪比(psnr)、視覺信噪比(vsnr)、質量結構相似度(ssim)以及多尺度質量結構相似度(mssim)等。本節分別應用以上所提到的2d圖像質量評價方法對立體視頻左右視點的每一幀圖像進行評價，然後將左右視點所有幀的質量平均得到左右視點質量，最後再取左右視點質量的平均值作為最終的立體視頻質量。本節將這五種不同的立體視頻質量評價方法所得的結果作為對比數據，並且將這些客觀方法分別命名為3dpsnr、3dvsnr、3dssim、3dmssim以及3dvif。加上本發明所提出的三種立體視頻客觀質量評價方法ms_vqm(或稱3dms)、msfw_vqm(或稱3dmsfw)以及msfwmr_vqm(或稱3dmsfwmr)，共涉及到八種不同的立體視頻質量評價方法。如圖3所示。

圖5所示分別為這八種客觀評價方法所得結果與主觀評價方法所得結果之間的散點圖。由圖5可以看出：3dms、3dssim以及3dmssim方法所得結果與主觀評價結果有更好的一致性。這說明在立體視頻質量評價方面基於結構相似度的方法更符合人類的觀看體驗。

本發明利用pearson相關係數(pcc)、spearman等級相關係數(spcc)以及均方根誤差(rmse)作為主客觀評價結果一致性的度量方法。每種客觀質量評價方法所得的客觀質量分值與主觀評價方法所得的mos值之間的pearson相關係數、spearman等級相關係數以及均方根誤差列於表1中。

表1客觀質量評價方法性能

由表1可以看出：由客觀評價方法3dvif所得結果與主觀評價結果一致性最差，本發明所提方法3dms、3dmsfw以及3dmsfwmr所得結果與主觀評價結果具有更好的一致性；客觀評價方法3dpsnr和3dvsnr的評價性能稍微比3dvif好一些，而客觀評價方法3dssim和3dmssim的評價性能要優於客觀評價方法3dpsnr和3dvsnr的評價性能，且僅次於本發明所提客觀質量評價方法3dms的性能。通過以上各種立體視頻質量評價方法性能對比，我們可以發現在立體視頻質量評價方面基於結構相似性的方法更接近人類做出的主觀評價，而在基於結構相似性的立體視頻質量評價方法中本發明所提方法3dms的評價結果與人類主觀評價結果更接近。由圖5和表1都可以看出本發明最後所提的方法3dmsfwmr的評價準確性遠遠優於其它方法，這是由於在評價模型3dmsfwmr中不僅運用了基於運動顯著性的分割方法和恰當的雙目融合方法，而且應用了自適應權重調節方法來確定關鍵幀，最後還在關鍵幀上應用了視覺多通道模型。通過對比評價方法3dmsfw和3dmsfwmr的評價準確性可以得到如下結論：本發明所設計的視覺多通道模型有利於提高立體視頻質量評價方法的性能。

參考文獻

[1]侯春萍.平面圖像立體化技術的研究[d].天津：天津大學，1998.

[2]張英靜，李素梅，衛津津等.立體圖像質量的主觀評價方案[j].光子學報，2012，41(5)：602～607.

[3]itu-tr.h.265,highefficiencyvideocoding[s].apr.2015.

[4]3d@homewebsite—steeringteamsoverview.[ol].international3d&advancedimagingsociety.(2015).available:http://www.3dathome.org/steering-overview.aspx

[5]china3dindustryassociation.[ol].china3dindustryassociation.(aug.2015).available:http://www.c3dworld.org/

[6]3dconsortium—neweraof3d—「fromsurprisetoimpression！」[ol].3d-consortium.(aug.2014).available:http://www.3dc.gr.jp

[7]w.j.tam,f.speranza,s.yano,etal.stereoscopic3d-tv:visualcomfort[j].ieeetrans.broadcast,2011,57(2):335–346.

[8]y.-h.linandj.-l.wu.adepthinformationbasedfastmodedecisionalgorithmforcolorplusdepth-map3dvideos[j].ieeetrans.broadcast.,2011,57(2):542–550.

[9]a.pulipaka,p.seeling,m.reisslein,etal,trafficandstatisticalmultiplexingcharacterizationof3-dvideorepresentationformats[j].ieeetrans.broadcast.,2013,59(2):382–389.

[10]p.merkle,k.müller,andt.wiegand.3dvideo:acquisition,coding,anddisplay[c].inproc.ieeeint.conf.consum.electron.(icce),piscataway,nj,usa:ieee,2010:127–128.

[11]張英靜,李素梅,衛津津等.立體圖像質量的主觀評價方案[j].光子學報,2012,41(5):602-607.

[12]internationaltelecommunicationunion(itu)，recommendationitu～rbt.1438，subjectiveassessmentofstereoscopictelevisionpictures[s].2000.

[13]vqeg.videoqualityexpertgroupmotivationobjectivesandrules[ol].2010:http://www.its.bldrdoc.gov/vqeg

[14]chandler,d.m.,m.a.masry,ands.s.hemami.quantifyingthevisualqualityofwavelet-compressedimagesbasedonlocalcontrast,visualmasking,andglobalprecedence[c].in:signals,systemsandcomputers,2003.conferencerecordofthethirty-seventhasilomarconferenceon,piscataway,nj,usa:ieee,2003:1393-1397.

[15]chandler,d.m.ands.s.hemami.vsnr:awavelet-basedvisualsignal-to-noiseratiofornaturalimages.imageprocessing[j],ieeetransactions,2007,16(9):2284-2298.

[16]chandler,d.ands.hemami.vsnr:avisualsignalto-noiseratiofornaturalimagesbasedonnear-thresholdandsuprathresholdvision[j].retrievedjuly.2010,15(3):12-17.

[17]chandler,d.m.ands.s.hemami.effectsofnaturalimagesonthedetectabilityofsimpleandcompoundwaveletsubbandquantizationdistortions[j].j.opt.soc.am.a.2003,20(7):1164-1180.

[18]wang,z.anda.c.bovik.auniversalimagequalityindex[j].signalprocessingletters,ieee,2002,9(3):81-84.

[19]wang,z.,a.c.bovik,h.r.sheikh,etal.imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[j].ieeetransactionsonimageprocessing,2004,13(4):600-612.

[20]wang,z.,a.c.bovik,andl.lu.whyisimagequalityassessmentsodifficult[j].acoustics,speech,andsignalprocessing,2002,4(1):1-4.

[21]wang,z.anda.c.bovik.meansquarederror:loveitorleaveit？anewlookatsignalfidelitymeasures[j].signalprocessingmagazine,ieee,2009,26(1):98-117.

[22]pinsonmh,wolfs.anewstandardizedmethodforobjectivelymeasuringvideoquality[j].ieeetransactionsonbroadcasting,2004,50(3):312-322.

[23]成於慶,姜秀華.3d電視視頻質量主客觀評價最新技術研究[j].中國傳媒大學學報:自然科學版,2012,19(1):31-36.

[24]donghyunkim,seungchulryuandkwanghoon.depthperceptionandmotioncuebased3dvideoqualityassessment[c].2012ieeeinternationalsymposiumonbroadbandmultimediasystemandbroadcasting,piscataway,nj,usa:ieee,2012:1-4.

[25]c.t.e.r.hewage,s.t.worrall,s.dogan,etal.predictionofstereoscopicvideoqualityusingobjectivequalitymodelsof2-dvideo[j].electronicsletters,2008,44(16):963-965.

[26]s.l.p.yasakethu,c.t.e.r.hewage,w.a.c.yernando,etal.qualityanalysisfor3dvideousing2dvideoqualitymodels[j].ieeetransactionsonconsumerelectronics,2008,54(4):1969-1976.

[27]chamindat.e.r.hewage,stewartt.worrall,safakdogan,etal.qualityevaluationofcolorplusdepthmap-basedstereoscopicvideo[j].ieeejournalofselectedtopicsinsignalprocessing,2009,3(2):304-318.

[28]g.nur,h.kodikaraarachchi,s.dogan,etal,extendedvqmmodelforpredicting3dvideoqualityconsideringambientilluminationcontext[c],3dtv-conference:thetruevision-capture,transmissionanddisplayof3dvideo(3dtv-con),piscataway,nj,usa:ieee,2011:1-4.

[29]atanasboev,atanasgotchev,karenegiazarian,etal.,towardscompoundstereo-videoqualitymetric:aspecialencoder-basedframework[c].2006ieeesouthwestsymposiumonimageanalysisandinterpretation,piscataway,nj,usa:ieee,2006:218-222.

[30]劉文娟,李素梅,臧豔軍等.基於梯度和運動估計的視頻質量評價[j].光子學報,2011,40(10):1547-1552.

[31]y.zhang,p.an,y.wu,etal.amultiviewvideoqualityassessmentmethodbasedondisparityandssim[c].2010ieee10thinternationalconferenceonsignalprocessing,piscataway,nj,usa:ieee,2010:1044-1047.

[32]馬辰陽,李素梅,馬瑞澤等.基於運動和視差信息的立體視頻質量客觀評價[j].光電子·雷射,2013,24(10):2002-2009.

[33]sang-hyuncho,hang-bongkang.predictionofvisualdiscomfortinwatching3dvideousingmultiplefeatures[c].2014ieeesouthwestsymposiumonimageanalysisandinterpretation(ssiai),piscataway,nj,usa:ieee,2014:65-68.

[34]jin,l.,boev,a.,gotchev,a.,etal.3d-dctbasedperceptualqualityassessmentofstereovideo[c].in:proceedings-internationalconferenceonimageprocessing,icip,piscataway,nj,usa:ieee,2011:2521-2524.

[35]lu,f.,wang,h.,ji,x.,etal.qualityassessmentof3dasymmetricviewcodingusingspatialfrequencydominancemodel[c].in:3dtv-con2009-3rd3dtv-conference:thetruevision-capture,transmissionanddisplayof3dvideo,proceedings,piscataway,nj,usa:ieee,2009:1-4.

[36]han,j.,jiang,t.,ma,s.stereoscopicvideoqualityassessmentmodelbasedonspatial–temporalstructuralinformation[c].in:2012ieeevisualcommunicationsandimageprocessing,vcip2012,piscataway,nj,usa:ieee,2012:119-125.

[37]p.joveluro,h.malekmohamadi,w.a.cfernando,etal.perceptualvideoqualitymetricfor3dvideoqualityassessment[c].20103dtv-conference:thetruevision-capture,transmissionanddisplayof3dvideo,piscataway,nj,usa:ieee,2010:1-4.

[38]chaosun,xingangliu,xiangbinxu,etal.anefficientqualityassessmentmetricfor3dvideo[c].2012ieee12thinternationalconferenceoncomputerandinformationtechnology,piscataway,nj,usa:ieee,2012:209-213.

[39]張豔,安平,張秋聞等.雙目立體視頻最小可辨失真模型及其在質量評價中的應用[j].電子與信息學報,2012,34(3):698-703.

[40]fengqi,tingtingjiang,xiaopengfan,etal.stereoscopicvideoqualityassessmentbasedonstereojust-noticeabledifferencemodel[c].201320thieeeinternationalconferenceonimageprocessing(icip),piscataway,nj,usa:ieee,2013:34-38.

[41]jingjinghan,tingtingjiang,siweima.stereoscopicvideoqualityassessmentmodelbasedonspatial-temporalstructuralinformation[c].2012ieeevisualcommunicationsandimageprocessing(vcip),piscataway,nj,usa:ieee,2012:119-125.

[42]f.lu,h.wang,x.ji,etal.qualityassessmentof3dasymmetricviewcodingusingspatialfrequencydominancemodel[c].3dtvconference:thetruevision-capture,transmissionanddisplayof3dvideo.piscataway,nj,usa:ieee,2009:1-4.

[43]l.jin,a.boev,k.egiazarian,a.gotchev.quantifyingtheimportanceofcyclopeanviewandbinocularrivalry-relatedfeaturesforobjectivequalityassessmentofmobile3dvideo[j].eurasipj.imagevideoprocess.2014,2014(2):1–18.

[44]hongzhu,meiyu,yangsong,etal.astereovideoqualityassessmentmethodforcompressiondistortion[c].ieee,internationalconferenceoncomputationalscienceandcomputationalintelligence,piscataway,nj,usa:ieee,2015:481-485.

[45]weizhao,longye,etal.no-referenceobjectivestereovideoqualityassessmentbasedonvisualattentionandedgedifference[c].ieeeadvancedinformationtechnology,electronicandautomationcontrolconference,piscataway,nj,usa:ieee,2015:523-526.

[46]fengqi,denbinzhao,xiaopengfan,etal.stereoscopicvideoqualityassessmentbasedonvisualattentionandjust-noticeabledifferencemodels[j].signal,imageandvideoprocessing,2016,10(4):737-744.

[47]hewagecter,martinimg.reduced-referencequalityevaluationforcompresseddepthmapsassociatedwithcolourplusdepth3dvideo[c].201017thieeeinternationalconferenceonimageprocessing(icip),piscataway,nj,usa:ieee,2010:4017-4020.

[48]hewagecter,martinimg.reduced-referencequalityassessmentfor3dvideocompressionandtransmission[j].ieeetransactionsonconsumerelectronics,2011,57(3):1185-1193.

[49]z.m.parvezsazzad,s.yamanakaandy.horita.spatio-temporalsegmentationbasedcontinuousno-referencestereoscopicvideoqualityprediction[c].2010secondinternationalworkshoponqualityofmultimediaexperience(qomex),piscataway,nj,usa:ieee,2010:106-111.

[50]donghyun.kim,dongbo.min,juhyunoh,etal.depthmapqualitymetricforthree-dimensionalvideo[c].displaysandapplications,sanjose,ca,usa:spie-theinternationalsocietyforopticalengineering,2009:723719-723728.

[51]mashhoursolhandghassanairegib.ano-referencequalitymeasurefordibr-based3dvideos[c].2011ieeeinternationalconferenceonmultimediaandexpo(icme).piscataway,nj,usa:ieee,2011:1-6.

[52]meiyu,zhengkaihua,jianggangyi,etal.binocularperceptionbasedreduced-referencestereovideoqualityassessmentmethod[j].journalofvisualcommunicationandimagerepresentation,2016,38:246-255.

[53]t.zhu,l.karam.ano-referenceobjectiveimagequalitymetricbasedonperceptuallyweightedlocalnoise[j].eurasipj.imagevideoprocess.2014,2014(1):1–8。