一種立體圖像的人眼最小可辨變化分析方法

2023-10-11 09:35:04 3

專利名稱：：一種立體圖像的人眼最小可辨變化分析方法
技術領域：
：本發明涉及一種立體圖像視覺感知特性的測量與分析方法，尤其是涉及一種用於非對稱立體視頻編碼的立體圖像的人眼最小可辨變化分析方法。
背景技術：
：早期的心理學研究結果表明，立體視覺中存在掩蔽效應，即構成立體圖像的兩個視點，質量好的視點圖像質量對立體圖像的整體質量貢獻較大。有研究表明，模糊失真的立體圖像，其主觀質量由質量較好的視點圖像決定，甚至在另一視點圖像極端模糊的情況下，立體圖像的整體質量不會受到影響。因此，可以利用人類立體視覺系統的這一特性，通過對某一視點圖像保持其高質量而適當降低另一視點圖像質量的方法，在保證立體圖像整體主觀質量不受影響的情況下，充分去除視頻信號中的冗餘，提高編碼效率。移動3DTV手機的立體視頻編碼方法，也考慮用混合解析度的方法來提高編碼性能，保證立體圖像的整體質量。平面圖像的感知實驗結果表明，人眼對圖像中變化較小的屬性或噪聲是不可感知的，除非該屬性或者噪聲的變化強度超過某一閾值，該閾值就是最小可辨變化(JustNoticeableDifference,JND)，立體視覺同樣存在掩蔽效應的閾值。但現有技術主要建立在對立體視覺掩蔽效應的定性分析和應用上，然而實際情況是，掩蔽效應的應用是有範圍的，如何定量地確定該效應存在的臨界值(即閾值)，尚未見報導。由於對於人眼立體視覺掩蔽效應，不同的失真類型其相應的臨界值可能也有所不同，因此，如何設計一個分析方法，以定量分析這個臨界值是十分必要的。
發明內容本發明所要解決的技術問題是提供一種能夠很好地確定非對稱立體視頻編碼時右視點圖像的質量相對左視點圖像的質量可下降的最大變化範圍，通過降低右視點圖像的質量來達到提高編碼效率的目的，同時利用立體視覺掩蔽效應使觀察者不能感知到右視點圖像質量的下降，有效保證了立體圖像的整體質量的人眼最小可辨變化分析方法。本發明解決上述技術問題所採用的技術方案為一種立體圖像的人眼最小可辨變化分析方法，其特徵在於包括以下步驟①首先取一幅立體圖像作為測試圖像，然後利用H.264視頻編碼標準，採用一個預設的編碼量化參數對測試圖像的左視點圖像以幀內編碼方式進行編碼，記對測試圖像的左視點圖像進行編碼所採用的預設的編碼量化參數為QP^將編碼得到的左視點圖像定義為A質量點的左視點圖像，記為U，再採用N個不同的編碼量化參數分別對測試圖像的右視點圖像以幀內編碼方式進行編碼，獲得所需的N幅質量各不相同的右視點圖像，其中，對測試圖像的右視點圖像進行編碼所採用的N個不同的編碼量化參數分別為QPf1、QP。QPJ1、QPL+2、......，如果(51-(QPL-1)+1)>15，則N二15，否則，N二51-(QPL_1)+1;②從採用編碼量化參數QPf1、QP。QPJ1進行編碼得到的3幅質量各不相同的右視點圖像中選取一幅採用客觀質量評價標準評價時質量與A質量點的左視點圖像LA的質量最為接近的右視點圖像，並將該選定的右視點圖像定義為A質量點的右視點圖像，記為RA，將A質量點的右視點圖像RA編碼採用的編碼量化參數記為QPKA，將A質量點的左視點圖像LA和A質量點的右視點圖像RA所構成的最優立體圖像記為SM;記N幅質量各不相同的右視點圖像中編碼量化參數大於QPra的右視點圖像的數量為M幅，將A質量點的左視點圖像LA與M幅採用大於QPM的編碼量化參數編碼得到的右視點圖像一一構成M幅立體圖像，記為Sm，1《m《M，Sm為由A質量點的左視點圖像LA和採用編碼量化參數QPKA+m編碼得到的右視點圖像所構成的立體圖像；③組織參與進行圖像主觀質量評價的觀察者若干名，先將m=1時的立體圖像Sm作為當前待評價立體圖像，然後將內容相同但質量不同的最優立體圖像SM和當前待評價立體圖像Sm同時播放在屏幕上，要求每位觀察者對這2幅立體圖像的質量進行獨立評價，看觀察者是否能辨別出這2幅立體圖像的質量差異，並記錄下每位觀察者對這2幅立體圖像的質量的評價結果，再將m加l後的立體圖像Sm作為當前待評價立體圖像，重複上述評價過程，直至m>M時結束評價過程；根據所有觀察者的評價結果選擇B、C、D、E另外4個質量點的右視點圖像，選擇方法如下如果立體圖像Sm與最優立體圖像SM對比後大多數觀察者都不能分辨出該Sm與SAA的質量差異，則將該Sm對應的右視點圖像定義為B質量點的右視點圖像，記為RB，並將該立體圖像Sm記為SAB，將B質量點的右視點圖像RB編碼採用的編碼量化參數記為QPKB;如果立體圖像Sm與立體圖像SM對比後大多數觀察者都可以分辨出該Sm與SM的質量差異，則將該Sm對應的右視點圖像定義為E質量點的右視點圖像，記為RE，並將該立體圖像Sm記為SAEdfE質量點的右視點圖像RE編碼採用的編碼量化參數記為QPKE;再在B質量點的右視點圖像RB與E質量點的右視點圖像RE之間等量化步長選取C質量點的右視點圖像和D質量點的右視點圖像，將C質量點的右視點圖像記為Rc，將C質量點的右視點圖像Rc編碼採用的編碼量化參數記為QP，將D質量點的右視點圖像記為RD，將D質量點的右視點圖像R。編碼採用的編碼量化參數記為QPKD，(QPKB_QPKC)"(QPKC_QPKD)"(QPkztQPJ，將A質量點的左視點圖像LA和C質量點的右視點圖像Rc所構成的立體圖像記為Sm，將A質量點的左視點圖像LA和D質量點的右視點圖像RD所構成的立體圖像記為SAD;④將經上述步驟獲得的5幅質量逐次遞減的立體圖像SAA、SAC、SAD和SAE兩兩組合，共組成十組不同的立體圖像對比組合，分別為SmSSmSac、SaaSad、SaaSae、S^Sac、SabSad、SabSae、SACSffl、SACSAE和SADSAE;隨機播放這十組立體圖像對比組合，要求每位觀察者分別對所有立體圖像對比組合中的2幅立體圖像兩兩對比進行獨立的主觀質量評價，指出其認為立體圖像對比組合中的2幅立體圖像質量相對較好的立體圖像，並記錄評價數據；⑤對於十組立體圖像對比組合中的其中一組立體圖像對比組合，令Qi和Qj分別表示該立體圖像對比組合中的2幅立體圖像分別對應的2幅不同的右視點圖像的質量點，QiG{A，B，C，D，E}，QjG{A，B，C，D，E}，且Qi#Q」；然後根據記錄的評價數據統計出參與圖像主觀質量評價的觀察者認為Qi質量點的右視點圖像對應的立體圖像的質量高於Qj質量點的右視點圖像對應的立體圖像的質量的概率，記為Pij，表示比例為Pij的觀察者認為Qi質量點的右視點圖像對應的立體圖像的質量高於Qj質量點的右視點圖像對應的立體圖像的質量；再根據十組立體圖像對比組合各自的概率Pij，構造十組立體圖像對比組合的偏好概率矩陣；⑥根據偏好概率矩陣構造適用於建立廣義線性模型框架下的Thurstone模型所需的回歸矩陣，其中，回歸矩陣的總行數為io行，每一行對應一組立體圖像對比組合，每行包括7項數據，分別記為N、As、Bs、Cs、Ds、Es、p，其中，N為參與對該組立體圖像對比組合進行主觀質量評價的觀察者人數，As、Bs、Cs、Ds、Es分別對應於由A質量點的左視點圖像LA和A、B、C、D、E5個質量點的右視點圖像分別構成的立體圖像SM、S妒SAC、Sffl和SAE，對於回歸矩陣中的其中一行，如果4、Bs、(；、Ds、Es5項中的3項值為O，l項值為l，另1項值為-l，則表示該行數據反映的是非零的2項所對應的2幅立體圖像的主觀評價結果，p為偏好概率，表示參與評價的N名觀察者中有比例為p的觀察者認為As、Bs、Cs、Ds、Es5項中值為1的項所對應的立體圖像的質量要優於值為-1的項所對應的立體圖像；⑦根據回歸矩陣建立廣義線性模型框架下的Thurstone模型，Thurstone模型的形式為:①—乂p)=aXAs+bXBs+cX(;+dXDs+eXEs，其中，a、b、c、d和e分別為對應於立體圖像SAA、S妒SAC、SAD和SAE的Z分數，且e=0，1(p)為二項分布的概率函數的反函數；然後將回歸矩陣數據代入Thurstone模型進行回歸分析得到a、b、c、d的估計值，分別記為aeSt、b"t、ceSt和^st，並令e的估計值eest=e=0;⑧逐一計算Z分數對a和b、a和c、a和d及a和e的置信區間，Z分數對a和b的置信區間為aest-best-B0UND<a_b<aest_best+B0UND，Z分數對a和c的置信區間為aest-cest-B0UND<a_c<aest_cest+B0UND，Z分數對a和d的置信區間為aest-dest-B0UND<a_d<aest-dest+B0UND，Z分數對a和e的置信區間為aest-eest_B0UND<a_e15，則N二15，否則，N二51-(QPf1)+1。在本實施例中，對於4幅QP^分別為24、31、37和41的A質量點的左視點圖像，其對應的採用N個不同的編碼量化參數進行編碼的右視點圖像的編碼量化參數互有重疊，因此，對於重複的右視點圖像編碼量化參數，編碼只需進行一次即可。②從採用編碼量化參數QPf1、QP。QPJ1進行編碼得到的三幅質量各不相同的右視點圖像中選取一幅採用客觀質量評價標準評價時質量與A質量點的左視點圖像LA的質量最為接近的右視點圖像，並將該選定的右視點圖像定義為A質量點的右視點圖像，記為RA，將A質量點的右視點圖像RA編碼採用的編碼量化參數記為QPKA，將A質量點的左視點圖像LA和A質量點的右視點圖像RA所構成的最優立體圖像記為SM;記N幅質量各不相同的右視點圖像中編碼量化參數大於QPra的右視點圖像的數量為M幅，將A質量點的左視點圖像LA與M幅採用大於QPM的編碼量化參數編碼得到的右視點圖像一一構成M幅立體圖像，記為立體圖像Sm，1《m《M，Sm為由A質量點的左視點圖像LA和採用編碼量化參數QPKA+m編碼得到的右視點圖像所構成的立體圖像。在本實施例中，對於圖l所示的測試圖像，當其左視點圖像的QP^分別為24、31、37和41時，按本步驟實施，得到相應的QPKA也分別為24、31、37、41，即本實施例中左右視點圖像採用相同的編碼量化參數時左右視點圖像的質量最為接近。這裡選取一幅採用客觀質量評價標準評價時質量與A質量點的左視點圖像LA的質量最為接近的右視點圖像的選擇準則為A質量點的左視點圖像LA的峰值信噪比與採用不同的編碼量化參數進行編碼所獲得的質量各不相同的右視點圖像的峰值信噪比(PSNR)數值最為接近的右視點圖像。③組織參與進行圖像主觀質量評價的觀察者若干名，先將m=1時的立體圖像Sm作為當前待評價立體圖像，然後將內容相同但質量不同的最優立體圖像SM和當前待評價立體圖像Sm同時播放在屏幕上，要求每位觀察者對這2幅立體圖像的質量進行獨立評價，看觀察者是否能辨別出這2幅立體圖像的質量差異，並記錄下每位觀察者對這2幅立體圖像的質量的評價結果，再將m加1後的立體圖像Sm作為當前待評價立體圖像，重複上述評價過程，直至m>M時結束評價過程；然後根據所有觀察者的評價結果選擇B、C、D、E另外4個質量點的右視點圖像，選擇方法如下若在某立體圖像Sm與最優立體圖像SM對比顯示時大多數觀察者都不能分辨出該Sm與SM的質量差異，則將該Sm對應的右視點圖像定義為B質量點的右視點圖像，記為RB，並將該立體圖像Sm記為SAB，將B質量點的右視點圖像編碼採用的編碼量化參數記為QPKB;而若在某立體圖像Sm與最優立體圖像SAA對比顯示時大多數觀察者都可以分辨出該Sm與SAA的質量差異，則將該Sm對應的右視點圖像定義為E質量點的右視點圖像，記為RE，並將該立體圖像Sm記為SAE，將E質量點的右視點圖像編碼採用的編碼量化參數記為QPKE;再在B與E質量點的2幅右視點圖像之間等量化步長選取C質量點和D質量點的右視點圖像Rc和RD，即若記C質量點和D質量點的右視點圖像編碼採用的編碼量化參數為QP和QP,則有(QPkb-QP)"(QPK-QPKD)"(QPMrQPj，將A質量點的左視點圖像LA和C質量點的右視點圖像Rc所構成的立體圖像記為SAC，將A質量點的左視點圖像LA和D質量點的右視點圖像RD所構成的立體圖像記為Sffl。表l"AltMoabit"測試圖像的A質量點的左視點圖像和五個不同質量的右視點圖像所對應的峰值信噪比和編碼量化參數tableseeoriginaldocumentpage10表l給出了圖l所示的測試圖像的四個不同質量的左視點圖像(即四幅不同質量的A質量點的左視點圖像LA)以及它們各自所對應的A、B、C、D、E五個質量點的右視點圖像的峰值信噪比(PSNR)和對應的編碼量化參數QP。QPKA、QP^QP、QPKD、QP^。在本實施例中，所述的在某立體圖像Sm與最優立體圖像SM對比顯示時大多數觀察者都不能分辨出該Sm與SM的質量差異是指75%以上的觀察者都不能分辨其質量差異，所謂大多數觀察者都可以分辨出該Sm與SAA的質量差異是指75%以上的觀察者都能夠分辨其質量差異。④主觀感知實驗是研究立體視覺質量變化掩蔽效應閾值的最有效的途徑。研究主觀感知閾值需要使用恰當的心理學實驗方法，常用的心理學實驗方法有兩兩對比法和階梯法。本發明分析方法主要採用兩兩對比法進行心理學測試，即同時顯示兩幅內容完全相同的立體圖像，它們的左視點圖像質量相同，但它們的右視點圖像質量有好有壞，心理學實驗中要求觀察者進行觀測比較，指出哪幅立體圖像的立體主觀感知質量較高。在本實施例中，立體顯示設備為雙目立體投影顯示系統，需要觀察者佩戴偏振光眼鏡，實驗採用兩兩對比法，將步驟③中獲得的五幅質量逐次遞減的立體圖像SM、SAB、SAC、Sffl和S^兩兩組合，共可組成十組不同的立體圖像對比組合，即分別為SmSSmSac、SmS皿、SmSae、S^Sac、S^Sad、SabSae、SACSffl、SACSAE和S仙SAE，在立體圖像對比組合中的兩幅立體圖像的左視點圖像質量相同，但右視點圖像的質量不相同；隨機播放這十組立體圖像對比組合，播放時，同一立體圖像對比組合中的兩幅立體圖像同時播放在屏幕上供觀察者進行對比，以確認兩幅立體圖像的質量孰優孰劣亦或是質量相同，每一名觀察者分別對所有立體圖像對比組合中的兩幅立體圖像兩兩對比進行獨立的主觀質量評價，被告知從立體圖像對比組合中的2幅立體圖像中選出質量相對較好的那一幅立體圖像，即從2幅立體圖像中直接確定一幅質量好的立體圖像，並記錄下評價數據。本實施例中，觀察者每次比較時，立體圖像播放40秒，評價打分時間10秒。對圖1所示的測試圖像所對應的4幅不同質量的A質量點的左視點圖像，觀察者需共對比4X10=40組立體圖像對比組合中各對立體圖像的質量。⑤對於十組立體圖像對比組合中的某個立體圖像對比組合，令Qi和Qj分別表示該立體圖像對比組合中的2幅立體圖像分別對應的2幅不同的右視點圖像的質量點，QiG{A，B，C，D，E}，QjG{A，B，C，D，E}，且Qi#Q」；然後根據記錄的評價數據統計出參與圖像主觀質量評價的觀察者認為Qi質量點的右視點圖像對應的立體圖像的質量高於Qj質量點的右視點圖像對應的立體圖像的質量的概率，記為Pij，表示比例為Pij的觀察者認為Qi質量點的右視點圖像對應的立體圖像的質量高於Qj質量點的右視點圖像對應的立體圖像的質量；再根據十組立體圖像對比組合各自的概率Pij，構造十組立體圖像對比組合的偏好概率矩陣。表2給出了"AltMoabit"測試圖像在QP^=24時的由SAA、SAB、SAC、SAD和SAE所構成的十組立體圖像對比組合的偏好概率矩陣；表3給出了"AltMoabit"測試圖像在QP^=31時的由S『S^Sac、S皿和S^所構成的十組立體圖像對比組合的偏好概率矩陣；表4給出了"AltMoabit"測試圖像在QP^=37時的由SM、SAB、SAC、SAD和SAE所構成的十組立體圖像對比組合的偏好概率矩陣；表5給出了"AltMoabit"測試圖像在QP^=41時的由SAA、SAB、SAC、SAD和SAE所構成的十組立體圖像對比組合的偏好概率矩陣。表2"AltMoabit"測試圖像所對應的不同質量的立體圖像的偏好概率矩陣(QP^=24)tableseeoriginaldocumentpage11表3"AltMoabit"測試圖像所對應的不同質量的立體圖像的偏好概率矩陣(QP:=31)tableseeoriginaldocumentpage11表4"AltMoabit"測試圖像所對應的不同質量的立體圖像的偏好概率矩陣(QP:=37)tableseeoriginaldocumentpage12⑥為在廣義線性模型框架下建立Thurstone模型，衡量編碼量化參數對立體圖像的人眼最小可辨變化的影響，首先需要確定合適的回歸矩陣，回歸矩陣可由偏好概率矩陣來構造。構造得到的回歸矩陣的總行數為十行，每一行對應一組立體圖像對比組合，回歸矩陣的每一行包括7項數據，分別記為N、As、Bs、Cs、Ds、Es、p，其中，N為參與對該組立體圖像對比組合進行主觀質量評價的觀察者人數；AS、Bs、Cs、Ds、Es分別對應於由A質量點的左視點圖像LA和A、B、C、D、E5個質量點的右視點圖像分別構成的立體圖像SAA、SAB、SAC、S仙和S對於回歸矩陣中的某一行，如果AS、BS、CS、DS、ES5項中的3項值為0，1項值為l，另1項值為-1，則表示該行數據反映的是非零的2項所對應的2幅立體圖像的主觀評價結果；p為偏好概率，表示參與評價的N名觀察者中有比例為p的觀察者認為AS、BS、CS、DS、ES5項中值為1的項所對應的立體圖像的質量要優於值為-1的項所對應的立體圖像；回歸矩陣的十行，對應於立體圖像Saa、S旭、Sac、Sa。和SAE十種不同的兩兩組合，即ASBS、ASCS、ASDS、ASES、BSCS、BSDS、BSES、CSDS、CSES、DSES十種組合方式。表6"AltMoabit"的5幅不同質量的右視點圖像對應的立體圖像的回歸矩陣(QP^=24)tableseeoriginaldocumentpage13例如，由表2所示的偏好概率矩陣構造的回歸矩陣如表6所示。表6中第一行數據反映了某次實驗比較"AltMoabit"測試圖像在左視點編碼量化參數QP^=24時A質量點和B質量點的右視點圖像分別對應的立體圖像的質量對比結果，其中N=20，As=1，Bs=-1，CS=Ds=Es=O，p=0.75，表示參與評價的20名觀察者中有75%的人認為A質量點的右視點圖像對應的立體圖像SAA的質量要優於B質量點的右視點圖像對應的立體圖像Sffl。由表3表5所示的偏好概率矩陣也可以構造其相應的回歸矩陣。⑦在確定了合適的回歸矩陣後，可根據回歸矩陣建立廣義線性模型框架下的Thurstone模型，Thurstone模型的形式為①—、p)=aXAs+bXBs+cXCs+dXDs+eXEs，其中，a、b、c、d和e分別為對應於立體圖像SAA、S妒SAC、SAD和SAE的Z分數，需要注意的是，為了衡量採用不同編碼量化參數得到的質量不同的立體圖像Sm、S^S^、S皿和SAE之間的Z分數的差異，SAE的Z分數在此處設為0，即e=0，1(p)為二項分布的概率函數的反函數；然後將回歸矩陣的數據代入Thurstone模型進行回歸分析得到a、b、c、d的估計值，分別記為aest、best、cest和cfst，並令e的估計值eest=e=0。例如，對於"AltMoabit"測試圖像，在其左視點圖像採用編碼量化參數QP^=24時，由表6所示的回歸矩陣分別可得到10個方程，從而可得出對應的a、b、c、d的估計值，由於e=0，因此其估計值也為0。圖2a給出了根據表2的偏好概率矩陣所對應的如表6所示的回歸矩陣構建的Thurstone模型回歸分析後得到的立體圖像S^S^S^S^和SAE對應的Z分數的估計值，圖3a給出了根據表3的偏好概率矩陣對應的回歸矩陣構建的Thurstone模型回歸分析後得到的立體圖像SM、SAB、SAC、Sffl和SAE對應的Z分數的估計值，圖4a給出了根據表4的偏好概率矩陣對應的回歸矩陣構建的Thurstone模型回歸分析後得到的立體圖像Sm、SSac、S皿和SAE對應的Z分數的估計值，圖5a給出了根據表5的偏好概率矩陣對應的回歸矩陣構建的Thurstone模型回歸分析後得到的立體圖像SAA、SAB、SAC、SAD和SAE對應的Z分數的估計值，在圖2a、圖3a、圖4a、圖5a中立體圖像SAA、S妒SAC、SAD和SAE的Z分數的估計值標在水平軸的對應坐標上，圖中SAE對應的Z分數為0，即e=0。⑧為了比較採用不同的編碼量化參數編碼得到的立體圖像之間的質量差異是否為概率事件，需計算a、b、c、d和e各個Z分數之間的置信區間。在此，採用改進的Scheffe模型，做Z分數對差值的零假設(nullhypothesis)檢驗，以對比和檢驗所獲得的Z分數是否有顯著性的差異。具體方法如下逐一計算Z分數對a和b、a和c、a和d及a和e的置信區間，Z分數對a和b的置信區間為aest-best-B0UND<a_b<aest_best+B0UND，Z分數對a和c的置信區間為aest-cest-B0UND<a_c<aest-Cest+B0UND，Z分數對a和d的置信區間為aest-dest-B0UND<a-d<aest-dest+B0UND，Z分數對a和e的置信區間為aest-eest_B0UND<a_e<aest-eest+B0UND，BOUND=(7d2im(l—cr))"2(xrCOVjc)1/2，xdim2為卡方分布，其自由度dim=4，a表示分位數，x表示相應的檢驗向量，xT為x的轉置矩陣，COV為隨機向量(a，b，c，d)的協方差矩陣。在本實施例中，計算了5幅立體圖像SM、SAB、SAC、SAD和SAE的所有十種不同的立體圖像對比組合的置信區間以判斷所有立體圖像對比組合中的兩個不同質量點的右視點圖像對應的立體圖像質量差異是否可分辨。事實上對於非對稱立體視頻編碼來說，希望測定的是當左視點圖像質量固定不變時，人眼可感知立體圖像質量變化時右視點圖像質量的臨界值，以確定非對稱立體視頻編碼時右視點圖像質量相對於左視點圖像質量可下降的最大變化範圍，因此，具體實施人眼最小可辨變化測定時，可只簡單地如本步驟所述逐一計算a和b、a和c、a和d及a和e分數對的置信區間，以判斷立體圖像SAA分別與立體圖像SAB、SAC、SAD和S^之間的圖像質量差異是否可分辨即可。這裡，分位數a為0.05。對於a和b分數對，為比較它們的差異，相應的檢驗向量為x=(1，-l，0，0)t，a和b分數對的置信區間給出了a-b的差值的上下界。對於a和c分數對，相應的檢驗向量為x二(1，0，-1，0)T;對於a和d分數對，相應的檢驗向量為x=(l，O，O，-l)t;對於a和e分數對，相應的檢驗向量為x=(I，O，O，O)t。⑨對於某一Z分數對，如果數值0不在其置信區間內，則認為該Z分數對是具有顯著性差異的，也即該Z分數對所對應的2幅立體圖像的質量差異是可分辨的；反之則表明該Z分數對所對應的2幅立體圖像的質量差異是不可分辨的，也就是說觀察者認為這2幅立體圖像的圖像質量是相同的。因此，可以按英文字母順序排列b、c、d和e，依次判斷Z分數對a和b、a和c、a和d及a和e的每一對中所對應的2幅立體圖像的質量是否是可分辨的，方法如下定義當前正在處理的Z分數對為a和q，qG{b，c，d，e}，判斷數值0是否在區間(aest-qest-B0UND，aest-qest+B0UND)內，如果是，則認為a和q是不具有顯著性差異的，表示a所對應的最優立體圖像SM與由A質量點的左視點圖像和q對應的質量點的右視點圖像構成的立體圖像SAQ(QG{B，C，D，E})之間的圖像質量差異是不可分辨的，否則，則認為a和q是具有顯著性差異的，表示a所對應的最優立體圖像SAA與由A質量點的左視點圖像和q對應的質量點的右視點圖像構成的立體圖像SAQ之間的圖像質量差異是可分辨的。若a所對應的最優立體圖像SAA與由A質量點的左視點圖像和q(q為b、c、d、e中的某一個)對應的質量點的右視點圖像構成的立體圖像SAQ之間的圖像質量差異是可分辨的，而a所對應的最優立體圖像SM與由A質量點的左視點圖像和以英文字母順序排在q對應的質量點之前的各個質量點所對應的右視點圖像構成的立體圖像之間的圖像質量差異均是不可分辨的，則定義a所對應的立體圖像SAA與由A質量點的左視點圖像和q對應的質量點的右視點圖像構成的立體圖像SAQ的信噪比差值為測試圖像的左視點圖像採用預設的編碼量化參數(M\編碼時的最小可辨變化值。圖2b為根據圖2a所示的立體圖像S^S^S^S^和SAE的Z分數的估計值判斷得到的觀察者對於不同質量的立體圖像S『S^Sac、S皿和SAE的主觀質量評判結果，圖3b為根據圖3a所示的立體圖像SAA、SAB、SAC、SAD和SAE的Z分數的估計值判斷得到的觀察者對於不同質量的立體圖像SAA、SAB、SAC、SAD和SAE的主觀質量評判結果，圖4b為根據圖4a所示的立體圖像SM、SAB、SAC、SAD和SAE的Z分數的估計值判斷得到的觀察者對於不同質量的立體圖像SM、S旭、SAC、Sffl和SAE的主觀質量評判結果，圖5b為根據圖5a所示的立體圖像SAA、SAB、SAC、Sffl和SAE的Z分數的估計值判斷得到的觀察者對於不同質量的立體圖像SAA、Sffl、SAC、Sffl和SAE的主觀質量評判結果。圖2b、圖3b、圖4b、圖5b中對左視點圖像質量相同但右視點圖像質量不同的五幅立體圖像按照其各質量點的右視點圖像對應的Z分數進行了排序，如果某兩個質量點的右視點圖像對應的立體圖像之間無顯著性差異，則在圖中用下劃線相連。例如圖2b表明，當測試圖像"AltMoabit"的左視點圖像的編碼量化參數QP^=24(PSNR=41.437dB)，右視點圖像採用不同的編碼量化參數所獲得的不同質量點的右視點圖像與相同的左視點圖像組成立體圖像時，A與D、A與B、A與C、D與B、D與C、B與C質量點的右視點圖像對應的立體圖像相比較時，兩個質量點的右視點圖像對應的立體圖像無顯著性差異，但E質量點與其它A、D、B、C四個質量點的右視點圖像對應的立體圖像質量則存在顯著性差異，由於A質量點的右視點圖像所採用的編碼量化參數QPKA=24，PSNR=41.569dB，E質量點的右視點圖像所採用的編碼量化參數QPKE=34，PSNR=36.409dB，當左視點圖像的質量保持不變，而右視點圖像的質量從A質量點下降到E質量點時，人眼可察覺右視點圖像質量變化所造成的立體圖像主觀感知的變化，因此，此時人眼對非對稱立體視頻編碼的可感知的最小可辨變化值大約為APSNR=41.569-36.409=5.160dB。圖3b則表明，當"AltMoabit"測試圖像的左視點圖像的編碼量化參數QP^=31(PSNR=37.968dB)，右視點圖像採用不同的編碼量化參數所獲得的不同質量點的右視點圖像與相同的左視點圖像組成立體圖像時，A與B、A與C、A與D、B與C、B與D、C與D、B與E、C與E、D與E質量點的右視點圖像對應的立體圖像相比較時，兩個質量點的右視點圖像分別所對應的立體圖像無顯著性差異，但A與E質量點的右視點圖像對應的立體圖像則有顯著性差異，由於A質量點的右視點圖像所採用的編碼量化參數QPKA=31，PSNR=38.139dB，E質量點的右視點圖像所採用的編碼量化參數QPKD=39，PSNR=33.509dB，當左視點圖像質量保持不變，而右視點圖像質量從A質量點下降到E質量點時，人眼可察覺右視點質量變化所造成的立體圖像主觀感知的變化，因此，此時人眼對非對稱立體視頻編碼的可感知的最小可辨變化值大約為APSNR=38.139-33.509=4.630dB。圖4b與圖3b相類似，只不過此時人眼對非對稱立體視頻編碼的可感知的最小可辨變化值大約為APSNR=A質量點的右視點圖像的PSNR-D質量點的右視點圖像的PSNR，圖5b與圖3b類似。權利要求一種立體圖像的人眼最小可辨變化分析方法，其特徵在於包括以下步驟①首先取一幅立體圖像作為測試圖像，然後利用H.264視頻編碼標準，採用一個預設的編碼量化參數對測試圖像的左視點圖像以幀內編碼方式進行編碼，記對測試圖像的左視點圖像進行編碼所採用的預設的編碼量化參數為QPL，將編碼得到的左視點圖像定義為A質量點的左視點圖像，記為LA，再採用N個不同的編碼量化參數分別對測試圖像的右視點圖像以幀內編碼方式進行編碼，獲得所需的N幅質量各不相同的右視點圖像，其中，對測試圖像的右視點圖像進行編碼所採用的N個不同的編碼量化參數分別為QPL-1、QPL、QPL+1、QPL+2、……，如果(51-(QPL-1)+1)＞15，則N＝15，否則，N＝51-(QPL-1)+1；②從採用編碼量化參數QPL-1、QPL、QPL+1進行編碼得到的3幅質量各不相同的右視點圖像中選取一幅採用客觀質量評價標準評價時質量與A質量點的左視點圖像LA的質量最為接近的右視點圖像，並將該選定的右視點圖像定義為A質量點的右視點圖像，記為RA，將A質量點的右視點圖像RA編碼採用的編碼量化參數記為QPRA，將A質量點的左視點圖像LA和A質量點的右視點圖像RA所構成的最優立體圖像記為SAA；記N幅質量各不相同的右視點圖像中編碼量化參數大於QPRA的右視點圖像的數量為M幅，將A質量點的左視點圖像LA與M幅採用大於QPRA的編碼量化參數編碼得到的右視點圖像一一構成M幅立體圖像，記為Sm，1≤m≤M，Sm為由A質量點的左視點圖像LA和採用編碼量化參數QPRA+m編碼得到的右視點圖像所構成的立體圖像；③組織參與進行圖像主觀質量評價的觀察者若干名，先將m＝1時的立體圖像Sm作為當前待評價立體圖像，然後將內容相同但質量不同的最優立體圖像SAA和當前待評價立體圖像Sm同時播放在屏幕上，要求每位觀察者對這2幅立體圖像的質量進行獨立評價，看觀察者是否能辨別出這2幅立體圖像的質量差異，並記錄下每位觀察者對這2幅立體圖像的質量的評價結果，再將m加1後的立體圖像Sm作為當前待評價立體圖像，重複上述評價過程，直至m＞M時結束評價過程；根據所有觀察者的評價結果選擇B、C、D、E另外4個質量點的右視點圖像，選擇方法如下如果立體圖像Sm與最優立體圖像SAA對比後大多數觀察者都不能分辨出該Sm與SAA的質量差異，則將該Sm對應的右視點圖像定義為B質量點的右視點圖像，記為RB，並將該立體圖像Sm記為SAB，將B質量點的右視點圖像RB編碼採用的編碼量化參數記為QPRB；如果立體圖像Sm與立體圖像SAA對比後大多數觀察者都可以分辨出該Sm與SAA的質量差異，則將該Sm對應的右視點圖像定義為E質量點的右視點圖像，記為RE，並將該立體圖像Sm記為SAE，將E質量點的右視點圖像RE編碼採用的編碼量化參數記為QPRE；再在B質量點的右視點圖像RB與E質量點的右視點圖像RE之間等量化步長選取C質量點的右視點圖像和D質量點的右視點圖像，將C質量點的右視點圖像記為RC，將C質量點的右視點圖像RC編碼採用的編碼量化參數記為QPRC，將D質量點的右視點圖像記為RD，將D質量點的右視點圖像RD編碼採用的編碼量化參數記為QPRD，(QPRB-QPRC)≈(QPRC-QPRD)≈(QPRD-QPRE)，將A質量點的左視點圖像LA和C質量點的右視點圖像RC所構成的立體圖像記為SAC，將A質量點的左視點圖像LA和D質量點的右視點圖像RD所構成的立體圖像記為SAD；④將經上述步驟獲得的5幅質量逐次遞減的立體圖像SAA、SAB、SAC、SAD和SAE兩兩組合，共組成十組不同的立體圖像對比組合，分別為SAASAB、SAASAC、SAASAD、SAASAE、SABSAC、SABSAD、SABSAE、SACSAD、SACSAE和SADSAE；隨機播放這十組立體圖像對比組合，要求每位觀察者分別對所有立體圖像對比組合中的2幅立體圖像兩兩對比進行獨立的主觀質量評價，指出其認為立體圖像對比組合中的2幅立體圖像質量相對較好的立體圖像，並記錄評價數據；⑤對於十組立體圖像對比組合中的其中一組立體圖像對比組合，令Qi和Qj分別表示該立體圖像對比組合中的2幅立體圖像分別對應的2幅不同的右視點圖像的質量點，Qi∈{A，B，C，D，E}，Qj∈{A，B，C，D，E}，且Qi≠Qj；然後根據記錄的評價數據統計出參與圖像主觀質量評價的觀察者認為Qi質量點的右視點圖像對應的立體圖像的質量高於Qj質量點的右視點圖像對應的立體圖像的質量的概率，記為pij，表示比例為pij的觀察者認為Qi質量點的右視點圖像對應的立體圖像的質量高於Qj質量點的右視點圖像對應的立體圖像的質量；再根據十組立體圖像對比組合各自的概率pij，構造十組立體圖像對比組合的偏好概率矩陣；⑥根據偏好概率矩陣構造適用於建立廣義線性模型框架下的Thurstone模型所需的回歸矩陣，其中，回歸矩陣的總行數為10行，每一行對應一組立體圖像對比組合，每行包括7項數據，分別記為N、As、Bs、Cs、Ds、Es、p，其中，N為參與對該組立體圖像對比組合進行主觀質量評價的觀察者人數，As、Bs、Cs、Ds、Es分別對應於由A質量點的左視點圖像LA和A、B、C、D、E5個質量點的右視點圖像分別構成的立體圖像SAA、SAB、SAC、SAD和SAE，對於回歸矩陣中的其中一行，如果As、Bs、Cs、Ds、Es5項中的3項值為0，1項值為1，另1項值為-1，則表示該行數據反映的是非零的2項所對應的2幅立體圖像的主觀評價結果，p為偏好概率，表示參與評價的N名觀察者中有比例為p的觀察者認為As、Bs、Cs、Ds、Es5項中值為1的項所對應的立體圖像的質量要優於值為-1的項所對應的立體圖像；⑦根據回歸矩陣建立廣義線性模型框架下的Thurstone模型，Thurstone模型的形式為Φ-1(p)＝a×As+b×Bs+c×Cs+d×Ds+e×Es，其中，a、b、c、d和e分別為對應於立體圖像SAA、SAB、SAC、SAD和SAE的Z分數，且e＝0，Φ-1(p)為二項分布的概率函數的反函數；然後將回歸矩陣數據代入Thurstone模型進行回歸分析得到a、b、c、d的估計值，分別記為aest、best、cest和dest，並令e的估計值eest＝e＝0；⑧逐一計算Z分數對a和b、a和c、a和d及a和e的置信區間，Z分數對a和b的置信區間為aest-best-BOUND＜a-b＜aest-best+BOUND，Z分數對a和c的置信區間為aest-cest-BOUND＜a-c＜aest-cest+BOUND，Z分數對a和d的置信區間為aest-dest-BOUND＜a-d＜aest-dest+BOUND，Z分數對a和e的置信區間為aest-eest-BOUND＜a-e＜aest-eest+BOUND，χdim2為卡方分布，其自由度dim＝4，α表示分位數，x表示相應的檢驗向量，xT為x的轉置矩陣，COV為隨機向量(a，b，c，d)的協方差矩陣；⑨按英文字母順序排列b、c、d和e，依次判斷Z分數對a和b、a和c、a和d及a和e的每一對中所對應的2幅立體圖像的質量是否是可分辨的，具體過程如下定義當前正在處理的Z分數對為a和q，q∈{b，c，d，e}，判斷數值0是否在區間(aest-qest-BOUND，aest-qest+BOUND)內，如果是，則認為a和q是不具有顯著性差異的，表示a對應的最優立體圖像SAA與由A質量點的左視點圖像和q對應的質量點的右視點圖像構成的立體圖像SAQ之間的圖像質量差異是不可分辨的，否則，認為a和q是具有顯著性差異的，表示a對應的最優立體圖像SAA與由A質量點的左視點圖像和q對應的質量點的右視點圖像構成的立體圖像SAQ之間的圖像質量差異是可分辨的，其中，Q∈{B，C，D，E}；⑩如果a對應的最優立體圖像SAA與由A質量點的左視點圖像和q對應的質量點的右視點圖像構成的立體圖像SAQ之間的圖像質量差異是可分辨的，而a對應的最優立體圖像SAA與由A質量點的左視點圖像和以英文字母順序排在q對應的質量點之前的各個質量點所對應的右視點圖像構成的立體圖像之間的圖像質量差異均是不可分辨的，則定義a對應的最優立體圖像SAA與由A質量點的左視點圖像和q對應的質量點的右視點圖像構成的立體圖像SAQ的信噪比差值為測試圖像的左視點圖像採用預設的編碼量化參數QPL編碼時的最小可辨變化值，其中，q∈{b，c，d，e}。FSA00000029339200031.tif全文摘要本發明公開了一種立體圖像的人眼最小可辨變化分析方法，通過廣義線性模型框架下的Thurstone模型對觀察者主觀評價數據進行回歸分析，以在左視點圖像質量固定不變的情況下，測定人眼可感知立體圖像質量變化時右視點圖像質量下降的臨界值，從而確定非對稱立體視頻編碼時右視點圖像質量相對左視點圖像質量可下降的最大變化範圍，使得既能通過降低右視點圖像質量來達到提高編碼效率的目的，又能利用立體視覺掩蔽效應使觀察者不能感知到右視點圖像質量下降的事實，從而保證了立體圖像的整體質量。文檔編號H04N7/26GK101795411SQ201010121958公開日2010年8月4日申請日期2010年3月10日優先權日2010年3月10日發明者王旭,蔣剛毅,鬱梅申請人:寧波大學