運動感知的雙目立體視頻舒適度獲取方法
2023-05-07 19:33:16 1
運動感知的雙目立體視頻舒適度獲取方法
【專利摘要】本發明公開了一種運動感知的雙目立體視頻舒適度獲取方法，輸入的雙目視頻進行雙目視差和運動速度分析，計算視頻中每個像素點的雙目視差d，視平面方向的運動速度vxy和深度方向的運動速度vz；S2、根據所述像素點的參數(d,vxy,vz)，計算相應的舒適度值c；S3、根據每個像素點計算出的舒適度值，計算整幀舒適度值；S4、根據每幀的舒適度值，計算整個視頻的舒適度值。按照本發明的步驟來計算雙目立體視頻的舒適度，能夠很好的考慮正負深度範圍和物體運動對舒適度造成的影響，獲得更準確的舒適度估計。
【專利說明】運動感知的雙目立體視頻舒適度獲取方法
【技術領域】
[0001]本發明涉及數字圖像處理【技術領域】，特別涉及一種運動感知的雙目立體視頻舒適度獲取方法。
【背景技術】
[0002]在計算機圖形學領域中，雙目立體圖像和視頻是被廣泛研究和使用的立體媒體格式。雙目立體技術通過在屏幕上向左右眼展示不同的圖像來實現立體成像。由於成像技術中視角-聚焦的不匹配，導致人們在觀看雙目立體視頻時，會產生不同程度的不舒適感。這種不舒適感是當前雙目立體技術中存在的一個重要問題，因此，為了避免人們在觀看雙目立體視頻時產生嚴重的不舒適感，甚至無法進行雙目立體融合，如何能夠對雙目立體視頻進行舒適度衡量具有重要的研究和實際意義。
[0003]傳統的雙目立體成像原理研究通過實驗方式揭示了導致人眼產生不舒適感和影響雙目立體成像的一些因素。相關研究表明，雙目立體視差、物體運動速度對不舒適程度有較大影響，而且雙目立體視差越大，物體運動速度越大，不舒適程度越大，但現有雙目視覺領域相關工作主要關注在這些因素的定性關係描述，缺乏定量關係分析，因此無法在實際工程中直接應用。2012年Jung等人通過實驗提出了一種根據基於雙目視差和運動速度計算不舒適度的方法，但該方法在實驗時對雙目視差和不同方向的運動速度進行獨立的實驗分析，沒有考慮這些因素之間的相互關係，而且該計算方法沒有對正負雙目視差進行區分。我們通過對雙目視差和物體三維運動速度整體參數空間建模，獲得更為準確和普適的計算方法。
【發明內容】
[0004](一)要解決的技術問題
[0005]本發明所要解決的技術問題是:如何提供一種能夠根據雙目立體視頻中物體的運動的速度和視差的變化，計算觀測該雙目立體視頻時不舒適程度的方法。
[0006](二)技術方案
[0007]為解決上述問題，本發明提供一種運動感知的雙目立體視頻舒適度獲取方法，包括以下步驟:S1、對輸入的雙目視頻進行雙目視差和運動速度分析，計算視頻中每個像素點的雙目視差d，視平面方向的運動速度vxy和深度方向的運動速度VZ ;S2、根據所述像素點的參數(d, vxy, vz),計算相應的舒適度值c ;S3、根據每個像素點計算出的舒適度值,計算整幀舒適度值；S4、根據每幀的舒適度值，計算整個視頻的舒適度值。
[0008]優選地，所述步驟SI包括:首先根據雙目視頻通過雙目匹配來計算每個像素點處的雙目視差值，然後使用光流計算每個像素點出視平面方向的運動速度vxy和深度方向的運動速度VZ。
[0009]優選地，所述步驟S2包括:根據步驟SI中計算得到的參數(c，vxy, vz)，根據通過實驗擬合的舒適度計算公式，計算該像素點處的舒適度值c:[0010]c=-0.0556*vxy_0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz_0.6932*d+4.6567(d>=0)，
[0011]c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz_0.0043*d*vxy_0.1001*d*vz+0.2303*d+4.6567(d〈0)。
[0012]優選地，所述步驟S3中，使用保守的估計策略，用每ー幀中舒適度值最低的像素對應的舒適度值，作為該幀的舒適度值。
[0013]優選地，所述步驟S4中，對於視頻中的ー個序列幀，使用所有幀舒適度值的中位數作為整個視頻的舒適度值。
[0014](三)有益效果
[0015]按照本發明的步驟來計算雙目立體視頻的舒適度，能夠很好的考慮正負深度範圍和物體運動對舒適度造成的影響，獲得更準確的舒適度估計。
【專利附圖】
【附圖說明】
[0016]圖1為依照本發明實施例的運動感知的雙目立體視頻舒適度獲取方法的流程示意圖。
【具體實施方式】
[0017]下面結合附圖和實施例，對本發明的【具體實施方式】作進ー步詳細描述。以下實施例用於說明本發明，但不用來限制本發明的範圍。
[0018]參照附圖1，為本發明的方法流程圖。輸入數據為雙目立體視頻，輸出為該雙目立體視頻的舒適度估計值。圖中所表示的步驟為:
[0019]S1.計算視頻中像素點的參數:通過分析輸入的左、右雙目視頻，首先通過雙目匹配算法計算每個像素點處的雙目視差山然後對連續幀使用光流算法，計算該像素點處的視平面方向的運動速度vxy和深度方向的運動速度vz;
[0020]S2.使用公式計算該像素點處的舒適度值:將上述計算參數帶入如下公式計算該像素點處的舒適度值c:
[0021]c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz_0.6932*d+4.6567(d>=0)
[0022]c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz_0.0043*d*vxy_0.1001*d*vz+0.2303*d+4.6567(d〈0)；
[0023]S3.圖像幀的舒適度計算:本步驟根據上步驟中計算出來的每像素點處的舒適度值，使用保守策略，採用該幀裡面舒適度值最低的像素點的舒適度值，作為該圖像幀的舒適度值；
[0024]S4.整段視頻的舒適度計算:本步驟根據上步驟中計算出來的每個圖像幀的舒適度值，使用所有數值中的中位數，作為整段視頻的舒適度值。
[0025]通過結合附圖對本發明具體實施例的描述，本發明的其它方面及特徵對本領域的技術人員而言是顯而易見的。
[0026]以上所述僅是本發明的優選實施方式，應當指出，對於本【技術領域】的普通技術人員來說，在不脫離本發明技術原理的前提下，還可以做出若干改進和替換，這些改進和替換也應視為本發明的保護範圍。
【權利要求】
1.一種運動感知的雙目立體視頻舒適度獲取方法，其特徵在於，包括以下步驟: 51、對輸入的雙目視頻進行雙目視差和運動速度分析，計算視頻中每個像素點的雙目視差d,視平面方向的運動速度vxy和深度方向的運動速度VZ ； 52、根據所述像素點的參數(d,vxy, vz),計算相應的舒適度值c ； 53、根據每個像素點計算出的舒適度值，計算整幀舒適度值； 54、根據每幀的舒適度值，計算整個視頻的舒適度值。
2.如權利要求1所述的方法，其特徵在於，所述步驟SI包括:首先根據雙目視頻通過雙目匹配來計算每個像素點處的雙目視差值，然後使用光流計算每個像素點出視平面方向的運動速度vxy和深度方向的運動速度vz。
3.如權利要求1或2所述的方法，其特徵在於，所述步驟S2包括:根據步驟SI中計算得到的參數(c，vxy, vz)，根據通過實驗擬合的舒適度計算公式，計算該像素點處的舒適度值c:
c=-0.0556*vxy_0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz_0.6932*d+4.6567(d>=0),
c=_0.0556*vxy_0.6042*vz+0.0191*vxy*vz_0.0043*d*vxy_0.1001*d*vz+0.2303*d+4.6567 (d〈0)o
4.如權利要求3所述的方法，其特徵在於，所述步驟S3中，使用保守的估計策略，用每一幀中舒適度值最低的像素對應的舒適度值，作為該幀的舒適度值。
5.如權利要求4所述的方法，其特徵在於，所述步驟S4中，對於視頻中的一個序列幀，使用所有幀舒適度值的中位數·作為整個視頻的舒適度值。
【文檔編號】H04N13/00GK103595990SQ201310528899
【公開日】2014年2月19日 申請日期:2013年10月30日 優先權日:2013年10月30日
【發明者】胡事民, 杜松沛, 貝倫·馬薩, 迭戈·古鐵雷斯 申請人:清華大學