基於非線性眼優勢視差補償的立體圖像質量評價方法
2023-06-11 03:34:26 2
基於非線性眼優勢視差補償的立體圖像質量評價方法
【專利摘要】本發明提供了一種基於非線性眼優勢視差補償的立體圖像質量評價方法，步驟：第一步、利用2D無參考質量評價方法計算出左眼右眼圖像的質量分數，得到Q(L)，Q(R)；第二步、基於眼優勢模型，給予Q(L)，Q(R)不同的權重，得到第三步、計算左右眼2D圖像質量之間的非線性補償，得到FN；第四步、計算基於顯著性的視差程度補償量，得到FSP；第五步、將加權後的圖像質量與基於顯著性的視差程度補償量FSP相加，並減去非線性補償FN，得到最終的3D無參考質量評價分數。本發明具有優越的預測精度，而且兼具計算複雜度低的特點。
【專利說明】基於非線性眼優勢視差補償的立體圖像質量評價方法
【技術領域】
[0001] 本發明涉及立體圖像質量評價領域，具體地，涉及一種基於非線性補充模型、眼優 勢模型、視差補償模型的無參考立體圖像質量評價方法。
【背景技術】
[0002] 3D成像是一個廣泛的研究領域，從娛樂（包括視頻和遊戲）到專業應用（教育， 醫療等）。與此同時，3D領域也涉及到越來越多的圖像處理技術，對於高效評估3D圖像質 量的需求也愈加顯現。儘管近年來在2D圖像，視頻的質量評價方面已經取得了相當大的成 果，在3D圖像質量評價上的進展仍是屈指可數，這主要是因為人眼對3D圖像和2D圖像的 視覺感知有著很大不同。現有的3D質量評價方法可分為全參考，半參考和無參考三種。全 參考要求全部的原始立體圖像信息，這在實際應用中很難滿足。因此，無參考的3D質量評 價有著更大的應用前景與實際意義，但與此同時也面臨著更多的困難。
[0003] 為此，Akhter 等人 2010 年在《Proceedings of Proc. SPIE》上發表了 "No-reference stereoscopic image quality assessment，'，提出了一種無參考的3D質量 評價方法，它不僅結合了傳統的失真類型（塊效應），而且將視差圖（Disparity map)考慮 在內。這種方法符合人眼對3D圖像的視覺感知。但是它十分依賴於對視差圖的估計，而目 前對於視差圖缺乏深入的理解，準確地計算視差圖也是非常困難的。因此此方法效果一般。
【發明內容】
[0004] 針對現有技術中的缺陷，本發明的目的是本發明提出一種基於非線性補充模型、 眼優勢模型、和以顯著性為基礎的視差補償的無參考立體圖像質量評價方法，有效地提高 了 3D質量評價的準確度。
[0005] 為實現以上目的，本發明提供一種基於非線性眼優勢視差補償的立體圖像質量評 價方法N0SPDM，包括以下步驟 ：
[0006] 第一步、利用2D無參考質量評價方法計算出左眼右眼圖像的質量分數，得到 Q(L)，Q(R);
[0007] 第二步、基於眼優勢模型，給予Q(L)，Q(R)不同的權重，得到Ff ;
[0008] 第三步、計算左右眼2D圖像質量之間的非線性補償，得到Fn ;
[0009] 第四步、計算基於顯著性的視差程度補償量，得到Fsp ;
[0010] 第五步、將加權後的圖像質量Ff與基於顯著性的視差程度補償量Fsp相加，並減 去非線性補償Fn，得到最終的3D無參考質量評價分數N0SPDM。
[0011] 本發明的原理是：儘管人眼對2D，3D圖像的視覺感知有所不同，但2D，3D圖像的質 量仍有著緊密的聯繫。本發明首先利用眼優勢模型，給予右眼圖像質量更大的權重。其次， 本發明利用非線性模型補償左右眼圖像質量整合中的重疊效應，從而建立起了 2D，3D圖像 質量之間的聯繫。與此同時，由於圖像內容與3D質量也有關係。本發明計算出了以顯著性 為基礎的視差偏移量，以補償圖像內容對3D圖像質量的影響。最後，本發明將2D圖像質量， 眼優勢模型，非線性補充模型，以及視差偏移量結合起來，通過線性組合得到了新的D無參 考的質量評價分數。
[0012] 與現有技術相比，本發明具有如下的有益效果：
[0013] 本發明首先利用眼優勢模型給予右眼圖像質量更大的權重。其次，本發明利用非 線性模型來補償左右眼圖像質量整合中的重疊效應。此外，3D圖像質量與不同的圖像內容 相關。因此，本發明計算出了左右眼圖像的視差偏移程度以消除圖像內容的影響。在計算 視差偏移程度時，本發明引入了視覺注意力模型（顯著性模型）以改進方法。實驗結果證 實本發明所述的基於非線性眼優勢視差補償的立體圖像質量評價方法NOSPDM具有優越的 預測精度，而且兼具計算複雜度低的特點。
【專利附圖】
【附圖說明】
[0014] 通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特徵、 目的和優點將會變得更明顯：
[0015] 圖1是本發明實施例總體流程圖；
[0016] 圖2是僅利用2D圖像質量評價分數得到的3D質量分數（NOSPDM1)，在Toyama圖 像質量資料庫上與主觀評價值MOS的對比圖；
[0017] 圖3是僅利用2D圖像質量評價分數和眼優勢權重模型得到的3D質量分數 (NOSPDM 2)，在Toyama圖像質量資料庫上與主觀評價值MOS的對比圖；
[0018] 圖4是僅利用2D圖像質量評價分數，眼優勢權重和非線性補充模型得到的3D質 量分數（NOSPDM 4)，在Toyama圖像質量資料庫上與主觀評價值MOS對比圖；
[0019] 圖5是利用2D圖像質量評價分數，眼優勢模型，非線性補充模型，視差補償模型得 到的最終3D質量分數（NOSPDM12)，在Toyama圖像質量資料庫上與主觀評價值MOS對比圖。
【具體實施方式】
[0020] 下面結合具體實施例對本發明進行詳細說明。以下實施例將有助於本領域的技術 人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術 人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬於本發明 的保護範圍。
[0021] 實施例
[0022] 本實施例提供一種基於非線性眼優勢視差補償的立體圖像質量評價方法，整個過 程的綜合流程如圖1所示，包括以下步驟：
[0023] 第一步，分別計算左右眼2D圖像質量分數，得到Q(L)，Q(R);方法如下：
[0024] i)分別利用下述公式計算左右眼圖像L，R水平方向上的塊效應Dh，水平方向上的 模糊效應Ah，Z h :
[0025]
【權利要求】
1. 一種基於非線性眼優勢視差補償的立體圖像質量評價方法，其特徵在於，包括以下 步驟： 第一步、利用2D無參考質量評價方法計算出左眼右眼圖像的質量分數，得到Q(L)，Q(R)； 第二步、基於眼優勢模型，給予Q(L)，Q(R)不同的權重，得到F(f; 第三步、計算左右眼2D圖像質量之間的非線性補償，得到Fn ; 第四步、計算基於顯著性的視差程度補償量，得到Fsp; 第五步、將加權後的圖像質量F(f與基於顯著性的視差程度補償量Fsp相加，並減去非 線性補償Fn，得到最終的3D無參考質量評價分數。
2. 根據權利要求1所述的一種基於非線性眼優勢視差補償的立體圖像質量評價方法， 其特徵在於，第一步中，所述的左右眼圖像質量分數的計算方法： i) 分別利用下述公式計算左右眼圖像L，R水平方向上的塊效應Dh，水平方向上的模糊 效應Ah，Zh :
其中：M，N分別指圖像的高度和寬度，B指塊的大小，dh、Zh分別指圖像特徵的計算函 數；i，j分別指圖像的第i行和第j列化指的是第j個圖像塊； ii) 根據同樣的方法，計算出左右眼圖像L，R垂直方向上的塊效應Dv，垂直方向上的模 糊效應Av，Zv，計算水平和垂直特徵的平均值即得到全部特徵：
Dh，Ah，Zh是垂直方向上的特徵，Zv，Dv，Av是水平方向上的特徵； iii) 最後，所有特徵通過一個全局非線性方程進行擬合，得到左右眼2D圖像的質量分 數： 〇=α+βDylA72Z7 ' 其中：α、β、Yl、￥2和Y3是模型參數，在圖像資料庫上訓練得到。
3. 根據權利要求1所述的一種基於非線性眼優勢視差補償的立體圖像質量評價方法， 其特徵在於，第二步中，所述的眼優勢權重模型F〇W : ={2-liR)Q(L)+ii RQ(R)； 其中μκ代表右眼圖像權重。
4. 根據權利要求1所述的一種基於非線性眼優勢視差補償的立體圖像質量評價方法， 其特徵在於，第三步中，所述的非線性補償Fn : Fn =λ·max{Q(L),Q(R)}； 其中λ為權重係數。
5. 根據權利要求1-4任一項所述的一種基於非線性眼優勢視差補償的立體圖像質量 公卡·社_甘牲紅;*：;_笛1711屯由_
太的其；M蕃的細羊: 其中：S代表圖像的顯著性區域，c〇s為模型參數，通過訓練得到； L指左視圖，R指右視圖，S指視覺注意力區域。
【文檔編號】G06T7/00GK104240255SQ201410491116
【公開日】2014年12月24日 申請日期:2014年9月23日 優先權日:2014年9月23日
【發明者】楊小康, 劉敏, 翟廣濤, 顧錁 申請人:上海交通大學