基於先驗知識和深度權重的3D顯著性模型的建立方法與流程
2024-03-31 04:49:05
本發明涉及視覺顯著性領域，尤其涉及一種基於先驗知識和深度權重的3D顯著性模型的建立方法。
背景技術：
對一個多目標場景中的重要信息進行選擇是人類視覺系統的一個重要功能。用計算機來建立用於模擬人類上述機制的模型是視覺顯著性研究的方向，同時也為目標分割和質量評價等應用提供了基礎。近年來，3D顯示技術的廣泛應用使得研究3D立體顯著性具有重要的意義。
當人在觀看3D電影的時候，大腦通過立體通道分離技術產生的雙目視差平移獲得深度知識而產生立體感，這一技術的引入導致人類對視覺觀測行為的改變。因此區別於2D顯著性模型的設計，立體顯著性模型除了需要考慮2D顯著性模型中的色彩，亮度，紋理，方向等常用特徵外，還應該考慮深度通道上的特徵(比如深度的對比度等)。目前深度圖像的獲取途徑有：從相機獲得深度圖像，通過匹配算法獲取視差圖(視差和深度呈現反比例關係)。
人類在關注感興趣的目標時受到先驗知識的影響，所以不管是3D還是2D的顯著性模型中先驗知識都能實現補充顯著性模型的作用。常用的先驗知識包括兩種，第一種是中央偏置即人類視覺偏好圖像中央的信息。第二種是邊界背景先驗，即圖像的邊界像素可以作為背景作為顯著性模型的參考。
綜上所述，需要設計出一種更接近人眼注視的3D顯著性模型的建立方法。
技術實現要素：
針對上述技術問題，本發明提供了一種基於先驗知識和深度權重的3D顯著性模型的建立方法，特徵不僅取自於2D的彩色信息，還取自於深度通道的信息，背景先驗和顏色緊密度等先驗知識使得本發明所建立的3D顯著性模型具有更接近於人類注視效果。
本發明提供的技術方案為：
一種基於先驗知識和深度權重的3D顯著性模型的建立方法，包括：
步驟一、提取3D特徵：
將3D圖像對中的左視圖用超像素分割方法分割成N個區域，標記為Ri，其中i取值1到N；為區域Ri定義一個區域特徵f＝[l,a,b,d]，其中，Ni為區域Ri中像素的個數，li，ai，bi分別為區域Ri中像素的l值、a值和b值；
步驟二、計算特徵對比度：
將區域之間的特徵對比度用矩陣C表示，則cij表示區域Ri的區域特徵和區域Rj的區域特徵之間的範式距離，其計算公式為：cij＝||uifi-ujfj||2，其中u為區域特徵f的權重，u＝[1,1,1,q]，而變量q代表左視圖中N個區域的顏色緊密度；
步驟三、設計特徵對比度的權重：
步驟(1)在視差圖上通過深度領域分析方法得到深度顯著性圖ss，則區域Ri的深度顯著性sd為：
步驟(2)計算視差圖上的背景先驗；
步驟(3)利用背景先驗優化深度顯著性，其具體過程包括：
針對區域Ri，利用區域Ri在視差圖上的平均視差判斷深度顯著性sd(i)是否在背景範圍內，則有：
其中，閾值thresh為深度背景Bd中標記為背景的部分在視差圖上的最小視差；
步驟(4)設計特徵對比度的權重
區域Ri和區域Rj的特徵對比度的權重用變量wi，j表示，則有：
wi，j＝exp(-Dst(i，j)/σ2)α(i)sd(i)，
其中，α(i)為區域Ri的大小，exp(-Dst(i，j)/σ2)代表區域Ri和區域Rj之間的高斯距離；
步驟四、計算初始3D顯著性：
區域Ri的顯著性的值
則區域Ri的初始3D顯著性Sp(i)的計算公式為：
其中，α＝0.33，β＝0.33，Ni為區域Ri中像素的個數。
步驟五、增強初始3D顯著性：
區域Ri的最終3D顯著性S(i)為：其中，為區域Ri的2D顯著性，Spca(p)是在像素級別上的顯著性，
DstToCt(i)為像素到中心坐標的歐氏距離，B＝(Bb∪Bd)，H和W分別為左視圖的寬和高，Bd代表深度背景，Bb代表邊界背景。
優選的是，所述的基於先驗知識和深度權重的3D顯著性模型的建立方法中，所述步驟二中，k為高斯比例因子，k＝4，ti的計算公式為：為區域Ri和區域Rj的RGB平均值的顏色距離，pj為區域Rj的質心的中心坐標，μi為顏色clri的權重位置，
優選的是，所述的基於先驗知識和深度權重的3D顯著性模型的建立方法中，所述步驟(2)中，計算視差圖上背景先驗的具體過程包括：
1)定義初始背景圖像：Bd＝0；
2)初始化最遠背景，首先找到視差圖Id最大視差的坐標，Pxy＝Pos(max(Id))；接著設置初始值
3)背景傳播計算：其中符號Contour表示基於活動輪廓分割，深度背景Bd中背景部分像素表示為1，前景部分像素表示為0。
優選的是，所述的基於先驗知識和深度權重的3D顯著性模型的建立方法中，所述步驟(2)中，計算視差圖上背景先驗的具體過程包括：
1)定義初始背景圖像：Bd＝0；
2)初始化最遠背景，首先找到視差圖Id最大視差的坐標，Pxy＝Pos(max(Id))；接著設置初始值
3)背景傳播計算：其中符號Contour表示基於活動輪廓分割，深度背景的圖像Bd中背景部分像素表示為1，前景部分像素表示為0。
本發明所述的基於先驗知識和深度權重的3D顯著性模型的建立方法具有以下有益效果：
(1)本發明在特徵提取方面，顏色對比度和視差對比度強的區域可以得到高的顯著性值；
(2)本發明利用顏色緊密度(即2D圖像中顏色分布情況)計算特徵對比度，提高了顯著性值；
(3)本發明不僅考慮到邊界背景的先驗，還從3D視差圖上獲得背景先驗，利用背景先驗優化深度顯著性，從而在3D顯著性模型中去掉背景的幹擾；
(4)本發明將深度顯著性以及區域之間的空間高斯距離作為特徵對比度的權重，並利用2D圖像中結構不相似度對初始3D顯著性進行增強，從而增強了深度上顯著的區域，降低了3D圖像中相關性低的背景部分的顯著性值。
附圖說明
圖1為本發明所述的基於先驗知識和深度權重的3D顯著性模型的建立方法的流程圖；
圖2(a)為本發明所述的基於先驗知識和深度權重的3D顯著性模型的建立方法的ROC(Receiver operating characteristic)曲線性能展示圖，橫坐標為False Positive Rate(FPR)即真正類率，縱坐標為True Positive Rate(TPR)即假正類率；圖2(b)是PR(Precision-Recall)曲線，橫坐標為Recall即召回率，縱坐標為Precision即預測的精度；圖2(a)和圖2(b)中的圖標DWRC(depth-weighted region contrast)是本發明方法的簡寫。
圖3(a)至圖3(e)為本發明所述的一個實施例中3D顯著性模型的可視化顯示，圖3(a)為3D圖像對中的左視圖，圖3(b)為3D圖像對中的右視圖；圖3(c)為視差圖；圖3(d)為初始3D顯著圖；圖3(e)為目標圖(即最終的3D顯著圖)；
圖4(a)至圖4(e)為本發明所述的另一個實施例中3D顯著性模型的可視化顯示，圖4(a)為3D圖像對中的左視圖，圖4(b)為4D圖像對中的右視圖；圖4(c)為視差圖；圖4(d)為初始3D顯著圖；圖4(e)為目標圖(即最終的3D顯著圖)。
具體實施方式
下面結合附圖對本發明做進一步的詳細說明，以令本領域技術人員參照說明書文字能夠據以實施。
如圖1所示，本發明提供一種基於先驗知識和深度權重的3D顯著性模型的建立方法，包括：將3D圖像對中的左視圖用超像素分割方法分割成多個區域，用色彩和視差信息合成一組特徵對每個區域進行描述；使用顏色緊密度作為區域特徵分量中視差的權重，計算一個區域對周圍的區域的特徵對比度；在視差圖上得到在深度上的背景先驗，並聯合該背景先驗和顏色緊密度完善深度顯著性；以深度顯著性和區域之間的高斯距離作為特徵對比度的權重，並利用特徵對比度的權重相加得出初始3D顯著性；利用2D顯著性和中央偏置權重對初始3D顯著性進行增強。本發明所建立的3D顯著性模型具有更接近於人類注視效果。
具體來說，本發明所述的3D顯著性模型的建立方法包括：
步驟一、提取3D特徵：
將3D圖像對中的左視圖用超像素分割方法(SLIC)分割成N個區域，標記為Ri，其中i取值1到N。本發明採用CIELab顏色和視差定義一個區域特徵，即為區域Ri定義一個區域特徵f＝[l,a,b,d](將區別Ri的特徵表示為這個區域中彩色圖像的L*a*b均值和視差均值)，其中，Ni為區域Ri中像素的個數，li，ai，bi分別為區域Ri中像素的l值、a值和b值；
步驟二、計算特徵對比度：
將區域之間的特徵對比度用矩陣C表示，則cij表示區域Ri的區域特徵和區域Rj的區域特徵之間的範式距離，其計算公式為：
cij＝||uifi-ujfj||2，
其中u為區域特徵f的權重，u＝[1,1,1,q]。
而變量q代表左視圖中N個區域的顏色緊密度，用於表示左視圖中各區域的顏色的分布情況，其中，k為高斯比例因子，k＝4；ti的計算公式為：
其中，為區域Ri和區域Rj的RGB平均值的顏色距離，pj為區域Rj的質心的中心坐標，μi為顏色clri的權重位置，
步驟三、設計特徵對比度的權重：
在計算完各區域的特徵對比度C之後，特徵對比度的權重用矩陣W表示，wi，j表示cij對應的權重大小。
特徵對比度的權重考慮到深度顯著性sd，區域大小a(i)和區域之間的高斯距離exp(-Dst(i，j)/σ2)。其中，深度顯著性sd的計算過程大致為：在視差圖上通過領域分析方法得到結果ss，再使用背景先驗(包括深度背景Bd和邊界背景Bb)和顏色緊密度(公式)進行完善。詳細過程如下：
步驟(1)計算深度顯著性圖：
在視差圖上通過深度領域分析的方法得到深度顯著性ss，再通過顏色緊密度增強得到sd。則區域Ri的深度顯著性sd為：
步驟(2)計算視差圖上的背景先驗：
視差圖上提取背景先驗需要經過兩個階段：背景初始化以及背景的傳播。具體的步驟包括：
1)定義初始背景圖像：Bd＝0；
2)初始化最遠背景，首先找到視差圖Id最大視差的坐標，Pxy＝Pos(max(Id))；接著設置初始值
3)背景傳播計算：其中符號Contour表示基於活動輪廓分割，深度背景Bd中背景部分像素表示為1，前景部分像素表示為0。
步驟(3)利用背景先驗優化深度顯著性，其具體過程包括：
針對區域Ri，利用區域Ri在視差圖上的平均視差判斷深度顯著性sd(i)是否在背景範圍內。如果區域的平均視差小於一個閾值thresh的時候，顯著性sd(i)的值需要重新賦值。則有：
其中，閾值thresh為深度背景Bd中標記為背景的部分在視差圖上的最小視差，即thresh＝min(Id(q))，q∈{Bd＞0}。
邊界背景為Bb，邊界背景中的背景區域表示為1，其他區域表示為0。如果Ri區域在邊界背景的位置，顯著性的sd(i)標記為0，否則不變。
步驟(4)設計特徵對比度的權重
區域Ri和區域Rj的特徵對比度的權重用變量wi，j表示，它通過高斯距離，區域大小和深度顯著性的乘積計算得出，即：
wi，j＝exp(-Dst(i，j)/σ2)α(i)sd(i)，
其中，α(i)為區域Ri的大小，exp(-Dst(i，j)/σ2)代表區域Ri和區域Rj之間的高斯距離。
步驟四、計算初始3D顯著性：
完成區域Ri的特徵對比度ci，j和權重wi，j的計算之後，區域Ri的顯著性的值可以通過以下公式計算得到：
為了消除超像素分割錯誤所帶來的影響，每個區域的超像素的顯著性(即初始3D顯著性)均通過它周圍區域的顯著性線性組合得到，則區域Ri的超像素的顯著性Sp(i)的計算公式為：
其中，α和β分別是控制顏色距離(||clri-clrj||)和位置距離(||pi-pj||)的參數，α＝0.33，β＝0.33；Ni為區域Ri中像素的個數。
步驟五、增強初始3D顯著性：
在計算完初始3D顯著性Sp(i)之後，通過2D顯著性和中央偏置權重進行增強。區域Ri的超像素的最終3D顯著性S(i)為：
其中，為區域Ri的2D顯著性，Spca(p)是在像素級別上的顯著性，CBW(i)(中央偏置權重)是一個用背景先驗修改後的高斯函數，通過下列公式計算得到，
DstToCt(i)為像素到中心坐標的歐氏距離，B＝(Bb∪Bd)，H和W分別為左視圖的寬和高，Bd代表深度背景，Bb代表邊界背景。
請查閱圖2(a)和圖2(b)，圖2(a)中曲線靠近左上角點，根據圖2(a)的顯示結果計算的AUC(area under roc curve)值為0.89；圖2(b)中召回率增加沒有引起精度的劇烈下降，根據圖2(b)所示計算的F(β＝0.3)＝0.61。即本發明可以獲得建立接近於人眼注視的3D顯著性模型。
請查閱圖3(a)至圖3(e)，圖4(a)至圖4(e)，在這兩個實施例中，應用本發明所述的3D顯著性模型的建立方法，最終均得到了接近於人眼注視的3D顯著性模型。並且由圖3(e)、圖4(e)中均可以看出，顏色對比度和視差對比度強的區域均得到了高的顯著性值；均去掉了背景的幹擾，而使得所關注的目標的顯著性得到提高。
本發明所述的方法將中，特徵取自於彩色圖像和視差圖，利用顏色緊密度計算特徵對比度；除了傳統的邊界背景先驗，還利用在視差圖中根據物體到觀察者的距離所提取到的背景先驗，以及彩色圖像中物體的緊密度作為深度顯著性的補充；以視差圖的深度顯著性作為特徵對比度的權重，進而得到初始3D顯著性；再採用2D顯著性以及中央偏置權重對初始3D顯著性進行增強。由於特徵不僅取自於2D圖像的彩色信息，還含有深度通道的信息，結合背景和顏色緊密度等先驗知識，使得本發明的3D顯著性模型具有更接近於人類注視效果。
儘管本發明的實施方案已公開如上，但其並不僅僅限於說明書和實施方式中所列運用，它完全可以被適用於各種適合本發明的領域，對於熟悉本領域的人員而言，可容易地實現另外的修改，因此在不背離權利要求及等同範圍所限定的一般概念下，本發明並不限於特定的細節和這裡示出與描述的圖例。