基於超像素的深度圖像預處理和深度空洞填充方法與流程

2023-06-05 01:19:11 2

本發明涉及圖像處理技術領域，具體涉及基於超像素的深度圖像預處理和深度空洞填充方法。

背景技術：
隨著多媒體技術的快速發展，立體圖像和立體視頻系統的研究引起越來越多研究者的關注。與傳統的二維圖像和二維視頻相比，立體圖像和立體視頻為使用者帶來更加身臨其境的感覺。立體視頻系統的核心問題是為使用者左眼和右眼提供存在一定視差的立體圖像對。例如，作為兩種最常見的立體視頻系統，立體電視(ThreeDimensionalTelevision,3DTV)和自由視點電視(Free-ViewpointTelevision,FTV)的播放端通常需要播放若干特定視點或者任意視點的立體視頻對。但是由於視頻採集成本和傳輸成本的限制，立體視頻系統不可能採集過多視點的視頻。因此，立體視頻系統中的一個關鍵問題就是如何利用已有的真實視點視頻合成虛擬視點視頻。當前立體視頻系統中通常將參考視點的彩色視頻和其對應的深度圖像傳輸至視頻播放端，然後採用基於深度圖像渲染(DepthImage-BasedRendering,DIBR)的視點合成方法生成虛擬視點圖像。基於深度圖像的虛擬視點合成中，深度圖像通常利用深度採集設備直接獲取或者利用立體匹配算法計算得到，而利用這些方法得到的立體視頻圖像中通常存在部分像素深度信息缺失的現象，因此，視點合成中首先需要對深度圖像進行預處理。利用彩色圖像和預處理後的深度圖像進行三維變換，生成虛擬視點的彩色圖像和深度圖像，但是由於前景物體的遮擋問題，在虛擬視點的彩色圖像和深度圖像前景物體邊緣部分通常會存在空洞區域，在視點合成中需要對虛擬視點深度圖像中的空洞區域進行填充，然後再利用處理好的虛擬視點深度圖像對虛擬視點彩色圖像中的空洞區域進行處理。由此可見，在基於深度信息的虛擬視點合成中深度圖像預處理和深度空洞填充具有重要的作用，直接影響視點合成彩色圖像的視覺質量。當前的視點合成算法中，通常採用基於濾波器的方法首先對深度圖像進行處理，而這種處理方式通常會在一定程度上造成物體邊緣深度信息失真；另外，雖然當前的研究提出了多種深度圖像空洞填充方法，但在空洞填充準確性方面仍存在一定問題，並且當前的深度填充方法計算複雜度較大，不利於視點合成的實時實現。

技術實現要素：
為解決現有技術存在的不足，本發明公開了基於超像素的深度圖像預處理和深度空洞填充方法，本發明的目的是利用基於超像素的深度圖像預處理和基於超像素的深度空洞處理技術實現彩色圖像的填充。為實現上述目的，本發明的具體方案如下：基於超像素的深度圖像預處理和深度空洞填充方法，包括以下步驟：步驟一：待處理的深度圖像的超像素分割：對於該待處理的深度圖像對應的彩色圖像進行超像素分割，然後利用彩色圖像的分割結果對該待處理的深度圖像進行分割；步驟二：基於超像素的深度圖像預處理：將步驟一中分割後的深度圖像找出所有包含深度信息缺失像素的超像素並恢復缺失的深度信息；步驟三：虛擬視點深度圖像超像素分割：利用待處理的深度圖像對應的彩色圖像和預處理後的深度圖像進行三維變換，生成虛擬視點初始彩色圖像和虛擬視點初始深度圖像，對虛擬視點初始深度圖像進行超像素分割；步驟四：虛擬視點深度圖像填充：找出步驟三中虛擬視點初始深度圖像中所有包含空洞區域的超像素並對空洞區域進行填充。進一步的，在利用彩色圖像的分割結果對該待處理的深度圖像進行分割時，首先對彩色圖像進行超像素分割，得到彩色圖像中每個超像素的超像素標籤；利用到彩色圖像中每個超像素的超像素標籤，對深度圖像進行超像素分割，將深度圖像分割為和彩色圖像超像素相同的超像素。進一步的，基於超像素的深度圖像預處理時，具體包括：統計深度圖像的超像素中有效像素集合；根據深度圖像的超像素中有效像素集合對深度圖像的超像素進行分類；根據深度圖像的超像素類別恢復深度缺失像素的深度值。進一步的，統計深度圖像的超像素中有效像素集合時，假設Sd是目標深度圖像的超像素，Sc是其對應的彩色圖像的超像素，M是Sd中深度缺失像素的集合，即無效像素的集合，那麼Sd中有效像素的集合為V＝Sd-M，定義|Sd|表示Sd中像素的個數，|V|表示Sd中有效像素的個數。進一步的，根據深度圖像的超像素中有效像素集合對深度圖像的超像素進行分類，具體如下：如果|V|＝|Sd|，則表示Sd內像素全部為有效像素，那麼該超像素無需預處理；如果0＜|V|＜|Sd|，則表示Sd內部分像素為無效像素，需要通過預處理方法恢復M中像素的深度值；如果|V|＝0，則表示Sd內所有像素均為無效像素，需要通過預處理方法恢復Sd內所有像素的深度值。進一步的，根據深度圖像的超像素類別恢復深度缺失像素的深度值時，Sd內部分像素為無效像素時，恢復M中像素的深度值的方法為：計算有效像素集合V中所有像素深度值的方差σV；若σV＜t，t為經驗閾值，則判定V中所有像素屬於同一深度層次，即這些像素位於同一物體，將M中所有無效像素的深度值賦值為V中出現頻率最高的深度值；若σV＜t，則判定V中像素屬於不同的深度層次，那麼利用k-means聚類將V中像素按照深度值的大小分為兩類：V1和V2；假設V1中像素的平均深度值小於V2中像素的平均深度值，將M中所有無效像素的深度值賦值為V1中出現頻率最高的深度值。進一步的，根據深度圖像的超像素類別恢復深度缺失像素的深度值時，Sd內所有像素均為無效像素，恢復Sd內所有像素的深度值的方法為：統計所有與Sd相鄰且全部像素為有效像素的超像素，定義這些像素組成的集合為為中深度超像素對應的彩色超像素；利用基於LAB顏色空間的超像素相似度計算方法從中找出與Sc相似度最高的超像素Rc，Rd為Rc對應的深度超像素；計算Rd中所有像素深度值的方差σR；若σR＜t，t為經驗閾值，則判定Rd中所有像素屬於同一深度層次，將M中所有無效像素的深度值賦值為Rd中出現頻率最高的深度值；若σR＞＝t，t為經驗閾值，則判定Rd中像素屬於不同的深度層次，那麼利用k-means聚類將Rd中像素按照深度值的大小分為兩類：Rd1和Rd2；假設Rd1中像素的平均深度值小於Rd2中像素的平均深度值，將M中無效像素的深度值賦值為Rd1中出現頻率最高的深度值。進一步的，對虛擬視點初始深度圖像進行超像素分割時，利用SLIC算法對虛擬視點初始深度圖像進行超像素分割，得到虛擬視點初始深度圖像的深度超像素。進一步的，虛擬視點深度圖像填充時，具體包括：統計虛擬視點初始深度圖像超像素中有效像素集合；根據有效像素集合對虛擬視點初始深度圖像的超像素進行分類；根據虛擬視點初始深度圖像中超像素的分類，進行空洞的填充。進一步的，虛擬視點深度圖像填充時，以超像素為單位對虛擬視點初始深度圖像進行空洞區域填充，假設D是包含空洞區域的超像素，D中非空洞部分為若D中只有部分像素點屬於空洞區域，則D中的空洞區域採用中出現概率最高的深度值進行填充；若D中的像素全部都屬於空洞區域，假設為與D相鄰的不含空洞區域的超像素的集合，則利用集合中平均深度值最小的超像素Dmin中出現頻率最高的深度值對D中的空洞區域進行填充。本發明的有益效果：本發明採用基於超像素的深度圖像預處理和基於超像素的深度空洞處理，空洞填充準確性較高，計算量較小，有利於視點合成的實時實現。本發明以超像素為基本單位進行深度圖像預處理和深度空洞處理。首先，充分利用了同一超像素內部像素點屬於同一物體這一特性，解決了傳統的以像素為單位的深度圖像預處理方法和深度空洞填充方法造成的深度不一致問題，圖像預處理和空洞填充更加準確；其次，傳統的以像素為單位的深度圖像預處理方法和深度空洞填充方法，在周圍一個較大的區域中選取深度候選值，而本發明方法中將候選值的區域限制在一個超像素內，更加準確；另外，本發明採用的超像素分割算法、k-means聚類算法、超像素相似度計算方法，以及本發明提出的方法中的深度超像素分類、深度值選取、深度填充和恢復計算量均比較小；最後，本發明的內容是視點合成算法中的兩個重要步驟，可以用在任何基於深度圖像的視點合成算法中，和任何基於深度圖像的視點合成算法相結合。附圖說明圖1：本發明的深度圖像預處理和深度空洞填充方法的視點合成總體框圖圖2(a)：彩色圖像超像素分割；圖2(b)：深度圖像超像素分割；圖3(a)：預處理前的深度圖像；圖3(b)預處理後的深度圖像；圖4(a)：虛擬視點初始彩色圖像；圖4(b)虛擬視點初始深度圖像；圖5(a)：部分像素為空洞區域的超像素；圖5(b)部分像素為空洞區域的超像素填充效果；圖5(c)全部像素為空洞區域的超像素；圖5(d)全部像素為空洞區域的超像素填充效果。具體實施方式：下面結合附圖對本發明進行詳細說明：本發明提出了一種虛擬視點合成中基於超像素的深度圖像預處理和深度空洞填充方法。利用超像素算法對需要預處理的深度圖像對應的彩色圖像進行分割，將彩色圖像分割成超像素；根據彩色圖像中的超像素對深度圖像進行分割，將深度圖像分割成深度超像素，並對深度超像素進行分類；然後，利用深度信息和彩色信息對深度信息缺失的像素點進行處理；對彩色圖像和深度圖像進行三維變換，得到存在空洞區域的虛擬視點初始彩色圖像和虛擬視點初始深度圖像；最後，將虛擬視點初始深度圖像進行超像素分割，利用分割得到的超像素塊進行空洞區域的填充。如圖1為視點合成總體框圖，虛線框圖內部分即為本發明內容，即基於超像素的深度圖像預處理和基於超像素的深度空洞填充過程。圖1中是結合虛擬視點合成算法展示本發明提出的深度圖像預處理方法和深度空洞填充方法。圖中所示的左右視點圖像只是視點合成方法中的一種，也可以在基於單視點的視點合成中採用本發明的方法。圖1中左右視點圖像處理是同時進行的；三維變換後兩個視點的圖像分別生成包含空洞區域的虛擬視點圖像；這兩個虛擬視點的圖像疊加的方法是虛擬視點合成現有技術(如果相同像素點位置兩個虛擬視點圖像都有像素值，則取平均；如果相同像素點位置只有一個虛擬視點圖像具有像素值，則取該像素值；如果都沒有像素值，則該像素點疊加後為空洞像素點，利用本發明方法進行空洞填充)，當然現有虛擬視點合成算法中疊加方式有多種；左視點深度圖像是左視點彩色圖像對應的深度圖，即左視點深度圖中每個像素的值代表了左視點彩色圖像中相同像素位置彩色像素的深度信息。一種虛擬視點合成中基於超像素的深度圖像預處理和深度空洞填充方法，具體步驟如下：(1)基於彩色信息的深度圖像超像素分割。利用簡單線性迭代聚類(SimpleLinearIterativeClustering,SLIC)(註：SLIC為現有常用的超像素分割算法)算法對彩色圖像進行超像素分割，如圖2(a)所示；根據超像素分割結果得到彩色圖像中每個像素的超像素標籤，利用每個像素的超像素標籤對彩色圖像對應的深度圖像進行圖像分割，將深度圖像分割成和彩色圖像完全相同的超像素如圖2(b)所示。(2)基於超像素的深度圖像預處理。以超像素為基本處理單位，對深度圖像進行預處理，找出深度圖像中所有包含深度信息缺失像素的超像素，對這些超像素進行分類，分別採用不同的方法進行處理，恢復缺失的深度信息。具體的：假設Sd是目標深度圖像超像素，Sc是其對應的彩色圖像超像素，M是Sd中深度缺失像素的集合，即無效像素的集合，那麼Sd中有效像素的集合為V＝Sd-M。定義|Sd|表示Sd中像素的個數，|V|表示Sd中有效像素的個數。如果|V|＝|Sd|，則表示Sd內像素全部為有效像素，那麼該超像素無需預處理。如果0＜|V|＜|Sd|，則表示Sd內部分像素為無效像素，需要通過預處理方法恢復M中像素的深度值：首先，計算有效像素集合V中所有像素深度值的方差σV；若σV＜t(t為經驗閾值，取t＝10)，則判定V中所有像素屬於同一深度層次，即這些像素位於同一物體，那麼我們將M中所有無效像素的深度值賦值為V中出現頻率最高的深度值；若σV＞＝t(t為經驗閾值，取t＝10)，則判定V中像素屬於不同的深度層次，那麼利用k-means聚類(k＝2)將V中像素按照深度值的大小分為兩類：V1和V2；假設V1中像素的平均深度值小於V2中像素的平均深度值，那麼我們將M中所有無效像素的深度值賦值為V1中出現頻率最高的深度值。如果|V|＝0，則表示Sd內所有像素均為無效像素，需要通過預處理方法恢復Sd內所有像素的深度值：首先，統計所有與Sd相鄰且全部像素為有效像素的超像素，定義這些像素組成的集合為為中深度超像素對應的彩色超像素；然後，利用基於LAB顏色空間的超像素相似度計算方法(註：該超像素相似度計算方法為現有方法)從中找出與Sc相似度最高的超像素Rc，Rd為Rc對應的深度超像素；計算Rd中所有像素深度值的方差σR；若σR＜t(t為經驗閾值，取t＝10)，則判定Rd中所有像素屬於同一深度層次，那麼我們將M中所有無效像素的深度值賦值為Rd中出現頻率最高的深度值；若σR＞＝t(t為經驗閾值，取t＝10)，則判定Rd中像素屬於不同的深度層次，那麼利用k-means聚類(k＝2)將Rd中像素按照深度值的大小分為兩類：Rd1和Rd2；假設Rd1中像素的平均深度值小於Rd2中像素的平均深度值，那麼我們將M中無效像素的深度值賦值為Rd1中出現頻率最高的深度值。圖3(a)和圖3(b)分別為預處理前和預處理後的深度圖像。(3)虛擬視點深度圖像超像素分割。利用彩色圖像和預處理後的深度圖像進行三維變換(註：三維變換為現有技術)，得到虛擬視點初始彩色圖像和虛擬視點初始深度圖像，由於遮擋原因，虛擬視點初始彩色圖像和虛擬視點初始深度圖像存在相同的空洞區域，如圖4(a)和圖4(b)所示；利用簡單線性迭代聚類(SimpleLinearIterativeClustering,SLIC)算法將虛擬視點初始深度圖像分割成超像素。(4)虛擬視點深度圖像填充。找出虛擬視點深度圖像中所有包含空洞區域的超像素，並對這些超像素進行分類，分別採用不同的方法對空洞區域進行填充。以超像素為單位對虛擬視點初始深度圖像進行空洞區域填充，假設D是包含空洞區域的超像素，D中非空洞部分為若D中只有部分像素點屬於空洞區域，如圖5(a)所示，則D中的空洞區域採用中出現概率最高的深度值進行填充；若D中的像素全部都屬於空洞區域，如圖5(c)所示，假設為與D相鄰的不含空洞區域的超像素的集合，則我們利用集合中平均深度值最小的超像素Dmin中出現頻率最高的深度值對D中的空洞區域進行填充。圖5(a)和5(c)中空洞區域的填充效果分別如圖5(b)和5(d)所示。上述雖然結合附圖對本發明的具體實施方式進行了描述，但並非對本發明保護範圍的限制，所屬領域技術人員應該明白，在本發明的技術方案的基礎上，本領域技術人員不需要付出創造性勞動即可做出的各種修改或變形仍在本發明的保護範圍以內。