多視點視頻中虛擬視點合成方法及裝置的製作方法
2023-05-29 02:20:06 1
專利名稱：多視點視頻中虛擬視點合成方法及裝置的製作方法
技術領域：
本發明涉及三維視頻、多媒體信號處理技術領域，尤其涉及一種多視點視頻中虛擬視點合成方法及裝置。
背景技術：
隨著電視技術和多媒體處理技術的發展，人們對於最真實視覺體驗的需求日益增強，三維電視被看作是繼彩色電視、高畫質電視之後的下一代產品；三維電視利用人的雙眼觀察物體的角度略有差異，因此能夠辨別物體遠近，產生立體的視覺這個原理，把左右眼所看到的影像分離，從而可以實現用戶無需藉助立體眼鏡即可用裸眼體驗立體感覺。其中多視點視頻被認為擁有非常廣闊的應用前景，實現多視點視頻中虛擬視點的合成，虛擬視點合成是關鍵技術。目前，基於深度圖像的渲染是一種利用參考視點圖像和相應的深度信息來合成虛擬視點的方法，該種方法由於具有良好的編碼效率、二維/三維選擇性、用戶交互性，因此近年來得到越來越多的重視和應用；然而該種方法仍然存在以下缺陷本應該在虛擬視點中可見的區域在原始視點中是遮擋的，即在虛擬視點圖像中出現的物體或背景(後續稱為該物體或背景所在的區域為暴露區域)在原始圖像中的對應位置處不存在，在原始圖像中沒有包含暴露區域的信息，因此，暴露區域為空洞；空洞表現為深度圖像當中存在灰度值突變的邊界，因此若需要提高虛擬視點的圖像質量則必須進行補洞。目前，為提高虛擬視點的圖像質量，使最終圖像產生最佳的立體效果，解決空洞問題的主要方式為在對原始圖像進行三維圖像變換之前，對該原始圖像進行深度圖預處理， 以使原始圖像的深度圖中尖銳的灰度值突變變得平滑，進而減輕前景物體和背景之間的深度差異，從而減少虛擬視點圖像中空洞的數量，提高視圖質量；該種方式雖然在一定程度上提高了虛擬視點圖像的質量，但是深度圖預處理會給虛擬視點圖像帶來嚴重的不可恢復的幾何畸變。
發明內容
針對現有技術存在的技術問題，本發明實施例提供一種多視點視頻中虛擬視點合成方法及裝置，以充分考慮到深度圖的處理方式和最終所要合成的虛擬試點圖像質量高低的關係，在保證不帶來幾何畸變的前提下，提高虛擬視點圖像的質量，提高虛擬視點圖像的顯示效果。一種多視點視頻中虛擬視點合成方法，包括步驟1、根據第一攝像機得到的第一參考視點圖像及其深度圖像、第一攝像機參數，對所述第一參考視點圖像進行三維圖像變換，得到第一虛擬視點圖像及其深度圖像和空洞圖；以及，根據第二攝像機得到的第二參考視點圖像及其深度圖像、第二攝像機參數， 對所述第二參考視點圖像進行三維圖像變換，得到第二虛擬視點圖像及其深度圖像和空洞步驟2、根據所述第一虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第一虛擬視點圖像進行小洞填充，得到小洞填充後的第一虛擬視點圖像；以及根據所述第二虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第二虛擬視點圖像進行小洞填充，得到小洞填充後的第二虛擬視點圖像；步驟3、將小洞填充後的第一虛擬視點圖像與第二虛擬視點圖像作為彼此的參考圖像，進行圖像互補，分別得到圖像互補後的第一虛擬視點圖像和第二虛擬視點圖像；步驟4、將圖像互補後的第一虛擬視點圖像與第二虛擬視點圖像進行融合，得到主虛擬視點圖像；步驟5、對所述第一參考視點圖像與所述第二參考視點圖像分別進行深度圖處理， 得到深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像；再按照上述步驟1 步驟4對深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像進行相應的處理，得到副虛擬視點圖像；步驟6、根據所述副虛擬視點圖像對所述主虛擬視點圖像進行空洞填補，生成虛擬視點圖像。一種多視點視頻中虛擬視點合成裝置，包括三維圖像變換單元，用於根據第一攝像機得到的第一參考視點圖像及其深度圖像、第一攝像機參數，對所述第一參考視點圖像進行三維圖像變換，得到第一虛擬視點圖像及其深度圖像和空洞圖；以及，根據第二攝像機得到的第二參考視點圖像及其深度圖像、第二攝像機參數，對所述第二參考視點圖像進行三維圖像變換，得到第二虛擬視點圖像及其深度圖像和空洞圖；空洞填充單元，用於根據所述第一虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第一虛擬視點圖像進行小洞填充，得到小洞填充後的第一虛擬視點圖像；以及根據所述第二虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第二虛擬視點圖像進行小洞填充，得到小洞填充後的第二虛擬視點圖像；圖像互補單元，用於將小洞填充後的第一虛擬視點圖像與第二虛擬視點圖像作為彼此的參考圖像，進行圖像互補，分別得到圖像互補後的第一虛擬視點圖像和第二虛擬視點圖像；圖像融合單元，用於將圖像互補後的第一虛擬視點圖像與第二虛擬視點圖像進行融合，得到主虛擬視點圖像；圖像深度處理單元，用於對所述第一參考視點圖像與所述第二參考視點圖像分別進行深度圖處理，得到深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像；並啟動所述三維圖像變換單元、空洞填充單元、圖像互補單元、圖像融合單元依次對所述深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像進行相應的處理，得到副虛擬視點圖像；虛擬視點圖像生成單元，用於將所述副虛擬視點圖像對所述主虛擬視點圖像進行空洞填補，生成虛擬視點圖像。本發明實施例中，以第一攝像機和第二攝像機提供的兩幅視點圖像作為參考視點圖像，並分別對該兩幅視點圖像進行三維圖像變換、小洞填充、圖像互補和圖像融合處理之後得到主虛擬視點圖像；再分別對所述兩幅視點圖像分別進行深度圖處理、三維圖像變換、小洞填充、圖像互補和圖像融合處理之後得到副虛擬視點圖像；再根據所述副虛擬視點圖像對所述主虛擬視點圖像進行剩餘空洞填充之後，得到最終需要合成的虛擬視點圖像。採用本發明技術方案，對兩幅參考視點圖像進行相應的處理得到主虛擬視點圖像時，沒有進行深度圖處理，因此不會帶來較大的圖像畸變；而在對兩幅參考視點圖像進行相應的處理得到副虛擬視點圖像時，進行了深度圖處理，因此可以減輕前景物體與背景之間的深度差異，可以改善虛擬視點圖像質量；再根據副虛擬視點圖像對所述主虛擬視點圖像進行空洞填充時，可以合成不帶來畸變的且質量較高的虛擬視點圖像。
圖IA為本發明實施例中多視點視頻中虛擬視點合成的方法流程圖；圖IB為上述圖IA所述流程的示意圖；圖2為本發明實施例中圖像坐標系與三維空間坐標系的映射關係圖；圖3A為本發明實施例中第一參考視點圖像；圖;3B為本發明實施例中第一參考視點圖像的深度圖；圖3C為本發明實施例中的第二參考視點圖像；圖3D為本發明實施例中第二參考視點圖像的深度圖；圖4A為本發明實施例中三維圖像變換後的第一參考視點圖像；圖4B為本發明實施例中第一虛擬視點圖像的深度圖；圖4C為本發明實施例中第一虛擬視點圖像的空洞圖；圖4D為本發明實施例中三維圖像變換後的第二參考視點圖像；圖4E為本發明實施例中第二虛擬視點圖像的深度圖；圖4F為本發明實施例中第二虛擬視點圖像的空洞圖；圖5A為本發明實施例中小洞填充後的第一虛擬視點圖像；圖5B為本發明實施例中小洞填充後的第一虛擬視點圖像的深度圖；圖5C為本發明實施例中小洞填充後的第一虛擬視點圖像的空洞圖；圖5D為本發明實施例中小洞填充後的第二虛擬視點圖像；圖5E為本發明實施例中小洞填充後的第二虛擬視點圖像的深度圖；圖5F為本發明實施例中小洞填充後的第二虛擬視點圖像的空洞圖；圖6A為本發明實施例中圖像互補後的第一虛擬視點圖像；圖6B為本發明實施例中圖像互補後的深度圖；圖6C為本發明實施例中圖像互補後的第二虛擬視點圖像；圖6D為本發明實施例中圖像互補後的空洞圖；圖7A為本發明實施例中對圖像互補後的第一虛擬視點圖像和第二虛擬視點圖像進行融合處理之後得到的主虛擬視點圖像；圖7B為本發明實施例中對圖像互補後的第一虛擬視點圖像的空洞圖和第二虛擬視點圖像的空洞圖進行融合處理之後得到的主空洞圖；圖8為本發明實施例中根據副虛擬視點圖像對主虛擬視點圖像進行空洞填補之後的虛擬視點圖像；圖9為本發明實施例中多視點視頻中虛擬視點合成裝置的結構示意圖。
具體實施例方式針對現有技術存在的技術問題，本發明實施例提供一種多視點視頻中虛擬視點的合成方法及裝置，以在保證不帶來幾何畸變的前提下，提高虛擬視點圖像的質量和提高虛擬視點圖像的顯示效果。多視點視頻中虛擬試點合成方法，包括以第一攝像機和第二攝像機提供的兩幅視點圖像作為參考視點圖像，並分別對該兩幅視點圖像進行三維圖像變換、 小洞填充、圖像互補和圖像融合處理之後得到主虛擬視點圖像；再分別對所述兩幅視點圖像分別進行深度圖處理、三維圖像變換、小洞填充、圖像互補和圖像融合處理之後得到副虛擬視點圖像；再根據所述副虛擬視點圖像對所述主虛擬視點圖像進行剩餘空洞填充之後， 得到最終需要合成的虛擬視點圖像。採用本發明技術方案，對兩幅參考視點圖像進行相應的處理得到主虛擬視點圖像時，沒有進行深度圖處理，因此不會帶來較大的圖像畸變；而在對兩幅參考視點圖像進行相應的處理得到副虛擬視點圖像時，進行了深度圖處理，因此可以減輕前景物體與背景之間的深度差異，可以改善虛擬視點圖像質量；再根據副虛擬視點圖像對所述主虛擬視點圖像進行空洞填充時，可以合成不帶來畸變的且質量較高的虛擬視點圖像。下面結合說明書附圖對本發明技術方案進行詳細的描述。參見圖1A，為本發明實施例中多視點視頻中虛擬視點合成的方法流程圖，方法還可通過圖IB示意，方法包括步驟101、根據第一攝像機得到的第一參考視點圖像及其深度圖像、第一攝像機參數，對所述第一參考視點圖像進行三維圖像變換，得到第一虛擬視點圖像及其深度圖像和空洞圖；以及，根據第二攝像機得到的第二參考視點圖像及其深度圖像、第二攝像機參數， 對所述第二參考視點圖像進行三維圖像變換，得到第二虛擬視點圖像及其深度圖像和空洞圖。步驟102、根據所述第一虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第一虛擬視點圖像進行小洞填充，得到小洞填充後的第一虛擬視點圖像；以及根據所述第二虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第二虛擬視點圖像進行小洞填充，得到小洞填充後的第二虛擬視點圖像。步驟103、將小洞填充後的第一虛擬視點圖像與第二虛擬視點圖像作為彼此的參考圖像，進行圖像互補，分別得到圖像互補後的第一虛擬視點圖像和第二虛擬視點圖像。步驟104、將圖像互補後的第一虛擬視點圖像與第二虛擬視點圖像進行融合，得到主虛擬視點圖像。步驟105、對所述第一參考視點圖像與所述第二參考視點圖像分別進行深度圖處理，得到深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像；再按照上述步驟 101 步驟104對深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像進行相應的處理，得到副虛擬視點圖像。步驟106、根據所述副虛擬視點圖像對所述主虛擬視點圖像進行空洞填補，生成最終需要得到的虛擬視點圖像。上述流程的步驟101中，對所述第一參考視點圖像進行三維圖像變換，可包括以下步驟
步驟al、將所述第一參考視點圖像中的像素點映射到三維空間中，可參見式(1)；步驟bl、將步驟al中已經映射到三維空間之後的像素點重投影到第一虛擬視點圖像上，可參見式(2)；步驟Cl、採用Z-fuffer和取整方法對所述第一虛擬視點圖像中的像素點的坐標值進行篩選；對所述第二參考視點圖像進行三維圖像變換，包括步驟a2、將所述第二參考視點圖像中的像素點映射到三維空間中，可參見式(3)；步驟1^2、將步驟a2中已經映射到三維空間之後的像素點重投影到第二虛擬視點圖像上，可參見式⑷；步驟c2、採用Z-fuffer和取整方法對所述第二虛擬視點圖像中的像素點的坐標值進行篩選。上述步驟al、步驟bl和步驟Cl中，第一參考視點圖像中的像素點的坐標點所在的圖像坐標係為以第一參考視點圖像的左上角為原點，沿水平方向為橫坐標，沿豎直方向為縱坐標；在所述步驟a2、步驟1^2和步驟c2中，第二參考視點圖像中的像素點的坐標點所在的圖像坐標係為以第二參考視點圖像的左上角為原點，沿水平方向為橫坐標，沿豎直方向為縱坐標；所述三維空間的空間坐標係為以屏幕的左下角為原點，該空間坐標系的X軸沿屏幕平面的豎直方向，y軸沿屏幕平面的水平方向。上述圖像坐標系與空間坐標系的映射關係可如圖2所示。將第一參考視點圖像中的像素點映射到三維空間，可根據式(1)進行變換_式(1)；式(1)中，為齊次坐標系下第一參考視點圖像中某一像素點在圖像坐標系中的坐標，M1S齊次坐標系下所述某一像素點變換到三維空間之後在三維空間坐標系中的坐標A為相應的2#攝像機的內部參數矩陣；Pn是歸一化透視投影矩陣。將映射到三維空間之後的第一視點彩色圖像的像素點重投影到目標虛擬視點圖像上，可通過式( 變換得到叫ξ」> Ζ)Μ# ⑵；式O)中，Mi與式(1)中的M1相同，％'為齊次坐標系下所述似1變換到目標虛擬視
點圖像中的坐標;A'為目標視點攝像機(即3#攝像機)的內部參數矩陣；D是目標視點攝像機的外部參數矩陣，包含旋轉矩陣R和平移向量t。將第二參考視點圖像中的像素點映射到三維空間，可根據式(3)變換得到階三為屍 M2式⑶；式(3)中，為齊次坐標系下第二參考視點圖像中某一像素點在圖像坐標系中的坐標，似2為齊次坐標系下所述某一像素點變換到三維空間之後在三維空間坐標系中的坐標-A為相應的3#攝像機的內部參數矩陣；Pn是歸一化透視投影矩陣。將映射到三維空間之後的第二視點彩色圖像的像素點重投影到目標虛擬視點圖像上，可通過式(4)變換得到
m; =APnDM2^ ；式(4)中，M2與式⑴中的M2相同，為齊次坐標系下所述M2變換到目標虛擬視
點圖像中的坐標;A'為目標視點攝像機(即3#攝像機)的內部參數矩陣；D是目標視點攝像機的外部參數矩陣，包含旋轉矩陣R和平移向量t。將參考視點圖像中的像素點映射到目標虛擬視點圖像的過程為多對一的過程，因此，可能會存在參考視點圖像中位於不同位置的兩個或多個像素點映射到目標虛擬視點圖像中的同一位置，因此存在重疊現象。因此，上述步驟cl和步驟c2中，採用Z-fuffer方法避免重疊現象，即在目標虛擬視點圖像繪製過程中，為目標虛擬視點圖像中的每個像素點k 提供一個對應的buffer，以保留映射到該像素點k的來自參考視點圖像中的多個像素點的深度值，再將該多個像素點中深度值最大的像素點的深度值確定為該像素點k的深度值。參考視點圖像中的像素點經變換後投影到目標虛擬視點圖像的平面上時，可能不是投影在整像素點上而是投影在分像素點，因此，需要提取該分像素點坐標的整數部分作為目標虛擬視點圖像中相應點的坐標值。上述流程的步驟102中，對所述第一虛擬視點圖像進行小洞填充，包括根據所述第一虛擬視點圖像的空洞圖中的像素值，確定出在所述第一虛擬試點彩色圖像中相應位置是否為空洞；對所述空洞圖中像素值為0的點ml，在所述第一虛擬視點圖像的深度圖中相應位置的水平、垂直和對角邊界點中確定出深度值最大的點nl ；將nl點在所述第一虛擬視點圖像中的像素信息賦予ml點，得到如圖；對所述第二虛擬視點圖像進行小洞填充，包括根據所述第二虛擬視點圖像的空洞圖中的像素值，確定出在所述第二虛擬試點彩色圖像中相應位置是否為空洞；對所述空洞圖中像素值為0的點m2，在所述第二虛擬視點圖像的深度圖中相應位置的水平、垂直和對角邊界點中確定出深度值最大的點n2 ；將n2點在所述第二虛擬視點圖像中的像素信息賦予m2點。上述流程的步驟103具體可包括根據所述第一虛擬視點圖像的空洞圖，確定出所述第一虛擬視點圖像中的空洞的位置；對所述第一虛擬視點圖像的空洞圖進行形態學擴張，以避免在所述第一虛擬視點圖像中產生偽影；根據所述第二虛擬視點圖像的空洞圖，確定出所述第二虛擬視點圖像中的空洞的位置；對所述第二虛擬視點圖像的空洞圖進行形態學擴張，以避免在第二虛擬視點圖像中產生偽影；針對所述第一虛擬視點圖像中的每個空洞位置的像素點，若像素點在所述第二虛擬視點圖像中有值，則將該值賦予所述像素點；針對所述第二虛擬視點圖像中的每個空洞位置的像素點，若像素點在所述第一虛擬視點圖像中有值，則將該值賦予所述像素點。上述流程的步驟104，將第一虛擬視點圖像與第二虛擬視點圖像進行融合處理，可採用以下方式將圖像互補後的第一虛擬視點圖像與第二虛擬視點圖像進行基於距離的圖像融合，得到所述主虛擬視點圖像。對圖像互補後的第一虛擬視點圖像和第二虛擬視點圖基於距離的圖像融合，可根據式(5)得到
權利要求
1.一種多視點視頻中虛擬視點合成方法，其特徵在於，包括步驟1、根據第一攝像機得到的第一參考視點圖像及其深度圖像、第一攝像機參數，對所述第一參考視點圖像進行三維圖像變換，得到第一虛擬視點圖像及其深度圖像和空洞圖；以及，根據第二攝像機得到的第二參考視點圖像及其深度圖像、第二攝像機參數，對所述第二參考視點圖像進行三維圖像變換，得到第二虛擬視點圖像及其深度圖像和空洞圖；步驟2、根據所述第一虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第一虛擬視點圖像進行小洞填充，得到小洞填充後的第一虛擬視點圖像；以及根據所述第二虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第二虛擬視點圖像進行小洞填充，得到小洞填充後的第二虛擬視點圖像；步驟3、將小洞填充後的第一虛擬視點圖像與第二虛擬視點圖像作為彼此的參考圖像， 進行圖像互補，分別得到圖像互補後的第一虛擬視點圖像和第二虛擬視點圖像；步驟4、將圖像互補後的第一虛擬視點圖像與第二虛擬視點圖像進行融合，得到主虛擬視點圖像；步驟5、對所述第一參考視點圖像與所述第二參考視點圖像分別進行深度圖處理，得到深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像；再按照上述步驟1 步驟4 對深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像進行相應的處理，得到副虛擬視點圖像；步驟6、根據所述副虛擬視點圖像對所述主虛擬視點圖像進行空洞填補，生成虛擬視點圖像。
2.如權利要求1所述的方法，其特徵在於，上述步驟1中，對所述第一參考視點圖像進行三維圖像變換，包括步驟al、將所述第一參考視點圖像中的像素點映射到三維空間中；步驟bl、將步驟al中已經映射到三維空間之後的像素點重投影到第一虛擬視點圖像上；步驟Cl、採用Z-fuffer和取整方法對所述第一虛擬視點圖像中的像素點的坐標值進行篩選；對所述第二參考視點圖像進行三維圖像變換，包括步驟a2、將所述第二參考視點圖像中的像素點映射到三維空間中；步驟1^2、將步驟a2中已經映射到三維空間之後的像素點重投影到第二虛擬視點圖像上；步驟c2、採用Z-fuffer和取整方法對所述第二虛擬視點圖像中的像素點的坐標值進行篩選。
3.如權利要求2所述的方法，其特徵在於在所述步驟al、步驟bl和步驟Cl中，第一參考視點圖像中的像素點的坐標點所在的圖像坐標係為以第一參考視點圖像的左上角為原點，沿水平方向為橫坐標，沿豎直方向為縱坐標；在所述步驟a2、步驟1^2和步驟c2中，第二參考視點圖像中的像素點的坐標點所在的圖像坐標係為以第二參考視點圖像的左上角為原點，沿水平方向為橫坐標，沿豎直方向為縱坐標；所述三維空間的空間坐標係為以屏幕的左下角為原點，該空間坐標系的χ軸沿屏幕平面的豎直方向，y軸沿屏幕平面的水平方向。
4.如權利要求1所述的方法，其特徵在於，對所述第一虛擬視點圖像進行小洞填充，包括根據所述第一虛擬視點圖像的空洞圖中的像素值，確定出在所述第一虛擬試點彩色圖像中相應位置是否為空洞；對所述空洞圖中像素值為0的點ml，在所述第一虛擬視點圖像的深度圖中相應位置的水平、垂直和對角邊界點中確定出深度值最大的點nl ；將nl點在所述第一虛擬視點圖像中的像素信息賦予ml點；對所述第二虛擬視點圖像進行小洞填充，包括根據所述第二虛擬視點圖像的空洞圖中的像素值，確定出在所述第二虛擬試點彩色圖像中相應位置是否為空洞；對所述空洞圖中像素值為0的點m2，在所述第二虛擬視點圖像的深度圖中相應位置的水平、垂直和對角邊界點中確定出深度值最大的點n2 ；將n2點在所述第二虛擬視點圖像中的像素信息賦予 m2點。
5.如權利要求1所述的方法，其特徵在於，所述步驟3，具體包括根據所述第一虛擬視點圖像的空洞圖，確定出所述第一虛擬視點圖像中的空洞的位置；對所述第一虛擬視點圖像的空洞圖進行形態學擴張，以避免在所述第一虛擬視點圖像中產生偽影；根據所述第二虛擬視點圖像的空洞圖，確定出所述第二虛擬視點圖像中的空洞的位置；對所述第二虛擬視點圖像的空洞圖進行形態學擴張，以避免在第二虛擬視點圖像中產生偽影；針對所述第一虛擬視點圖像中的每個空洞位置的像素點，若像素點在所述第二虛擬視點圖像中有值，則將該值賦予所述像素點；針對所述第二虛擬視點圖像中的每個空洞位置的像素點，若像素點在所述第一虛擬視點圖像中有值，則將該值賦予所述像素點。
6.如權利要求1所述的方法，其特徵在於，所述步驟4，具體包括將圖像互補後的第一虛擬視點圖像與第二虛擬視點圖像進行基於距離的圖像融合，得到所述主虛擬視點圖像。
7.如權利要求1所述的方法，其特徵在於，所述步驟5中，對所述第一參考視點圖像與所述第二參考視點圖像分別進行深度圖處理，包括分別對所述第一參考視點圖像的深度圖像和所述第二參考視點圖像的深度圖像進行雙邊濾波處理。
8.一種多視點視頻中虛擬視點合成裝置，其特徵在於，包括三維圖像變換單元，用於根據第一攝像機得到的第一參考視點圖像及其深度圖像、第一攝像機參數，對所述第一參考視點圖像進行三維圖像變換，得到第一虛擬視點圖像及其深度圖像和空洞圖；以及，根據第二攝像機得到的第二參考視點圖像及其深度圖像、第二攝像機參數，對所述第二參考視點圖像進行三維圖像變換，得到第二虛擬視點圖像及其深度圖像和空洞圖；空洞填充單元，用於根據所述第一虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第一虛擬視點圖像進行小洞填充，得到小洞填充後的第一虛擬視點圖像；以及根據所述第二虛擬視點圖像的空洞圖，採用水平、垂直和對角外推法對所述第二虛擬視點圖像進行小洞填充，得到小洞填充後的第二虛擬視點圖像；圖像互補單元，用於將小洞填充後的第一虛擬視點圖像與第二虛擬視點圖像作為彼此的參考圖像，進行圖像互補，分別得到圖像互補後的第一虛擬視點圖像和第二虛擬視點圖像；圖像融合單元，用於將圖像互補後的第一虛擬視點圖像與第二虛擬視點圖像進行融合，得到主虛擬視點圖像；圖像深度處理單元，用於對所述第一參考視點圖像與所述第二參考視點圖像分別進行深度圖處理，得到深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像；並啟動所述三維圖像變換單元、空洞填充單元、圖像互補單元、圖像融合單元依次對所述深度圖處理後的第一參考視點圖像和第二參考試點彩色圖像進行相應的處理，得到副虛擬視點圖像；虛擬視點圖像生成單元，用於將所述副虛擬視點圖像對所述主虛擬視點圖像進行空洞填補，生成虛擬視點圖像。
9.如權利要求8所述的裝置，其特徵在於，所述空洞填充單元，具體用於對所述第一虛擬視點圖像進行小洞填充，包括根據所述第一虛擬視點圖像的空洞圖中的像素值，確定出在所述第一虛擬試點彩色圖像中相應位置是否為空洞；對所述空洞圖中像素值為0的點ml，在所述第一虛擬視點圖像的深度圖中相應位置的水平、垂直和對角邊界點中確定出深度值最大的點nl ；將nl點在所述第一虛擬視點圖像中的像素信息賦予ml 點。對所述第二虛擬視點圖像進行小洞填充，包括根據所述第二虛擬視點圖像的空洞圖中的像素值，確定出在所述第二虛擬試點彩色圖像中相應位置是否為空洞；對所述空洞圖中像素值為O的點m2，在所述第二虛擬視點圖像的深度圖中相應位置的水平、垂直和對角邊界點中確定出深度值最大的點n2 ；將n2點在所述第二虛擬視點圖像中的像素信息賦予 m2點。
10.如權利要求8所述的裝置，其特徵在於，所述圖像互補單元，具體用於根據所述第一虛擬視點圖像的空洞圖，確定出所述第一虛擬視點圖像中的空洞的位置；對所述第一虛擬視點圖像的空洞圖進行形態學擴張，以避免在所述第一虛擬視點圖像中產生偽影；根據所述第二虛擬視點圖像的空洞圖，確定出所述第二虛擬視點圖像中的空洞的位置；對所述第二虛擬視點圖像的空洞圖進行形態學擴張，以避免在第二虛擬視點圖像中產生偽影；針對所述第一虛擬視點圖像中的每個空洞位置的像素點，若像素點在所述第二虛擬視點圖像中有值，則將該值賦予所述像素點；針對所述第二虛擬視點圖像中的每個空洞位置的像素點，若像素點在所述第一虛擬視點圖像中有值，則將該值賦予所述像素點。
全文摘要
本發明公開一種多視點視頻中虛擬視點合成方法及裝置，在保證不帶來幾何畸變的前提下，提高虛擬視點圖像的質量，提高虛擬視點圖像的顯示效果；方法包括以第一攝像機和第二攝像機提供的兩幅視點圖像作為參考視點圖像，並分別對該兩幅視點圖像進行三維圖像變換、小洞填充、圖像互補和圖像融合處理之後得到主虛擬視點圖像；再分別對所述兩幅視點圖像分別進行深度圖處理、三維圖像變換、小洞填充、圖像互補和圖像融合處理之後得到副虛擬視點圖像；再根據所述副虛擬視點圖像對所述主虛擬視點圖像進行剩餘空洞填充之後，得到最終需要合成的虛擬視點圖像。
文檔編號H04N5/262GK102325259SQ201110267778
公開日2012年1月18日 申請日期2011年9月9日 優先權日2011年9月9日
發明者劉微, 劉琚, 孫建德, 王路 申請人:青島海信數字多媒體技術國家重點實驗室有限公司