一種前景物體局部置換的方法與終端與流程

2023-04-24 09:36:39

本發明涉及虛擬演播室技術，特別涉及一種前景物體局部置換的方法與終端。

背景技術：

目前，基於藍箱摳像技術的虛擬演播室系統目前已廣泛應用於各類電視節目製作中。虛擬演播室系統用於製作實施電視節目時，前景物體一般是主持人或者其他預先設定的物體，而背景物體一般是除前景物體之外的其他道具及場景。常見的處理是利用三維虛擬技術對背景物體進行虛擬物體置換，而前景物體一般不進行三維虛擬技術處理，導致了節目製作缺失表現力。

技術實現要素：

有鑑於此，實有必要提供一種能夠對虛擬演播室系統中前景物體進行三維虛擬技術處理，以進行局部置換的前景物體局部置換的方法與終端。

一種前景物體局部置換的方法，所述方法包括：

獲取真實攝像機拍攝的真實視頻圖像，所述真實視頻圖像中的前景物體包括設有標誌物的待置換物體。

對真實視頻圖像進行摳像生成前景視頻圖像和相應的前景圖像輪廓信息，所述標誌物在所述前景圖像中形成透明的區域。

獲取深度攝像機拍攝所述前景物體的深度圖像並根據深度圖像獲得待置換物體的輪廓信息和待置換物體的深度信息。

根據所述深度圖像、所述待置換物體的輪廓信息、真實攝像機和深度攝像機的位置關係計算出所述待置換物到真實攝像機的距離。

根據所述距離和真實攝像機變焦參數計算出所述待置換物體在所述真實視頻圖像中的位置和比例。

根據所述位置和比例在所述前景圖像中查找所述標誌物所在區域。

從所述標誌物區域識別出所述標誌物的邊緣。

根據所述標誌物的邊緣、所述待置換物體的輪廓、以及預設標誌物和待置換物體之間的關係得到待置換區域的輪廓。

根據所述待置換區域的輪廓，將所述待置換區域置換成預設的虛擬圖像。

進一步地，所述標識物的顏色與所述虛擬演播室的背景顏色相同。

進一步地，所述待置換物體為人，根據深度圖像獲得待置換物體的輪廓信息和待置換物體的深度信息包括：

將深度傳感器識別出來的人體的輪廓信息設置為待置換物體的輪廓信息。以及

將人體的輪廓信息對應的深度信息設置為所述待置換物體的深度信息。

進一步地，根據所述深度圖像和所述待置換物體的輪廓信息計算出所述待置換物到真實攝像機的距離包括：

根據待置換物體的深度信息計算出待置換物體到深度攝像機的距離；

根據深度攝像機和真實攝像機的位置關係、以及待置換物體到深度攝像機的距離計算出所述待置換物到所述真實攝像機之間的距離。

進一步地，所述真實攝像機變焦參數根據攝像機跟蹤技術獲取。

一種終端包括：

真實圖像獲取單元，用於獲取真實攝像機拍攝的真實視頻圖像，所述真實視頻圖像中的前景物體包括設有標誌物的待置換物體。

摳像單元，用於對真實視頻圖像進行摳像生成前景視頻圖像和相應的前景圖像輪廓信息，所述標誌物在所述前景圖像中形成透明的區域。

深度圖像獲取單元，用於獲取深度攝像機拍攝所述前景物體的深度圖像並根據深度圖像獲得待置換物體的輪廓信息和待置換物體的深度信息。

距離計算單元，用於根據所述深度圖像、所述待置換物體的輪廓信息、真實攝像機和深度攝像機的位置關係計算出所述待置換物到真實攝像機的距離。

位置計算單元，用於根據所述待置換物到真實攝像機的距離和真實攝像機變焦參數計算出所述待置換物體在所述真實視頻圖像中的位置和比例。

查找單元，用於根據所述位置和比例在所述前景圖像中查找所述標誌物所在區域。

識別單元，用於從所述標誌物區域識別出所述標誌物的邊緣。

輪廓獲取單元，用於根據所述標誌物的邊緣、所述待置換物體的輪廓、以及預設標誌物和待置換物體之間的關係得到待置換區域的輪廓。

置換單元，用於根據所述待置換區域的輪廓，將所述待置換區域置換成預設的虛擬圖像。

進一步地，所述真實視頻圖像中背景顏色與所述標識物的顏色相同。

進一步地，所述待置換物體為人，所述深度圖像獲取單元用於將深度傳感器識別出來的人體的輪廓信息設置為待置換物體的輪廓信息；所述深度圖像獲取單元還用於將人體的輪廓信息對應的深度信息設置為所述待置換物體的深度信息。

進一步地，所述計算單元用於根據待置換物體的深度信息計算出待置換物體到深度攝像機的距離；所述計算單元還用於根據深度攝像機和真實攝像機的位置關係、以及待置換物體到深度攝像機的距離計算出所述待置換物到所述真實攝像機之間的距離。

進一步地，所述真實攝像機變焦參數根據攝像機跟蹤技術獲得。

上述方法與終端通過在待置換的前景物體上設置標誌物，從而對採用三維虛擬技術對前景物體進行局部置換，極大地增強節目製作的表現力。

附圖說明

為了更清楚地說明本發明實施例技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明較佳實施例中一種前景物體局部置換的方法的流程圖；

圖2是本發明較佳實施例中一種終端的功能模塊圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

如圖1所示，其為較佳實施例的一種前景物體局部置換的方法的流程圖。該方法包括步驟S101～S109。

S101，獲取真實攝像機拍攝的真實視頻圖像，所述真實視頻圖像中的前景物體包括設有標誌物的待置換物體。

具體地，該前景物體可以是靜態物體也可以是動態物體，還可以是靜態物體與動態物體的任意組合。靜態物體包括但不局限於布置在虛擬演播室中的桌子、椅子。動態物體包括但不局限於虛擬演播室中可移動的物體，如進行節目主持的主持人、進行節目表演的動物等。該待置換物體可以是前景物體中的局部，也可以是前景物體中的全部。本實施例選將主持人與桌子作為前景物體，同時優選主持人為待置換物體，主持人的頭部區域為待置換區域。

具體地，所述標識物包括但不局限於項圈、絲巾、布條、手環等。作為一個優選，所述標識物的顏色與該虛擬演播室的背景顏色相同。本實施例選取與該虛擬演播室顏色相同的絲巾為標誌物。

具體地，在待置換前景物體上設置標識物的動作可以視為將所述顏色與所述背景顏色相同的絲巾圍繞在主持人的脖子處。所述絲巾的作用是為了在後續步驟中將主持人的頭部區域與身體區域進行區分。

S102，對真實視頻圖像進行摳像生成前景視頻圖像和相應的前景圖像輪廓信息，所述標誌物在所述前景圖像中形成透明的區域。

具體地，根據虛擬演播室背景顏色和標誌物顏色進行顏色摳像。根據所述前景物體掩膜的鍵信號，進行摳像處理，生成前景物體視頻圖像。作為一個優選，摳像處理由色鍵器進行。所述色鍵器根據所述前景物體掩膜的鍵信號，進行摳像處理，生成前景物體視頻圖像。

S103，獲取深度攝像機拍攝所述前景物體的深度圖像並根據深度圖像獲得待置換物體的輪廓信息和待置換物體的深度信息。

具體地，若該待置換物體為人，將深度傳感器識別出來的人體的輪廓信息設置為待置換物體的輪廓信息。將人體的輪廓信息對應的深度信息設置為所述待置換物體的深度信息。若該待置換物體為主持人為其他物體，可以通過圖像比對獲得輪廓信息。

S104，根據所述深度圖像、所述待置換物體的輪廓信息、真實攝像機和深度攝像機的位置關係計算出所述待置換物到真實攝像機的距離。

具體地，首先，根據待置換物體的深度信息計算出待置換物體到深度攝像機的距離；然後，根據深度攝像機和真實攝像機的位置關係、以及待置換物體到深度攝像機的距離計算出所述待置換物到所述真實攝像機之間的距離。

S105，根據所述距離和真實攝像機變焦參數計算出所述待置換物體在所述真實視頻圖像中的位置和比例。

具體地，主持人的在每幀真實圖像中的輪廓信息獲取可以利用攝像機跟蹤技術來完成。首先，啟動攝像機。在主持人未進入場景的時候，對整個成場景掃描一遍，記錄下對應的每幀的前景視頻圖像和對應的前景攝像機的姿態，所述姿態包括前景攝像機的平搖角度和俯仰角度。然後，在主持人進入場景中的時候，所述前景攝像機採用與剛才記錄的姿態信息進行攝像。因為前景攝像機採用同樣的姿態進行攝像，其得出的前景物體視頻圖像的景深和角度等數據都是一樣的，唯一的差異就是場景中多了主持人。基於所述差異，利用圖像逐像素對比的方法，即可得到主持人在前景物體掩膜中的位置、比例、輪廓等特徵數據。

S106，根據所述位置和比例在所述前景圖像中查找所述標誌物所在區域。

S107，從所述標誌物區域識別出所述標誌物的邊緣。

S108，根據所述標誌物的邊緣、所述待置換物體的輪廓、以及預設標誌物和待置換物體之間的關係得到待置換區域的輪廓。

具體地，因為本實施例中已經將所述待置換區域預先設定為主持人的頭部區域，也就是所述待置換區域是已知的。另外，可以得知設置於主持人脖子處的絲巾將支持人劃分為兩大區域：身體區域和頭部區域。結合已知的所述待置換區域，我們可以正常情況下頭部區域是位於主持人的上方，也就是說頭部區域是位於所述絲巾的上方。

S109，根據所述待置換區域的輪廓，將所述待置換區域置換成預設的虛擬圖像。

具體地，利用渲染引擎對用於置換的虛擬物體進行三維渲染後和該待置換區域的第二輪廓邊緣對齊，進行置換，即可完成對主持人的頭部虛擬置換。

作為一個優選，在虛擬物體進行三維渲染的過程中，採用的景深數據主持人到前景攝像機的景深數據相同。

如圖2所示，其為較佳實施例的一種終端的功能模塊圖。

真實圖像獲取單元101，用於獲取真實攝像機拍攝的真實視頻圖像。所述真實視頻圖像中的前景物體包括設有標誌物的待置換物體。

具體地，該前景物體可以是靜態物體也可以是動態物體，還可以是靜態物體與動態物體的任意組合。靜態物體包括但不局限於布置在虛擬演播室中的桌子、椅子。動態物體包括但不局限於虛擬演播室中可移動的物體，如進行節目主持的主持人、進行節目表演的動物等。該待置換物體可以是前景物體中的局部，也可以是前景物體中的全部。本實施例選將主持人與桌子作為前景物體，同時優選主持人為待置換物體，主持人的頭部區域為待置換區域。

具體地，所述標識物包括但不局限於項圈、絲巾、布條、手環等。作為一個優選，所述真實視頻圖像中背景顏色與所述標識物的顏色。本實施例選取與該虛擬演播室顏色相同的絲巾為標誌物。

具體地，在待置換前景物體上設置標識物的動作可以視為將所述顏色與所述背景顏色相同的絲巾圍繞在主持人的脖子處。所述絲巾的作用是為了在後續步驟中將主持人的頭部區域與身體區域進行區分。

摳像單元102，用於對真實視頻圖像進行摳像生成前景視頻圖像和相應的前景圖像輪廓信息，所述標誌物在所述前景圖像中形成透明的區域。

具體地，根據虛擬演播室背景顏色和標誌物顏色進行顏色摳像。根據所述前景物體掩膜的鍵信號，進行摳像處理，生成前景物體視頻圖像。作為一個優選，摳像處理由色鍵器進行。所述色鍵器根據所述前景物體掩膜的鍵信號，進行摳像處理，生成前景物體視頻圖像。

深度圖像獲取單元103，用於獲取深度攝像機拍攝所述前景物體的深度圖像並根據深度圖像獲得待置換物體的輪廓信息和待置換物體的深度信息。

具體地，若該待置換物體為人，將深度傳感器識別出來的人體的輪廓信息設置為待置換物體的輪廓信息。將人體的輪廓信息對應的深度信息設置為所述待置換物體的深度信息。若該待置換物體為主持人為其他物體，可以通過圖像比對獲得輪廓信息。

距離計算單元104，用於根據所述深度圖像、所述待置換物體的輪廓信息、真實攝像機和深度攝像機的位置關係計算出所述待置換物到真實攝像機的距離。

具體地，首先，根據待置換物體的深度信息計算出待置換物體到深度攝像機的距離；然後，根據深度攝像機和真實攝像機的位置關係、以及待置換物體到深度攝像機的距離計算出所述待置換物到所述真實攝像機之間的距離。

位置計算單元105，用於根據所述待置換物到真實攝像機的距離和真實攝像機變焦參數計算出所述待置換物體在所述真實視頻圖像中的位置和比例。

具體地，主持人的在每幀真實圖像中的輪廓信息獲取可以利用攝像機跟蹤技術來完成。首先，啟動攝像機。在主持人未進入場景的時候，對整個成場景掃描一遍，記錄下對應的每幀的前景視頻圖像和對應的前景攝像機的姿態，所述姿態包括前景攝像機的平搖角度和俯仰角度。然後，在主持人進入場景中的時候，所述前景攝像機採用與剛才記錄的姿態信息進行攝像。因為前景攝像機採用同樣的姿態進行攝像，其得出的前景物體視頻圖像的景深和角度等數據都是一樣的，唯一的差異就是場景中多了主持人。基於所述差異，利用圖像逐像素對比的方法，即可得到主持人在前景物體掩膜中的位置、比例、輪廓等特徵數據。

查找單元106，用於根據所述位置和比例在所述前景圖像中查找所述標誌物所在區域。

識別單元107，用於從所述標誌物區域識別出所述標誌物的邊緣。

輪廓獲取單元108，用於根據所述標誌物的邊緣、所述待置換物體的輪廓、以及預設標誌物和待置換物體之間的關係得到待置換區域的輪廓。

具體地，因為本實施例中已經將所述待置換區域預先設定為主持人的頭部區域，也就是所述待置換區域是已知的。另外，可以得知設置於主持人脖子處的絲巾將支持人劃分為兩大區域：身體區域和頭部區域。結合已知的所述待置換區域，我們可以正常情況下頭部區域是位於主持人的上方，也就是說頭部區域是位於所述絲巾的上方。

置換單元109，用於根據所述待置換區域的輪廓，將所述待置換區域置換成預設的虛擬圖像。

具體地，利用渲染引擎對用於置換的虛擬物體進行三維渲染後和該待置換區域的第二輪廓邊緣對齊，進行置換，即可完成對主持人的頭部虛擬置換。

作為一個優選，在虛擬物體進行三維渲染的過程中，採用的景深數據主持人到前景攝像機的景深數據相同。

以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到各種等效的修改或替換，這些修改或替換都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以權利要求的保護範圍為準。