視頻採集方法及裝置、視頻生成方法及裝置與流程

2023-05-27 09:55:41 2

本發明涉及視頻技術領域，尤其涉及一種視頻採集方法及裝置、視頻生成方法及裝置。

背景技術：

視頻信息的採集與傳輸是信息技術發展的一個重要方向，傳統視頻由於單一攝像頭視野有限、只能攝取現場的某一布局，不能讓不同的用戶同時觀看不同角度的自己感興趣的場景，無法滿足用戶的個性化需求。然而，近幾年流行起來的全景視頻克服了傳統視頻的上述缺陷。

全景視頻技術涉及計算機圖形學、人機互動技術、傳感技術、人工智慧等領域，它用計算方法生成逼真的三維視、聽感覺，提供用戶關於視覺、聽覺等感官的模擬，讓用戶通過使用各種裝置將自己「投射」到這個虛擬的環境中，使用戶如同身臨其境地觀察三維空間內的場景。全景視頻可以看做是多視角視頻的一種特例，即包含有水平360°和垂直360°所有視角的視頻。

目前，視頻採集方通常僅將採集到的二維視頻數據提供給視頻生成方，視頻生成方根據該二維視頻數據按特定的模型(例如球形、正六面體或錐體等)建立三維的全景視頻以供給用戶進行觀看，但是，視頻採集方提供的二維視頻數據通常只適用於生成全景視頻，視頻生成方無法基於所提供的二維視頻數據方便靈活地按照需要生成各種非連續視角的多視角視頻。而且由於不同視頻生成方使用的模型各異，而視頻採集方所採集的二維視頻數據不一定與視頻生成方所使用的模型相適應，導致視頻顯示的效果不盡如人意(例如扭曲、變形等)。並且，現有技術通常只能基於球體、正六面體等已有的三維模型來生成全景視頻，如果自定義其他類型的模型，則更有可能因二維視頻數據無法與三維模型適配而降低顯示效果。

技術實現要素：

技術問題

有鑑於此，本發明提出一種視頻採集方法及裝置、視頻生成方法及裝置，能夠自由靈活地生成連續視角或非連續視角的多視角視頻，而且提高視頻顯示的效果，從而提高用戶體驗。

解決方案

一方面，提出了一種視頻採集方法，包括：獲取構建多視角視頻所需的各拍攝方向的視頻幀；將各視頻幀映射至二維空間，得到各視頻幀在二維空間中的二維模型數據；將映射至所述二維空間的各視頻幀按照預定的三維模型映射至三維空間，得到各視頻幀在三維空間中的三維模型數據，以及將所述視頻幀的視頻幀數據以及模型數據發送至伺服器以便構建多視角視頻，其中所述模型數據包括所述三維模型的類型、所述二維模型數據和所述三維模型數據。

另一方面，提出了一種視頻生成方法，包括：獲取構建多視角視頻所需的各拍攝方向的視頻幀的視頻幀數據以及模型數據，所述模型數據包括各視頻幀映射至二維空間得到的二維模型數據，映射至二維空間的各視頻幀映射至三維空間得到的三維模型數據以及所述三維空間所對應的三維模型的類型；根據所述三維模型數據及三維模型的類型進行三維建模，得到重建的三維模型；根據所述二維模型數據、所述視頻幀數據以及所述重建的三維模型生成所述多視角視頻。

又一方面，提出了一種視頻採集裝置，包括：獲取單元，用於獲取構建多視角視頻所需的各拍攝方向的視頻幀；第一映射單元，用於將各視頻幀映射至二維空間，得到各視頻幀在二維空間中的二維模型數據；第二映射單元，用於將映射至所述二維空間的各視頻幀按預定的三維模型映射至三維空間，得到各視頻幀在三維空間中的三維模型數據，以及發送單元，用於將所述視頻幀的視頻幀數據以及模型數據發送至伺服器以便構建多視角視頻，其中所述模型數據包括所述三維模型的類型、所述二維模型數據和所述三維模型數據。

再一方面，提出了一種視頻生成裝置，包括：獲取單元，用於獲取構建多視角視頻所需的各拍攝方向的視頻幀的視頻幀數據以及模型數據，所述模型數據包括視頻幀映射至二維空間得到的二維模型數據，映射至二維空間的各視頻幀映射至三維空間得到的三維模型數據以及所述三維空間所對應的三維模型的類型；建模單元，用於根據所述三維模型數據及三維模型的類型進行三維建模，得到重建的三維模型；生成單元，用於根據所述二維模型數據、所述視頻幀數據以及所述重建的三維模型生成所述多視角視頻。

有益效果

根據本發明的各個方面，通過獲取各拍攝方向的視頻幀，將包括各視頻數據、各視頻幀映射至二維空間得到的二維模型數據、映射至二維空間的各視頻幀按預定的三維模型映射至三維空間得到的三維模型數據、以及三維模型的類型共同發送至伺服器，以供視頻生成方構建多視角視頻。由於所提供的視頻幀數據與其二維模型數據、三維模型數據及三維模型的類型等模型數據相關聯，使得生成多視角視頻的方式更為靈活，且不僅限於全景視頻，可以包括任意連續或非連續視角的多視角視頻。並且，採集的視頻幀數據可以適當地應用於任意類型(包括自定義類型)的三維模型，且在多視角視頻生成的過程中能夠以視頻幀數據對應的模型數據為依據，從而最大程度上減少了扭曲和變形等，進而提升用戶體驗。

根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。

附圖說明

包含在說明書中並且構成說明書的一部分的附圖與說明書一起示出了本發明的示例性實施例、特徵和方面，並且用於解釋本發明的原理。

圖1示出根據本發明一實施例的視頻採集方法的流程圖。

圖2示出根據本發明一實施例的視頻採集方法的另一流程圖。

圖3示出根據本發明一實施例的視頻採集方法的又一流程圖。

圖4示出示出可供選擇的預定的三維模型示意圖。

圖5示出根據本發明一實施例的視頻生成方法的流程圖。

圖6示出根據本發明一實施例的視頻採集裝置的結構圖。

圖7示出根據本發明一實施例的視頻生成裝置的結構圖。

圖8示出根據本發明一實施例的視頻生成設備的結構圖。

具體實施方式

以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。

在這裡專用的詞「示例性」意為「用作例子、實施例或說明性」。這裡作為「示例性」所說明的任何實施例不必解釋為優於或好於其它實施例。

另外，為了更好的說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的裝置、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。

實施例1

圖1示出根據本發明一實施例的視頻採集方法的流程圖。如圖1所示，該方法主要包括：

步驟101，獲取構建多視角視頻所需的各拍攝方向的視頻幀；

步驟102，將各視頻幀映射至二維空間，得到各視頻幀在二維空間中的二維模型數據；

步驟103，將映射至所述二維空間的各視頻幀按照預定的三維模型映射至三維空間，得到各視頻幀在三維空間中的三維模型數據，以及

步驟104，將所述視頻幀的視頻幀數據以及模型數據發送至伺服器以便構建多視角視頻，其中所述模型數據包括所述三維模型的類型、所述二維模型數據和所述三維模型數據。

根據該實施例的方法，通過獲取各拍攝方向的視頻幀，將包括各視頻數據、各視頻幀映射至二維空間得到的二維模型數據、映射至二維空間的各視頻幀按預定的三維模型映射至三維空間得到的三維模型數據、以及三維模型的類型共同發送至伺服器，以供視頻生成方等構建多視角視頻。由於所提供的視頻幀數據與其二維模型數據、三維模型數據及三維模型的類型等模型數據相關聯，使得生成多視角視頻的方式更為靈活，且不僅限於全景視頻，可以包括任意連續或非連續視角的多視角視頻。並且，採集的視頻幀數據可以適當地應用於任意類型(包括自定義類型)的三維模型，且在多視角視頻生成的過程中能夠以視頻幀數據對應的模型數據為依據，從而最大程度上減少了扭曲和變形等，進而提升用戶體驗。

通過本實施例構建的多視角視頻也被稱為「空間視頻」，其使得實際空間中的任意切面能夠按照自由規則模型進行任意組合、甚至可以跨越時間維度進行組合，以產生所需要的視頻圖像。

以下結合一些具體示例，來對本實施例的各種可能的具體實現方式進行說明。這些示例僅是示例性和說明性的，並非意在限制本發明。

在一個示例中，構建多視角視頻所需的各拍攝方向的視頻幀可以從視頻採集設備獲取，例如採集設備可以是攝像頭、傳感器等任意能夠採集構建多視角視頻所需的各拍攝方向(各視角)的視頻幀的裝置或其組合，採集設備可以是一個或多個，可以分布式布設在所需的位置。在另一個示例中，構建多視角視頻所需的各拍攝方向的視頻幀還可以從第三方接收穫取。本領域技術人員可通過已知的現有技術手段獲取構建多視角視頻所需的各拍攝方向的視頻幀，本發明對此不做限制。

在一個示例中，各拍攝方向在實際空間中可以連續也可以不連續。

在一個示例中，可利用適當的壓縮方式對所採集到的視頻幀的視頻幀數據進行壓縮，以降低數據量。

在一個示例中，將各視頻幀映射至二維空間可以以各視頻幀的拍攝方向為依據，例如，針對同一時間點拍攝方向不連續的兩個視頻幀，在二維空間中可映射至相應的不連續的位置，以便於生成視角不連續的多視角視頻。當然，本領域技術人員也可以根據需要設置視頻幀的拍攝方向與其在二維空間中的映射位置之間的關係，例如，包括將拍攝方向不連續的視頻幀在二維空間中進行拼接，使它們在二維空間中的映射位置連續，以得到所需要的合成視頻圖像。

在一個示例中，二維模型數據可包括視頻幀中的特徵點在二維空間中的坐標，三維模型數據可包括視頻幀中的特徵點在三維空間中的坐標，三維模型的類型可以是常規的球體、正六面體等類型。如果是自定義三維模型，三維模型的類型可用自定義三維模型的模型參數來表示。

在一個示例中，如圖2所示，步驟102可以包括：

步驟201，在所述二維空間中，將各視頻幀分割為多邊形的多個單元。

具體地，針對獲取的每一個視頻幀，可以在二維空間中將各視頻幀分割為多邊形的多個單元。換言之，經分割後的各視頻幀是由多個多邊形單元拼接而成。其中，各視頻幀分割成的多個單元可以是同一類型的多邊形，例如所有單元都是三角形或其他多邊形，或者可以是不同類型的多邊形，例如可以包含三角形和其他多邊形等，本發明對此不作限制。在一個示例中，可以對分割後的各視頻進行壓縮處理。

將各視頻幀分割為多邊形的多個單元，以便於獲取二維模型數據和三維模型數據，進而利於根據二維模型數據、三維模型數據以及三維模型的類型構建多視角視頻。並且，通過將視頻幀切分為更小的單元，使得能夠以更小的單位將二維圖像映射至三維，更能夠適應於不同的三維模型(包括自定義三維模型)，進一步降低了圖像的失真扭曲，提高了成像效果。

步驟202，獲得各視頻幀中單元的個數以及各單元在二維空間中的頂點個數及頂點位置，作為所述二維模型數據。

例如，可以建立x∈[0,1],y∈[0,1]的二維空間，將各視頻幀分割為多邊形的多個單元後，映射至已建立的二維空間(或將視頻幀映射至二維空間後再進行單元的分割)，並確定各單元的頂點在該二維空間中的位置，該位置可以利用該頂點在二維空間中的坐標來表示。可將各視頻幀分割的單元的個數、各單元在該二維空間中的頂點的個數和頂點的位置(例如坐標)作為二維模型數據。

將視頻幀或其分割得到的單元映射至二維空間，可以根據本領域技術人員已知的任意映射方式來實現，本發明對此不做限制。

在一個示例中，如圖3所示，步驟103可以包括：

步驟301，針對各視頻幀，將各所述單元按照預定的三維模型映射至三維空間；

步驟302，獲得各所述單元在三維空間中的頂點個數及頂點位置，作為所述三維模型數據。

例如，可以建立x∈[-1,1],y∈[-1,1],z∈[-1,1]的三維空間，針對步驟102中的各視頻幀，可以將各視頻幀的各單元按照預定的三維模型映射至已建立的三維空間中。確定各單元的頂點在該三維空間中的位置，該位置可以利用該頂點在三維空間中的坐標來表示。可將各單元在該三維空間中的頂點的個數和頂點的位置(例如坐標)作為三維模型數據。其中，預定的三維模型可以為球形、正六面體或錐體等，也可以為自定義的其他類型的三維模型。在一個示例中，對於自定義三維模型，模型數據還可包括該自定義三維模型的模型參數，以利於視頻生成方重構多視角視頻。

將映射至二維空間的視頻幀或分割得到的單元映射至三維空間，可以根據本領域技術人員已知的任意映射方式來實現，本發明對此不做限制。

圖4示出可供選擇的預定的三維模型示意圖，所述預定的三維模型的類型包括但不限於圖4中示出的模型示例。

在一個示例中，針對步驟104，可以將所述視頻幀的視頻幀數據以及模型數據發送至伺服器(例如轉碼伺服器等)，以便於後續構建多視角視頻。其中，所述視頻幀數據可以是採用常規編碼壓縮後的視頻幀數據，模型數據可以包括例如步驟202中的二維模型數據、例如步驟301中的三維模型的類型以及例如步驟302中的三維模型數據。其中，發送方式可以採用有線或者無線的方式進行發送，本發明對此不作限制。

伺服器可對接收到的視頻幀數據和模型數據進行封包以發送至視頻生成方，封包信息可包括上述二維模型數據及三維模型數據。這些封包信息作為協議數據可以傳輸在應用層，也可以存儲在視頻壓縮層，比如數據傳輸層，編碼層等。

在一個示例中，所述視頻幀數據可以包括步驟201中分割後得到的各個單元的視頻幀數據。

在一個示例中，為了實現視頻的特殊效果，可以對各視頻幀進行例如剪裁或拉伸等適當的處理。以對視頻進行拉伸為例，針對各視頻幀，可以採用本領域技術人員已知的任何可以實現對視頻幀進行拉伸處理的方法來實現該目的，例如雙線性插值法等。這些處理可在將視頻幀或其單元映射至二維空間的過程中進行。

在一個示例中，在已確定二維模型數據和三維模型數據的情況下，也就是說，在各視頻幀中單元的個數，各單元在二維空間中的頂點個數、頂點位置，各單元在三維空間中的頂點個數、頂點位置均確定的情況下，可在發送前，將已確定的二維模型數據和三維模型數據與相應的視頻幀數據相關聯地進行壓縮處理來降低發送的數據量，以確保視頻幀數據以及模型數據中的相關數據相匹配，便於提高後續構建多視角視頻的質量。

根據以上示例，視頻採集方可以根據所採集到的視頻幀的特性，選擇適當的方式對視頻進行壓縮、拉伸剪裁等特殊處理，基於適當的模型和映射方式對視頻幀進行二維及三維映射，並將這些處理及映射相關的信息(例如模型數據)傳遞給視頻生成方，使得視頻生成方能夠以此為依據生成多視角視頻，使得多視角視頻的生成更加靈活、適配性更高、成像效果更好，同時，便於視頻採集方和視頻生成方之間建立統一的數據傳送格式，並且也降低了視頻生成方的處理壓力。

實施例2

圖5示出根據本發明一實施例的視頻生成方法的流程圖。如圖5所示，該方法主要包括：

步驟501，獲取構建多視角視頻所需的各拍攝方向的視頻幀的視頻幀數據以及模型數據，所述模型數據包括各視頻幀映射至二維空間得到的二維模型數據，映射至二維空間的各視頻幀映射至三維空間得到的三維模型數據以及所述三維空間所對應的三維模型的類型；

步驟502，根據所述三維模型數據及三維模型的類型進行三維建模，得到重建的三維模型；

步驟503，根據所述二維模型數據、所述視頻幀數據以及所述重建的三維模型生成所述多視角視頻。

根據該實施例的方法，通過獲取構建多視角視頻所需的各拍攝方向的視頻幀的視頻幀數據以及模型數據，根據該模型數據重建三維模型，並根據模型數據、所述視頻幀數據和所述重建的三維模型生成多視角視頻。由於模型數據中包含有各視頻幀映射至二維空間得到的二維模型數據，映射至二維空間的各視頻幀映射至三維空間得到的三維模型數據以及所述三維空間所對應的三維模型的類型，可以使生成多視角視頻時能夠以這些模型數據為依據，提高了生成過程與所提供的視頻數據的適配性，以最大程度對視頻幀數據進行還原，從而得到顯示效果更優的多視角視頻，提升用戶體驗。此外，利用模型數據可以方便地生成連續或非連續的多視角視頻，生成方式更加靈活。

在一個示例中，根據所述二維模型數據、所述視頻幀數據以及所述重建的三維模型生成所述多視角視頻可以通過貼圖(例如紋理貼圖)方式實現，例如可根據所述二維模型數據和所述視頻幀數據對所述重建的三維模型進行貼圖，以生成多視角視頻。

其中，對二維模型數據、三維模型數據和三維模型的類型的描述可參見實施例1中，此處不再贅述。

在一個示例中，所述視頻幀包括多邊形的多個單元，所述二維模型數據包括各視頻幀中單元的個數以及各單元在二維空間中的頂點位置；所述三維模型數據包括各所述單元在三維空間中的頂點個數及頂點位置。其中，對所述視頻幀及其單元的切分方式、二維模型數據和三維模型數據與實施例1中的類似，此處不再贅述。

在一個示例中，二維模型數據可以與視頻幀的拍攝方向相對應，以便方便地構建與拍攝方向相對應的連續或非連續視角的視頻。關於對應方式可參見實施例1。

在一個示例中，步驟502可以包括：根據所述三維模型的類型以及各所述單元在三維空間中的頂點個數及頂點位置，對各單元進行三維建模，得到各單元的重建的三維模型。

具體地，可以首先建立x∈[-1,1],y∈[-1,1],z∈[-1,1]的三維空間，根據接收到的三維模型的類型(如果是自定義三維模型，可包括模型參數)以及各單元在三維空間中的頂點個數及頂點位置(例如坐標)在該建立的三維空間中重新建立與三維模型的類型一致的三維模型，作為重建的三維模型。

在一個示例中，步驟503可以包括：針對各單元，根據該單元在二維空間中的頂點個數和頂點位置以及該單元的視頻幀數據對該單元的重建的三維模型進行貼圖處理，以得到所述多視角視頻。

通過重建與模型數據中的三維模型的類型一致的三維模型，基於視頻幀的二維模型數據和三維模型數據，利用視頻幀數據對該三維模型進行貼圖處理得到多視角視頻，可以最大程度的減少扭曲和變形的現象，並且，視頻採集方在映射和處理過程中對視頻數據所做的拉伸、剪裁等各種優化處理也能夠反映到重建的多視角視頻中，因此可以增強多視角視頻的顯示效果，提升用戶體驗。

在一個示例中，在貼圖處理前，可以根據需要對各數據幀的各單元中的部分或者全部的視頻數據進行處理(例如剪裁或拉伸)。以拉伸為例，可以採用本領域技術人員已知的任何可以實現對視頻幀進行拉伸處理的方法來實現對各單元的拉伸處理，例如雙線性插值法等。

在一個示例中，視頻生成方可根據需要，自由靈活地選取所接收到的視頻幀中的任意視頻幀甚至任意單元，來生成連續或非連續視角的多視角視頻。

在一個示例中，在完成貼圖處理後，可以按照視角投影原理，將已生成的多視角視頻展示給用戶。其中視角投影原理，就是物體在不同深度給予人的視覺效果不同，例如，同一個物體在人眼前方不同深度位置，呈獻給人的大小和/或角度等均不同。

在一個示例中，所生成的多視角視頻可以與其他視頻或圖像進行疊加，以生成最終呈現給用戶的視頻畫面。舉例來說，如果需要展示的畫面為固定背景畫面以及若干位置上的不同視角的視頻畫面，例如靜止背景畫面中，有兩個不連續的位置分別需要呈現相應視角的視頻畫面，此時，可以基於所接收到的視頻數據和模型數據在這兩個不連續的位置上分別生成不同視角的視頻畫面，併疊加到靜止的背景畫面上。因為靜止的畫面的數據量遠遠小於視頻幀的數據量，採用上述疊加的方式，在保證不影響生成的多視角視頻的顯示效果的情況下，可以有效降低碼率，提升用戶體驗。

實施例3

圖6示出根據本發明一實施例的視頻採集裝置的結構圖。如圖6所示，該裝置可用於實現實施例1中方法各步驟的操作，該視頻採集裝置主要包括：

獲取單元601，用於獲取構建多視角視頻所需的各拍攝方向的視頻幀；

第一映射單元602，用於將各視頻幀映射至二維空間，得到各視頻幀在二維空間中的二維模型數據；

第二映射單元603，用於將映射至所述二維空間的各視頻幀按預定的三維模型映射至三維空間，得到各視頻幀在三維空間中的三維模型數據，以及

發送單元604，用於將所述視頻幀的視頻幀數據以及模型數據發送至伺服器以便構建多視角視頻，其中所述模型數據包括所述三維模型的類型、所述二維模型數據和所述三維模型數據。

根據該實施例的視頻採集裝置，通過獲取各拍攝方向的視頻幀，將包括各視頻數據、各視頻幀映射至二維空間得到的二維模型數據、映射至二維空間的各視頻幀按預定的三維模型映射至三維空間得到的三維模型數據、以及三維模型的類型共同發送至伺服器，以供視頻生成方等構建多視角視頻。由於所提供的視頻幀數據與其二維模型數據、三維模型數據及三維模型的類型等模型數據相關聯，使得生成多視角視頻的方式更為靈活，且不僅限於全景視頻，可以包括任意連續或非連續視角的多視角視頻。並且，採集的視頻幀數據可以適當地應用於任意類型(包括自定義類型)的三維模型，且在多視角視頻生成的過程中能夠以視頻幀數據對應的模型數據為依據，從而最大程度上減少了扭曲和變形等，進而提升用戶體驗。

在一個示例中，獲取單元601可以是本領域技術人員可以採用的能夠獲取構建多視角視頻所需的各拍攝方向的視頻幀的獲取部件，例如採集設備(諸如攝像頭、傳感器等)，任意能夠採集構建多視角視頻所需的各拍攝方向的視頻幀的裝置或其組合，採集設備可以是一個或多個，可以是分布式分設在所需的位置。在另一個實施例中，獲取單元601還可以是可以接收來自第三方的各拍攝方向的視頻幀的部件，本發明對此不作限制。

在一個示例中，各拍攝方向在實際空間中可以連續也可以不連續。

在一個示例中，所述視頻採集單元還可以包括壓縮單元，壓縮單元可利用適當的壓縮方式對所採集到的視頻幀的視頻幀數據進行壓縮，以降低數據量。

在一個示例中，第一映射單元602將各視頻幀映射至二維空間可以以各視頻幀的拍攝方向為依據，例如，針對同一時間點拍攝方向不連續的兩個視頻幀，在二維空間中可映射至相應的不連續的位置，以便於生成視角不連續的多視角視頻。當然，本領域技術人員也可以根據需要設置視頻幀的拍攝方向與其在二維空間中的映射位置之間的關係，例如，包括將拍攝方向不連續的視頻幀在二維空間中進行拼接，使它們在二維空間中的映射位置連續，以得到所需要的合成視頻圖像。

在一個示例中，二維模型數據可包括視頻幀中的特徵點在二維空間中的坐標，三維模型數據可包括視頻幀中的特徵點在三維空間中的坐標，三維模型的類型可以是常規的球體、正六面體等類型。如果是自定義三維模型，三維模型的類型可用自定義三維模型的模型參數來表示。

在一個示例中，第一映射單元602可以採用如下方式來將各視頻幀映射至二維空間，得到各視頻幀在二維空間中的二維模型數據。

舉例而言，首先，在所述二維空間中，將各視頻幀分割為多邊形的多個單元。具體地，針對獲取的每一個視頻幀，可以在二維空間中將各視頻幀分割為多邊形的多個單元。換言之，經分割後的各視頻幀是由多個多邊形單元拼接而成。其中，各視頻幀分割成的多個單元可以是同一類型的多邊形，例如所有單元都是三角形或其他多邊形，或者可以是不同類型的多邊形，例如可以包含三角形和其他多邊形等，本發明對此不作限制。在一個示例中，可以對分割後的各視頻進行壓縮處理。

將各視頻幀分割為多邊形的多個單元，以便於獲取二維模型數據和三維模型數據，進而利於根據二維模型數據、三維模型數據以及三維模型的類型構建多視角視頻。並且，通過將視頻幀切分為更小的單元，使得能夠以更小的單位將二維圖像映射至三維，更能夠適應於不同的三維模型(包括自定義三維模型)，進一步降低了圖像的失真扭曲，提高了成像效果。

其次，獲得各視頻幀中單元的個數以及各單元在二維空間中的頂點個數及頂點位置，作為所述二維模型數據。

例如，可以建立x∈[0,1],y∈[0,1]的二維空間，將各視頻幀分割為多邊形的多個單元後，映射至已建立的二維空間(或將視頻幀映射至二維空間後再進行單元的分割)，並確定各單元的頂點在該二維空間中的位置，該位置可以利用該頂點在二維空間中的坐標來表示。可將各視頻幀分割的單元的個數、各單元在該二維空間中的頂點的個數和頂點的位置(例如坐標)作為二維模型數據。

第一映射單元602可以是本領域技術人員已知的可以將各視頻幀映射至二維空間的部件，例如可通過通用處理器結合邏輯指令來實現，本發明對此不做限制。

在一個示例中，第二映射單元603可以採用如下方式來將映射至所述二維空間的各視頻幀按照預定的三維模型映射至三維空間，得到各視頻幀在三維空間中的三維模型數據。

舉例而言，針對各視頻幀，將各所述單元按照預定的三維模型映射至三維空間；獲得各所述單元在三維空間中的頂點個數及頂點位置，作為所述三維模型數據。具體地，例如，可以建立x∈[-1,1],y∈[-1,1],z∈[-1,1]的三維空間，針對映射至二維空間的各視頻幀，可以將各視頻幀的各單元按照預定的三維模型映射至已建立的三維空間中。確定各單元的頂點在該三維空間中的位置，該位置可以利用該頂點在三維空間中的坐標來表示。可將各單元在該三維空間中的頂點的個數和頂點的位置(例如坐標)作為三維模型數據。其中，預定的三維模型可以為球形、正六面體或錐體等，也可以為自定義的其他類型的三維模型。在一個示例中，對於自定義三維模型，模型數據還可包括該自定義三維模型的模型參數，以利於視頻生成方重構多視角視頻。

第二映射單元603可以是本領域技術人員已知的可以將映射至二維空間的各視頻幀按照預定的三維模型映射至三維空間的部件，例如可通過通用處理器結合邏輯指令來實現，本發明對此不做限制。

在一個示例中，發送單元604可以將所述視頻幀的視頻幀數據以及模型數據發送至伺服器(例如轉碼伺服器等)，以便於後續構建多視角視頻。其中，所述視頻幀數據可以是採用常規編碼壓縮後的視頻幀數據，模型數據可以包括例如第一映射單元602得到的二維模型數據、例如第二映射但願603採用的三維模型的類型以及例如第二映射單元603得到的的三維模型數據。其中，發送方式可以採用有線或者無線的方式進行發送，本發明對此不作限制。

發送單元604可以是本領域技術人員已知的可以將所述視頻幀的視頻幀數據以及模型數據發送至伺服器的部件，例如可通過通用發送硬體模塊結合相關邏輯模塊來實現，本發明對此不做限制。

伺服器可對接收到的視頻幀數據和模型數據進行封包以發送至視頻生成方，封包信息可包括上述二維模型數據及三維模型數據。這些封包信息作為協議數據可以傳輸在應用層，也可以存儲在視頻壓縮層，比如數據傳輸層，編碼層等。

在一個示例中，所述視頻幀數據可以包括分割後得到的各個單元的視頻幀數據。

在一個示例中，所述視頻採集單元還可以包括處理單元，為了實現視頻的特殊效果，處理單元可以對各視頻幀進行例如剪裁或拉伸等適當的處理。以對視頻進行拉伸為例，針對各視頻幀，本領域技術人員可以利用處理單元並採用例如雙線性差值法來對各視頻幀進行拉伸處理。這些處理可在將視頻幀或其單元映射至二維空間的過程中進行。處理單元可以是本領域技術人員已知的可以對各視頻幀進行例如剪裁或拉伸等處理的部件，例如可通過通用處理器結合邏輯指令來實現，本發明對此不做限制。

在一個示例中，所述視頻採集裝置還可包括壓縮單元，在已確定二維模型數據和三維模型數據的情況下，也就是說，在各視頻幀中單元的個數，各單元在二維空間中的頂點個數、頂點位置，各單元在三維空間中的頂點個數、頂點位置均確定的情況下，可在發送前，將根據已確定的二維模型數據和三維模型數據與相應的對視頻幀數據相關聯地進行壓縮處理來降低發送的數據量，以確保視頻幀數據以及模型數據中的相關數據相匹配，便於提高後續構建多視角視頻的質量。壓縮單元可以是本領域技術人員已知的可以對視頻幀數據進行壓縮的部件，例如可通過通用處理器結合邏輯指令來實現，本發明對此不做限制。

根據以上示例，視頻採集方可以根據所採集到的視頻幀的特性，選擇適當的方式對視頻進行壓縮、拉伸剪裁等特殊處理，基於適當的模型和映射方式對視頻幀進行二維及三維映射，並將這些處理及映射相關的信息(例如模型數據)傳遞給視頻生成方，使得視頻生成方能夠以此為依據生成多視角視頻，使得多視角視頻的生成更加靈活、適配性更高、成像效果更好，同時，便於視頻採集方和視頻生成方之間建立統一的數據傳送格式，並且也降低了視頻生成方的處理壓力。

實施例4

圖7示出根據本發明一實施例的視頻生成裝置的結構圖。如圖7所示，該裝置可用於實現實施例2中方法各步驟的操作，該視頻生成裝置主要包括：

獲取單元701，用於獲取構建多視角視頻所需的各拍攝方向的視頻幀的視頻幀數據以及模型數據，所述模型數據包括視頻幀映射至二維空間得到的二維模型數據，映射至二維空間的各視頻幀映射至三維空間得到的三維模型數據以及所述三維空間所對應的三維模型的類型；

建模單元702，用於根據所述三維模型數據及三維模型的類型進行三維建模，得到重建的三維模型；

生成單元703，用於根據所述二維模型數據、所述視頻幀數據以及所述重建的三維模型生成所述多視角視頻。

根據該實施例的視頻生成裝置，通過獲取構建多視角視頻所需的各拍攝方向的視頻幀的視頻幀數據以及模型數據，根據該模型數據重建三維模型，並根據模型數據、所述視頻幀數據和所述重建的三維模型生成多視角視頻。由於模型數據中包含有各視頻幀映射至二維空間得到的二維模型數據，映射至二維空間的各視頻幀映射至三維空間得到的三維模型數據以及所述三維空間所對應的三維模型的類型，可以使生成多視角視頻時能夠以這些模型數據為依據，提高了生成過程與所提供的視頻數據的適配性，以最大程度對視頻幀數據進行還原，從而得到顯示效果更優的多視角視頻，提升用戶體驗。此外，利用模型數據可以方便地生成連續或非連續的多視角視頻，生成方式更加靈活。

獲取單元701可以是本領域技術人員已知的可以獲取到用於構建多視角視頻所需的各拍攝方向的視頻幀的視頻幀數據以及模型數據的部件，例如可以通過通用處理器結合邏輯指令來實現，也可以通過專用硬體電路來實現。其中，所述模型數據包括各視頻幀映射至二維空間得到的二維模型數據，映射至二維空間的各視頻幀映射至三維空間得到的三維模型數據以及所述三維空間所對應的三維模型的類型。

在一個示例中，生成單元703可以通過貼圖(例如紋理貼圖)方式，來實現根據所述二維模型數據、所述視頻幀數據以及所述重建的三維模型生成所述多視角視頻，例如可根據所述二維模型數據和所述視頻幀數據對所述重建的三維模型進行貼圖，以生成多視角視頻。

其中，對二維模型數據、三維模型數據和三維模型的類型的描述可參見實施例1或3，此處不再贅述。

在一個示例中，所述視頻幀包括多邊形的多個單元，所述二維模型數據包括各視頻幀中單元的個數以及各單元在二維空間中的頂點位置；所述三維模型數據包括各所述單元在三維空間中的頂點個數及頂點位置。其中，對所述視頻幀及其單元的切分方式、二維模型數據和三維模型數據與實施例1或3中的類似，此處不再贅述。

在一個示例中，二維模型數據可以與視頻幀的拍攝方向相對應，以便生成單元703方便地生成與拍攝方向相對應的連續或非連續視角的視頻。關於對應方式可參見實施例1或3。

在一個示例中，建模單元702可以採用如下方式來根據所述三維模型的類型以及各所述單元在三維空間中的頂點個數及頂點位置，對各單元進行三維建模，以得到各單元的重建的三維模型。

具體地，可以首先建立x∈[-1,1],y∈[-1,1],z∈[-1,1]的三維空間，根據接收到的三維模型的類型(如果是自定義三維模型，可包括模型參數)以及各單元在三維空間中的頂點個數及頂點位置(例如坐標)在該建立的三維空間中重新建立與三維模型的類型一致的三維模型，作為重建的三維模型。

建模單元702可以是本領域技術人員已知的可以根據所述三維模型的類型以及各所述單元在三維空間中的頂點個數及頂點位置，對各單元進行三維模型建立的部件，例如可通過通用處理器結合邏輯指令來實現，本發明對此不做限制。

在一個示例中，生成單元703可以針對各單元，根據該單元在二維空間中的頂點個數和頂點位置以及該單元的視頻幀數據對該單元的重建的三維模型進行貼圖處理，以得到所述多視角視頻。

生成單元703可以是本領域技術人員已知的可以根據獲取的視頻幀數據和模型數據生成多視角視頻的部件，例如可通過通用處理器結合邏輯指令來實現，本發明對此不做限制。

通過重建與模型數據中的三維模型的類型一致的三維模型，基於視頻幀的二維模型數據和三維模型數據，利用視頻幀數據對該三維模型進行貼圖處理得到多視角視頻，可以最大程度的減少扭曲和變形的現象，並且，視頻採集方在映射和處理過程中對視頻數據所做的拉伸、剪裁等各種優化處理也能夠反映到重建的多視角視頻中，因此可以增強多視角視頻的顯示效果，提升用戶體驗。

在一個示例中，視頻生成裝置還可以包括處理單元，在貼圖處理前，處理單元可以根據需要對各數據幀的各單元中的部分或者全部的視頻數據進行處理(例如剪裁或拉伸)。以拉伸為例，採用本領域技術人員利用處理單元基於已知的任何可以實現對視頻幀進行拉伸處理的方法來實現對各單元的拉伸處理，例如雙線性插值法等。處理單元可以是本領域技術人員已知的可以對各視頻幀進行例如剪裁或拉伸等處理的部件，例如可通過通用處理器結合邏輯指令來實現，本發明對此不做限制。

在一個示例中，視頻生成方可利用視頻生成裝置根據需要，自由靈活地選取所接收到的視頻幀中的任意視頻幀甚至任意單元，來生成連續或非連續視角的多視角視頻。

在一個示例中，在完成貼圖處理後，可以按照視角投影原理，將已生成的多視角視頻展示給用戶。其中視角投影原理，就是物體在不同深度給予人的視覺效果不同，例如，同一個物體在人眼前方不同深度位置，呈獻給人的大小和/或角度等均不同。

在一個示例中，視頻生成裝置還可包括疊加單元，疊加單元將所生成的多視角視頻與其他視頻或圖像進行疊加，以生成最終呈現給用戶的視頻畫面。舉例來說，如果需要展示的畫面為固定背景畫面以及若干位置上的不同視角的視頻畫面，例如靜止背景畫面中，有兩個不連續的位置分別需要呈現相應視角的視頻畫面，此時，可以基於所接收到的視頻數據和模型數據在這兩個不連續的位置上分別生成不同視角的視頻畫面，併疊加到靜止的背景畫面上。因為靜止的畫面的數據量遠遠小於視頻幀的數據量，採用上述疊加的方式，在保證不影響生成的多視角視頻的顯示效果的情況下，可以有效降低碼率，提升用戶體驗。疊加單元可以是本領域技術人員已知的可以將所生成的多視角視頻與其他視頻或圖像進行疊加的部件，例如可通過通用處理器結合邏輯指令來實現，本發明對此不做限制。

實施例5

圖8示出了本發明的另一個實施例的一種視頻處理設備的結構框圖。所述設備1100可以是具備計算能力的主機伺服器、個人計算機PC、或者可攜帶的可攜式計算機或終端等。本發明具體實施例並不對計算節點的具體實現做限定。

所述設備1100包括處理器(processor)1110、通信接口(Communications Interface)1120、存儲器(memory)1130和總線1140。其中，處理器1110、通信接口1120、以及存儲器1130通過總線1140完成相互間的通信。

通信接口1120用於與網絡設備通信，其中網絡設備包括例如虛擬機管理中心、共享存儲等。

處理器1110用於執行程序。處理器1110可能是一個中央處理器CPU，或者是專用集成電路ASIC(Application Specific Integrated Circuit)，或者是被配置成實施本發明實施例的一個或多個集成電路。

存儲器1130用於存放文件。存儲器1130可能包含高速RAM存儲器，也可能還包括非易失性存儲器(non-volatile memory)，例如至少一個磁碟存儲器。存儲器1130也可以是存儲器陣列。存儲器1130還可能被分塊，並且所述塊可按一定的規則組合成虛擬卷。

在一種可能的實施方式中，上述程序可為包括計算機操作指令的程序代碼。該程序具體可用於實現實施例1或2所述的方法。

本領域普通技術人員可以意識到，本文所描述的實施例中的各示例性部件及算法步驟，能夠以電子硬體、或者計算機軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體形式來實現，取決於技術方案的特定應用和設計約束條件。專業技術人員可以針對特定的應用選擇不同的裝置來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。

如果以計算機軟體的形式來實現所述功能並作為獨立的產品銷售或使用時，則在一定程度上可認為本發明的技術方案的全部或部分(例如對現有技術做出貢獻的部分)是以計算機軟體產品的形式體現的。該計算機軟體產品通常存儲在計算機可讀取的非易失性存儲介質中，包括若干指令用以使得計算機設備(可以是個人計算機、伺服器、或者網絡設備等)執行本發明各實施例裝置的全部或部分步驟。而前述的存儲介質包括U盤、移動硬碟、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。

以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以所述權利要求的保護範圍為準。