生成互動的動態全景影像的方法
2023-11-06 15:37:37 1
專利名稱：生成互動的動態全景影像的方法
生成互動的動態全景影像的方法
所屬技術領域本發明涉及一種全景視頻的生成方法，尤其涉及一種互動的動態全景影像的方 法，方便從不同角度觀看動態的全景影像。
背景技術：
全景視頻作為新興的視頻技術，提供朝視覺角度的視頻，便於人們通過觀看不同 方位的圖像信息，例如，可以同時觀看到水平方位360度的圖像信息，擴大了人眼的視角範 圍。中國公開專利申請200710069772. 0公開了根據多視角視頻流生成全景視頻的方法，該 方法採用多個攝像頭對不同視角方向進行全方位覆蓋的視頻採集，然後通過視頻進行全景 拼接，對視頻流中的每一幀進行拼接，將其生成全景視頻。然而，上述現有技術生成的柱面視頻受到垂直方向的視域限制，導致仰視角度的 盲區，影響觀看的效果，全景視頻播放時，受制於視頻的二維平面角度的角度限制，只能觀 看到以固定的角度所播放的視頻，而不能按照使用者的觀看角度的需求進行選擇觀看角 度，因此不便於使用者選擇觀看的角度進行觀看，影響了人們觀看全景影像的互動性和靈 活性。
發明內容本發明提供一種生成互動的動態全景影像的方法，方便選擇不同的視角觀看不同 方位的動態全景影像，增加觀看的靈活性。為解決上述的技術問題，本發明提供一種生成互動的動態全景影像的方法，包括 如下步驟(1)用魚眼攝像機攝取獲得視頻；(2)將視頻的每一幀的圖像變換生成經緯坐標的經緯圖像；(3)將經緯圖像光學裁減合成全景圖像；(4)將全景圖像進行邊緣光滑處理；(5)將全景圖像合成全景視頻；(6)將全景視頻的每一幀的圖像轉換為球面坐標的球面圖像；(7)將球面圖像的每一坐標點轉換為世界坐標系的圖像坐標點；(8)將世界坐標系的每一幀圖像進行視圖變換和投影變換以輸出。如上所述，本發明通過將魚眼攝像頭攝取的視頻轉換合成的全景視頻的圖像，再 通過三維球面坐標轉換合成互動的動態全景影像，方便人們選擇不同的角度觀看視頻，增 加操作性和觀看的視角，避免影像的失真，符合人眼的觀看習慣。
圖1是本發明生成動態全景影像的方法的流程圖。圖2是本發明的圖像生成經緯圖像的方法的流程圖。
圖3是本發明的魚眼攝像機攝取的視頻的每一楨圖像的原理圖。圖4是本發明的球面坐標的原理圖。圖5是本發明的經緯映射圖。圖6是本發明的全景視頻的一幀全景圖像。圖7是本發明的球面坐標的原理圖。
具體實施方式為進一步闡述本發明達成預定目的所採取的技術手段及功效，以下結合附圖及實 施例，對本發明生成互動的動態全景影像的方法的具體實施方式
、結構特徵及其功效，詳細 說明如下。本發明互動的動態全景影像合成的方法的視頻影像拍攝裝置通過安裝在固定臺 上的魚眼攝像頭所拍攝的視頻進而合成為動態全景影像。安裝在固定臺上的視頻影像拍攝 裝置包括安裝在固定臺的頂端面的頂部魚眼攝像機和安裝在水平方位上的水平魚眼攝像 機。頂部魚眼攝像機用以拍攝仰視角度的視頻影像。頂部魚眼攝像機至少設置一個頂部魚 眼攝像機。水平魚眼攝像機用以攝取水平周圍的視頻，均勻地分布並安裝在固定臺的周邊， 水平魚眼攝像機包括至少三個均勻分布的水平魚眼攝像機，頂部魚眼攝像機與水平的魚眼 攝像機均固定於同一平臺。在本具體實施例中，頂部的魚眼攝像機設置一臺，水平的魚眼攝 像機設置五臺，每一臺水平魚眼攝像頭攝取水平視角的至少72度視角範圍的視頻，進而五 臺魚眼攝像機可拍攝水平四周360度的水平環視視角的視頻。本發明的視頻影像拍攝裝置可以安裝在固定的安裝臺，如安裝在拍攝架上，拍攝 架可安裝在汽車上，開車帶動安裝臺上的魚眼視頻影像拍攝裝置運動，進而可以拍攝運動 的視頻影像。如圖1及圖2，具體實施例中，本發明是將一臺頂部魚眼視頻攝像機和五臺水平魚 眼視頻攝像機所拍攝的視頻，按照如下的方法合成動態全景影像，進而進行播放輸出，以下 對每個步驟進行詳細的描述(1)用魚眼攝像機採集視頻首先對本發明的視頻拍攝裝置的一個頂部魚眼攝像機和五個水平魚眼攝像機一 共六個攝像機進行編號，對每個魚眼攝像機所採集獲取的視頻的每一幀的圖像進行分類， 然後確定每一幀的圖像的光學中心位置。(2)將視頻的每一幀的圖像變換生成經緯映射坐標的經緯圖像圖像的呈現原理一般魚眼攝像機的魚眼鏡頭可近似為半球面，假定魚眼攝像機的拍攝方向沿OZ 軸，則成像平面為OXY平面，如圖3所示，設半球面S的方程為(1)x2+y2+z2 = r2 (ζ ^ 0)(1)如圖3所示，對空間中任意一點P1，連接P1交S與Ρ2，過Ρ2做OZ軸的平行線，交 OXY平面與Ρ3點，則Ρ3點就是Pl所成的像。因此對於魚眼攝像機攝取的視頻的每一幀圖 像而言，所拍攝的景物的圖像點布滿一個圓。圖像展開本發明採用經緯映射法對魚眼攝像機所攝取的視頻的每一幀的圖像進行展開。如圖4，假設單位球面上任意一點P，點P按照經緯映射法，則P點的經度坐標映射為經緯坐標 上的矩形的水平坐標，將P點的緯度坐標映射為經緯坐標上的矩形的垂直坐標，因此，整個 單位球面S映射得到的經緯坐標的平面圖是一張2 1的矩形圖，半球面就是一張方形圖， 如圖5所示，本發明的視頻的每一幀圖像按照經緯映射法映射為經緯圖像的步驟如下
(2. 1)首先根據魚眼攝像機攝取的視頻的每一幀圖像的等距成像模型計算圖像上 任意一點(X，y)在單位球面上的坐標，換算的計算公式如式(2)所示，其中f為焦距，在實 際應用中取單位球半徑作為f值，為球面坐標(θ，Φ)；
^ =/6 COS^ isin^ = (sina χ sin A)/V(sina)2 χ (sin β)2 + (cos α)2 cos φ - cos a / \](sin α)2 χ (sin β)2 + (cos a)2
Xl/
4
/V(2. 2)建立經緯映射坐標上的坐標點P(x'，y')在單位球面上所對應的球面坐 標，利用換算的公式(3)來計算，其中f與公式(2)相同，(α，β)為對應的球面坐標；(2. 3)以單位球面的球面坐標為中介建立魚眼攝像機攝取的視頻的每一幀圖像和 經緯映射坐標的經緯圖像之間的關係，採用換算的公式⑷將(Θ，φ)和(α，β)進行換
笪弁。(3)將經過經緯映射法變換後的經緯圖像進行光學裁剪，生成全景圖像對魚眼攝像機攝取的視頻的每一幀的圖像按照經緯映射變換生成經緯圖像後，根 據對每一幀圖像的編號找到每一幀圖像中心在全景圖像中的中心位置，並按照時間順序對 相鄰的每幀圖像進行光學裁剪，進而縫合生成全景圖像，採用基於光學角度的方法對圖像 進行裁剪，可以以達到實時的效果，同時提高效率。(4)將縫合生成的全景圖像進行邊緣平滑化處理每一幀圖像由於在拍攝時光線存在差異，會出現圖像的明暗不同，在光學裁剪時， 裁減的圖像之間也會存在細微的錯位，所以需要對縫合的圖像之間的接縫處進行平滑化處 理，以符合視覺效果，對圖像的平滑化處理的步驟包括(4. 1)消除圖像之間的明暗差異，由於經緯映射發法展開的每兩幀圖像之間的 重疊範圍確定，可採用灰度漸變的方法。首先計算兩幀圖像接縫處兩側的灰度差值Im = Ie-Il,然後從接縫處開始分別向左向右均分灰度差值ΙΜ。若Im > 0表示左側圖像比右側圖像的亮度高，則左側圖像從接縫處開始向左每一 列灰度值按照公式込=Il-ImX i進行計算漸變，其中，i從1到0漸變，同時右側圖像從接 縫處向每一列灰度值Ik = IE+I Xi,i從0到1漸變。若Im < 0，依據上述的公式依理推算。(4. 2)採用鄰域平均法對微小錯位的圖像進行平滑化處理。使用3X3鄰域對相鄰
圖像之間的錯位區域進行平滑化處理，則處理後圖像容&，力二^；/化，只)。
O 1=1至此，按照上述的方法將頂部魚眼攝像機和水平魚眼攝像機共六臺魚眼攝像機所
6攝取的視頻的每一幀的圖像按照編號和時間順序標記縫合生成全景圖像。(5)將生成的全景圖像依據時間軸對每一幀全景圖像進行視頻編碼，進而生成全 景視頻，以播放輸出。依據本發明實時生成全景視頻播放輸出時的一幀視頻圖像，可參閱圖 6。將全景圖像轉換生成視頻的技術是現有技術的視頻生成技術，在此不再贅述。(6)將全景視頻的每一幀的圖像轉換為球面坐標的球面圖像，在具體實施例中，包 括如下步驟(6. 1)對三維坐標系下的球體進行紋理映射，如圖7，首先要知道三維的球體上每 一個坐標點P(x，y，z)所對應的紋理坐標u，v。由公式(5)所示，根據P點的坐標(x，y，z)， 可以求得該點對應的紋理坐標(u，ν)；(6. 2)將全景視頻的每一幀的圖像的紋理坐標(u，v)按照公式(5)映射為三維球 坐標上的P(x，y，ζ)，其中，r為球的半徑，在具體實施例中，若單位球面的球的半徑為1，則 公式(5)中的球的半徑r = 200，當圖像轉換成球面上的坐標的情況下，以使用者的視角觀 察，使得圖像的失真度減小，使用者無視覺上的差異和圖像視覺上的變形，以符合人眼的視 覺習慣；合成的全景球面的圖像的中心點為六部魚眼攝像機的中心點。(7)將球面圖像與時間軸同步播放，合成互動的動態全景影像，將上述的合成的三 維坐標系下的球面上的全景圖像與時間軸同步合成可播放的動態全景影像，並通過播放器 進行播放輸出；將上述的球面圖像的播放輸出為動態全景影像，採用坐標變換的方式，一個3D場 景中，我們看到的任何物體，都是由一個一個的面片組成，裝載面片位置信息就是其各個頂 點的三維坐標。這是在模型中存儲的，而要把物體在屏幕上顯示，還需將它轉換成顯示器 上可顯示輸出的二維坐標。運用三維到二維的轉換公式，進行Direct 3D叫「幾何流水線 (Geometry Pipeline) 」 的過程。對於每個對立被引進Direct 3D幾何流水線的顯示程序的物體(mesh)，圖像的坐 標系的坐標原點是不同，其頂點也都用局部坐標表示的，因此通過世界坐標系的變換成為 統一坐標系下的圖象，首先將上述的變換後的球坐標的每一幀圖像變換成為世界坐標系下 的圖像，也就是將上述的球坐標的圖像的坐標進行世界變換(worldtransform)。將球坐標的每一幀圖像進行世界變換為世界坐標系的圖像後，每個頂點在整個場 景中的位置也就確定下來了。再確定觀察者的位置和視角將其映射到屏幕上。將所有點變 換到新建立的以觀察者為基準的坐標系下，這樣才能被觀察者所觀察到，這個步驟叫做視 圖變換(viewtransform)。經過上述的世界變換和試圖變換的轉換後，則可使得屏幕平行於其中一個坐標軸 平面了，也就是說，經過一系列的比例範圍調整，可以看到圖像上的點，但是此時繪出的物 體是沒有立體視覺效果的，所以對每一圖像上的每個點根據其遠近程度進行放縮。最後Direct 3D對圖像進行適當的剪切。使用者操作用於播放本發明的互動的全景動態影像的播放器，可以按照所需觀察 的角度進行旋轉而觀看不同角度的與時間同步的動態影像。綜上所述，本發明生成互動的動態全景影像的方法通過將頂部魚眼攝像機和水平
ν = ar cos(^ Ir) I π u = (ar cos(x /(r * sin(v * pi)))) 12* π魚眼攝像機的魚眼攝像機所攝取的視頻進行全景影像合成，將視頻的每一幀圖像變換成為 三維的球體的球面圖像，轉換為世界坐標系下的全景圖像，並與時間同步播放即為時間同 步播放的動態全景影像。 使用者在使用本發明的互動的動態全景影像進行播放輸出時，可以操作全景影像 的播放輸出的視角角度，進而調整成為觀察者所需要的角度，方便使用者觀看所選擇的角 度的視頻，大大增加了使用者觀看全景動態影像的便捷性和實用性。本發明採用將圖像變 換為球面的圖像，符合人眼的球面視角的結構特徵，觀看影像輸出時視角不產生變形，符合 人的觀看習慣，增加觀看的舒適度，可以變換的不同的視角角度增加人眼的視覺範圍，可以 看到仰視和360度水平環視角度的影像，進而解決現有技術採用柱面全景視頻合成後視覺 角度窄的缺陷，方便全景視頻的多角度觀看，更符合人眼視覺效果。
權利要求
一種生成互動的動態全景影像的方法，包括(1)用魚眼攝像機攝取獲得視頻；(2)將視頻的每一幀的圖像變換生成經緯坐標的經緯圖像；(3)將經緯圖像光學裁減合成全景圖像；(4)將全景圖像進行邊緣光滑處理；(5)將全景圖像合成全景視頻；(6)將全景視頻的每一幀的圖像轉換為球面坐標的球面圖像；(7)將球面圖像的每一坐標點轉換為世界坐標系的圖像坐標點；(8)將世界坐標系的每一幀圖像進行視圖變換和投影變換後以輸出。
2.根據權利要求1所述的生成互動的動態全景影像的方法，其中，所述的步驟(6)包括(6. 1)將全景視頻的每一幀的圖像的紋理坐標(u，ν)按照公式
3.根據權利要求1所述的生成互動的動態全景影像的方法，其中，所述的魚眼攝像機 包括頂部魚眼攝像機和水平設置的水平魚眼攝像機，所述的頂部魚眼攝像機攝取仰視方位 的視頻，所述的水平魚眼攝像機攝取360度環視的水平方位的視頻。
4.根據權利要求3所述的生成互動的動態全景影像的方法，其中，所述的頂部魚眼攝 像機為一個頂部魚眼攝像機，所述的水平魚眼攝像機包括至少三個均勻分布的水平魚眼攝 像機，所述的頂部魚眼攝像機與水平的魚眼攝像機均固定於同一平臺。
5.根據權利要求1所述的生成互動的動全景態影像的方法，其中，所述的步驟(2)包括(2. 1)將視頻的每一幀的圖像的點坐標轉換為單位球面上的球面坐標；(2. 2)將每一幀的圖像的單位球面上的球面坐標轉換為經緯映射坐標的經緯映射坐標；(2. 3)將視頻的每一幀的圖像轉換為經緯映射坐標的經緯圖像。
6.根據權利要求5所述的生成互動的動態全景影像的方法，其中，所述的步驟(2.1)根 據魚眼攝像機的等距成像模型計算視頻的每一幀的圖像上的任一點(χ，y)在單位球面上 的坐標(Θ，Φ)，所述的每一幀的圖像的任一點(X，y)轉換為單位球面的坐標的轉換公式
7.根據權利要求5所述的生成互動的動態全景影像的方法，其中，所述的步驟(2.2) 的單位球面上的坐標點(θ，φ)與經緯映射坐標的坐標點P(x』，y』)的轉換公式為
8.根據權利要求1所述的生成互動的動態全景影像的方法，其中，所述的步驟(2.3)的視頻的每一幀的圖像的坐標與經緯映射坐標的經緯圖像的坐標之間的轉換公式為 sin 汐=sin α χ sin β< sin盧=(sin α χ sin β) / V(sin α)2 χ (sin ^)2 + (cos )2，其中，f為魚眼攝像機的焦距，單位球 cos φ - cos a/\l(sin α)2 χ (sin β)2 + (cos a)2面半徑為f，(α，β)為單位球面的球面坐標。
9.根據權利要求1所述的生成互動的動態全景影像的方法，其中，所述的步驟(3)還包括(3. 1)依據全景視頻的每一幀的圖像的時間標記找到每一幀的圖像的中心位置對應於 經緯圖像的中心位置；(3. 2)對應裁減依據時間標記相鄰的兩幀圖像。
10.根據權利要求1所述的生成互動的動態全景影像的方法，其中，所述的步驟(4)包括(4. 1)消除依據時間標記緊鄰的每兩幀圖像的明暗差異； (4. 2)用鄰域平均法對緊鄰的每兩幀圖像進行邊緣平滑處理。
11.根據權利要求10所述的生成互動的動態全景影像的方法，其中，所述的步驟(4.1) 是採用圖像的灰度漸變的方法，所述的灰度漸變的方法包括(4. 1. 1)計算每兩幀圖像縫合兩側邊沿的灰度差值Im = Ie-Il ； (4. 1. 2)從兩幀圖像縫合的接縫處相兩側邊沿均分所述的差值。
12.根據權利要求11所述的生成互動的動態全景影像的方法，其中，若若Im> 0表示 左側比右側圖像亮，則左側圖像從接縫開始向左每一列灰度值込=Il-ImX i,i從1到0漸 變，右側圖像從接縫處向每一列灰度值Ik = IE+I Xi, i從0到1漸變。
13.根據權利要求12所述的生成互動的動態全景影像的方法，其中，所述的步驟(4.2)的鄰域平均法是使用3X3鄰域進行平滑，則處理後圖像射X，力=兄)。O /=1
14.根據權利要求1所述的生成互動的動態全景影像的方法，其中，所述的步驟(8)還 包括對每一幀圖像進行視頻變換和投影變換後的圖像剪切的步驟。
全文摘要
本發明公開一種生成互動的動態全景影像的方法，將攝取的視頻的每一幀圖像通過經緯映射坐標轉換為經緯圖像，再通過光學裁減縫合為全景圖像，之後進行視頻編碼按照時間生成全景視頻，將全景視頻的每一幀圖像轉換為世界坐標系的球面的圖像，並進行視圖轉換和投影變換後與時間同步播放，生成互動的動態全景影像。本發明的互動的動態全景影像，使用者可以操作從不同視角觀看動態全景影像，採用球面坐標轉換的圖像使得圖像失真小，符合人眼的觀看效果，增加動態全景影像的視覺範圍。
文檔編號H04N5/225GK101938599SQ200910086800
公開日2011年1月5日 申請日期2009年6月30日 優先權日2009年6月30日
發明者宋漢營, 王西傑 申請人:愛國者全景(北京)網絡科技發展有限公司