一種全景視頻影像室內分屏顯示方法及顯示系統的製作方法

2023-12-09 22:02:36

一種全景視頻影像室內分屏顯示方法及顯示系統的製作方法
【專利摘要】本發明公開了一種全景視頻影像室內分屏顯示方法及系統。通過幾何投影和視頻映射的方式將一組視頻播放設備與全景視頻錄像動態匹配，實現室內空間與室外景觀的自然融合，給人一種身處景區別墅或觀景平臺的逼真感受。與現有技術和設備相比，該方法及系統在給用戶更大景觀欣賞空間的同時，也能使用戶的整體體驗得到明顯改善。不僅實現方便、成本可控，而且能夠根據用戶的個性化需要自由定製景觀窗口的數目、大小和畫面品質，靈活調整景觀的觀賞視角。
【專利說明】一種全景視頻影像室內分屏顯示方法及顯示系統

【技術領域】
[0001]本發明專利主要涉及全景視頻影像顯示，具體指一種全景視頻影像室內分屏顯示方法及顯示系統。

【背景技術】
[0002]隨著城市化進程，都市遍地高樓，人們打開窗戶往往見到的是灰暗的高樓牆體，即便是處於更高的樓層，放眼望去也是滿地的水泥建築物，毫無風景可言，長期處於這樣的環境中使得人們的身心得不到及時的放鬆，壓力將無法緩解，如何將室外優美的風景引入室內，人們足不出戶即可行賞世間美景，讓人賞心悅目緩解壓力，愉悅身心呢。
[0003]目前，採用單屏幕播放定點風景錄像的方法或者直接採用全景環幕的方法:單屏幕播放定點風景錄像的方法，單純的將室外錄製的畫面在室內視頻播放器中播放，不僅視角有限，且無法對景觀方向進行靈活調整，因而給不了用戶身臨其境的視覺感受；採用全景環幕的方法，不僅造價昂貴，維護成本高，且全景影像帶來的全開放式場景，還會破壞室內密閉空間原有的私密性，降低用戶在室內的溫馨感受。


【發明內容】

[0004]本發明的目的在於提供一種全景視頻影像室內分屏顯示方法，將室外風景動態地顯示在室內若干觀景視窗中，實現室內空間與室外景觀的自然融合，給人一種身處景區別墅或觀景平臺的逼真感受。
[0005]為實現上述目的，本發明所設計的全景視頻影像室內分屏顯示方法，其特徵在於包括以下步驟:
[0006]I)在室內牆壁上設置至少一個觀景視窗，所述觀景視窗具有視頻播放功能；
[0007]2)在虛擬空間中構建能夠包容步驟I所述室內空間和所有觀景視窗的360°虛擬全景環幕，並將室外採集的全景視頻影像映射到虛擬全景環幕上；
[0008]3)取視窗中垂線上任意點作為觀景點(幾何投影起點)，根據人眼視線的幾何投影關係，將觀景視窗投影到虛擬全景環幕上，確定觀景視窗對應的可視區域，並獲取此投影區域在全景視頻影像上所對應的視頻塊範圍；
[0009]4)按照步驟3所述方法，獲取每個觀景視窗在全景視頻影像上所對應的不同視頻塊範圍，並在所有室內觀景視窗上同步播放其所對應視頻塊的景觀錄像。
[0010]優選地，步驟二中構建的虛擬全景環幕並不真實存在，而是為了滿足觀景視窗與全景視頻影像中視頻塊之間映射計算的需要，主觀臆造的虛擬對象。虛擬全景環幕為360°環形幕或者球面幕。
[0011]優選地，步驟二中全景視頻影像水平方向像素原點對應於室外風景錄像的正北方向，沿順時針方向像素坐標取正值，沿逆時針方向像素坐標取負值，全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數為全景視頻影像水平方向像素原點與室內空間正北方向的夾角，也即室外風景錄像正北方向與室內空間正北方向間的角度偏差。
[0012]優選地，步驟三中獲取視頻塊的步驟如下:
[0013]31)選取室內任一點為原點，構建虛擬空間的三維坐標系，通過幾何測量法，確定視窗幾何中心、視窗邊界拐點的空間三維坐標，並結合虛擬全景環幕幾何中心的空間三維坐標參數和虛擬全景環幕的半徑參數，參照視窗的中垂線方向，計算出視窗幾何中心在虛擬環幕上的投影點坐標；
[0014]32)將全景視頻影像映射到虛擬全景環幕上，根據全景視頻在水平方向的像素數目和虛擬全景環幕的半徑，計算視頻的角度解析度和空間解析度，並根據視頻的角度解析度、空間解析度，以及全景視頻在垂直方向的像素數目、虛擬全景環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數和全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數，對步驟31得到的視窗幾何中心在虛擬環幕上的投影點坐標進行換算，得到觀景視窗幾何中心的在全景視頻影像中所對應映射點的像素坐標；
[0015]33)利用觀景視窗的水平視場角參數，並結合虛擬全景環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數，以及觀景視窗幾何中心和視窗在水平方向邊界極值點的空間三維坐標，參照視窗的中垂線方向，計算觀景視窗與全景視頻影像之間的映射比例；
[0016]34)以觀景視窗幾何中心為原點，在觀景視窗所在平面內構建二維坐標系，獲得觀景視窗所有邊界拐點相對於觀景視窗幾何中心的平面坐標，結合步驟32得到的觀景視窗幾何中心在全景視頻影像中所對應映射點的像素坐標，以及步驟33得到的觀景視窗與全景視頻影像之間的映射比例，計算觀景視窗所有邊界拐點在全景視頻影像上所對應映射點的像素坐標，並依據觀景視窗的邊界線，在全景視頻影像中按順序連接所有邊界拐點的映射點，從而得到完整的視頻塊映射範圍。
[0017]所述虛擬全景環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數，全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數，以及每個觀景視窗的視場角參數，均可根據需要自由設置。
[0018]更進一步地，一種利用全景視頻影像室內分屏顯示方法的全景視頻影像室內分屏顯示系統，其特殊之處在於:包括全景視頻採集設備，用於採集全景視頻影像；
[0019]數據編碼與傳輸設備，用於對採集的全景視頻影像進行壓縮編碼，並傳輸；
[0020]數據接收與解碼設備，用於接收從網絡傳輸的全景視頻影像壓縮數據，並通過解壓縮算法還原全景視頻影像；
[0021]視頻數據管理設備，用於動態緩存從數據接收與解碼設備中傳入的連續全景視頻影像，並將其轉發到視窗總控設備進行處理；
[0022]視窗總控設備，用於根據觀景視窗和虛擬全景環幕間的空間位置關係、虛擬全景環幕和全景視頻影像間的映射關係、以及單視窗分控設備上傳的視場角參數，計算各視窗在全景視頻影像中所對應的視頻塊映射範圍，並將視頻塊所對應的影像數據分別傳輸到不同的單視窗分控設備；
[0023]單視窗分控設備，與單個終端顯示設備對應，用於根據用戶的設置信息，向視窗總控設備傳輸觀景視窗的視場角參數，並依據所對應終端顯示設備的顯示參數，對從視窗總控設備接收到視頻塊數據進行重採樣處理，使其滿足終端顯示設備的最終顯示需要，然後將處理後的數據轉發到終端顯示設備。
[0024]終端顯示設備，用於同步顯示從單視窗分控設備接收到的視頻塊數據。
[0025]優選地，所述終端顯示設備可選用若干顯示屏、投影儀或現有技術中的任意視頻播放設備，成本低，購置方便；
[0026]所述視窗分組總控設備提供圖形化的人機互動界面，用於設置虛擬環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數，全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數；
[0027]所述單視窗分控設備提供簡單的人機操作界面，用於設置單個觀景視窗的視場角參數；
[0028]本發明的優點在於:通過幾何投影和視頻映射的方式，將室外獲取的全景視頻影像顯示在室內牆壁上設置的一系列視頻播放設備中，實現了室內空間與室外景觀的自然融合。景觀參數的自由設置，在給用戶更大景觀欣賞空間的同時，也能使用戶的整體體驗得到明顯改善。視頻播放設備與全景視頻影像的動態匹配，使得全景視頻影像室內分屏顯示系統不僅配置靈活、成本可控，而且能夠根據用戶的個性化需要自由定製景觀窗口的數目、大小和畫面品質，靈活調整景觀的觀賞視角。

【專利附圖】

【附圖說明】
[0029]圖1為全景視頻影像展開圖。
[0030]圖2為室內觀景視窗到全景環幕的幾何投影立體示意圖。
[0031]圖3為室內觀景視窗到全景環幕的幾何投影平面示意圖。
[0032]圖4為全景視頻影像室內分屏顯示效果示意圖。
[0033]圖5為觀景視窗到虛擬全景環幕的幾何投影計算過程示意圖。
[0034]圖6為觀景視窗到全景視頻影像的視頻映射計算過程示意圖。
[0035]圖7為全景視頻影像室內分屏顯示系統結構示意圖。
[0036]圖8為分組總控設備圖形化人機互動界面結構圖。
[0037]其中:全景視頻影像1，第一觀景視窗對應的視頻塊101，第二觀景視窗對應的視頻塊102，室內空間2，第一觀景視窗201，第二觀景視窗202，虛擬全景環幕3，虛擬全景環幕幾何中心Cnt,虛擬全景環幕半徑參數R,全景視頻影像I在虛擬全景環幕3上的映射起始位置301，301對應的方向角參數ω，第一觀景視窗201在虛擬環幕上的映射範圍401，第二觀景視窗202在虛擬環幕上的映射範圍402，第一觀景視窗201的視場角參數δ 1，第一觀景視窗201幾何中心0，視窗201的幾何投影起始點P，視窗201的水平方向邊界極值點Α、B，視窗201的任意邊界拐點C，O在虛擬全景環幕上的投影點O1，A在虛擬全景環幕上的投影點Α1，B在虛擬全景環幕上的投影點B1，O在全景視頻影像上的映射點O2，C在全景視頻影像上的映射點C2，分組總控設備的圖形界面501，分組總控設備的虛擬全景環幕幾何中心調整面板502，分組總控設備的虛擬全景環幕半徑調整面板503，分組總控設備的全景視頻影像與虛擬全景環幕映射起始位置方向角調整面板504。

【具體實施方式】
[0038]以下結合附圖和具體實施例對本發明作進一步的詳細描述。
[0039]如圖1?6所示，本發明全景影像室內分屏顯示方法，包括以下步驟:
[0040]步驟一，在室內2牆壁上設置若干觀景視窗，例如第一觀景視窗201，第一觀景視窗201可選用各類視頻顯示設備，如:顯示器、投影儀等；
[0041]步驟二，在步驟I中所述室內2空間外部構建能包容所有觀景視窗的360°虛擬全景環幕3，並將室外採集的全景視頻影像I映射到虛擬全景環幕3上；
[0042]步驟三，具體如下:
[0043]以下計算過程以360°環形虛擬全景環幕為例
[0044]31)通過以下方法計算第一觀景視窗201幾何中心O在虛擬全景環幕3上投影點O1的空間坐標(Xo1，YcAZo1):
[0045]選取室內任一點為三維坐標原點，並通過幾何測量法，得到第一觀景視窗201幾何中心O的坐標(Xo，Yo，Zo)，第一觀景視窗201的中垂線OP的單位方向矢量(Nx，Ny，Nz)，從而獲得觀景視窗201的中垂線方程組⑴:
[0046]X = Xo+Nx X t
[0047]Y = Yo+NyXt
[0048]Z = Zo+Nz X t (I)
[0049]再通過幾何測量法,得到景觀中心Cnt的坐標(Xcnt, Ycnt, Zcnt)和虛擬全景環幕半徑R的大小，將虛擬全景環幕3表示為方程⑵:
[0050](X — Xcnt)2+(Y — Ycnt)2 = R2 (2)
[0051]聯立方程組⑴和方程⑵，即可計算觀景視窗幾何中心O在虛擬全景環幕的投影點O1的空間坐標(Xo1，YcAZo1)；
[0052]32)通過以下方法計算第一觀景視窗201幾何中心O在全景視頻影像I中的映射點O2所對應的像素坐標(Pixel_X，Pixel_Y):
[0053]根據以下全景視頻環幕3的參數方程組⑶，將O1的空間坐標轉化為角度與高度集合的參數坐標形式(ecAzo1):
[0054]X = Xcnt+RCos θ
[0055]Y = Ycnt+RSin θ (3)
[0056]其中，Sin和Cos分別為正弦和餘弦計算符號(下同)。
[0057]基於全景視頻影像的水平方向像素數目PixelNumX和虛擬全景環幕的半徑R,根據以下公式⑷、(5),計算視頻的角度解析度ResAngle和空間解析度ResSpace
[0058]ResAngle = PixelNumX/360 (4)
[0059]ResSpace = PixelNumX/ (2 π R) (5)
[0060]其中，π為圓周率(下同)。
[0061]基於投影點O1的參數坐標(θ ο1, Zo1)，視頻的角度解析度ResAngle、空間解析度ResSpace,以及全景視頻影像的垂直方向像素數目PixelNumY、全景視頻影像在虛擬全景環幕上映射起始位置301所對應的方向角參數ω和景觀中心Cnt的垂直方向坐標Zcnt，根據以下公式(6)、(7)，計算第一觀景視窗幾何中心O在全景視頻影像中的映射點O2所對應的像素坐標(Pixel_X，Pixel_Y)
[0062]Pixel_X = (ω+90 — θ ο) X ResAngle (6)
[0063]Pixel_Y = PixelNumY/2+ (Zo1 — Zcnt) X ResSpace (7)
[0064]33)通過以下方法計算出第一觀景視窗201到全景視頻影像I的映射比例ViewScale
[0065]基於A、B點的幾何坐標(Xa，Ya，Za)、(Xb，Yb，Zb)，根據以下公式(8)，計算第一觀景視窗201的水平方向尺寸，即線段AB的長度Lab
[0066]Lab = SquareRoot ((Xa — Xb)2+ (Ya — Yb)2+ (Za — Zb)2) (8)
[0067]其中，SquareRoot為平方根計算符號(下同)。
[0068]基於線段AB的長度Lab，以及觀景視窗201的視場角參數δ S根據以下公式(9)，計算投影起始點P到視窗幾何中心O的距離Ltff
[0069]Lop = Ctan ( δ l/2) XL^/2 (9)
[0070]其中，Ctan為餘切計算符號(下同)。
[0071]基於視窗201幾何中心O的坐標(Xo，Yo, Zo)，視窗201的中垂線OP的單位方向矢量(Nx，Ny，Nz)，以及投影起始點P到視窗幾何中心O的距離LQP，根據以下公式(10)、(11)、(12)，計算投影起始點P的空間坐標(Xp，Yp，Zp)
[0072]Xp = Xo+Nx X Lop (10)
[0073]Yp = Yo+NyXL0P (11)
[0074]Zp = Zo+Nz X Lop (12)
[0075]基於投影起始點P的空間坐標(Xp，Yp，Zp)，以及視窗201在水平方向上的邊界極值點A的空間坐標(Xa，Ya, Za)，將直線AP表示為方程組(13)
[0076]X = Xp+ (Xa — Xp) X t
[0077]Y = Yp+ (Ya — Yp) X t
[0078]Z = Zp+ (Za — Zp) X t (13)
[0079]聯立方程組(12)與虛擬全景環幕的幾何方程(2)，計算投影點A1的幾何坐標(Xa1，Ya1, Za1)，並進一步依據虛擬全景環幕的參數方程⑶，計算A1的參數坐標(9a1，Za1)；
[0080]按照計算A在虛擬全景環幕投影點A1的相同步驟，計算視窗201在水平方向上的另一邊界值點B (Xb，Yb，Zb)在虛擬全景環幕投影點B1的參數坐標(Θ b1，Zb1)；
[0081]基於A1、B1點的參數坐標(0a1，Za1)、( Θ b1，Zb1)，根據以下公式(14)，計算投影點A1B1的角度差ΛΛ1
[0082]Δ AV =Ieb1- Θ a11 (14)
[0083]其中，I I為絕對值計算符號(下同)。
[0084]基於線段AB的長度Lab，投影點A1B1的角度差Λ AV，以及視頻的角度解析度ResAngle，根據以下公式(15)，計算第一觀景視窗201到全景視頻影像I的映射比例ViewScale
[0085]ViewScale = Δ AY X ResAngle/!^。 (15)
[0086]34)通過以下方法計算第一觀景視窗201所有邊界拐點在全景視頻影像I上的映射點像素坐標，並依據觀景視窗201的邊界線，在全景視頻影像I中按順序連接所有邊界拐點的映射點，即可獲取該視窗在全景視頻影像I上對應視頻塊101的範圍:
[0087]以視窗幾何中心O為原點，在觀景視窗201所在平面內構建二維坐標系，則觀景視窗201的所有邊界點均可通過二維坐標表示。
[0088]假設第一觀景視窗201的任意邊界拐點C相對於視窗201幾何中心O的二維坐標為(Xe，Yc)，則可根據視窗201幾何中心O的在全景視頻中的映射點O2的像素坐標(Pixel_X, Pixel_Y)和視窗201到全景視頻影像I的映射比例ViewScale,根據以下公式(16)、(17),計算邊界拐點C在全景視頻I上的映射點C2的像素坐標(Pixel_Xc，Pixel_Yc)
[0089]Pixel_Xc = Xe X ViewScale+Pixel_X (16)
[0090]Pixel_Yc = Yc X ViewScal e+Pixel_Y (17)
[0091]步驟四，按照與步驟三相同的方法，計算其他觀景視窗所對應全景視頻影像中的不同數據塊範圍，例如:第二景觀視窗202在全景視頻影像中對應於視頻塊102，並在所有觀景視窗上同步播放其各自所對應視頻塊的景觀錄像。
[0092]其中，虛擬全景環幕3幾何中心的空間三維坐標參數(Xcnt，Ycnt，Zcnt)、虛擬全景環幕3的半徑參數R，全景視頻影像I在虛擬全景環幕3上映射起始位置301所對應的方向角參數ω，以及每個觀景視窗的視場角參數(如:δ O，均可根據需要自由設置。且優選地，所述虛擬全景環幕的幾何中心默認與室內空間的幾何中心重合，虛擬全景環幕的半徑默認取室內空間最小外接圓半徑的1.5?2倍，全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數默認取O度，觀景視窗的視場角參數默認取60度。
[0093]如圖7、圖8所示的全景視頻影像室內分屏顯示系統，主要包括
[0094]全景視頻採集設備:在室外某地點設置一臺全景攝像機或全景監控設備，長時間錄製連續的全景視頻影像，其中全景視頻錄像設備和錄像方式可自由選擇。
[0095]數據編碼與傳輸設備:對錄製的全景視頻影像I進行壓縮編碼，並通過無線或者有線網絡進行傳輸，關於本發明用到的視頻壓縮算法不做強制規定，可採用MPEG、H.264等經典算法，也可藉助視頻分塊等技術手段提高視頻壓縮效率。
[0096]數據接收與解碼設備:接收從網絡傳輸的全景視頻壓縮數據，並通過解壓縮算法還原全景視頻影像。
[0097]視頻數據管理設備，用於動態緩存從數據接收與解碼設備中傳入的連續全景視頻影像，並將其轉發到視窗總控設備進行處理；
[0098]視窗總控設備，用於根據虛擬全景環幕和觀景視窗的空間位置關係、全景視頻影像和虛擬全景環幕之間的映射關係、以及單視窗分控設備上傳的視場角參數，計算各視窗所對應視頻塊在全景視頻影像中的範圍，並將視頻塊所對應的影像數據分別傳輸到不同的單視窗分控設備。結合圖1?6詳述視頻塊獲取的具體計算方法如下:
[0099]1、已知數據:
[0100]假設全景視頻影像I具有4K解析度，即其水平和垂直方向的像素數目PixelNumX和PixelNumY分別為4096和2160，室內空間2的最小外接圓半徑為5m，觀景視窗201為長方形顯示屏幕。
[0101]2、量測數據:
[0102]以房間幾何中心為三維坐標原點，通過幾何量測法，獲得觀景視窗201的幾何中心O的空間坐標為(-0.2，2，I)，觀景視窗201的中垂線OP的單位方向矢量為(0，-1，0)，觀景視窗201的水平方向邊界極值點A、B的空間坐標分別為(-0.8,2,0.6)，(0.4,2,0.6)。
[0103]在觀景視窗201所在平面內，以觀景視窗幾何中心O為原點的局部二維坐標系中，通過幾何量測法，獲得觀景視窗任意邊界拐點C的二維坐標為(-0.6,-0.4)，而其他三個邊界拐點的二維坐標分別為(-0.6,0.4), (0.6, -0.4)，(0.6,0.4) 0
[0104]3、參數設置:
[0105]虛擬全景環幕3的幾何中心Cnt的三維空間坐標設置為(0，0，I)，虛擬全景環幕的半徑R設置為8m，全景視頻影像在虛擬全景環幕上映射起始位置301所對應的方向角參數ω設置為50度，觀景視窗201的視場角參數δ I設置為90度。
[0106]4、視頻映射範圍計算
[0107]I)計算觀景視窗201幾何中心O在虛擬全景環幕3上投影點01的空間坐標(Xol，Yol, Zol):
[0108]中垂線OP的方程組⑴為:
[0109]X = -0.2
[0110]Y = 2 — t
[0111]Z=I
[0112]虛擬全景環幕3的方程⑵為:
[0113]X2+Y2 = 64
[0114]聯立方程組⑴和方程⑵，得到觀景視窗幾何中心O在虛擬全景環幕上投影點01的空間坐標為(-0.2,7.997,1)
[0115]2)計算觀景視窗201幾何中心O在全景視頻影像I中的映射點02所對應的像素坐標(Pixel_X, Pixel_Y):
[0116]根據參數方程組⑶，得到01的角度與高度參數坐標為(91.433，I)。
[0117]根據公式⑷、(5)，得到全景視頻影像的角度解析度和空間解析度為
[0118]ResAngle = PixelNumX/360 = 4096/360 = 11.378
[0119]ResSpace = PixelNumX/(2 JiR)= 4096/50.2655 = 81.487
[0120]根據公式(6)、(7)，得到觀景視窗幾何中心O在全景視頻影像中投影點02所對應的像素坐標(注:像素坐標計算結果取整)
[0121]Pixel_X = (ω+90— θ ο) X ResAngle
[0122]= (50+90 — 91.433) Xll.378 = 552.595326 ^ 553
[0123]Pixel_Y = PixelNumY/2+ (ZoI — Zcnt) X ResSpace
[0124]= 2160/2+(1 — I) X8L 487 = 1080
[0125]3)計算觀景視窗201的視頻投影比例ViewScale
[0126]根據公式(8)，得到觀景視窗201的水平方向尺寸，即線段AB的長度
[0127]LAB = SquareRoot ((Xa — Xb) 2+ (Ya — Yb) 2+ (Za — Zb) 2) = SquareRoot ((-0.8 —0.4) 2+ (2 — 2) 2+ (0.6-0.6)2) = 1.2
[0128]根據公式(9)，得到投影起始點P到視窗幾何中心O的距離LOP
[0129]LOP = Ctan ( δ 1/2) X LAB/2 = Ctan (90/2) X1.2/2 = 0.6
[0130]根據公式(10)、(11)、(12)，計算投影起始點P的空間坐標
[0131]Xp = Χο+Νχ X LOP = -0.2+0 X 0.6 = -0.2
[0132]Yp = Yo+NyXLOP = 2+(-1) X0.6 = 1.4
[0133]Zp = Zo+Nz X LOP = 1+0 X 0.6=1
[0134]直線AP的方程組(13)為:
[0135]X = -0.2 - 0.6Xt
[0136]Y=L 4+0.6Xt
[0137]Z=1-0.4Xt
[0138]聯立方程組(13)與方程⑵，計算投影點Al的幾何坐標為(-5.025,6.225，-2.217)，並進一步根據方程⑶，計算投影點Al的參數坐標為(128.912，-2.217)
[0139]按照計算A在虛擬全景環幕投影點Al的相同步驟，計算邊界值點B在虛擬全景環幕投影點BI的參數坐標為(53.13，-2.333)
[0140]根據公式(14)，計算投影點AlBl的角度差
[0141]Λ AlBl = I Θ bl - Θ al | = 53.13 — 128.912 = 75.782
[0142]根據公式(15),計算觀景視窗201到全景視頻影像I的映射比例ViewScale =AAlBlXResAngle/LAB = 75.782X 11.378/1.2 = 718.540
[0143]4)計算觀景視窗201所有邊界拐點在全景視頻影像I上的映射坐標，並獲取該視窗在全景視頻影像I上對應視頻塊101的範圍根據公式(17)、(18)，計算邊界拐點C在全景視頻I上的映射點C2的像素坐標
[0144]Pixel_Xc = XeXViewScale+Pixel_X = -0.6X718.540+553 = 122
[0145]Pixel_Yc = YcXViewScale+Pixel_Y = _0.4X718.540+1080 = 793
[0146]而其他三個邊界拐點在全景視頻I上的映射點像素坐標依次為(122，1367)，(984，793)，(984，1367)。
[0147]依據觀景視窗201的邊界線，在全景視頻影像I中按順序連接所有邊界拐點的映射點，所得到的多邊形區域即為觀景視窗201在全景視頻影像I上對應視頻塊101的範圍。
[0148]單視窗分控設備，與單個終端顯示設備對應，用於根據用戶的設置信息，向視窗總控設備傳輸觀景視窗的視場角參數，並依據所對應終端顯示設備的顯示參數，對從視窗總控設備接收到視頻塊數據進行重採樣處理，使其滿足終端顯示設備的最終顯示需要，然後將處理後的數據轉發到終端顯示設備。關於本發明用到的視頻重採樣方法不做強制規定，可採用臨近取值、雙線性內插、三次卷積內插等經典方法，也可採用其它高保真的視頻圖像重採樣算法。所述單視窗分控設備上提供簡單的人機操作界面，供用戶設置單個視窗的視場角參數。
[0149]終端顯示設備:根據用戶的個性化需求，採用顯示器、投影儀，或者現有技術中的任意視頻播放設備，用於同步顯示從單視窗分控設備接收到的視頻塊數據。
[0150]本發明中分組總控設備的圖形化操作界面由4部分組成:圖形化顯示界面501，用於根據用戶的參數調整結果實時顯示當前室內空間與室外景觀間的幾何位置關係；參數調整面板502，用於對虛擬環幕幾何中心Cnt的X、Y、Z三個維度空間坐標進行增加和減小調整；參數調整面板503，用於對虛擬全景環幕的半徑R進行增加和減小調整；參數調整面板504，用於對全景視頻與虛擬全景環幕間的映射起點進行調整，包括景觀方向角度ω進行增加和減小。其中，參數調整面板502、503、504的參數調整按鈕也可以設置為觸控螢幕方式。
[0151]本發明中單視窗分控設備的人機操作界面僅提供視場角參數增大或減小功能，用戶可直接通過觸控螢幕或按鍵方式對參數進行調整。
[0152]上述系統中全景視頻採集設備和終端顯示設備是電子組合窗的輸入和輸出部件；數據編碼與傳輸設備、數據接收與解碼設備、視頻數據管理設備則是基礎部件；而視窗分組總控設備和單視窗分控設備是核心功能部件。多個單視窗控制設備與視窗分組總控設備之間採用並聯方式進行數據通信，而其餘設備之間均採用串聯方式通信。
[0153]以上實例僅用以說明本發明的技術方案而非限制，本領域的普通技術人員應當理解，本發明的技術方案進行修改或者同等替換，而不脫離本發明技術方案的精神和範圍，均應涵蓋在本發明的權利要求範圍中。
【權利要求】
1.一種全景影像室內分屏顯示方法，其特徵在於包括以下步驟: 1)在室內牆壁上設置至少一個觀景視窗，所述觀景視窗具有視頻播放功能； 2)在虛擬空間中構建能夠包容步驟I所述室內空間和所有觀景視窗的360°虛擬全景環幕，並將室外採集的全景視頻影像映射到虛擬全景環幕上； 3)取視窗中垂線上任意點作為觀景點(幾何投影起點)，根據人眼視線的幾何投影關係，將觀景視窗投影到虛擬全景環幕上，確定觀景視窗對應的可視區域，並獲取此投影區域在全景視頻影像上所對應的視頻塊範圍； 4)按照步驟3所述方法，獲取每個觀景視窗在全景視頻影像上所對應的不同視頻塊範圍，並在所有室內觀景視窗上同步播放其所對應視頻塊的景觀錄像。
2.根據權利要求1所述的全景影像室內分屏顯示方法，所述步驟3的特徵在於: 31)選取室內任一點為原點，構建虛擬空間的三維坐標系，通過幾何測量法，確定視窗幾何中心、視窗邊界拐點的空間三維坐標，並結合虛擬全景環幕幾何中心的空間三維坐標參數和虛擬全景環幕的半徑參數,參照視窗的中垂線方向，計算出視窗幾何中心在虛擬環幕上的投影點坐標； 32)將全景視頻影像映射到虛擬全景環幕上，根據全景視頻的水平像素數目和虛擬全景環幕的半徑計算視頻的角度解析度和空間解析度，並根據視頻的角度解析度、空間解析度，以及全景視頻的垂直像素數目、虛擬全景環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數和全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數，對步驟31得到的視窗幾何中心在虛擬環幕上的投影點坐標進行換算，得到觀景視窗幾何中心的在全景視頻影像中所對應映射點的像素坐標； 33)利用觀景視窗的水平視場角參數，並結合虛擬全景環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數，以及觀景視窗幾何中心和視窗在水平方向邊界極值點的空間三維坐標，參照視窗的中垂線方向，計算觀景視窗與全景視頻影像之間的映射比例； 34)以觀景視窗幾何中心為原點，在觀景視窗所在平面內構建二維坐標系，獲得觀景視窗所有邊界拐點相對於觀景視窗幾何中心的平面坐標，結合步驟32得到的觀景視窗幾何中心在全景視頻影像中所對應映射點的像素坐標，以及步驟33得到的觀景視窗與全景視頻影像之間的映射比例，計算觀景視窗所有邊界拐點在全景視頻影像上所對應映射點的像素坐標，並依據觀景視窗的邊界線，在全景視頻影像中按順序連接所有邊界拐點的映射點，從而得到完整的視頻塊映射範圍。
3.根據權利要求2所述的全景影像室內分屏顯示方法，其特徵在於:所述虛擬全景環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數，全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數，以及每個觀景視窗的視場角參數，均可根據需要自由設置。
4.一種利用權力要求I所述的全景影像室內分屏顯示方法的全景影像室內分屏顯示系統，其特徵在於:包括全景視頻採集設備，用於採集全景視頻影像； 數據編碼與傳輸設備，用於對採集的全景視頻影像進行壓縮編碼，並傳輸； 數據接收與解碼設備，用於接收從網絡傳輸的全景視頻影像壓縮數據，並通過解壓縮算法還原全景視頻影像； 視頻數據管理設備，用於動態緩存從數據接收與解碼設備中傳入的連續全景視頻影像，並將其轉發到視窗總控設備進行處理； 視窗總控設備，用於根據觀景視窗和虛擬全景環幕間的空間位置關係、虛擬全景環幕和全景視頻影像間的映射關係、以及單視窗分控設備上傳的視場角參數，計算各視窗在全景視頻影像中所對應的視頻塊映射範圍，並將視頻塊所對應的影像數據分別傳輸到不同的單視窗分控設備； 單視窗分控設備，與單個終端顯示設備對應，用於根據用戶的設置信息，向視窗總控設備傳輸觀景視窗的視場角參數，並依據所對應終端顯示設備的顯示參數，對從視窗總控設備接收到視頻塊數據進行重採樣處理，使其滿足終端顯示設備的最終顯示需要，然後將處理後的數據轉發到終端顯示設備。 終端顯示設備，用於同步顯示從單視窗分控設備接收到的視頻塊數據。
5.根據權利要求4所述的全景影像分屏顯示系統，其特徵在於:所述視窗分組總控設備的視頻塊分塊處理過程如下: 31)選取室內任一點為原點，構建虛擬空間的三維坐標系，通過幾何測量法，確定視窗幾何中心、視窗邊界拐點的空間三維坐標，並結合虛擬全景環幕幾何中心的空間三維坐標參數和虛擬全景環幕的半徑參數,參照視窗的中垂線方向，計算出視窗幾何中心在虛擬環幕上的投影點坐標； 32)將全景視頻影像映射到虛擬全景環幕上，根據全景視頻的水平像素數目和虛擬全景環幕的半徑計算視頻的角度解析度和空間解析度，並根據視頻的角度解析度、空間解析度，以及全景視頻的垂直像素數目、虛擬全景環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數和全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數，對步驟31得到的視窗幾何中心在虛擬環幕上的投影點坐標進行換算，得到觀景視窗幾何中心的在全景視頻影像中所對應映射點的像素坐標； 33)利用觀景視窗的水平視場角參數，並結合虛擬全景環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數，以及觀景視窗幾何中心和視窗在水平方向邊界極值點的空間三維坐標，參照視窗的中垂線方向，計算觀景視窗與全景視頻影像之間的映射比例； 34)以觀景視窗幾何中心為原點，在觀景視窗所在平面內構建二維坐標系，獲得觀景視窗所有邊界拐點相對於觀景視窗幾何中心的平面坐標，結合步驟32得到的觀景視窗幾何中心在全景視頻影像中所對應映射點的像素坐標，以及步驟33得到的觀景視窗與全景視頻影像之間的映射比例，計算觀景視窗所有邊界拐點在全景視頻影像上所對應映射點的像素坐標，並依據觀景視窗的邊界線，在全景視頻影像中按順序連接所有邊界拐點的映射點，從而得到完整的視頻塊映射範圍。
6.根據權利要求4?5所述的全景影像分屏顯示系統，其特徵在於:所述視窗分組總控設備提供圖形化的人機互動界面，用於設置虛擬環幕幾何中心的空間三維坐標參數、虛擬全景環幕的半徑參數，全景視頻影像在虛擬全景環幕上映射起始位置所對應的方向角參數。
7.根據權利要求4?6所述的全景影像分屏顯示系統，其特徵在於:所述單視窗分控設備提供簡單的人機操作界面，用於設置單個觀景視窗的視場角參數。
8.根據權利要求4?7中任一所述的全景影像分屏顯示系統，其特徵在於:所述終端顯示設備為若干顯示屏、投影儀，或者現有技術中的任意視頻播放設備。
【文檔編號】H04N21/41GK104244019SQ201410476578
【公開日】2014年12月24日 申請日期:2014年9月18日 優先權日:2014年9月18日
【發明者】孫軒 申請人:孫軒