遠程全景音像實時傳輸和播放方法與流程
2023-05-12 21:47:05 2
本發明涉及全景音像傳輸領域，更具體地說，涉及遠程全景音像實時傳輸和播放方法。
背景技術：
全景音像目前一般採用曲面屏或近眼顯示裝置營造一個虛擬的三維場景，讓使用者不管朝向哪個方向都可以看到虛擬世界中的圖像，同時配備聲音，有較強的沉浸感。全景視頻或遊戲目前一般是在主機中提前下載好整個文件再播放，很難實現遠程實時傳輸，這是由於目前的網絡傳輸速度存在較大的限制，而全景視頻或遊戲的傳輸需要很大的實時數據傳輸量，這是目前大多數的網絡條件難以滿足的。一些實時傳輸的方案採用了降低傳輸圖像畫質和聲音效果來節省數據傳輸量，但這樣會造成傳輸圖像、聲音質量下降，嚴重影響沉浸感。
技術實現要素：
為了解決當前遠程全景音像無法實時傳輸和影響沉浸感的缺陷，本發明提供可實時傳輸而且沉浸感強的遠程全景音像實時傳輸和播放方法。
本發明解決其技術問題所採用的技術方案是：提供遠程全景音像實時傳輸和播放方法，包括伺服器，傳輸系統和終端，所述終端包括處理單元、運動檢測單元、聲學單元和顯示單元，所述處理單元分別與所述運動檢測單元、所述聲學單元和所述顯示單元電性連接，遠程全景圖像實時傳輸和顯示的方法包括以下步驟：
S1：所述運動檢測單元檢測使用者的運動狀態並將檢測結果傳輸至所述處理單元；
S2：所述處理單元對接收到的檢測結果進行處理，得出需要傳遞聲音和圖像的空間角度坐標集合，並發送請求至所述伺服器請求所述空間角度坐標集合對應的圖像數據和聲音數據；
S3：所述伺服器傳輸對應圖像數據和聲音數據至所述終端。
優選地，所述運動檢測單元包括姿態檢測裝置和角速度檢測裝置，所述姿態檢測裝置可以檢測使用者的角度坐標信息，所述角速度檢測裝置可以檢測使用者的角速度信息。
優選地，需要傳遞聲音和圖像的空間坐標集合的計算方法是：
S2.11所述處理單元記錄所述運動檢測單元提供的使用者角度坐標信息(α0，β0，γ0)；
S2.12所述處理單元計算出延遲時間內使用者角度坐標的正向最大偏移量(Δα1，Δβ1，Δγ1)和反向最大偏移量(Δα2，Δβ2，Δγ2)，整理使用者可能出現的角度坐標集合Ф＝{(α0-Δα2<α<α0+Δα1)，(β0-Δβ2<β<β0+Δβ1)，(γ0-Δγ2<γ<γ0+Δγ1)，|α，β，γ}，集合Ф即為需要傳遞聲音和圖像的空間坐標集合。
優選地，需要傳遞聲音和圖像的空間坐標集合的計算方法是：
S2.21所述角速度檢測裝置檢測使用者沿x軸、y軸和z軸各個方向轉動的角速度ωα、ωβ、ωγ，在所述處理單元中設置使用者沿x軸、y軸和z軸各個方向轉動的最大角加速度αα、αβ、αγ，記延遲時間為t10；
S2.22所述處理單元計算出延遲時間t10內使用者可能出現的角度坐標集合Ф1＝{(((α0-(ωαt10+ααt102/2))≤α≤(α0+(ωαt10+ααt102/2)))，(((β0-(ωβt10+αβt102/2))≤β≤(β0+(ωβt10+αβt102/2)))，(((γ0-(ωγt10+αγt102/2))≤γ≤(γ0+(ωγt10+αγt102/2)))|α，β，γ}，集合Ф1即為需要傳遞聲音和圖像的空間坐標集合。
優選地，所述延遲時間為使用者被檢測到運動狀態的時間點到伺服器對應下行數據傳輸完畢所用的時間。
優選地，需要傳遞聲音和圖像的空間坐標集合的計算方法是：
S2.31在所述處理單元中記錄延遲時間內使用者沿x軸、y軸和z軸各個方向轉動的最大角速度為ωα』、ωβ』、ωγ』；
S2.32所述處理單元計算Ф2＝{((α0-ωα’t10)≤α≤(α0+ωα’t10))，((β0-ωβ’t10)≤β≤(β0+ωβ’t10))，((γ0-ωγ’t10)≤γ≤(γ0+ωγ’t10))|α，β，γ}；
S2.33令集合Ф3＝(Ф1∩Ф2)，則Ф3即為需要傳遞聲音和圖像的空間坐標集合。
優選地，所述處理單元根據所述運動檢測單元提供的角度坐標信息得出使用者的視窗圖像區域，在所述視窗圖像的周圍增加緩衝圖像區域，構成傳輸圖像區域，並向伺服器請求所述傳輸圖像區域信息。
優選地，所述終端進一步包括響應測試裝置，所述響應測試裝置可以測試響應時間，所述響應時間為終端向伺服器發出信號到終端接收到對應返回信號所用的時間。
優選地，將使用者沿x軸、y軸和z軸方向轉動的角度空間等分n份，設置n個記錄坐標記錄聲音。
優選地，所述終端為虛擬實境頭盔、增強現實眼鏡或全景曲面屏。
與現有技術相比，本發明採用根據運動檢測單元檢測結果對應傳輸圖像數據和聲音數據的方案，節省了很多的網絡帶寬，使遠程全景音像實時傳輸和顯示得以實現。通過截取視窗圖像區域和緩衝圖像區域的方式，不僅減少了數據傳輸量，而且避免了黑邊出現和延遲感的產生。環境模擬單元可以模擬環境，對虛擬實境的沉浸感有一定意義。姿態檢測裝置和角速度檢測裝置可以探測使用者的角度坐標信息和角速度信息，實時將相關信息傳輸至處理單元以確定傳輸圖像區域。通過確定使用者延遲時間內角度坐標的最大偏移量可以更精確傳輸圖像區域的範圍，進一步減少數據傳輸量。通過角加速度和最大角速度配合確定使用者可能出現的角度坐標集合最大限度地減少了傳輸數據量，節省了帶寬。設置響應測試裝置可以測量使用者的網速情況，同時方便得出延遲時間。
附圖說明
下面將結合附圖及實施例對本發明作進一步說明，附圖中：
圖1是目前遠程音像實時傳輸和顯示方法；
圖2是全景圖像顯示示意圖；
圖3是本發明遠程全景圖像實時傳輸和顯示方法結構示意圖；
圖4是本發明遠程全景圖像實時傳輸和顯示方法原理示意圖；
圖5是本發明遠程全景圖像實時傳輸和顯示方法傳輸圖像區域示意圖。
具體實施方式
為了解決當前遠程全景圖像無法實時傳輸和影響沉浸感的缺陷，本發明提供可實時傳輸而且沉浸感強的遠程全景音像實時傳輸和播放方法。
為了對本發明的技術特徵、目的和效果有更加清楚的理解，現對照附圖詳細說明本發明的具體實施方式。
請參閱圖1。圖1是目前遠程音像實時傳輸和顯示方法，終端13包括顯示單元131和聲學單元133，通過終端13向伺服器11請求數據，伺服器11根據終端13請求的數據傳輸對應的圖像和聲音數據到終端13，終端13經過處理後將圖像、聲音信號傳輸至顯示單元131和聲學單元133。這種傳輸對終端13和伺服器11的處理速度以及傳輸數據的速度都有一定的要求，如果這些速度無法達到要求，視頻圖像和聲音就會出現卡頓，嚴重影響使用體驗。在目前的遠程音像實時傳輸和顯示中，伺服器11性能、終端13性能和網絡帶寬及穩定性成為了制約音像傳輸的關鍵因素。因此，在目前高清視頻的傳輸和大型遊戲中，性能卓越的終端13和穩定高速的網絡配置是不能缺少的。
請參閱圖2。圖2是全景音像顯示示意圖。全景音像多通過虛擬實境頭盔、增強現實眼鏡和全景曲面屏來呈現，需要保證使用者20不管朝向什麼方向，都可以感受到如同現實般的音像，因此在非遠程虛擬實境顯示中，需要製作全方位360度的圖像和各個位置的聲音，存儲在終端13，待使用者20的運動和位置狀態被確定後，終端13傳輸對應的圖像信息和聲音信息到顯示單元131和聲學單元133中。而在遠程實時傳輸中，無法提前製作全方位360度的圖像，只能依靠實時傳輸360度的圖像和聲音來保證使用者20不管朝向什麼方向都可以感受到如同現實般的聲音和圖像。但是同時傳輸如此多的信息需要很大的網絡帶寬支持，目前的技術無法達到要求，這就使得遠程全景音像實時傳輸和播放遇到很大的難題。一個解決方案是降低圖像的畫質和聲音的品質，當圖像的畫質和聲音的品質降低到一定的標準時，實時傳輸數據量大為減少，網絡帶寬可以滿足，但這會導致圖像非常模糊，晶格感嚴重，聲音不清晰，嚴重影響虛擬實境的沉浸感和體驗。在目前網絡帶寬的條件下，實時傳輸的情況下增強虛擬實境沉浸感必須尋找其他解決方案。
請參閱圖3—圖5，在本發明中，完成遠程全景音像實時傳輸和播放需要伺服器11、傳輸系統12和終端13，伺服器11和終端13之間通過傳輸系統12連接並相互傳遞信息。終端13包括處理單元137、顯示單元131、聲學單元133、環境模擬單元139和運動檢測單元135，處理單元137分別與顯示單元131、聲學單元133、環境模擬單元139和運動檢測單元135電性連接。環境模擬單元139可以根據處理單元137的相關命令模擬環境場景，伺服器11可以傳輸環境信息到終端13，並由處理單元137命令環境模擬單元139進行表達。環境模擬單元139可以配備鼓風機(圖未示)模擬風向和配備噴水裝置(圖未示)模擬噴水、下雨等環境變化。運動檢測單元135包括姿態檢測裝置1353和角速度檢測裝置1355。處理單元137包括響應測試裝置1371，響應測試裝置1371可以測量網絡響應速度。我們將通過視覺和聽覺分別論述本發明的實施方案。
由於人的視角限制，現實中人不能同時看到360度全景空間的圖像，呈現在人面前的是一個「視窗」，圖示視窗圖像區域31。我們這裡以虛擬實境顯示為例講述全景圖像顯示的原理，全景曲面屏和增強現實顯示方法與其類似，此處不再贅述。在非遠程虛擬實境顯示中，由於設備響應速度較快，在使用者20的角度信息被探測到後，終端13傳輸對應的視窗圖像區域31到顯示單元131中，整個過程可以控制到11ms以下，而在這低於11ms的時間內，使用者20的運動狀態不會發生太大改變，這部分時間延遲可以忽略。使用者20在顯示單元131中看到11ms之前的圖像大腦生理上不會產生延遲感，這是非遠程虛擬實境顯示的基本原理。在這種傳輸中，每個角度坐標對應唯一的視窗圖像區域31。但是在遠程虛擬實境顯示中，由於網絡響應速度遠大於11ms，再使用這種方式來傳播圖像就會產生很大的延遲感。因此我們必須傳輸大於視窗圖像區域31的圖像存儲在終端13中，再重新測量使用者20的角度坐標，在存儲的圖像中抓取對應的視窗圖像區域31到顯示單元131中。這其中，大於視窗圖像區域31的圖像我們稱為緩衝圖像區域33，緩衝圖像區域33和視窗圖像區域31共同構成傳輸圖像區域30。
從使用者20的運動狀態和位置信息被探測到，到圖像信息傳遞給使用者，需要一個傳遞和處理的時間周期。令這個時間周期的起始時刻為T0，則該時間周期需要：使用者20的運動狀態被探測到並傳遞到處理單元137的時間為探測時間t1、處理單元137處理的時間為t2、處理單元137傳輸數據到伺服器11所需時間t3、伺服器11處理時間t4、伺服器11向處理單元137傳輸對應圖像數據的時間t5。(t1+t2+t3+t4+t5)這段時間我們稱為延遲時間，記延遲時間為t10。延遲時間t10根據伺服器11、終端13的性能以及網絡傳輸速度的不同各有不同。可以很容易得出，響應測試裝置1371測量的響應時間為(t3+t4+t5)，由於t1和t2對於特定的終端來說是基本是固定不變的，因此延遲時間t10就可以通過響應時間(t3+t4+t5)和固定的時間t1、t2計算出來。
本發明的圖像傳輸和顯示過程是：在T0時刻，使用者20的角度坐標信息被運動檢測單元135檢測到，經過t1的時間該信息傳遞到處理單元137，處理單元137經過t2時間的處理向伺服器11請求傳輸圖像區域30的數據，經過t3時間數據請求信息傳輸到伺服器11，伺服器11經過t4時間的處理將傳輸圖像區域30對應數據下行傳輸到終端13，經過t5的時間到達終端並接收完成，此時記為T1時刻。同時，運動檢測單元135檢測使用者20在T1時刻的角度坐標信息，並將該信息傳輸至處理單元137，處理單元137經過處理後，在傳回的傳輸圖像區域30中抓取對應T1時刻角度坐標信息的視窗圖像區域31並傳輸至顯示單元131。
本發明中，傳輸圖像區域30的範圍是比較重要的。傳輸圖像區域30如果過小，使用者20在緩衝時間內的運動可能造成視窗圖像區域31超出傳輸圖像區域30的範圍，造成黑邊的出現；傳輸圖像區域30如果過大，會造成網絡傳輸數據量的增多，在網絡不穩定的情況下有可能影響到沉浸感。
本發明採用計算使用者20最大角度偏移量的方式確定傳輸圖像區域30。我們建立虛擬的直角坐標系，使用者此時沿x軸、y軸和z軸的角度坐標為α0、β0、γ0，處理單元137通過計算的方式計算出延遲時間t10內使用者20角度坐標的正向最大偏移量(Δα1，Δβ1，Δγ1)和反向最大偏移量(Δα2，Δβ2，Δγ2)，整理使用者可能出現的坐標集合：
Ф＝{(α0-Δα2<α<α0+Δα1)，(β0-Δβ2<β<β0+Δβ1)，(γ0-Δγ2<γ<γ0+Δγ1)，|α，β，γ}；
集合Ф內所有坐標對應的視窗圖像區域31圍成的圖像區域的集合即為傳輸圖像區域30。對應的角度坐標可以由姿態檢測裝置1353檢測得到。
角度坐標的最大偏移量有很多算法，其中一種就是利用使用者20的最大運動角加速度來計算。這裡，我們令使用者20的最大運動角加速度是α，則使用者20沿x軸、y軸和z軸各個方向轉動的最大角加速度為αα、αβ、αγ，使用者20沿x軸、y軸和z軸各個方向轉動的角速度為ωα、ωβ、ωγ，ωα、ωβ、ωγ可以利用角速度檢測裝置1355檢測得到，在延遲時間t10內使用者沿x軸、y軸和z軸各個方向轉動的最大角度為(ωαt10+ααt102/2)、(ωβt10+αβt102/2)、(ωγt10+αγt102/2)，角度坐標的變化範圍為：
{((α0-(ωαt10+ααt102/2))≤α≤(α0+(ωαt10+ααt102/2)))，((β0-(ωβt10+αβt102/2))≤β≤(β0+(ωβt10+αβt102/2)))，((γ0-(ωγt10+αγt102/2))≤γ≤(γ0+(ωγt10+αγt102/2)))}，
此時，角度坐標的集合為：
Ф1＝{((α0-(ωαt10+ααt102/2))≤α≤(α0+(ωαt10+ααt102/2)))，((β0-(ωβt10+αβt102/2))≤β≤(β0+(ωβt10+αβt102/2)))，((γ0-(ωγt10+αγt102/2))≤γ≤(γ0+(ωγt10+αγt102/2)))|α，β，γ}。
利用該方法計算角度坐標的集合可以很大程度上減少傳輸圖像區域30，較好地節省了資源。
本發明第二實施例在第一實施例的基礎上進一步節省傳輸圖像區域30。由於人的頭部在轉動過程中存在極限角速度，當轉動達到極限角速度後就不會繼續加速轉動。因此，我們令使用者20沿x軸、y軸和z軸各個方向轉動的最大角速度為ωα』、ωβ』、ωγ』,則使用者20在延遲時間t10內沿x軸、y軸和z軸各個方向轉動的最大角度為ωα’t10、ωβ’t10、ωγ’t10，角度坐標的變化範圍為：
{((α0-ωα’t10)≤α≤(α0+ωα’t10))，((β0-ωβ’t10)≤β≤(β0+ωβ’t10))，((γ0-ωγ’t10)≤γ≤(γ0+ωγ’t10))}，
此時，角度坐標的集合為：
Ф2＝{((α0-ωα’t10)≤α≤(α0+ωα’t10))，((β0-ωβ’t10)≤β≤(β0+ωβ’t10))，((γ0-ωγ’t10)≤γ≤(γ0+ωγ’t10))|α，β，γ}。
使用者20不管怎樣加速轉動頭部，都不會超過集合Ф2的坐標範圍，我們令集合Ф3＝(Ф1∩Ф2)，則Ф3即為使用者可能出現的角度坐標集合。這個結果使傳輸圖像區域30進一步減小，減少了大量的傳輸數據。
本發明的聲音傳輸和播放過程是：在T0時刻，使用者20的角度坐標信息和角速度信息被運動檢測單元135檢測到，經過t1的時間該信息傳遞到處理單元137，處理單元137經過t2時間的處理向伺服器11請求傳輸聲音集合的數據，經過t3時間數據請求信息傳輸到伺服器11，伺服器11經過t4時間的處理將傳輸聲音集合對應數據下行傳輸到終端13，經過t5的時間到達終端並接收完成，此時記為T1時刻。同時，運動檢測單元135檢測使用者20在T1時刻的角度坐標信息，並將該信息傳輸至處理單元137，處理單元137經過處理後，在傳回的傳輸圖像區域30中抓取對應T1時刻角度坐標信息的聲音並傳輸至聲學單元133。
傳輸聲音集合的確定方式與傳輸圖像區域30的確定方式相同，即利用使用者20的最大角度偏移量和使用者20的角速度、最大角速度、最大角加速度等數據，計算出集合Ф、Ф3和Ф1。每個角度坐標(α，β，γ)對應唯一的聲音數據，角度坐標集合Ф、Ф3或Ф1對應的聲音數據的集合即為傳輸聲音集合。我們分別將使用者20沿x軸、y軸和z軸方向轉動的角度空間等分n份，設置n個記錄坐標來記錄聲音，則整個轉動空間的坐標數量為n3。在向伺服器11請求傳輸聲音數據時，我們只需傳輸集合Ф、Ф3或Ф1涵蓋的記錄坐標，在T1時刻重新檢測使用者20的坐標信息後，我們從終端13中抓取最接近測量坐標的聲音數據，並傳輸至聲學單元133，完成聲音的播放。
與現有技術相比，本發明採用根據運動檢測單元135檢測結果對應傳輸圖像數據和聲音數據的方案，節省了很多的網絡帶寬，使遠程全景音像實時傳輸和顯示得以實現。通過截取視窗圖像區域31和緩衝圖像區域33的方式，不僅減少了數據傳輸量，而且避免了黑邊出現和延遲感的產生。環境模擬單元139可以模擬環境，對虛擬實境的沉浸感有一定意義。姿態檢測裝置1353和角速度檢測裝置1355可以探測使用者的角度坐標信息和角速度信息，實時將相關信息傳輸至處理單元137以確定傳輸圖像區域30。通過確定使用者20延遲時間內角度坐標的最大偏移量可以更精確傳輸圖像區域30的範圍和傳輸聲音集合的範圍，進一步減少數據傳輸量。通過角加速度和最大角速度配合確定使用者可能出現的角度坐標集合最大限度地減少了傳輸數據量，節省了帶寬。設置響應測試裝置1371可以測量使用者20的網速情況，同時方便得出延遲時間t10。
上面結合附圖對本發明的實施例進行了描述，但是本發明並不局限於上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本發明的啟示下，在不脫離本發明宗旨和權利要求所保護的範圍情況下，還可做出很多形式，這些均屬於本發明的保護之內。