一種視頻直播系統及方法與流程
2023-06-22 17:25:46
本發明涉及無人機領域，具體而言，涉及一種視頻直播系統及方法。
背景技術：
：隨著無人機技術的快速發展，無人機的應用範疇越發廣泛，已不再局限於航拍等領域，對無人機的隨時、隨地、隨性的應用要求越來越多。移動直播技術是結合移動通信技術和網絡直播技術發展起來的一種通信技術，可以通過移動終端來實現視頻等信息的直播與共享。虛擬實境(VirtualReality,VR)技術是一種綜合利用計算機圖形系統和各種現實及控制等接口設備，在計算機上生成的、可交互的三維環境中的提供沉浸感的技術，近年越發受到大眾喜愛。傳統的基於無人機的VR視頻直播系統一般是將採集到的視頻信息直接存儲到本地SD卡或通過無線傳輸方式傳輸到地面進行播放。只能實現近距離的視頻實時播放或將其緩存進行離線查看，無法實現異地實時播放或多人跨平臺實時觀看同一視頻源。技術實現要素：本發明旨在改善上述的技術問題。為此，本發明提供一種視頻直播系統，旨在實現基於無人機的VR全景視頻的實時直播。為實現上述目的，本發明提供一種視頻直播系統，包括無人機終端和視頻控制終端，所述無人機終端包括無人機、圖像採集裝置和圖像處理裝置，所述視頻控制終端包括VR可視設備和VR直播雲伺服器，所述圖像採集裝置設置於所述無人機上，所述圖像採集裝置與所述圖像處理裝置連接，所述圖像處理裝置、所述VR可視設備分別與所述VR直播雲伺服器通信連接；所述圖像採集裝置用於採集視頻信息；所述圖像處理裝置用於對所述圖像採集裝置採集到的視頻信息進行處理以生成三維全景視頻並發送至所述VR直播雲伺服器；所述VR直播雲伺服器用於接收及緩存所述圖像處理裝置發送的所述三維全景視頻並進行實時轉播；所述VR可視設備用於接收所述VR直播雲伺服器轉播的所述三維全景視頻，根據所述三維全景視頻生成3D場景並進行實時播放。優選地，所述圖像採集裝置包括多個全景視頻相機，所述多個全景視頻相機安裝在所述無人機的不同位置，用於對不同角度的視頻進行採集以保證視場的全方位覆蓋，所述圖像處理裝置用於對所述多個全景視頻相機採集到的視頻進行處理，以生成三維全景視頻。優選地，所述圖像處理裝置包括VR處理器，所述VR處理器中預設有所述多個全景視頻相機的拼接參數，所述VR處理器用於根據所述拼接參數將所述多個全景視頻相機採集到的視頻信息進行圖像拼接以生成三維全景視頻。優選地，所述圖像處理裝置還包括視頻編碼器，所述視頻編碼器用於對拼接後的所述三維全景視頻進行編碼，並將編碼後的所述三維全景視頻發送至所述VR直播雲伺服器。優選地，所述VR直播雲伺服器用於接收所述視頻編碼器發送的所述三維全景視頻，將所述三維全景視頻以VR視頻播放器支持的播放格式緩存於所述VR直播雲伺服器中，並進行實時轉播。優選地，所述視頻直播系統還包括移動控制終端，所述移動控制終端用於對所述無人機的飛行參數進行控制。此外，為實現上述目的，本發明還提供一種應用於上述視頻直播系統的視頻直播方法，該視頻直播方法包括：所述圖像採集裝置採集視頻信息；所述圖像處理裝置對所述圖像採集裝置採集到的視頻信息進行處理以生成三維全景視頻並發送至所述VR直播雲伺服器；所述VR直播雲伺服器接收及緩存所述圖像處理裝置發送的所述三維全景視頻並進行實時轉播；所述VR可視設備接收所述VR直播雲伺服器轉播的所述三維全景視頻，根據所述三維全景視頻生成3D場景並進行實時播放。優選地，所述圖像採集裝置包括多個全景視頻相機，所述多個全景視頻相機安裝在所述無人機不同位置，對不同角度的視頻進行採集，保證視場的全方位覆蓋，所述圖像處理裝置對所述圖像採集裝置採集到的視頻信息進行處理以生成三維全景視頻並發送至所述VR直播雲伺服器的步驟包括：所述圖像處理裝置對所述多個全景視頻相機採集到的視頻信息進行處理，生成三維全景視頻並發送至所述VR直播雲伺服器。優選地，所述圖像處理裝置包括VR處理器和視頻編碼器，所述圖像處理裝置對所述多個全景視頻相機採集到的視頻信息進行處理，生成三維全景視頻並發送至所述VR直播雲伺服器的步驟包括：所述VR處理器根據預設的所述多個全景視頻相機的拼接參數將所述多個全景視頻相機採集到的視頻信息進行圖像拼接，生成現場三維全景視頻；所述視頻編碼器對拼接後的所述三維全景視頻進行編碼，並將編碼後的所述三維全景視頻發送至所述VR直播雲伺服器。優選地，所述VR直播雲伺服器接收及緩存所述圖像處理裝置發送的所述三維全景視頻並進行實時轉播的步驟包括：所述VR直播雲伺服器接收所述視頻編碼器發送的所述三維全景視頻，將所述三維全景視頻以VR視頻播放器支持的播放格式緩存於所述VR直播雲伺服器中，並進行實時轉播。與現有技術相比，本發明的視頻直播系統通過VR直播雲伺服器接收無人機終端發送的三維全景視頻並緩存以進行實時轉播，VR可視設備接收VR直播雲伺服器轉播的三維全景視頻，根據該三維全景視頻生成3D場景並進行實時播放。實現了基於無人機的VR全景視頻的實時播放，並實現了多人跨平臺對同一視頻源的觀看體驗。為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。附圖說明為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。圖1為本發明較佳實施例提供的一種視頻直播系統的結構框圖。圖2為本發明較佳實施例提供的一種圖像處理裝置的結構框圖。圖3為本發明較佳實施例提供的一種視頻直播方法的流程圖。圖標：100-無人機終端；110-無人機；120-圖像採集裝置；130-圖像處理裝置；131-VR處理器；132-視頻編碼器；200-視頻控制終端；210-VR直播雲伺服器；220-VR可視設備；300-移動控制終端。具體實施方式下面將結合本發明實施例中附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的組件可以以各種不同的配置來布置和設計。因此，以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施例。基於本發明的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。同時，在本發明的描述中，除非另有明確的規定和限定，術語「安裝」、「設置」、「連接」應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對於本領域的普通技術人員而言，可以具體情況理解上述術語在本發明中的具體含義。如圖1所示，本發明提供的視頻直播系統包括無人機終端100和視頻控制終端200。所述無人機終端100包括無人機110、圖像採集裝置120和圖像處理裝置130。所述視頻控制終端200包括VR直播雲伺服器210和VR可視設備220。所述圖像採集裝置120設置於所述無人機110上，所述圖像採集裝置120與所述圖像處理裝置130連接，所述圖像處理裝置130、所述VR可視設備220分別與所述VR直播雲伺服器210通信連接。可選地，本實施例中，所述無人機110包括電機、旋翼、支架、智能飛控和電控等，用於搭載圖像採集裝置120等。所述圖像採集裝置120為多個全景視頻相機，所述多個全景視頻相機安裝於所述無人機110的不同位置，用於對不同角度的現場視頻進行採集，以保證視場的全方位覆蓋，為立體三維建模提供全面的視頻信息。所述多個全景視頻相機與處理板卡連接。可選地，在本實施例中，所述處理板卡採用的是樹莓派的Linux系統的嵌入式板卡。結合圖2所示，所述圖形處理裝置130包括VR處理器131和視頻編碼器132。所述VR處理器131中預設有所述多個全景視頻相機的拼接參數。在第一次啟動時，需要計算所述拼接參數並將其固化下來，只有當所述多個全景視頻相機的相對位置發生變化時，才需要重新計算所述拼接參數。所述VR處理器131讀取所述多個全景視頻相機的預置的所述拼接參數，對所採集到的現場視頻進行仿射變換，並將仿射變換後的圖像進行拼接操作以生成現場全景視頻。仿射變換是一種二維坐標到二維坐標之間的線性變換，經過變換後的圖像能保持自身的「平直性」和「平行性」。實質上，仿射變換就是對圖像進行平移、縮放、旋轉、翻轉和錯切這五種變換的組合。可選地，圖像的仿射變換可由如下形式表示：uv=a2a1a0b2b1b0xy1]]>其中，x，y為原始圖像坐標；u，v為變換後的圖像坐標；ai，bi是計算後並固化下來的拼接參數。所述VR處理器131根據仿射變換後的全景視頻信息和所述多個全景視頻相機參數等進行立體三維建模以得到現場三維全景視頻。所述視頻編碼器132對生成的所述三維全景視頻進行編碼，減少視頻數據量以便於傳輸。可選地，在本實施例中，採用ffmpeg將視頻流壓縮為高級串流格式(AdvancedStreamingFormat，ASF)。ffmpeg是一個用c++實現的開源庫，可以實現視頻的編碼、解碼、格式轉換和播放的功能。ffmpeg庫是開源免費的，用戶可以從官網上自行下載安裝後使用。所述視頻編碼器132將經過編碼後的所述三維全景視頻發送至所述VR直播雲伺服器210。請參閱圖1和圖2，可選地，所述VR直播雲伺服器210包括射頻模塊，所述射頻模塊可用於接收以及發送電磁波，實現電磁波與電信號的相互轉換，從而與通訊網絡或其他設備進行通訊。可選地，所述視頻編碼器132和所述VR直播雲伺服器210之間採用無線數據連接，包括所有基於無線射頻傳輸圖像或控制狀態數字信息的傳輸方式。可為各種頻段的射頻傳輸、WIFI或編碼正交頻分復用COFDM等等。可選地，本實施例中，所述視頻編碼器132和所述VR直播雲伺服器210之間使用600MHz和900MHz兩個頻段的射頻信號進行傳輸。可以實現20Km範圍內的視頻信息實時傳輸。所述VR直播雲伺服器210基於雲存儲、雲計算和雲負載均衡技術，用於高速緩存所述視頻編碼器132發送過來的所述三維全景視頻。可選地，在本實施例中，VR視頻播放器的代碼以JS腳本的方式打包部署於所述VR直播雲伺服器210中。並採用了HTML5的方式，開發視頻的直播播放服務。所述VR直播雲伺服器210用於接收所述視頻編碼器132發送的所述三維全景視頻，將所述三維全景視頻以所述VR視頻播放器支持的格式緩存於所述VR直播雲伺服器210中，並根據客戶的需求進行實時轉播。所述可視設備220與所述VR直播雲伺服器210之間採用網際網路或者虛擬專用網連接。具備高速度高帶寬，能實現所述三維全景視頻的實時傳輸需求。所述可視設備220內置有圖形處理器和控制器，用於實時接收所述VR直播雲伺服器210轉播的所述三維全景視頻，並對所述三維全景視頻進行快速處理以還原逼真的3D場景，實現實時播放並提高用戶的沉浸感。在任何地方，用戶只需連上所述VR直播雲伺服器210開發的視頻地址，即可直接在所述VR可視設備220上觀看實時直播。可選地，所述VR可視設備220包括但不限於眼鏡、頭盔、顯示屏等可VR顯示的設備。在本實施例中，所述視頻直播系統還包括移動控制終端300。所述移動控制終端300是針對所述無人機110的移動終端，用於對所述無人機110的飛行參數進行控制。可選地，所述移動控制終端300包括但不限於遙控器、手機、平板及遙控手環等針對所述無人機110的控制裝置。請參閱圖3，是本發明較佳實施例提供的應用於圖1所示的視頻直播系統的視頻直播方法的流程圖。下面將對圖3所示的具體流程進行詳細闡述。步驟S101,圖像採集裝置120採集現場視頻信息。將所述多個全景視頻相機安裝於所述無人機110不同位置上，所述多個全景視頻相機以不同角度採集現場視頻信息。步驟S102,VR處理器131將採集到的現場視頻進行圖像拼接。所述VR處理器131接收所述多個全景視頻相機採集到的現場視頻信息。所述VR處理器131讀取預置的所述多個全景視頻相機的拼接參數。將接收到的所述視頻信息進行圖像仿射變換以生成現場全景視頻。其中，圖像的仿射變換可根據以下公式進行：uv=a2a1a0b2b1b0xy1]]>其中，x，y為原始圖像坐標；u，v為變換後的圖像坐標；ai，bi是計算後並固化下來的拼接參數。步驟S103,VR處理器131將拼接後的視頻進行立體三維建模以生成三維全景視頻。所述VR處理器131根據拼接後的現場全景視頻信息和所述多個全景視頻相機的參數，並結合所述無人機的遙測定位信息等，進行立體三維建模，最終生成三維全景視頻，並將所述三維全景視頻發送至所述視頻編碼器132。步驟S104,視頻編碼器132將接收到的三維全景視頻進行編碼以減少數據量。所述視頻編碼器132將VR處理器131傳送的所述三維全景視頻進行視頻編碼以減少視頻數據量。採用ffmpeg將視頻流壓縮為ASF格式，並將編碼後的所述三維全景視頻發送至所述VR直播雲伺服器210。步驟S105,VR直播雲伺服器210將接收到的經過編碼後的三維全景視頻進行緩存及轉播。所述VR直播雲伺服器210接收從所述視頻編碼器132傳送過來的所述三維全景視頻，將所述三維全景視頻以VR視頻播放器支持的播放格式緩存於所述VR直播雲伺服器210中，並根據用戶的需求進行實時轉播。步驟S106,用戶通過VR可視設備220接收轉播的三維全景視頻進行實時播放。VR可視設備220接收所述VR直播雲伺服器210轉播的視頻信息並進行快速處理以還原逼真的3D場景。用戶藉助VR可視設備220，連上所述VR直播雲伺服器210開發的視頻地址，就可直接在所述VR可視設備220上觀看視頻實時直播。綜上所述，本發明提供的一種視頻直播系統及方法。該視頻直播系統通過VR直播雲伺服器210接收無人機終端100發送的三維全景視頻並緩存其中以進行實時轉播。VR可視設備220接收VR直播雲伺服器210轉播的三維全景視頻，根據該三維全景視頻還原逼真的3D場景以進行實時播放。實現了基於無人機的VR全景視頻的實時播放，並實現了多人跨平臺進行同一視頻源的觀看。在本申請所提供的實施例中，應該理解到，所揭露的裝置和方法，也可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據本發明的實施例的裝置、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現方式中，方框中所標註的功能也可以以不同於附圖中所標註的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與計算機指令的組合來實現。需要說明的是，在本文中，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。以上所述僅為本發明的優選實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本
技術領域：
的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以所述權利要求的保護範圍為準。當前第1頁1 2 3