區域網多路信號的直播方法和系統與流程

2023-05-06 12:45:01 3

本發明涉及數字媒體技術領域，特別是涉及一種區域網多路信號的直播方法和系統。

背景技術：

觀看直播是人們生活中的一種主要娛樂方式，而直播的形式主要有電視直播和網絡直播，隨著網際網路技術的進步以及人們生活水平的提高，網絡直播由於其互動性高、部署便捷、穩定可靠的特點深受人們的喜愛。

傳統的直播方法通常有兩種，一種是採用多臺攝像機採集和多臺麥克風在現場進行畫面和音頻的採集，再配合使用數字調音臺和導播臺進行直播；另一種是使用單臺手機或其他信號採集設備進行畫面和音頻的採集，再通過網絡上傳至伺服器，發布至網址供人觀看。

傳統的直播方法中，使用多臺攝像機和多臺麥克風的多路信號直播方式，需要投入硬體成本很高，每次直播所需要的設備調試的人力成本也非常高，且便攜性不強；而使用單臺信號採集設備進行單路信號的直播方式，畫面只有一個，音頻只有一路，缺乏畫面和聲音的完整性和豐富性，缺乏立體感。

技術實現要素：

基於此，有必要針對傳統的直播方法中多路信號直播方式中硬體成本過高、缺乏便攜性，單路信號直播方式中缺乏畫面和聲音的完整性和豐富性的問題，提供一種硬體成本低並且畫面和聲音豐富的區域網多路信號的直播方法和系統。

一種區域網多路信號的直播方法，所述方法包括：

接收區域網內的多個通信設備發送的多路視頻數據和多路音頻數據；

對所述多路視頻數據和多路音頻數據進行音畫同步；

將所述多路視頻數據合成為一路畫面，將所述多路音頻數據合成為一路音頻，並將所述一路畫面和所述一路音頻合成為音畫數據；

發送所述音畫數據至直播伺服器。

在其中一個實施例中，所述對所述多路視頻數據和多路音頻數據進行音畫同步包括：

獲取所述多路視頻數據的採集時間和多路音頻數據的採集時間，將所述多路視頻數據的採集時間和多路音頻數據的採集時間同步於同一時間軸上；

調整所述多路視頻數據和多路音頻數據，將所述多路視頻數據和多路音頻數據根據採集時間映射至所述時間軸上。

在其中一個實施例中，所述調整多路視頻數據和多路音頻數據包括：

預設延遲時間，檢測在所述延遲時間內是否接收到所述時間軸上對應的完整的數據，並等待接收屬於所述延遲時間內的數據；

若在所述延遲時間結束後所述等待的數據仍未被接收，則放棄所述未被接收的數據。

在其中一個實施例中，所述將所述多路視頻數據合併為一路畫面包括：

選取所述多路視頻數據中的至少一路視頻數據作為一路畫面並進行畫面切換，推送所述一路畫面。

在其中一個實施例中，所述將所述多路音頻數據合併為一路音頻包括：

選取所述多路音頻數據中與所述一路畫面對應的至少一路音頻數據，將所述至少一路音頻數據通過音頻混合的方式合成為一路音頻。

一種區域網多路信號的直播系統，所述系統包括：

接收模塊，用於接收區域網內的多個通信設備發送的多路視頻數據和多路音頻數據；

同步處理模塊，用於對所述多路視頻數據和多路音頻數據進行音畫同步；

合成處理模塊，用於將所述多路視頻數據合成為一路畫面，將所述多路音頻數據合成為一路音頻，並將所述一路畫面和所述一路音頻合成為音畫數據；

發送模塊，用於發送所述音畫數據至直播伺服器。

在其中一個實施例中，所述同步處理模塊還用於：

獲取所述多路視頻數據的採集時間和多路音頻數據的採集時間，將所述多路視頻數據的採集時間和多路音頻數據的採集時間同步於同一時間軸上；

調整所述多路視頻數據和多路音頻數據，將所述多路視頻數據和多路音頻數據根據採集時間映射至所述時間軸上。

在其中一個實施例中，所述同步處理模塊還用於：

預設延遲時間，檢測在所述延遲時間內是否接收到所述時間軸上對應的完整的數據，並等待接收屬於所述延遲時間內的數據；

若在所述延遲時間結束後所述等待的數據仍未被接收，則放棄所述未被接收的數據。

在其中一個實施例中，所述合成處理模塊還用於選取所述多路視頻數據中的至少一路視頻數據作為一路畫面並進行畫面切換，推送所述一路畫面。

在其中一個實施例中，所述合成處理模塊還用於選取所述多路音頻數據中與所述一路畫面對應的至少一路音頻數據，將所述至少一路音頻數據通過音頻混合的方式合成為一路音頻。

上述區域網多路信號直播方法和系統，通過接收區域網內的多個通信設備發送的多路視頻數據和多路音頻數據；對所述多路視頻數據和多路音頻數據進行音畫同步；將所述多路視頻數據合成為一路畫面，將所述多路音頻數據合成為一路音頻，並將所述一路畫面和所述一路音頻合成為音畫數據；發送所述音畫數據至直播伺服器。實現了區域網內通過便攜通信設備完成多路信號直播的方式，區域網傳輸方式方便快捷，採用便攜行動裝置進行直播可有效降低成本，通過將多臺行動裝置採集的視頻與音頻合成，使得直播的畫面和聲音更加豐富並具有立體感。

附圖說明

圖1為本發明一實施例中區域網多路信號的直播方法的流程圖；

圖2為本發明一實施例中導播臺通信設備的控制流程圖；

圖3為本發明一實施例中區域網多路信號的直播系統的模塊圖。

具體實施方式

為了便於理解本發明，下面將參照相關附圖對本發明進行更全面的描述。附圖中給出了本發明的較佳實施例。但是，本發明可以以許多不同的形式來實現，並不限於本文所描述的實施例。相反地，提供這些實施例的目的是使對本發明的公開內容的理解更加透徹全面。

除非另有定義，本文所使用的所有的技術和科學術語與屬於本發明的技術領域的技術人員通常理解的含義相同。本文中在本發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在限制本發明。本文所使用的術語「和/或」包括一個或多個相關的所列項目的任意的和所有的組合。

以下提供一種區域網多路信號的直播方法，參閱圖1所示，該方法包括以下步驟s110～s140。

s110：接收區域網內的多個通信設備發送的多路視頻數據和多路音頻數據。

具體地，在本實施例的步驟110之前，還包括：與區域網內的多個通信設備進行通信連接；所述通信連接方式為wifi通信連接，在其他實施例中所述連接方式還可以是藍牙通信連接，本實施例中所述通信設備為便攜行動裝置，如手機移動終端和平板設備等。每個所述通信設備具有視頻採集模塊和音頻採集模塊，如手機上的攝像頭和麥克風。通過所述視頻採集模塊採集視頻數據，通過所述音頻採集模塊採集音頻數據，接收每個所述通信設備發送的視頻數據和與之對應的音頻數據。

在一個實施例中，所述多個通信設備採集同一個場景中的視頻數據和音頻數據，每個通信設備用於採集不同角度的畫面和不同聲道的音頻，並發送所述畫面和音頻至處理端。

s120：對所述多路視頻數據和多路音頻數據進行音畫同步。

具體地，所述音畫同步即是將採集的各路數據之間的時間保持相互對應，由於在視頻數據和音頻數據的採集過程中存在網絡延遲或設備中斷等情況，接收到的視頻數據和音頻數據中可能會出現卡頓或延時的畫面和音頻，因此需要對所述多路視頻數據和多路音頻數據進行音畫同步。

進一步地，讀取所述多路視頻數據的採集時間和多路音頻數據的採集時間，將所述多路視頻數據的採集時間和多路音頻數據的採集時間同步於同一時間軸上。其中，所述時間軸是用於存放所述視頻數據和音頻數據的容器，時間軸上有序地記載著時間的先後順序，將視頻數數據的採集時間和音頻數據的採集時間與放入時間軸容器中，並調整至同一時間起點，使之與時間軸進行對應。

進一步地，為保證數據的連貫性，需調整所述多路視頻數據和多路音頻數據，並將所述多路視頻數據和多路音頻數據根據採集時間映射至所述時間軸上。

其中，通過預設一個延遲時間，檢測在所述延遲時間內是否接收到所述時間軸上對應的完整的數據，並等待接收屬於所述延遲時間內的數據，若在所述延遲時間結束後所述等待的數據仍未被接收，則放棄所述未被接收的數據。

舉例說明，處理端設置一個600ms的延遲，在600ms內對時間軸上的數據進行檢測並等待，且在600ms後將多路數據合成為一路數據，若本應是600ms內的數據，在超過600ms後才到達處理端，則處理端會選擇丟棄這部分數據。

在一個實施例中，在接收到所述多路視頻數據和多路音頻數據後，由於在時間軸上已經存有各路數據的採集時間，將所述多路視頻數據和多路音頻數據中的每一幀數據對應至時間軸上，使得所述每一幀數據都對應有正確的時間，並且有序地排列在時間軸上。

s130：將所述多路視頻數據合成為一路畫面，將所述多路音頻數據合成為一路音頻，並將所述一路畫面和所述一路音頻合成為音畫數據。

具體地，在預設的所述延遲時間結束後，將多路數據合成為一路數據。所述多路視頻數據分別呈現出不同畫面，將所述不同畫面合成為一路畫面進行推送。所述多路音頻數據分別呈現出不同聲道的聲音，將所述不同聲道的聲音合成為一路音頻進行推送。

在一個實施例中，選取所述多路視頻數據中的至少一路視頻數據作為一路畫面並進行畫面切換，推送所述一路畫面。即選取所述多路視頻數據對應的不同畫面中的其中一路畫面進行推送，並根據實際需求選取下一路畫面進行切換。在其他實施例中，還可以通過將所述多路視頻數據進行畫面疊加或畫面嵌套的方式來進行一路畫面的合成。

在一個實施例中，選取所述多路音頻數據中與所述一路畫面對應的至少一路音頻數據，將所述至少一路音頻數據通過音頻混合的方式合成為一路音頻。由於所述多路音頻數據呈現的是從不同方位、不同角度採集的聲音，將選取的所述至少一路音頻數據經過音頻混合處理後，可獲得一路具有立體聲效果的音頻。

s140：發送所述音畫數據至直播伺服器。

具體地，對接收的所述視頻數據和音頻數據進行音畫同步處理和合成處理後，將合成後的音畫數據發送至直播伺服器，由所述直播伺服器將所述音畫數據推送給用戶觀看。

對上述步驟進行舉例說明，在一個樂隊的演奏直播中，通過多個通信設備來對整個樂隊表演進行多方位直播。

其中，在每位樂手的演奏樂器周圍分別設有一臺通信設備進行數據採集，所述通信設備可採集不同樂手的演奏畫面，如吉他手、鋼琴手、鼓手等畫面，以及採集不同樂器發出的聲音，如吉他、鋼琴、小提琴等樂器發出的聲音，所述多個通信設備將採集的數據傳輸至區域網內具有導播臺控制功能的通信設備中。

所述具有導播臺控制功能的通信設備的處理過程如圖2所示，在接收到多個視頻畫面和多個音頻數據後進行音畫同步處理，將所述視頻畫面和音頻數據的時間對應至同一時間軸上。

在音畫同步處理完成後，對多路數據進行合成處理，對視頻數據的處理方式為選取所述多個視頻畫面中的一路畫面，對音頻數據的處理方式為將所述多個音頻數據合成為一路音頻，使聲音在聽覺上有立體效果，再將選取的一路畫面和一路音頻合併為既有畫面又有聲音的音畫數據。

最後該具有導播臺控制功能的通信設備將所述音畫數據發送至伺服器，由伺服器推送所述音畫數據，這樣用戶就能通過相應的直播地址觀看到完整的樂隊的演奏直播了。

上述區域網多路信號直播方法，通過接收區域網內的多個通信設備發送的多路視頻數據和多路音頻數據；對所述多路視頻數據和多路音頻數據進行音畫同步；將所述多路視頻數據合成為一路畫面，將所述多路音頻數據合成為一路音頻，並將所述一路畫面和所述一路音頻合成為音畫數據；發送所述音畫數據至直播伺服器。實現了區域網內通過便攜通信設備完成多路信號直播的方式，區域網傳輸方式方便快捷，採用便攜行動裝置進行直播可有效降低成本，通過將多臺行動裝置採集的視頻與音頻合成，使得直播的畫面和聲音更加豐富並具有立體感。

以下提供一種區域網多路信號的直播系統，參閱圖3所示，所述系統包括接收模塊200、同步處理模塊210、合成處理模塊220和發送模塊230。

其中，所述接收模塊200用於接收區域網內的多個通信設備發送的多路視頻數據和多路音頻數據。

具體地，所述接收模塊200與區域網內的多個通信設備進行wifi通信連接，所述通信設備為便攜行動裝置，如手機移動終端和平板設備等。每個所述通信設備具有視頻採集模塊和音頻採集模塊，如手機上的攝像頭和麥克風。通過所述視頻採集模塊採集視頻數據，通過所述音頻採集模塊採集音頻數據，接收每個所述通信設備發送的視頻數據和與之對應的音頻數據。

所述同步處理模塊210用於對所述多路視頻數據和多路音頻數據進行音畫同步。

具體地，同步處理模塊210讀取所述多路視頻數據的採集時間和多路音頻數據的採集時間，將所述多路視頻數據的採集時間和多路音頻數據的採集時間同步於同一時間軸上。其中，所述時間軸是用於存放所述視頻數據和音頻數據的容器，時間軸上有序地記載著時間的先後順序，將視頻數數據的採集時間和音頻數據的採集時間與放入時間軸容器中，並調整至同一時間起點，使之與時間軸進行對應。

進一步地，為保證數據的連貫性，同步處理模塊210需調整所述多路視頻數據和多路音頻數據，並將所述多路視頻數據和多路音頻數據根據採集時間映射至所述時間軸上。

其中，同步處理模塊210預設一個延遲時間，檢測在所述延遲時間內是否接收到所述時間軸上對應的完整的數據，並等待接收屬於所述延遲時間內的數據，若在所述延遲時間結束後所述等待的數據仍未被接收，則放棄所述未被接收的數據。

所述合成處理模塊220用於將所述多路視頻數據合成為一路畫面，將所述多路音頻數據合成為一路音頻，並將所述一路畫面和所述一路音頻合成為音畫數據。

具體地，在預設的所述延遲時間結束後，合成處理模塊220將多路數據合成為一路數據。所述多路視頻數據分別呈現出不同畫面，合成處理模塊220將所述不同畫面合成為一路畫面進行推送。所述多路音頻數據分別呈現出不同聲道的聲音，合成處理模塊220將所述不同聲道的聲音合成為一路音頻進行推送。

在一個實施例中，合成處理模塊220選取所述多路視頻數據中的至少一路視頻數據作為一路畫面並進行畫面切換，推送所述一路畫面。即選取所述多路視頻數據對應的不同畫面中的其中一路畫面進行推送，並根據實際需求選取下一路畫面進行切換。在其他實施例中，合成處理模塊220還可以通過將所述多路視頻數據進行畫面疊加或畫面嵌套來合成一路畫面。

在一個實施例中，合成處理模塊220選取所述多路音頻數據中與所述一路畫面對應的至少一路音頻數據，將所述至少一路音頻數據通過音頻混合的方式合成為一路音頻。由於所述多路音頻數據呈現的是從不同方位、不同角度採集的聲音，合成處理模塊220將選取的所述至少一路音頻數據經過音頻混合處理後，可獲得一路具有立體聲效果的音頻。

所述發送模塊230用於發送所述音畫數據至直播伺服器。

具體地，在合成處理模塊220對接收的所述視頻數據和音頻數據進行合成處理後，發送模塊230將合成後的音畫數據發送至直播伺服器，由所述直播伺服器將所述音畫數據推送給用戶觀看。

上述區域網多路信號直播系統，通過接收模塊接收區域網內的多個通信設備發送的多路視頻數據和多路音頻數據；同步處理模塊對所述多路視頻數據和多路音頻數據進行音畫同步；合成處理模塊將所述多路視頻數據合成為一路畫面，將所述多路音頻數據合成為一路音頻，並將所述一路畫面和所述一路音頻合成為音畫數據；發送模塊發送所述音畫數據至直播伺服器。實現了區域網內通過便攜通信設備完成多路信號直播的方式，區域網傳輸方式方便快捷，採用便攜行動裝置進行直播可有效降低成本，通過將多臺行動裝置採集的視頻與音頻合成，使得直播的畫面和聲音更加豐富並具有立體感。

以上所述實施例的各技術特徵可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特徵所有可能的組合都進行描述，然而，只要這些技術特徵的組合不存在矛盾，都應當認為是本說明書記載的範圍。

以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。