直播間視頻流合成控制方法、裝置及終端設備與流程

2023-06-16 06:08:46

本發明涉及網絡直播技術領域，具體涉及一種直播間視頻流合成控制方法、裝置及終端設備。

背景技術：

隨著網際網路技術及智能移動終端設備的發展，各種網際網路產品給人們的工作、生活帶來了很多便利與娛樂，近年來，各類用於視頻直播的直播平臺層出不窮，視頻直播給人們帶來更實時的社交體驗。目前的直播平臺包括了用於移動端的直播平臺和用於PC端的直播平臺。

由於視頻直播需求的多樣性，用戶需要同時直播多個移動端的內容或同時直播多個PC端的內容或同時直播移動端跟PC端的內容，例如用戶開始在PC端上直播，然後想暫時轉移直播場景至戶外，利用移動端直播戶外此時發生的情況，在現有技術中，往往需要主播用戶在移動端重新建立一個直播間開啟戶外直播，然後原來直播間的觀看用戶需要重新進入新的直播間後才能看到主播進行的戶外直播，由於戶外直播是暫時性的，在戶外直播停止後，主播重新回到PC端直播，而觀看用戶又得重新進入該主播的PC端的直播間，這種方式下主播用戶跟觀看用戶的操作過程繁瑣，無法給主播用戶跟觀看用戶帶來良好體驗，降低直播平臺口碑，造成用戶流失。另外，例如主播用戶想要邀請好友、觀眾一起直播，在現在技術下，只有好友或觀眾亦是主播用戶才可以進行一起直播。

所以，如何在多個終端同時直播的多源直播模式下更好地對多個來源的視頻流進行管控，如何在多源直播模式下實現主播跟觀眾更好的互動效果，並且如何對視頻流的合成進行更好地控制以提升直播的質量跟內容是目前網絡視頻直播領域中亟需解決的問題。

技術實現要素：

本發明的首要目的在於提供一種直播間視頻流合成控制方法及裝置。

本發明的另一目的在於提供一種實行、實現上述直播間視頻流合成控制方法的終端設備。

為實現該目的，本發明採用如下技術方案：

第一方面，本發明提供一種直播間視頻流合成控制方法，包括如下步驟：

顯示與第二視頻流個數相對應的一個或多個視頻控制項；

響應作用於所述視頻控制項的至少一個的選定指令，接收被選定的視頻控制項相對應的第二視頻流，並以指定布局將該第二視頻流與本地採集的第一視頻流合成為第三視頻流；

將所述第三視頻流上傳到伺服器，以使得所述伺服器向直播間的每個用戶推送所述第三視頻流。

具體的，所述第一、第二、第三視頻流均包括圖像流和音頻流，所述第三視頻流包括第一視頻流、第二視頻流至少之一的圖像流，還包括該兩者至少之一的音頻流。

進一步的，所述選定指令包括由主播用戶選擇至少一個視頻控制項的選定指令，和根據預設規則選擇至少一個視頻控制項的選定指令。

更進一步的，所述選定指令還包括由主播用戶選用預設的多個排版布局之一作為第三視頻流的指定布局的選定指令。

具體的，所述排版布局包括第一、第二視頻流的圖像流在合成的第三視頻流中的圖像位置、圖像大小、圖像傾斜角度的排版布局。

進一步的，所述的方法還包括步驟：

響應作用於所述第三視頻流在用戶界面上的排版布局的編輯指令，改變第三視頻流的圖像排版布局效果。

更進一步的，所述的方法還包括步驟：

響應作用於第二視頻流的音頻流的操作指令，打開/關閉第二視頻流的音頻流或調整第二視頻流的音頻流的大小。

優選的，所述接收第二視頻流的過程與採集本地的第一視頻流的過程與合成第三視頻流的過程與上傳第三視頻流的過程並行工作。

第二方面，本發明還提供一種直播間視頻流合成控制裝置，包括：

調用模塊：用於顯示與第二視頻流個數相對應的一個或多個視頻控制項；

合成模塊：用於響應作用於所述視頻控制項的至少一個的選定指令，接收被選定的視頻控制項相對應的第二視頻流，並以指定布局將該第二視頻流與本地採集的第一視頻流合成為第三視頻流；

上傳模塊：用於將所述第三視頻流上傳到伺服器，以使得所述伺服器向直播間的每個用戶推送所述第三視頻流。

相應的，本發明還提供一種執行、實現上述直播間視頻流合成控制方法的終端設備，包括處理器、存儲器，所述處理器用於調用執行以程序形式存儲於所述存儲器的上述直播間視頻流合成控制方法任意一項所述方法的步驟。

與現有技術相比，本發明具備如下優點：

(1)本發明將主播終端配置為伺服器終端，用以接收第二終端採集後直接發送至主播終端的第二視頻流，再由主播終端將所有視頻流合成推送至直播間的視頻流，直播間的觀眾用戶看到的視頻流與主播終端上的視頻流一致，保證了視頻流的同時性；

(2)同時，利用長連接保持主播終端與第二終端的通信鏈路，對於多個來源的第二視頻流，在主播終端上選定連接任意一個第二視頻流後，接收被選定的第二視頻流，並且選擇連接任意一個第二視頻流的過程可通過隨機方式選擇且展示在直播畫面中，增強主播與觀眾用戶的互動效果；

(3)再者，主播可調整合成的視頻流的畫面排版布局及音頻效果，以更好地突出直播內容，營造更好的直播效果。

顯然，上述有關本發明優點的描述是概括性的，更多的優點描述將體現在後續的實施例揭示中，以及，本領域技術人員也可以本發明所揭示的內容合理地發現本發明的其他諸多優點。

本發明附加的方面和優點將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發明的實踐了解到。

【附圖說明】

圖1為本發明直播間視頻流合成控制方法的一實施例流程示意圖；

圖2為本發明主播終端開啟多源直播模式後的直播界面示意圖；

圖3為本發明選定連接2個第二視頻流後的第三視頻流的排版布局示意圖；

圖4為本發明直播間視頻流合成控制裝置的一實施例示意圖；

圖5是實現本發明所述直播間視頻流合成控制方法的系統示意圖。

【具體實施方式】

下面結合附圖和示例性實施例對本發明作進一步地描述，其中附圖中相同的標號全部指的是相同的部件。此外，如果已知技術的詳細描述對於示出本發明的特徵是不必要的，則將其省略。

本技術領域技術人員可以理解，除非特意聲明，這裡使用的單數形式「一」、「一個」、「所述」和「該」也可包括複數形式。應該進一步理解的是，本發明的說明書中使用的措辭「包括」是指存在所述特徵、整數、步驟、操作、元件和/或組件，但是並不排除存在或添加一個或多個其他特徵、整數、步驟、操作、元件、組件和/或它們的組。應該理解，當我們稱元件被「連接」或「耦接」到另一元件時，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這裡使用的「連接」或「耦接」可以包括無線連接或無線耦接。這裡使用的措辭「和/或」包括一個或更多個相關聯的列出項的全部或任一單元和全部組合。

本技術領域技術人員可以理解，除非另外定義，這裡使用的所有術語(包括技術術語和科學術語)，具有與本發明所屬領域中的普通技術人員的一般理解相同的意義。還應該理解的是，諸如通用字典中定義的那些術語，應該被理解為具有與現有技術的上下文中的意義一致的意義，並且除非像這裡一樣被特定定義，否則不會用理想化或過於正式的含義來解釋。

本技術領域技術人員可以理解，這裡所使用的「終端」、「終端設備」既包括無線信號接收器的設備，其僅具備無發射能力的無線信號接收器的設備，又包括接收和發射硬體的設備，其具有能夠在雙向通信鏈路上，執行雙向通信的接收和發射硬體的設備。這種設備可以包括：蜂窩或其他通信設備，其具有單線路顯示器或多線路顯示器或沒有多線路顯示器的蜂窩或其他通信設備；PCS(Personal Communications Service，個人通信系統)，其可以組合語音、數據處理、傳真和/或數據通信能力；PDA(Personal Digital Assistant，個人數字助理)，其可以包括射頻接收器、尋呼機、網際網路/內聯網訪問、網絡瀏覽器、記事本、日曆和/或GPS(Global Positioning System，全球定位系統)接收器；常規膝上型和/或掌上型計算機或其他設備，其具有和/或包括射頻接收器的常規膝上型和/或掌上型計算機或其他設備。這裡所使用的「終端」、「終端設備」可以是可攜式、可運輸、安裝在交通工具(航空、海運和/或陸地)中的，或者適合於和/或配置為在本地運行，和/或以分布形式，運行在地球和/或空間的任何其他位置運行。這裡所使用的「終端」、「終端設備」還可以是通信終端、上網終端、音樂/視頻播放終端，例如可以是PDA、MID(Mobile Internet Device，移動網際網路設備)和/或具有音樂/視頻播放功能的行動電話，也可以是智能電視、機頂盒等設備。

本技術領域技術人員可以理解，這裡所使用的遠端網絡設備，其包括但不限於計算機、網絡主機、單個網絡伺服器、多個網絡伺服器集或多個伺服器構成的雲。在此，雲由基於雲計算(Cloud Computing)的大量計算機或網絡伺服器構成，其中，雲計算是分布式計算的一種，由一群鬆散耦合的計算機集組成的一個超級虛擬計算機。本發明的實施例中，遠端網絡設備、終端設備與WNS伺服器之間可通過任何通信方式實現通信，包括但不限於，基於3GPP、LTE、WIMAX的移動通信、基於TCP/IP、UDP協議的計算機網絡通信以及基於藍牙、紅外傳輸標準的近距無線傳輸方式。

本技術領域技術人員可以理解，本發明所述的用戶界面/操作界面泛指能夠用於向智能終端發送控制指令的顯示界面，例如，可以為Andro i d系統的設置頁面中的一個選項(或按鍵，由所述應用程式添加其中，下同)，也可以是從桌面呼出的通知欄或者交互頁面中的一個選項，還可以是所述應用程式的一個活動組件所構造的頁面中的一個選項。雖然上面已經示出了本發明的一些示例性實施例，但是本領域的技術人員將理解，在不脫離本發明的原理或精神的情況下，可以對這些示例性實施例做出改變，本發明的範圍由權利要求及其等同物限定。

本領域技術人員應當理解，本發明所稱的「應用」、「應用程式」、「應用軟體」以及類似表述的概念，是業內技術人員所公知的相同概念，是指由一系列計算機指令及相關數據資源有機構造的適於電子運行的計算機軟體。除非特別指定，這種命名本身不受程式語言種類、級別，也不受其賴以運行的作業系統或平臺所限制。理所當然地，此類概念也不受任何形式的終端所限制。

直播間：本發明所述直播間包括以下含義，①一種基於網絡直播平臺創建的一個虛擬空間(或虛擬房間)，直播間一般由主播客戶端創建並連接有多個觀看客戶端，即直播間中包括了主播及多個觀眾，位於該虛擬空間內的觀看客戶端可以觀看主播客戶端的直播內容，同時主播客戶端的用戶與觀看客戶端的用戶、觀看客戶端的用戶與觀看客戶端的用戶之間還可以進行語音、圖片、文字或贈送電子贈品的互動；②一種以群組方式將用戶聚合在一起的即時通訊平臺，例如視頻會議系統，用戶通過登錄客戶端的方式進入群組，用戶在群組內以群組成員的身份存在，同一個群組內包含有多個群組成員，用戶可任意加入或退出群組，在群組內，可以進行文字、語音、視頻等多種互動。

如圖1所示是本發明直播間視頻流合成控制方法的一實施例流程示意圖，包括如下步驟：

本實施例中，為了便於說明，所述第一視頻流為以主播身份開啟直播的主播用戶終端所採集的視頻流，所述第二視頻流為與主播終端連接的第二用戶終端所採集的視頻流。

步驟S100：顯示與第二視頻流個數相對應的一個或多個視頻控制項。

多源直播是指在一個直播畫面中同時存在有多個來源的視頻流的直播方式，該多個來源的視頻流可以是主播用戶利用多個拍攝設備採集的多個視頻流或主播用戶邀請其他用戶一起直播時的多個用戶終端採集的視頻流；在本實施例中，主播用戶開啟多源直播模式，第二終端申請與主播終端連接以進行多源直播，此時的主播終端被配置為伺服器終端，用於接收第二終端發送而來的第二視頻流，在主播用戶確認接收第二視頻流前，第二終端與主播終端以長連接的形式保持雙方的通信鏈路連接，在長連接保持期間，如果沒有視頻流數據的傳輸，需要第二終端每隔一段時間給主播終端發送一個心跳數據包以保持該長連結，在主播用戶確認接收第二視頻流後第二終端通過所述通信鏈路將第二視頻流發送至主播終端。

本實施例中，與主播終端保持長連接的一個或多個第二終端(也即第二視頻流)以視頻控制項的形式顯示在主播終端的用戶界面上，每一個視頻控制項對應一個第二視頻流的選擇入口，並且在所述視頻控制項中還包含用於區分多個第二視頻流的特徵信息，通過選擇視頻控制項可以觸發接收對應的第二視頻流，優選的，所述特徵信息為第二終端用戶在直播平臺上的用戶名。

如圖2所示是主播終端開啟多源直播模式後的直播界面示意圖，圖2中示出4個第二終端申請與主播終端連接以進行多源直播，在直播界面的上方以4個視頻控制項顯示與主播終端保持長連接的4個第二終端的第二視頻流，並且在視頻控制項中添加了用於區分不同第二視頻流的特徵信息，即第二終端用戶在直播平臺上的用戶名，如圖2中的「虎牙第一妖男」、「老邢姑娘sds」、「小人魚老司機」及「每天不一樣…」。

步驟S200：響應作用於所述視頻控制項的至少一個的選定指令，接收被選定的視頻控制項相對應的第二視頻流，並以指定布局將該第二視頻流與本機採集的第一視頻流合成為第三視頻流。

在顯示於主播終端用戶界面上的視頻控制項，當發生作用於所述視頻控制項的至少一個的選定操作時，觸發相應的選定指令，主播終端響應於所述選定指令開始接收被選定的視頻控制項相對應的第二視頻流，並以指定布局將該第二視頻流與本機採集的第一視頻流合成為第三視頻流。

所述選定指令的一種實施方式是，所述選定指令為由主播用戶選擇至少一個視頻控制項的選定指令，該方式下主播用戶持有選擇任何一個或多個第二終端用戶所對應的視頻控制項的控制權，主播用戶可以根據自己對第二終端用戶的喜好選擇一個或多個第二終端用戶所對應的視頻控制項，以接收該視頻控制項對應的第二視頻流；所述選定指令的另一種實施方式，為了增強主播與用戶的活動，活躍直播間氣氛，並且讓更多用戶參與其中，所述選定指定為根據預設規則選擇至少一個視頻控制項的選定指令，優選的，所述預設規則為從連接的多個第二視頻流對應的多個視頻控制項中以隨機方式選定一個或多個視頻控制項，以接收該視頻控制項對應的第二視頻流，隨機選擇的過程同時也表現在第三視頻流中，在保持長連接的第二視頻流的數量有一定限制時，該方式可以增強主播跟用戶之間的互動效果。

進一步的，所述選定指令還包括由主播用戶選用預設的多個排版布局之一作為第三視頻流的指定布局的選定指令。在選定了連接的第二視頻流所對應的視頻控制項後，需由主播用戶選擇第三視頻流的排版布局，其中，主播終端預設了多個第三視頻流的排版布局，包括連接1個、2個、3個第二視頻流時的排版布局，並且所述排版布局包括第一、第二視頻流的圖像流在合成的第三視頻流中的圖像位置、圖像大小、圖像傾斜角度的排版布局，如圖3所示是選定連接2個第二視頻流(「虎牙第一妖男」和「老邢姑娘sds」)後的第三視頻流的排版布局示意圖。

進一步的，在根據所選定的排版布局作為第三視頻流的指定布局顯示合成的第三視頻流後，主播用戶還可以根據需要修改第三視頻流的排版布局，主播終端響應作用於所述第三視頻流在用戶界面上的排版布局的編輯指令，改變第三視頻流的圖像排版布局效果，其中，針對第三視頻流的排版布局的編輯包括針對第一、第二視頻流的圖像流在合成的第三視頻流中的圖像位置、圖像大小、圖像傾斜角度的排版布局，如圖3所示，主播用戶選擇其中一個位於直播畫面右上角的第二視頻流，該第二視頻流的畫面以框線突出顯示已被選定狀態，主播用戶可以通過拖動框線以修改該第二視頻流的圖形流的圖像大小、通過點擊該第二視頻流畫面下方從左往右數起的第二個按鈕以修改該第二視頻流的圖形流的圖像傾斜角度。

另外，本實施例還包括步驟：響應作用於第二視頻流的音頻流的操作指令，打開/關閉第二視頻流的音頻流或調整第二視頻流的音頻流的大小。主播用戶還可以根據需要調整第二視頻流的音頻流，其中包括打開/關閉第二視頻流的音頻流和調整第二視頻流的音頻流的大小，一般地，在第二視頻流的圖像畫面中設有該第二視頻流的音頻流的操作按鈕，如圖3所示的直播畫面右上角的第二視頻流的畫面下方從左往右數起的第三個按鈕，主播用戶可以操作該按鈕以打開/關閉第二視頻流的音頻流和調整第二視頻流的音頻流的大小。

步驟S300：將所述第三視頻流上傳到伺服器，以使得所述伺服器向直播間的每個用戶推送所述第三視頻流。

在合成第三視頻流後，主播終端將第三視頻流上傳到直播平臺的伺服器，以使得所述伺服器向直播間的每個用戶推送所述第三視頻流，在本實施例中，所述直播終端接收第二視頻流的過程與採集本地的第一視頻流的過程與合成第三視頻流的過程與上傳第三視頻流的過程並行工作，並行工作是指同一時刻或同一時間間隔內完成兩種或兩種以上性質相同或不相同的工作，並行工作具有①時間重疊性：相鄰處理過程在時間上錯開，輪流重疊使用同一套硬體的各部分；②資源共享性：讓多個用戶按照一定的時間順序輪流使用同一套資源，提高資源利用率；③資源重複：重複設置硬體資源，提高硬體可靠性和性能。具體的，對於本發明實施例而言，並行工作是指主播終端在接收第二直頻流時，可以同步/同步採集第一視頻流，並同時/同步將所採集的第一視頻流和所接收到的第二視頻流合併成第三視頻流，在此期間，還包括對第三視頻流的排版布局的修改，對第二視頻流的音頻流的操作，且同時/同步將第三視頻流上傳到伺服器，保證了直播視頻流的同時/同步性。

相應的，如圖2所示是本發明直播間視頻流合成控制裝置的一實施例示意圖，包括：

調用模塊100：用於顯示與第二視頻流個數相對應的一個或多個視頻控制項。

在本實施例中，主播用戶開啟多源直播模式，第二終端申請與主播終端連接以進行多源直播，此時的主播終端被配置為伺服器終端，用於接收第二終端發送而來的第二視頻流，在主播用戶確認接收第二視頻流前，第二終端與主播終端以長連接的形式保持雙方的通信鏈路連接，在長連接保持期間，如果沒有視頻流數據的傳輸，需要第二終端每隔一段時間給主播終端發送一個心跳數據包以保持該長連結，在主播用戶確認接收第二視頻流後第二終端通過所述通信鏈路將第二視頻流發送至主播終端，此時調用模塊100將與主播終端保持長連接的一個或多個第二終端(也即第二視頻流)以視頻控制項的形式顯示在主播終端的用戶界面上，並且，在所述視頻控制項中還包含用於區分多個第二視頻流的特徵信息，優選的，所述特徵信息為第二終端用戶在直播平臺上的用戶名。

合成模塊200：用於響應作用於所述視頻控制項的至少一個的選定指令，接收被選定的視頻控制項相對應的第二視頻流，並以指定布局將該第二視頻流與本地採集的第一視頻流合成為第三視頻流。

在調用模塊100將視頻控制項顯示於主播終端用戶界面上後，當發生作用於所述視頻控制項的至少一個的選定操作時，觸發相應的選定指令，合成模塊200響應於所述選定指令開始接收被選定的視頻控制項相對應的第二視頻流，並以指定布局將該第二視頻流與本機採集的第一視頻流合成為第三視頻流。

上傳模塊300：用於將所述第三視頻流上傳到伺服器，以使得所述伺服器向直播間的每個用戶推送所述第三視頻流。

在合成模塊200合成第三視頻流的同時，上傳模塊300將第三視頻流上傳到直播平臺的伺服器，以使得所述伺服器向直播間的每個用戶推送所述第三視頻流，在本實施例中，所述合成模塊200接收第二視頻流的過程與採集本地的第一視頻流的過程與合成第三視頻流的過程與上傳模塊300上傳第三視頻流的過程並行工作。並行工作是指合成模塊200在接收第二直頻流時，可以同步/同步採集第一視頻流，並同時/同步將所採集的第一視頻流和所接收到的第二視頻流合併成第三視頻流，在此期間，還包括對第三視頻流的排版布局的修改，對第二視頻流的音頻流的操作，且上傳模塊300同時/同步將第三視頻流上傳到伺服器，保證了直播視頻流的同時/同步性。

另外，本發明還提供一種終端設備，包括存儲器、處理器，所述存儲器用於存儲上述方法實現過程中產生的候選中間數據以及結果數據，所述處理器用於調用執行以程序形式存儲於所述存儲器的所述直播間視頻流合成控制方法的任意一項步驟。

如圖5所示是實現本發明所述直播間視頻流合成控制方法的系統示意圖，主播用戶與第二終端用戶通過身份驗證後保持主播終端與第二終端的長連接，然後第二終端將第二視頻流發送至主播終端，主播終端再同時將本地採集的視頻流和接收到的第二視頻流合成第三視頻流後上傳到直播平臺的視頻流伺服器，再通過直播平臺的視頻流伺服器將第三視頻流推送給直播間的各個用戶。

本發明將主播終端配置為伺服器終端，用以接收第二終端採集後直接發送至主播終端的第二視頻流，再由主播終端將所有視頻流合成推送至直播間的視頻流，直播間的觀眾用戶看到的視頻流與主播終端上的視頻流一致，保證了視頻流的同時性；同時，利用長連接保持主播終端與第二終端的通信鏈路，對於多個來源的第二視頻流，在主播終端上選定連接任意一個第二視頻流後，接收被選定的第二視頻流，並且選擇連接任意一個第二視頻流的過程可通過隨機方式選擇且展示在直播畫面中，增強主播與觀眾用戶的互動效果；再者，主播可調整合成的視頻流的畫面排版布局及音頻效果，以更好地突出直播內容，營造更好的直播效果。

雖然上面已經示出了本發明的一些示例性實施例，但是本領域的技術人員將理解，在不脫離本發明的原理或精神的情況下，可以對這些示例性實施例做出改變，本發明的範圍由權利要求及其等同物限定。