一種多媒體會議音視頻傳輸方法及設備的製作方法
2023-04-23 03:53:41 1
專利名稱：一種多媒體會議音視頻傳輸方法及設備的製作方法
技術領域：
本發明涉及通信技術領域，尤其涉及一種多媒體會議音視頻傳輸優化方法及設備。
背景技術：
現有多媒體會議系統大部分基於集中式控制模式實現，音頻、視頻、數據和信令都通過電路來交換，控制和媒體處理這兩個功能獨立的模塊在物理上合併在一起。集中式控制模式使用簡單，維護方便，視頻質量較高，同時易於管理。如圖I所示，為現有集中式多媒體會議系統結構圖。多媒體會議系統主要是由 MCU(Multi Control Unit，多點控制單元)和多個會議終端組成。MCU是多媒體會議系統的關鍵設備，其角色相當於一個交換機，針對音頻、視頻、數據、會議控制信息等，完成相應的音頻混合或切換、視頻混合或切換、數據分發、會議控制等過程，最後將處理後的各種信息流送往各個會議終端。MCU作為會議控制單元，通過配置專有設備和線路來提供會議服務。會議終端是提供單向或雙向實時通信的客戶端，具有對視頻和音頻信號的編解碼及顯示功能，還具有傳送靜止圖像、文件、共享應用程式等數據通信功能。如圖I所示，會議終端I發送音視頻數據給MCU，MCU進行處理後將整個音視頻數據分時發送給其他各會議終端。在現有的集中式多媒體會議系統中，由於MCU作為中心節點處理信令及數據傳輸，並完成與各個節點間的數據傳輸，因此當MCU所處網絡帶寬有限、容易造成網絡擁塞。
發明內容
本發明實施例提供了一種多媒體會議音視頻數據傳輸方法及其設備，用以在會議伺服器向會議終端傳輸音視頻數據時減少會議伺服器輸出帶寬的佔用。本發明實施例提供的多媒體會議音視頻數據傳輸方法，包括以下步驟設定周期到達時，會議伺服器根據除當前上傳音視頻數據的會議終端以外的其它會議終端反饋的上一周期的音視頻數據傳輸性能信息，確定所述其它會議終端的傳輸性倉泛;所述會議伺服器根據所述其它會議終端的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流，並根據所述其它會議終端的傳輸性能，將劃分得到的子流分配給所述其它會議終端；所述會議伺服器將分配給所述其它會議終端的音視頻數據子流分別發送給相應會議終端，以使相應會議終端將自己接收到的音視頻數據子流發送給除當前上傳音視頻數據的會議終端之外的其他會議終端。本發明實施例提供的多媒體會議伺服器，包括性能反饋模塊，用於在設定周期到達時，根據除當前上傳音視頻數據的會議終端以外的其它會議終端反饋的上一周期的音視頻數據傳輸性能信息，確定所述其它會議終端的傳輸性能；
子流劃分模塊，用於根據所述其它會議終端的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流；子流分配模塊，用於根據所述其它會議終端的傳輸性能，將劃分得到的子流分配給所述其它會議終端；其中，分配給所述其它會議終端的子流的總和為該會議伺服器從當前上傳音視頻數據的會議終端接收到的音視頻數據的總和；數據傳輸模塊，用於向所述其它會議終端發送分配的音視頻數據子流，以使所述其它會議終端將自己接收到的音視頻數據子流發送給除當前上傳音視頻數據的會議終端之外的其他會議終端。本發明實施例提供的多媒體會議音視頻數據傳輸方法，包括以下步驟除當前上傳音視頻數據的會議終端以外的其它會議終端向會議伺服器反饋音視頻數據傳輸性能信息，以使會議伺服器確定所述其它會議終端的傳輸性能；會議終端接收到所述會議伺服器發送的音視頻數據後，將接收到的音視頻數據發送給除當前上傳音視頻數據的會議終端之外的其它會議終端；其中，所述會議伺服器根據會議終端反饋的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流，並根據會議終端的傳輸性能，將劃分得到的子流分配給相應會議終端；會議終端接收除當前上傳音視頻數據的會議終端之外的其它會議終端發送的音視頻數據，並與自己接收到的音視頻數據進行合併處理後輸出。 本發明實施例提供的多媒體會議終端，包括反饋模塊，用於向會議伺服器反饋音視頻數據傳輸性能信息，以使會議伺服器確定除當前上傳音視頻數據的會議終端以外的其它會議終端的傳輸性能；第一接收模塊，用於接收所述會議伺服器發送的音視頻數據；其中，所述會議伺服器根據所述其它會議終端的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流，並根據會議終端的傳輸性能，將劃分得到的子流分配給相應會議終端;發送模塊，用於將從所述會議伺服器接收到的音視頻數據發送給除當前上傳音視頻數據的會議終端之外的其他會議終端；第二接收模塊，用於接收其它會議終端發送的音視頻數據；媒體處理模塊，用於將所述第一接收模塊和所述第二接收模塊接收到的視頻數據進行合併處理後輸出。與現有技術相比，本發明的上述實施例具有以下有益技術效果本發明實施例提出一種基於負反饋的動態自適應機制，能夠根據各會議終端的反饋信息，動態地改變向各個會議終端發送的子流大小，根據網絡狀態動態進行優化傳輸控制，以適應實時的網絡情況，優化子流配比，保證系統的實時性。本發明實施例中會議伺服器無需向每個會議終端發送完整的音視頻數據，而是將音視頻數據劃分成子流，發送給每個會議終端，每個會議終端再將自己接收到的音視頻數據發送給其他各會議終端，由此，會議伺服器只需輸出一份完整的音視頻數據，因此，可以有效減少帶寬限制，優化會議質量。此外，本方案中考慮利用終端的數據轉發能力，由會議終端組成全聯通網絡，相互傳遞音視頻數據子流，減少了對伺服器的帶寬需求，各個子流的獨立傳輸，也可以有效減少數據的等待時間。
圖I為本發明現有技術的集中式多媒體會議系統結構拓撲圖；圖2為本發明實施例提供的多媒體會議系統結構拓撲圖；圖3為本發明實施例提供的多媒體會議音視頻數據傳輸方法流程圖；圖4為本發明實施例提供的多媒體會議伺服器結構示意圖；圖5為本發明實施例提供的子流劃分及分配示意圖；圖6為本發明實施例提供的多媒體會議終端結構示意圖。
具體實施例方式針對現有多媒體會議系統存在的上述問題，本發明實施例提出了一種基於P2P(對等網絡)技術的多媒體會議系統架構及其音視頻數據的傳輸機制。本發明實施例提供的多媒體會議系統中，會議伺服器無需向每個會議終端發送完整的音視頻數據，而是將音視頻數據劃分成多個子流，分別將各子流發送給各會議終端，各會議終端再基於P2P機制將自己接收到的音視頻數據發送給其他會議終端，由此，會議伺服器只需輸出一份完整的音視頻數據，各會議終端就可以得到完整的音視頻數據，從而有效減少了帶寬佔用，優化了會議質量。此外，本發明實施例還提出一種基於負反饋的動態自適應機制，會議伺服器能夠根據各會議終端反饋的傳輸性能信息，動態地改變向各個會議終端發送的子流大小，以適應實時的網絡情況，優化子流配比，更好地保證系統的實時性。P2P打破了傳統的Client/Server (客戶端/伺服器)模式，在P2P網絡中，每個節點的地位都是相同的，具備客戶端和伺服器雙重特性，可以同時作為服務使用者和服務提供者。P2P流媒體即基於P2P技術實現的網絡流媒體，具有用戶越多，播放越流暢、越穩定的特性，能夠支持大量用戶同時在線的大規模訪問。P2P的本質是整個網絡中不存在中心節點或中心伺服器。在P2P結構中，每一個節點大都同時具有信息消費者、信息提供者和信息通訊者三方面的功能，在P2P網絡中每一個節點所擁有的權利和義務都是對等的。在P2P工作方式中，每一個客戶終端既是客戶機，又是伺服器，它弱化了伺服器的作用，將信息數量、成本資源都向網際網路各點均勻分布，也就是所謂的「邊緣化」的趨勢，消除了單個資源帶來的瓶頸，可以控制和實現網絡上各節點的負荷平衡。P2P技術不僅能利用伺服器的資源，同時能合理地使用用戶計算機的空閒資源，而且，用戶在享受媒體節目的同時，也在利用自身計算機所空閒的資源為其他用戶提供著服務，所以，使用P2P技術提供高質量和大容量的流媒體服務系統成為可能。本發明實施例正是利用了 P2P技術，將音視頻數據劃分成多個子流發送給各會議終端，各會議終端收到的音視頻數據再在不同的會議終端之間傳播，從而減少會議伺服器傳輸音視頻數據是對帶寬的佔用。下面結合附圖對本發明的技術方案進行清楚、完整的描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明的保護範圍。參見圖2，為本發明實施例提供的多媒體會議系統的架構。如圖所示，該多媒體會議系統中包括會議伺服器，以及與該會議伺服器存在通信連接的各會議終端，各會議終端之間可基於P2P機制進行通信。上述系統架構中，與現有集中式MCU類似，會議伺服器可對會議過程進行控制，與現有集中式 MCU不同的是，會議伺服器在向會議終端發送音視頻流時，可基於子流劃分，將不同子流發送給各會議終端，並可進一步結合各會議終端反饋的傳輸性能分配子流大小。基於上述多媒體會議系統架構，本發明實施例提供的多媒體會議音視頻數據傳輸流程可如圖3所示，其中，可預先在會議伺服器上配置傳輸周期，傳輸周期的長度可根據會議伺服器的處理能力或網絡情況制定，如在會議伺服器處理能力較強時，可設置較短的周期，反之設置較長的周期，以減少會議伺服器的開銷。又例如，在網絡狀況較好時可設置較長的周期，反之設置較短的周期，從而可以在網絡狀況較好時減少網絡資源的開銷，在網絡狀況較差時及時根據網絡情況調整音視頻數據流的傳輸策略，以保證會議質量。
每當傳輸周期到達時，該流程可包括以下步驟步驟301，會議伺服器根據各會議終端反饋的上一周期的音視頻數據傳輸性能信息確定各會議終端的傳輸性能。步驟302，會議伺服器根據各會議終端的傳輸性能，將從當前傳輸音視頻流的會議終端(通常為當前發言用戶所在的會議終端，以下簡稱發言終端)接收到的音視頻數據劃分為子流，並根據各會議終端的傳輸性能，將劃分得到的子流分配給除該發言終端以外的其它各會議終端(以下簡稱非發言終端)；其中，會議伺服器分配給各非發言終端的子流的總和為該會議伺服器從發言終端接收到的音視頻數據的總和，即會議伺服器僅將一份完整的音視頻數據發送出去。具體實施時，會議伺服器可根據各會議終端反饋的傳輸性能信息確定各非發言終端傳輸性能的比例，然後根據各非發言終端傳輸性能的比例，將從發言終端接收到的音視頻數據劃分為數個子流，並根據各非發言終端傳輸性能的比例將劃分得到的子流分配給相應的非發言終端。其中，在劃分子流時，應保證傳輸性能最差的非發言終端至少分配到一個子流。為了簡化技術實現，在具體實施時，會議伺服器所確定出的各非發言終端傳輸性能的比例為最簡整數比。會議終端在確定出該最簡整數比之後，計算該最簡整數比之和，然後創建與該最簡整數比之和相同數量的隊列，將從發言終端接收到的音視頻數據的UDP (User Datagram Protocol,用戶數據包)均勻的發送到各隊列中。其中，為保證各隊列中的數據量較為均勻，會議伺服器每次向隊列發送音視頻數據UDP時，可將該UDP發送給各隊列中當前數據量最少的隊列。步驟303，會議伺服器將分配給各非發言終端的音視頻數據子流分別發送給對應會議終端，以使各非發言會議終端基於P2P機制將自己接收到的音視頻數據子流發送給其他各非發言終端。具體實施時，會議伺服器可將當前發言終端的標識或地址等能夠唯一標識該終端的信息發送給各非發言終端(如隨音視頻子流一起發送，也可使用單獨信令發送)，這樣各非發言終端就可以知道當前的發言終端，並可以將接收到到音視頻子流僅發送給除當前發言終端的其它非發言終端了。上述流程中，在第一個周期開始時，會議伺服器可向出發言終端以外的其它終端較為平均的發送子流。具體實施時，會議伺服器在初始周期，根據除當前上傳音視頻數據的會議終端以外的其它會議終端的數量，將從當前上傳音視頻數據的會議終端接收到的音視頻數據平均劃分得到相應數量的子流，並分別分配並發送給所述其它會議終端，優選的，可將劃分得到的子流平均分配給會議終端。上述流程中，各會議終端可根據設定的周期向視頻會議伺服器反饋傳輸性能信息，該周期可以與會議伺服器的傳輸周期相同也可以不同，優選的，可在會議伺服器的傳輸周期之前，使會議伺服器接收到各會議終端反饋的傳輸性能信息。優選的，所述傳輸性能信息包括會議終端的丟包率或/和會議終端網絡時延，其中，會議伺服器可在發送的音視頻數據包中攜帶發送該數據包時的時間戳，以便會議終端根據接收到該數據包時的時間計算與該會議伺服器的網絡時延。當所述傳輸性能信息包括會議終端的丟包率和會議終端的網絡時延時，會議伺服器在接收到各會議終端反饋的上一周期的丟包率和網絡時延後，可採用以下公式確定會議 終端的傳輸性能
F(i) =................................. ( I )
7=1 117=1 m其中，F(i)表示第i個會議終端的傳輸性能參數，h(i)表示第i個會議終端的丟包率，Tj (i)表示第i個會議終端與所述會議伺服器的網絡時延，η表示第i個會議終端與所述會議伺服器之間的路徑數目，m表示第i個會議終端與所述會議伺服器之間以及第i個會議終端與其他會議終端之間直接連接的路徑數目，P1和P2分別表示加權係數，Pl和P2之和為I。當然，公式(I)僅是一種計算數據傳輸性能的實例，其它採用類似方法計算數據傳輸性能的方式都應包含在本發明的保護範圍之內。需要說明的是，以上流程中是以會議伺服器根據會議終端反饋的丟包率和網絡延時並按照公式(I)計算會議終端的傳輸性能為例描述的，事實上，會議終端可以基於自己統計的丟包率和網絡延時並按照公式(I)計算該會議終端的傳輸性能，然後將計算出的傳輸性能參數反饋給會議伺服器。優選的，在本發明的另一實施例中，為保證音視頻數據的傳輸性能，會議伺服器確定出會議終端的音視頻數據傳輸性能之後，可根據預設的傳輸性能要求，如預設的傳輸性能參數閾值，從反饋傳輸性能信息的會議終端中選擇出傳輸性能達到設定要求的會議終端，並為選擇出的會議終端確定子流分配比例。相應的，會議伺服器在劃分子流時，根據所述子流分配比例，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為數個子流，在分配子流時，根據所述子流分配比例，將劃分得到的子流分配給選擇出的會議終端。通過以上流程可以看出，本發明實施例提出的一種基於負反饋的動態自適應機制，能夠根據各會議終端的反饋信息，動態地改變向各個會議終端發送的子流大小，根據網絡狀態動態進行優化傳輸控制，以適應實時的網絡情況，優化子流配比，保證系統的實時性。此外，本發明實施例中會議伺服器無需向每個會議終端發送完整的音視頻數據，而是將音視頻數據劃分成子流，發送給每個會議終端，每個會議終端再將自己接收到的音視頻數據發送給其他各會議終端，由此，會議伺服器只需輸出一份完整的音視頻數據，因此，可以有效減少帶寬限制，優化會議質量。此外，本方案中考慮利用終端的數據轉發能力，由會議終端組成全聯通網絡，相互傳遞音視頻數據子流，減少了對伺服器的帶寬需求，各個子流的獨立傳輸，也可以有效減少數據的等待時間。上述多媒體系統中的會議伺服器的結構可如圖4所示，包括性能反饋模塊411，用於在設定周期到達時，根據非發言終端反饋的上一周期的音視頻數據傳輸性能信息，確定其傳輸性能。子流劃分模塊412，用於根據非發言終端的傳輸性能，將從發言終端接收到的音視頻數據劃分為子流。子流分配模塊413，用於根據非發言終端的傳輸性能，將劃分得到的子流分配給非發言終端。其中，分配給非發言終端的子流的總和為該會議伺服器從發言終端接收到的音視頻數據的總和。數據傳輸模塊414，用於向非發言終端發送分配的音視頻數據子流，以使非發言終端將自己接收到的音視頻數據子流發送給其他非發言終端。 優選的，子流劃分模塊根據非發言終端傳輸性能的比例，將從發言終端接收到的音視頻數據劃分子流，所述非發言終端傳輸性能的比例為最簡整數比。相應的，子流劃分模塊412將音視頻數據劃分為與最簡整數比之和相同數量的子流，並創建相應數量的隊列，將音視頻數據UDP發送到隊列中。子流分配模塊413根據最簡整數比將劃分得到的子流分配給非發言終端。這樣，在將劃分得到的子流分配給非發言終端時，可以保證傳輸性能最差的非發言終端至少分配到一個子流。下面結合圖4所示的會議伺服器結構以及圖5所示的具體應用場景，對本發明實施例進行詳細描述。本發明實施例應用場景中的多媒體會議系統包括會議伺服器41和五個會議終端32-36。當前，會議終端32為發言終端，其他會議終端33-36為非發言終端。當傳輸周期到達時，會議伺服器41的性能反饋模塊411根據非發言終端33-36反饋的上一周期的音視頻數據的丟包率和到會議伺服器41的網絡時延，採用公式(I)分別確定非發言終端33-36的傳輸性能，然後確定非發言終端33-36的傳輸性能比例的最簡整數比 P(33) P(34) P(35) P(36) = I : 2 : 2 : I。子流劃分模塊412根據性能反饋模塊411確定出的最簡整數比I : 2 : 2 : 1，創建6個隊列。在本傳輸周期內，子流劃分模塊412將從發言終端32接收到的音視頻數據UDP發送到各隊列中。其中，每當會議伺服器41接收到發言終端32的音視頻數據UDP時，將該UDP發送給各隊列中當前數據量最少的隊列，以保證將從發言終端32接收到的音視頻數據做均勻子流劃分，保證各子流字節數的統計平均，即每個隊列中的數據量基本一致。具體的，可在每個隊列各自維護一個計數器，每當音視頻數據UDP進入隊列時，計數器根據UDP的字節數累加計數器的值，當為UDP選擇進入哪個隊列時，可根據每個隊列計數器當前數據量的大小選擇數據量最小的隊列進入，以維護隊列統計平均。計數器數據量最大值設為FFFF FFFF FFFF FFFF大小，從而保證單次會議中UDP計數器不溢出。子流分配模塊413根據非發言終端33-36的傳輸性能比例I : 2 : 2 : 1，為各非發言終端分配的子流數量為分別為終端33、36分配I個子流，分別為終端34、25分配2個子流。具體的，可將隊列I中的數據發送給終端33，將隊列2和3中的數據發送給終端34，將隊列4、5中的數據發送給終端35，將隊列6中的數據發送給終端36。這樣，會議伺服器41分配給非發言終端33-36的子流的總和為該會議伺服器41從發言終端32接收到的音視頻數據的總和，即會議伺服器41隻分配給非發言議終端33-36 —份完整的音視頻數據。具體的，子流分配模塊413可以通過交叉矩陣、總線型交換單元、Banyan網絡等方式將劃分得到的子流分配給非發言終端33-36。將子流劃分模塊412輸出的UDP按字節大小排序，可以得出一個入交換矩陣的排序；根據分配給各終端分組數量排序值給出出交換矩陣的排序。根據上述兩個排序得出交換表，交換表上的對應終端是根據排序值的一致性給出的，即排序相同的出入節點對應交換。交換表用於為數據傳輸模塊314提供交換信息。數據傳輸模塊414可以根據交換表執行交換過程。非發言終端33-36將自己接收到的音視頻數據發送給其他非發言終端，在非發言終端之間互傳子流。各會議終端連接成全聯通網絡，源音視頻流採用分布式傳輸，非發言終端33-36收到完整的音視頻流後，完成播放過程。需要說明的是，性能反饋模塊411可以在一個傳輸周期開始之前就確定出各非發言終端的性能比例，這樣子流劃分模塊412可以在一個傳輸周期開始之前就確定出下一個傳輸周期所用的隊列數目，或進一步創建相應數量的隊列以便下一個傳輸周期使用，從而減少會議伺服器的處理時延對多媒體會議的影響。 基於相同的技術構思，本發明實施例還提供了一種多媒體會議終端。如圖6所示，為本發明實施例提供的多媒體會議終端結構示意圖，如圖所示，該終端可包括反饋模塊601，用於向會議伺服器41反饋音視頻數據傳輸性能信息，以使會議伺服器41確定非發言終端的傳輸性能。具體的，該音視頻數據傳輸性能信息包括非發言終端的丟包率或/和非發言終端與會議伺服器之間的網絡時延的音視頻數據傳輸性能信息，反饋模塊601具體用於，統計丟包率和其與會議伺服器41之間的網絡時延時，並採用公式(I)確定傳輸性能參數，並將該傳輸性能參數發送給所述會議伺服器41。當然，公式(I)僅是一種計算數據傳輸性能的實例，其它採用類似方法計算數據傳輸性能的方式都應包含在本發明的保護範圍之內。第一接收模塊602，用於接收會議伺服器發送的音視頻數據。其中，會議伺服器根據所述其它會議終端的傳輸性能，將從發言終端接收到的音視頻數據劃分為子流，並根據非發言終端的傳輸性能，將劃分得到的子流分配給非發言終端；會議伺服器分配給非發言終端的子流的總和為該會議伺服器從發言終端接收到的音視頻數據的總和。發送模塊603，用於將從會議伺服器接收到的音視頻數據發送給其他非發言終端。第二接收模塊604，用於接收其它非發言終端發送的音視頻數據。媒體處理模塊605，用於將第一接收模塊602和第二接收模塊603接收到的視頻數據進行合併處理後輸出。通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到本發明可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺終端設備(可以是手機，個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述的方法。
本領域技術人員可以理解，實施例中的裝置中的模塊可以按照實施例描述進行分布於實施例的裝置中，也可以進行相應變化位於不同於本實施例的一個或多個裝置中。上述實施例的模塊可以合併為一個模塊，也可以進一步拆分成多個子模塊。以上所述僅是本發明的優選實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應 視本發明的保護範圍。
權利要求
1.一種多媒體會議音視頻數據傳輸方法，其特徵在於，包括以下步驟 設定周期到達時，會議伺服器根據除當前上傳音視頻數據的會議終端以外的其它會議終端反饋的上一周期的音視頻數據傳輸性能信息，確定所述其它會議終端的傳輸性能； 所述會議伺服器根據所述其它會議終端的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流，並根據所述其它會議終端的傳輸性能，將劃分得到的子流分配給所述其它會議終端； 所述會議伺服器將分配給所述其它會議終端的音視頻數據子流分別發送給相應會議終端，以使相應會議終端將自己接收到的音視頻數據子流發送給除當前上傳音視頻數據的會議終端之外的其他會議終端。
2.如權利要求I所述的方法，其特徵在於，在初始周期，所述會議伺服器根據除當前上傳音視頻數據的會議終端以外的其它會議終端的數量，將從當前上傳音視頻數據的會議終端接收到的音視頻數據平均劃分得到相應數量的子流，並平均分配並發送給所述其它會議終端。
3.如權利要求I所述的方法，其特徵在於，所述會議伺服器根據所述其它會議終端的音視頻數據傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流，並根據所述其它會議終端的傳輸性能，將劃分得到的子流分配給所述其它會議終端，包括 所述會議伺服器根據所述其它會議終端的音視頻數據傳輸性能，選擇出傳輸性能達到設定要求的會議終端，並為選擇出的會議終端確定子流分配比例；所述會議伺服器根據所述子流分配比例，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為數個子流，並根據所述子流分配比例，將劃分得到的子流分配給選擇出的會議終端。
4.如權利要求3所述的方法，其特徵在於，所述會議伺服器確定出的子流分配比例為最簡整數比，所劃分得到的子流數目為所述最簡整數比之和。
5.如權利要求3所述的方法，其特徵在於，所述會議伺服器將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為數個子流，包括 所述會議伺服器創建數個隊列，將從當前上傳音視頻數據的會議終端接收到的音視頻數據UDP發送到所述隊列中；其中，所述會議伺服器每次向隊列發送音視頻數據UDP時，將該UDP發送給各隊列中當前數據量最少的隊列。
6.如權利要求1-5之一所述的方法,其特徵在於,所述傳輸性能信息包括丟包率或/和網絡時延。
7.如權利要求6所述的方法，其特徵在於，當所述傳輸性能信息包括會丟包率和網絡時延時，所述會議伺服器採用以下公式確定會議終端的傳輸性能
8.—種多媒體會議伺服器,其特徵在於,包括 性能反饋模塊，用於在設定周期到達時，根據除當前上傳音視頻數據的會議終端以外的其它會議終端反饋的上一周期的音視頻數據傳輸性能信息，確定所述其它會議終端的傳輸性能； 子流劃分模塊，用於根據所述其它會議終端的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流； 子流分配模塊，用於根據所述其它會議終端的傳輸性能，將劃分得到的子流分配給所述其它會議終端；其中，分配給所述其它會議終端的子流的總和為該會議伺服器從當前上傳音視頻數據的會議終端接收到的音視頻數據的總和； 數據傳輸模塊，用於向所述其它會議終端發送分配的音視頻數據子流，以使所述其它會議終端將自己接收到的音視頻數據子流發送給除當前上傳音視頻數據的會議終端之外的其他會議終端。
9.如權利要求8所述的多媒體會議伺服器，其特徵在於，所述子流劃分模塊還用於，在初始周期，根據除當前上傳音視頻數據的會議終端以外的其它會議終端的數量，將從當前上傳音視頻數據的會議終端接收到的音視頻數據平均劃分得到相應數量的子流； 所述子流分配模塊還用於，在初始周期，將所述子流劃分模塊劃分得到的子流平均分配並發送給所述其它會議終端。
10.如權利要求8所述的多媒體會議伺服器，其特徵在於，所述性能反饋模塊具體用於，根據所述其它會議終端的音視頻數據傳輸性能，選擇出傳輸性能達到設定要求的會議終端，並為選擇出的會議終端確定子流分配比例； 所述子流劃分模塊具體用於，根據所述子流分配比例，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為數個子流； 所述子流分配模塊具體用於，根據所述子流分配比例，將劃分得到的子流分配給選擇出的會議終端。
11.如權利要求10所述的多媒體會議伺服器，其特徵在於，所述性能模塊所確定出的子流分配比例為最簡整數比； 所述子流劃分子模塊所劃分得到的子流數目為所述最簡整數比之和。
12.如權利要求10所述的會議伺服器，其特徵在於，所述子流劃分模塊具體用於，創建數個隊列，將從當前上傳音視頻數據的會議終端接收到的音視頻數據UDP發送到所述隊列中；其中，當所述的會議伺服器每次向隊列發送音視頻數據UDP時，將該UDP發送給各隊列中當前數據量最少的隊列。
13.如權利要求8-12之一所述的對媒體會議伺服器，其特徵在於，所述傳輸性能信息包括丟包率或/和網絡時延。
14.如權利要求13所述的多媒體會議伺服器，其特徵在於，所述性能反饋模塊具體用於，採用以下公式確定所述其它會議終端的傳輸性能
15.一種多媒體會議音視頻數據傳輸方法，其特徵在於，包括以下步驟 除當前上傳音視頻數據的會議終端以外的其它會議終端向會議伺服器反饋音視頻數據傳輸性能信息，以使會議伺服器確定所述其它會議終端的傳輸性能； 會議終端接收到所述會議伺服器發送的音視頻數據後，將接收到的音視頻數據發送給除當前上傳音視頻數據的會議終端之外的其它會議終端；其中，所述會議伺服器根據會議終端反饋的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流，並根據會議終端的傳輸性能，將劃分得到的子流分配給相應會議終端； 會議終端接收除當前上傳音視頻數據的會議終端之外的其它會議終端發送的音視頻數據，並與自己接收到的音視頻數據進行合併處理後輸出。
16.如權利要求15所述的方法，其特徵在於，所述傳輸性能信息包括丟包率或/和網絡時延。
17.如權利要求15所述的方法，其特徵在於，會議終端向會議伺服器反饋音視頻數據傳輸性能信息，具體為 會議終端統計丟包率和網絡時延，並採用以下公式確定傳輸性能參數，並將確定出的傳輸性能參數發送給所述會議伺服器 其中，F(i)表示第i個會議終端的傳輸性能參數，Lj (i)表示第i個會議終端的丟包率，Tj (i)表示第i個會議終端與所述會議伺服器的網絡時延，η表示第i個會議終端與所述會議伺服器之間的路徑數目，m表示第i個會議終端與所述會議伺服器之間以及第i個會議終端與所述其他會議終端之間直接連接的路徑數目，Pl和P2分別表示加權係數，P1與P2之和為I。
18.—種多媒體會議終端，其特徵在於，包括 反饋模塊，用於向會議伺服器反饋音視頻數據傳輸性能信息，以使會議伺服器確定除當前上傳音視頻數據的會議終端以外的其它會議終端的傳輸性能； 第一接收模塊，用於接收所述會議伺服器發送的音視頻數據；其中，所述會議伺服器根據所述其它會議終端的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流，並根據會議終端的傳輸性能，將劃分得到的子流分配給相應會議終端； 發送模塊，用於將從所述會議伺服器接收到的音視頻數據發送給除當前上傳音視頻數據的會議終端之外的其他會議終端； 第二接收模塊，用於接收其它會議終端發送的音視頻數據； 媒體處理模塊，用於將所述第一接收模塊和所述第二接收模塊接收到的視頻數據進行合併處理後輸出。
19.如權利要求18所述的多媒體會議終端，其特徵在於，所述反饋模塊反饋的傳輸性能信息包括丟包率或/和網絡時延。
20.如權利要求18所述的多媒體會議終端，其特徵在於，所述反饋模塊具體用於，統計丟包率和網絡時延，並採用以下公式確定傳輸性能參數，並將該傳輸性能參數發送給所述會議伺服器
全文摘要
本發明公開了一種多媒體會議音視頻傳輸方法及設備，所述方法包括以下步驟設定周期到達時，會議伺服器根據除當前上傳音視頻數據的會議終端以外的其它會議終端反饋的上一周期的音視頻數據傳輸性能信息，確定所述其它會議終端的傳輸性能；所述會議伺服器根據所述其它會議終端的傳輸性能，將從當前上傳音視頻數據的會議終端接收到的音視頻數據劃分為子流，並根據所述其它會議終端的傳輸性能，將劃分得到的子流分配給所述其它會議終端；所述會議伺服器將分配給所述其它會議終端的音視頻數據子流分別發送給相應會議終端，以使相應會議終端將自己接收到的音視頻數據子流發送給除當前上傳音視頻數據的會議終端之外的其他會議終端。
文檔編號H04N7/15GK102957729SQ20111024925
公開日2013年3月6日 申請日期2011年8月26日 優先權日2011年8月26日
發明者張劍寅, 廖洪鑾, 李純喜, 張慧, 彭晉 申請人:中國移動通信集團公司