帶寬自適應視頻會議的製作方法
2023-07-05 15:17:16
專利名稱：帶寬自適應視頻會議的製作方法
技術領域：
本發明涉及計算機和網際網路通信領域，具體來講是適用於網際網路上視頻會議，相對於傳統會議室視頻會議，該發明通過雲計算模式，在網際網路上提供視頻會議室的替代或升級的視頻會議，通過帶寬自適應技術，在有限帶寬情況下，保障視頻質量。
背景技術：
傳統的視頻會議室技木，通過專線，將各個視頻會議室的視頻流，傳輸到ー個中心節點，中心節點通過MCU將多路視頻混合成一路視頻，下發給其它各個視頻會議室，並且，由MCU來控制各個節點觀看視頻的視頻模式及視頻大小。該方式的缺點是高投入，離開視頻會議室就沒法召開視頻會議，目前越來越多的供應商開始提供酒店視頻服務，企業通過租用，避免初期的高投入，但仍然無法支持大規模用戶的使用需求，接收客戶端過多的情況 下，傳輸帶寬要求高，MCU的網絡帶寬無法支持，一次性投入大,無法根本解決視頻會議室問題。目前，網際網路視頻服務開始興起，大有通過桌面視頻方式取代傳統視頻的視頻會議室的趨勢，但由於網際網路帶寬的不確定性，視頻會議各個參與方的帶寬，性能都個不相同，目前的視頻會議系統分為兩種方式，一種是傳統編碼方式，各個接收者的視頻質量與碼流一致，硬體要求高，對於帶寬較低的參與者，會丟失數據包，視頻質量保障困難。另外ー種方式是通過SVC (Scalable Video CODEC)編碼，在傳輸過程中通過截斷方式，選擇不同的編碼，以適應不同的網絡和不同的終端。一般來講，這兩種方式都避免使用MCU，降低服務端的計算量，對於多路視頻，會不同程度的升高帶寬。對於SVC方式，企業內部參與人較多吋，需要特殊的傳輸設備(SVC Proxy),因此也有固定的初期投入。本發明針對網際網路視頻服務，通過選擇視頻模式，SVC及P2P技術聯合使用，讓不同帶寬的參與者看到不同視頻，在有效帶寬情況下，提升視頻會議雲服務的品質，讓所有與會者都能以有限的帶寬參與視頻會議。
發明內容
本發明目的是構建雲技術的視頻會議室服務，讓企業在沒有固定資產投入的情況下，享受到專業、清晰的視頻服務。本發明是一種網際網路視頻會議服務系統，通過視頻解析度選擇，觀看視頻路數選擇，SVC及P2P傳輸，讓每個參與者都能看到清晰視頻。本發明採用的技術方案為
ー種帶寬自適應視頻會議，包含視頻伺服器、P2P控制伺服器、傳輸伺服器及客戶端，其
中
視頻伺服器包含客戶端視頻模式改變響應模塊，該客戶端視頻模式改變響應模塊接收客戶端視頻改變信息，並將客戶端視頻改變信息通知P2P控制伺服器及相應客戶端；
P2P控制伺服器包含SVC數據計算模塊，該SVC數據計算模塊根據視頻伺服器通知的客戶端視頻改變信息，對P2P組的最大下發SVC數據及客戶端SVC數據量計算，並將視頻數據SVC截斷信息發給傳輸伺服器及相應客戶端；
傳輸伺服器包含視頻流SVC截斷模塊，該視頻流SVC截斷模塊根據P2P伺服器下達的P2P組或客戶端的視頻數據SVC截斷信息，計算SVC截斷包的形式，對發送的數據包進行處理，發送給P2P組或客戶端；
客戶端包含視頻數據SVC截斷模塊，該視頻數據SVC截斷模塊根據P2P控制伺服器下發的視頻數據SVC截斷信息，在視頻數據轉發時，對轉發數據進行調整。本發明具有如下有益效果
I、視頻模式選擇，如同傳統MCU，將多路視頻混合成一路時，需要選擇各路視頻的位置，大小。在本發明中，也同樣選擇視頻模式，不同的是，根據選擇模式，對每一路視頻大小要通知視頻源，視頻源根據視頻顯示大小調整解析度，有效降低傳輸帶寬，比如桌面視頻，I大帶5小，五個小的視頻源，視頻採集帶寬降低到QCIF (需要帶寬飛0kbps)，大的視頻源是CIF ri28kbps)，如果是會議室模式，大的視頻源是4CIF (^600kbps),小的視頻時CIF ( 128kbps)。2、接受者模式選擇，傳統MCU方式，無論接受者情況如何，都採用統一的接受方式，接受相同視頻模式。在本發明中，用戶可以根據帶寬情況，選擇適合自己的模式，如主持人選擇I大帶5小，這時收看人帶寬不夠，選擇停止觀看其中的3小，視頻模式成為I大帶2小，能夠節省約240kbps的帶寬,讓視頻服務更清晰流暢。3、SVC，對於大視頻，如高清源，採用SVC編碼，各個觀看者，根據自己帶寬，通告伺服器，調整截斷情況，讓每個參與者根據自己的帶寬，收看不同效果的視頻，確保視頻清晰流暢。4、P2P，對於在ー個出口的內網，採用P2P方式，減少對網絡出口壓力，統ー根據出ロ情況選擇視頻質量。採用上述技術方案，該發明通過視頻模式選擇，SVC及P2P技術，有效降低視頻會議對帶寬的需求，井能通過網際網路服務模式為企業提供虛擬的視頻會議室及桌面視頻服務，該模式避免了企業對視頻會議室的投入，採用SaaS模式，隨時隨地召開視頻會議。
圖I為本發明的系統構架圖。圖2 :本發明P2P客戶端分發第一個包的流程圖。圖3 :本發明P2P客戶端分發第二個包的流程圖。
圖4為主持人選擇顯示模式的流程圖。圖5為客戶端根據網絡情況調整顯示模式的流程圖。
具體實施例方式本發明通過視頻模式動態選擇，SVC及P2P技術結合，井能通過網際網路服務模式為企業提供虛擬的視頻會議室及桌面視頻服務，該模式避免了企業對視頻會議室的投入，採用租用模式，隨時隨地召開視頻會議。現結合附圖具體實現舉例描述如下
一、系統構成參見圖1，本發明由伺服器端和客戶端組成，伺服器端由視頻伺服器、P2P控制伺服器、傳輸伺服器三部分組成，關於P2P控制伺服器和傳輸伺服器，以及客戶端的P2P功能的描述，在申請人申請號為201010271582.9中詳細記錄，本發明中僅簡單描述其與本發明相關的技術內容。視頻伺服器負責管理視頻會議、用戶及視頻模式，下面結合附圖及具體實施例對系統各個組成部分及其工作流程分別進行詳細介紹
ニ、視頻伺服器
視頻伺服器負責會議數據的管理、與會者用戶數據的管理及視頻數據的管理。首先是視頻會議記錄，記錄召開會議的列表，會議數據記錄結構如下
會議數據結構 數據域名稱I類型I說明
m ivconfID圓32位整型視頻會議的會議號
m IistVideo視頻歹瞭會議中視頻源個數.
m IistUser_用戶歹瞭視頻會議中的用戶(User)歹瞭
m—model視頻模式數據會議中指定視頻顯示模式_
視頻數據結構，代表用戶觀看的視頻組，會議數據結構中m_listVide0是該結構的列
表
數據域名稱 I類型I說明
m iGroup 32位整型.視頻組號，唯一標示ー個視頻m owner 32位整型.視頻的發送者用戶IDm—IistUserID t用戶ID列表Γ視頻組的接收者ID列表_
用戶數據結構，代表用戶模式，會議數據結構中m_ IistUser是該結構的列表
數據域名稱I類型I說萌
m iUserID 32位整型用戶的唯一標示ID m iNetwork 32位整型用戶網絡情況 m—model | 見頻模式數據Iltn同會議模式，用戶視頻顯示模式 視頻模式數據，會議數據結構及用戶數據結構中mjnodel是該結構，
數據域名稱 I類型|T兌明
m iModuleID 32位整型該顯示模型的唯一標識IDml i StVideoP 視頻位置歹Li表顯示視頻歹Li表，含視頻位置
視頻位置數據，視頻模式數據中m_listVide0P是該結構的列表，
名稱I類型 I說明—
m iGroup32位整型視頻組號，唯一標示ー個視頻
m iwidth16位整型視頻的寬度
m iheight16位整型視頻的高度
m itop16位整型視頻上方在視頻區位置
m—ileft~fl6位整型1視頻左上角在視頻區位置_
視頻會議開啟時，主持人或主講人根據需要，選擇會議初始視頻模式，視頻伺服器將該
初始視頻模式下發給各個客戶端。視頻伺服器包含客戶端視頻模式改變響應模塊，其功能是要響應客戶端改變視頻模式、視頻質量及視頻大小的要求並將客戶端視頻改變的信息通知P2P控制伺服器及其他相應客戶端。視頻伺服器響應客戶端視頻信息改變具有如下幾種情形
第一用戶登錄後，根據主講人或主持人選擇視頻模式，如2x2四個同樣大小視頻，根據自己的屏幕解析度計算顯示視頻窗ロ的實際大小，並將大小報告到視頻伺服器，視頻伺服器根據視頻模式及每個人報告的顯示大小，通知P2P控制伺服器，P2P控制伺服器通知傳輸服務及相關的客戶端SEED，SVC截斷包，調節各個客戶端的接收數據量，同樣使得用戶獲得跟自己顯示相匹配的視頻數據。第二 客戶端向定時向伺服器報告網絡的情況，當用戶網絡情況變差時，視頻伺服器通知P2P控制伺服器，P2P控制伺服器通知傳輸伺服器根據SVC截斷包，降低顯示質量，保障視頻清晰。第三當用戶網絡帶寬不足時，用戶通過調節收看視頻的路數或是各個視頻的顯示區域大小，並將結果報告給視頻服務，視頻服務通過同樣方式，降低視頻流量，保障視頻觀看的質量。視頻伺服器還包含自控模塊，該自控模塊接收來自客戶端的網絡情況數據，將結果保存在用戶數據的mjNetwork中，根據用戶網絡數據的信息，通知P2P控制服務，調整畫面質量。如果連續兩次收到客戶端網絡質量差的報告，則降低該客戶的視頻質量。當連續兩次收集的數據表明網絡質量好轉，通知P2P控制服務，提升該客戶視頻質量。 視頻伺服器還包含視頻核實模塊，該視頻核實模塊核實ー個視頻無人觀看吋，即m_listUserID為空時，視頻伺服器通知P2P控制伺服器，通知該客戶端停止發送視頻數據。三、P2P控制伺服器
P2P控制伺服器包含P2P控制服務，請參閱圖I所示，對於企業內部網絡，客戶端按照組播可及的方式被分為若干P2P廣播組，每個P2P廣播組之間通過IP包TTUTime to Live),確定兩個組成員距離出口路由的距離，將TTL最小的一個設置成為ー級組。對於TTL相同的組，認為是同級組，選取成員最多的ー個做ー級組，其他均成為它的子組，但標稱屬性為父組的對等組，能夠升級為父組，如果父組的成員退出了，該組可以升級為父組，方便升級。廣播組的組織方式，根據客戶網絡結構，越靠近出ロ路由的廣播組的輩分越高，負責將從上ー級廣播組獲得數據分發給下ー級廣播組(即子組)，在同一父親組下的同級組，稱為兄弟組。除上述P2P控制服務外，増加了 SVC數據計算模塊，根據視頻伺服器通知的客戶端調整視頻模式、視頻位置和視頻大小的信息對P2P組的最大下發SVC數據及客戶端SVC數據量計算，並將該視頻質量的結果發給傳輸伺服器及各個種子客戶端(SEED)，實現P2P傳輸中的SVC截斷。P2P控制服務接收從視頻伺服器傳來的調整用戶視頻模式及質量的信息，調整視頻P2P分發的數據質量。包括提升和降低視頻質量。
四、傳輸伺服器
傳輸服務負責將客戶端數據分發給其他客戶端，在傳輸伺服器中，維護客戶端的連接及心跳，負責客戶端的狀態維護，並接收從客戶端來的多媒體數據，然後分發給其它客戶端，其分發的方式是
I、首先排除數據源所在的P2P組的ー級父組，該組數據由數據源所在客戶端負責直接P2P分發。2、對於其他P2P組，根據組成員數對數據包的順序號取餘，根據該餘數決定將該數據包發送給該廣播組的第幾號成員。3、對於沒有加入P2P廣播組的客戶端，直接分發數據包。
因傳輸伺服器負責數據分發，根據源數據包的順序號，動態將不同的成員設置成為P2P的種子，讓其將數據分發給同一組成員或下ー級組成員。請參見圖2和圖3所示，其表示種子的分發和跳躍方式。在上述P2P分發的功能上，傳輸伺服器增加視頻流SVC截斷功能模塊，根據P2P伺服器下達的P2P組或是客戶端的視頻質量，計算SVC截斷包的形式，對發送的數據包進行處理，截取需要發送的數據，發送給P2P組或客戶端。五、客戶端
客戶端包括視頻採集模塊，SVC編碼模塊，P2P傳輸模塊，視頻顯示大小選擇模塊視頻模式選擇模塊，視頻模式更新模塊，視頻數據接收模塊，視頻顯示模塊及網絡測試模塊。其中，數據採集模塊，可採用成熟的Spirit VVE engine技術,也可採用其他成熟技術,SVC編碼模塊採用H264. SVC編碼及解碼技術可對採集的視頻編碼解碼，兩者均屬於現有成熟技術，在此不需詳細描述。客戶端根據其身份的不同，在初始登陸時，由系統授予不同的權限，如主持人、主講人等身份。主持人登陸後，創建視頻會議，初始選擇會議的視頻模式，並將該初始視頻模式發送給視頻伺服器，視頻伺服器將由主持人確定的初始視頻模式下發給各個客戶端。視頻源客戶端，根據會議的初始視頻模式，計算發送視頻SVC數據的數據量，即決定視頻的解析度及質量。如對於2x2四個同樣大小視頻，每個是ー個CIF的大小採樣，一般質量或高質量CIF編碼。對於I大帶五小，一路大視頻，採樣高質量CIF或4CIF編碼，而五小採樣QCIF解析度編碼即可，選擇依據是視頻模式數據中的視頻大小。視頻顯示大小選擇模塊，其功能是根據主持人或主講人確認的初始視頻模式，根據自己的屏幕解析度計算顯示視頻窗ロ的實際大小，並將大小報告到視頻伺服器。
客戶端包含網路測試模塊，其功能是測試網絡自身情況統計網絡丟包及延時抖動的數值，加權計算網絡的質量(m_iNetwork),將該用戶網絡數據(m_iNetwork)隨心跳發送給視頻伺服器，為客戶端視頻質量調節提供數據。該用戶網絡數據的計算方式是ー種成熟技術。客戶端包含視頻模式選擇模塊，客戶端提供視頻顯示模式，如I大2小，I大I畫中畫，2x2視頻，一大5小等，其功能是客戶端完成對視頻模式的選擇。一方面，視頻選擇模塊接收視頻伺服器下發初始視頻模式，根據網絡測試模塊反饋的用戶網絡數據決定客戶端選擇的視頻模式。另ー方面，視頻選擇模塊根據視頻更新模塊的提示，選擇調整視頻模式。視頻模式的改變包含視頻路數、視頻位置和視頻大小，並將相應信息反饋給視頻伺服器。客戶端包含視頻模式更新模塊，其功能是根據網絡測試模塊實時測量的用戶網絡數據提示用戶實時更新視頻模式、視頻大小及視頻質量。當網絡情況變差時，提示客戶端是否需要減少接收視頻源的路數、降低視頻大小或者視頻質量。當網絡情況好轉時，提示客戶端是否要増加接收視頻的路數，提升視頻大小或者視頻質量。井根據客戶端確認的視頻模式、視頻大小或視頻質量信息反饋給視頻伺服器，由視頻伺服器通知P2P控制伺服器和傳輸伺服器實現視頻的更新。P2P傳輸模塊除了負責P2P組成員識別，數據轉發功能外，増加了視頻數據SVC截斷功能模塊，根據P2P控制伺服器下發的視頻數據SVC截斷信息，在視頻數據轉發時，對轉發數據進行調整，選擇必要數據進行轉發，丟棄多餘數據，在保障視頻質量條件下，有效節省帶寬。視頻數據接收模塊的功能是接收傳輸伺服器傳輸的視頻數據，並將該視頻數據傳遞至客戶端的視頻顯示模塊，經由視頻顯示模塊播放。客戶端提供視頻顯示模式，如I大2小，I大I畫中畫，2x2視頻，一大5小等，井根據選擇模式，視頻區大小，將結果發送給視頻伺服器，視頻伺服器根據用戶模式，將用戶加入不同視頻，並且通知P2P控制服務，調整接收帶寬。六、系統工作流程
系統工作可以分成以下幾個流程 I、主持人選擇顯示模式
如圖4所示，主持人選擇會議的初始視頻模式，例如該初始視頻模式為I大5小，主持人將初始視頻模式及相應的模式數據發送給視頻伺服器，視頻伺服器更新會議視頻模式數據(mjnodel)，並下發指令給客戶端。客戶端接到有關初始視頻模式的相關指令後，根據自己的網絡情況，屏幕顯示尺寸，通過相應的功能模塊決定選擇視頻模式及所有參數，包含每一路視頻源，視頻位置，大小等。例如當客戶端的網絡情況較差，可以放棄其中的2路視頻，而選擇I大3小，也可以仍然選擇I大5小，而降低視頻組的顯示大小等。選擇完成後，由客戶端將視頻改變的信息傳送給視頻伺服器，視頻伺服器通知P2P控制伺服器調整客戶端接收數據情況。當客戶端確認視頻模式或視頻顯示大小的改變後，相應的數據由視頻伺服器傳遞至P2P控制伺服器，該SVC數據計算模塊對該客戶端所在的P2P組的最大下發SVC數據及客戶端最大下發SVC數據進行計算。即用戶SVC改變，當向某個P2P組下發視頻數據時，根據計算後的視頻質量信息，決定向其下發多大的視頻數據。當進入組內傳播吋，由傳輸伺服器及客戶端根據P2P控制伺服器傳遞的用戶視頻質量，對傳送的數據包進行SVC截斷，實現P2P SEED SVC改變。這與傳統視頻會議不同，傳統視頻會議一般由主持人決定MCU模式，其他人沒有選擇。2、客戶端根據網絡情況調整顯示模式
如圖5所示，客戶端根據自己網絡情況，調整自己視頻顯示的路數、大小，位置等，然後將調整後參數發送給視頻伺服器，視頻服務根據用戶選擇，通過P2P控制服務，改變傳輸服務設置，支持該用戶自己選擇視頻顯示模式。一般來講，傳統視頻會議室，各個分會議室將視頻發送給主會議室，主會議室通過MCU選擇模式，所有會議室看到的模式是無法選擇的。這在帶寬有問題是，是無法保證視頻質量。當某一路視頻的所有觀看者不選擇該路視頻時，視頻伺服器通知該客戶端停止發送數據，這樣能有效的降低帶寬使用。七、關於部署
視頻服務獨立部署，可以支持集群或雙機熱備，P2P控制服務和傳輸服務部署在一起，是ー個伺服器單元，可以支持集群或雙機熱備。
權利要求
1.ー種帶寬自適應視頻會議，包含視頻伺服器、P2P控制伺服器、傳輸伺服器及客戶端，其特徵在於 視頻伺服器包含客戶端視頻模式改變響應模塊，該客戶端視頻模式改變響應模塊接收客戶端視頻改變信息，並將客戶端視頻改變信息通知P2P控制伺服器及相應客戶端； P2P控制伺服器包含SVC數據計算模塊，該SVC數據計算模塊根據視頻伺服器通知的客戶端視頻改變信息，對P2P組的最大下發SVC數據及客戶端SVC數據量計算，並將視頻數據SVC截斷信息發給傳輸伺服器及相應客戶端； 傳輸伺服器包含視頻流SVC截斷模塊，該視頻流SVC截斷模塊根據P2P伺服器下達的P2P組或客戶端的視頻數據SVC截斷信息，計算SVC截斷包的形式，對發送的數據包進行處理，發送給P2P組或客戶端； 客戶端包含視頻數據SVC截斷模塊，該視頻數據SVC截斷模塊根據P2P控制伺服器下發的視頻數據SVC截斷信息，在視頻數據轉發時，對轉發數據進行調整。
2.如權利要求I所述的帶寬自適應視頻會議，其特徵在於客戶端包含視頻顯示大小選擇模塊，所述客戶端視頻改變信息是由該視頻顯示大小選擇模塊根據自己的屏幕解析度計算出的顯示視頻窗ロ的實際大小。
3.如權利要求I所述的帶寬自適應視頻會議，其特徵在於客戶端包含視頻模式選擇模塊，該視頻模式選擇模塊完成對視頻模式的選擇，並將客戶端選擇的視頻模式傳遞至視頻伺服器；所述客戶端視頻改變信息是由該視頻模式選擇模塊傳遞的視頻模式信息。
4.如權利要求I所述的帶寬自適應視頻會議，其特徵在於 客戶端包含網路測試模塊、視頻更新模塊和視頻選擇模塊； 該視頻模式選擇模塊完成對視頻模式的選擇，並將客戶端選擇的視頻模式傳遞至視頻伺服器； 該網路測試模塊測試網絡自身情況統計網絡丟包及延時抖動的數值，加權計算用戶網絡數據； 該視頻更新模塊根據網絡測試模塊計算的用戶網絡數據，提示客戶端實時更新視頻模式，並通過視頻模式選擇模塊選擇視頻模式，並將視頻改變信息傳遞至視頻伺服器。
5.如權利要求4所述的帶寬自適應視頻會議，其特徵在於所述視頻改變信息包含視頻路數、視頻位置和視頻大小的信息。
6.如權利要求I所述的帶寬自適應視頻會議，其特徵在於 客戶端包含網路測試模塊，該網路測試模塊測試網絡自身情況統計網絡丟包及延時抖動的數值，加權計算用戶網絡數據，並將該用戶網絡數據隨心跳發送給視頻伺服器； 視頻伺服器包含自控模塊，該自控模塊接收來自客戶端的網絡情況數據，將結果保存視頻伺服器中，根據用戶網絡數據的信息，通知P2P控制伺服器，調整畫面質量。
7.如權利要求I所述的帶寬自適應視頻會議，其特徵在於視頻伺服器還包含視頻核實模塊，當ー個視頻無人觀看時，通知P2P控制伺服器，通知該客戶端停止發送視頻數據。
8.如權利要求I所述的帶寬自適應視頻會議，其特徵在於客戶端包含視頻顯示大小選擇模塊及視頻模式選擇模塊；該視頻模式選擇模塊完成對視頻模式的選擇，並將客戶端選擇的視頻模式傳遞至視頻伺服器； 所述客戶端視頻改變信息是由該視頻顯示大小選擇模塊根據自己的屏幕解析度計算出的顯示視頻窗ロ的實際 大小及由該視頻模式選擇模塊傳遞的視頻模式信息。
全文摘要
本發明帶寬自適應視頻會議，通過視頻模式動態選擇，SVC及P2P技術結合，並能通過網際網路服務模式為企業提供虛擬的視頻會議室及桌面視頻服務，該模式避免了企業對視頻會議室的投入，採用租用模式，隨時隨地召開視頻會議。
文檔編號H04L29/08GK102695035SQ201110071519
公開日2012年9月26日 申請日期2011年3月24日 優先權日2011年3月24日
發明者李彥濤 申請人:創想空間軟體技術(北京)有限公司