一種強化單路視頻質量的多人網絡視頻聊天系統的實現方法
2023-09-12 12:41:50
專利名稱：一種強化單路視頻質量的多人網絡視頻聊天系統的實現方法
技術領域：
本發明涉及視頻通信技術領域，特別涉及通過網際網路進行的多人視頻聊天中強化單路高質量視頻的嶄新視頻聊天系統的實現方法和模式。
背景技術：
現有的即時通信應用中，視頻通信是一項非常廣泛的應用。在現有技術中，有點對點的個人之間的通信，也存在多人的視頻通信；在多人進行視頻通信的情況下，目前市面上較多的實現方式是在同一個窗口中顯示當前聊天室中每一個人的視頻圖像信息。但是由於網絡帶寬的波動所帶來的傳輸不確定性；多路、大量的音視頻信號包實時的通過伺服器端下發至各個用戶終端，各個用戶終端要接收的網絡數據會隨著聊天室中用戶數目的增加而成倍的急劇增長。這樣在整個視頻通信的過程中，網絡帶寬被嚴重佔用。同時，多路的音視頻信號同步傳輸也從整體上降低了用戶終端輸出畫面的視頻質量。嚴重情況下還會發生由於網絡帶寬的不足而導致信號包在傳輸過程中的丟失，造成通信過程的中斷，這些問題都將對用戶體驗降低起著決定性的影響。
發明內容
有鑑於此，本發明提供一種多人視頻聊天中實現單路視頻信號輸出的方法和系統。用戶成功加入聊天室後，將本地的音頻信號、視頻信號分別通過兩個獨立的通道實時的傳送至會議伺服器端；
會議伺服器將各個用戶終端上傳的音頻信號包進行混音處理後實時的下發至各個用戶的音頻終端；也可以不在伺服器上處理，直接下發至各個用戶的音頻終端，由各個用戶的音頻終端進行多路音頻的混音處理操作；這樣的好處是伺服器壓力更小，延遲更低。會議伺服器將各個用戶終端上傳的視頻信號包，根據用戶之後發出的視頻信號的切換請求進行相應的下發。用戶進入聊天室後，音頻終端可實時的接收到該聊天室中所有用戶的音頻信息。 在用戶的視頻終端上，始終只能進行單路的視頻用戶畫面的接收、觀看；視頻終端可隨時對當前聊天室中的某個指定用戶進行畫面的切換，此種方法實現明顯的增強了視頻信號質量，節省了網絡資源，簡化了系統的複雜操作。根據上述說明，該方法發明與傳統的多人視頻聊天的主要區別在於用戶終端與會議伺服器端成功建立連接後，用戶的視頻終端始終只能進行單路視頻信號的畫面接收、 顯示輸出。在視頻終端輸出畫面的右下方位置，為當前加入該聊天室的所有用戶，用戶名稱以列表的形式展現，用戶可以通過遙控器，滑鼠等外接設備有選擇的接收某個指定用戶的視頻信號。此種視頻信號輸出方式的好處十分明顯，從用戶感官上，可以讓用戶在進行多人視頻聊天的過程中更加專注於本身所關注的目標資源，不會因為同時播放多人視頻畫面的繁亂而導致用戶注意力的分散；另一方面，這種新的輸出方式會讓視頻畫面顯得更加簡潔、 乾淨，使用戶可更加快速的鎖定目標，捕獲到自己所關注的資源，提高用戶的執行力及工作效率。從技術層面上，眾所周知，傳統的多人視頻聊天，用戶終端會接收到來自於伺服器端發送的大量的音視頻信號包，以達到用戶終端可同時收看、收聽到該聊天室中的多人影像和語音內容；但在網絡帶寬受限或帶寬波動的情況下，用戶終端在通過網絡接收音視頻信號的傳輸過程中所導致的網絡丟包，而造成在視頻通信過程中的視頻圖像馬賽克、視音頻不同步、幀率下降以及圖像靜止等問題。同時對於多路視頻信號包的同步傳輸，也在一定程度上分享了有限的網絡帶寬，降低了視頻質量，造成網絡的加速擁堵、阻塞，網絡資源的大量消耗；而採用單路視頻信號輸出的方式，使用戶的視頻信號全部附屬在一條傳輸通道上，提升了視頻信號通信過程中的傳輸速度，增強了輸出畫面的視頻質量，也避免了視頻信號在傳輸過程中的相互幹擾、相互影響等問題。另外，傳統方式的多人視頻聊天對用戶終端設備的硬體條件上也存在著較高的要求。用戶首先要確保信號傳輸在連續、穩定的網絡帶寬上；之後，用戶終端還需要處理大批量的任務音視頻信號的編碼、壓縮工作；音視頻信號的傳輸同步；從伺服器端接收大量的、多路的音視頻信號包，進行解包、解碼；音視頻信號的信令交互；音視頻信號的輸出等諸多問題對於用戶終端設備在性能上都將是很大的考驗，這對於有此需求的用戶與企業造成了無形的經濟壓力。此發明方法簡化了用戶終端需要處理的大部分操作，由於只需要遵循單路視頻信號的傳輸方式，所以降低了數據傳輸的帶寬承載要求；採用音頻信號，視頻信號獨立傳輸的機制，也不需要考慮音、視頻信號同步；音視頻信號的信令交互等問題；簡化了用戶終端系統複雜的功能，同時也大大的降低了硬體設備的投資成本。音頻信號與視頻信號可通過兩個獨立的通道進行數據傳輸，使音頻信號、視頻信號實現傳輸分離。通過音頻信號與視頻信號傳輸分離的模式，好處是顯而易見的，這種模式不會因為網絡帶寬或者同步傳輸等問題造成兩種信號的相互幹擾，採用多種措施來保證通信過程中語音的連續性，從而實現聊天的連貫性。
此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分。圖1是本發明中創建視頻聊天室成功後邀請其他用戶加入的信令流程圖。圖2是本發明在多人視頻聊天中音視頻信號的傳輸及指定用戶切換視頻信號的流程圖。
具體實施例方式下面結合實施例及附圖，對本發明作進一步地詳細說明，但本發明的實施方式不限於此。
實施例
圖1是創建視頻聊天室成功後邀請其他用戶加入的信令流程圖。如圖1所示，包括以下步驟
步驟1，用戶A (擁有申請聊天室資源權限的用戶)通過XML協議向HTTP會議伺服器申請一個聊天室資源，創建一個視頻會議；
步驟2，會議伺服器完成聊天室的創建後向用戶A發送反饋信息，該反饋信息包括視頻會議伺服器IP位址、聊天室號碼、聊天室密碼、聊天室類型等信息；
步驟3-6，用戶A通過Web邀請用戶B，用戶C加入此聊天室；會議伺服器通過對用戶B 和C設置進入該聊天室的權限達到目的；
用戶進入聊天室分2種情況，一種是創建聊天室的用戶向其他用戶發出聊天邀請，如網際網路的Web邀請，電話網絡的呼叫等多種邀請方式；其他用戶可通過接收邀請的方式進入聊天室進行多人的會話。另一種情況是，用戶通過用戶名、密碼的形式登錄會議系統，成功登錄後，根據會議系統對各個用戶設置的訪問權限不同，各個用戶所能看到的聊天室也會不同，用戶通過點擊指定的聊天室，成功加入後可進行多人會話； 步驟7-9，用戶B，用戶C獲得權限許可後就可以加入該聊天室； 步驟10-12，會議伺服器在收到請求後向用戶B，用戶C發送成功加入該聊天室的消息。圖2是多人視頻聊天中音視頻信號的傳輸及指定用戶切換視頻信號的流程圖。如圖2所示，包括以下步驟
步驟1-6，聊天室中的用戶A，用戶B，用戶C分別通過本地視頻終端圖像的採集，音頻終端的信號捕獲，將採集的視頻信號，音頻信號經過編碼與壓縮處理後，分別生成視頻信號包、音頻信號包；
基於 RTP (real-time transport protocol)協議禾口 RTCP (RTP control protocol) 協議通過兩個獨立的通道將音頻信號，視頻信號發送至會議伺服器；
步驟7-9，會議伺服器接收各個用戶對應的音頻終端上傳的音頻信號包，對各個音頻終端上傳的音頻信號包進行混音處理後並下發至各個用戶的音頻終端，同時，各個音頻終端接收來自於音頻伺服器經過處理後下發的音頻信號包，經過解碼、解包等處理後進行用戶之間語音的通信，播放。當然，伺服器也可以只負責轉發，而混音在用戶終端進行；
視頻終端默認輸出方式為單路的顯示當前本地用戶的視頻畫面，各個用戶終端分別上傳本地音頻、視頻信號至會議伺服器；初始狀態的會議伺服器分別接收各個用戶終端上傳的音頻信號、視頻信號，並實時的只對音頻信號進行混音之後的下發；如果各個用戶終端需要收看其他用戶的視頻信號，需要分別向會議伺服器發起視頻切換的請求；
步驟10，用戶A在視頻終端輸出畫面的右下方位置，可查看到當前聊天室中的用戶列表，用戶A可以通過遙控器，滑鼠等外接設備有選擇的接收指定目標用戶的視頻信號；
視頻終端通過捕獲到用戶A (也稱為主叫視頻用戶)對輸出畫面中目標用戶的選定，向會議伺服器發出獲得目標用戶視頻信號的請求；
步驟11，會議伺服器接收到用戶A (主叫視頻用戶)對當前聊天室中目標用戶的視頻信號獲取請求，會議伺服器將目標用戶的視頻信號下發至用戶A終端。此種實現方式的好處在於各個用戶終端可連續的、穩定的接收到會議伺服器下發的音頻信號，保證語音通信的連貫性、通信過程中的穩定性。主叫視頻用戶想接收、播放當前聊天室中的目標用戶的視頻畫面，通過點擊視頻終端輸出畫面中的用戶列表，視頻終端通過捕獲被選定的目標用戶的唯一標識，通過後臺程序做一些參數的拼接、信令的綁定、 通道的連接等處理後，主叫視頻用戶向會議伺服器發出獲取目標用戶視頻信號的請求；會議伺服器接收主叫視頻用戶發出的視頻信號請求，通過參數的解析，將目標用戶的視頻信號下發至主叫視頻用戶終端。各個用戶終端始終只能接收單路的視頻信號，該方法系統可以方便的對目標用戶進行畫面的切換、接收；這在一定程度上保證了用戶終端有限的帶寬使用量，提高了視頻畫面的質量，同時讓用戶對所關注的資源更加敏銳，更加快速，更加精確的鎖定，提高用戶體驗。該系統可以適合不同終端的終端，如PC、手機、平板電腦以及電視等各種智能設備。另外，該發明可以適合各種傳輸網絡，如網際網路、移動網、電話網等。本發明對本領域的技術人員顯而易見的是，在不偏離本發明的精神和原則範圍內，本發明還可以做各種修改和變更，本發明覆蓋在所附權利要求範圍內的本發明的所有修改和變更。
權利要求
1.一種強化單路視頻質量的多人網絡視頻聊天系統的實現方法，其特徵在於，所述方法包括用戶進入聊天室後，音頻終端可實時的接收到該聊天室中所有用戶的音頻信息；在用戶的視頻終端上，始終只能進行單路的視頻用戶畫面的接收、觀看。
2.根據權利要求1所述的方法，其特徵在於，用戶進入聊天室後，所述各個音頻終端可實時的接收到該聊天室中所有用戶的音頻信息。
3.根據權利要求1所述的方法，其特徵在於，用戶進入聊天室後，所述各個視頻終端上，始終只能進行單路的視頻用戶畫面的接收、觀看；視頻終端默認輸出方式為單路的顯示當前本地用戶的視頻畫面。
4.根據權利要求2所述的方法，其特徵在於，用戶進入聊天室後，將本地的音頻信號、 視頻信號分別通過兩個獨立的通道實時的傳送至會議伺服器端；所述會議伺服器可將各個用戶終端上傳的音頻信號包進行混音處理後實時的下發至各個用戶的音頻終端；所述會議伺服器也可以將各個用戶音頻終端上傳的音頻信號包不做混音處理，直接下發至各個用戶的音頻終端，由各個用戶的音頻終端進行多路音頻的混音處理操作。
5.根據權利要求3所述的方法，其特徵在於，所述各個視頻終端輸出畫面的右下方位置，可查看到當前聊天室中的用戶列表，用戶可以通過遙控器，滑鼠等外接設備有選擇的接收指定目標用戶的視頻信號；所述各個視頻終端通過監聽、捕獲對於目標用戶的選定，向會議伺服器發出獲得目標用戶視頻信號的請求。
6.根據權利要求5所述的方法，其特徵在於，所述會議伺服器接收到主叫視頻用戶對當前聊天室中目標用戶的視頻信號獲取請求，所述會議伺服器將目標用戶的視頻信號下發至主叫視頻用戶。
全文摘要
本方法公開了一種多人視頻聊天中強化單路視頻質量的實現方法。其中，實現流程包括用戶進入聊天室後，音頻終端可實時的接收到該聊天室中所有用戶的音頻信息；在用戶的視頻終端上，始終只能進行單路的視頻用戶畫面的接收、觀看；視頻終端可隨時對當前聊天室中的某個指定用戶進行畫面的切換，此種方法實現明顯的增強了視頻信號質量，節省了網絡資源，簡化了系統的複雜操作。
文檔編號H04L12/58GK102176713SQ20111006842
公開日2011年9月7日 申請日期2011年3月22日 優先權日2011年3月22日
發明者不公告發明人 申請人:劉芳榮, 宋健