一種多點視頻會議系統及其媒體處理方法
2023-10-10 08:21:39
專利名稱：一種多點視頻會議系統及其媒體處理方法
技術領域：
本發明涉及視頻技術，尤其涉及視頻會議技術。
背景技術：
視頻會議系統是多媒體計算機技術與通信技術相結合的產物。通過多媒體技術和網絡通信技術的支持，視頻會議系統為身處異地的人們提供了一個相互討論問題並可協同工作的環境。它集計算機的交互性、通信的分布性，以及電視的真實性為一體，具有明顯的優越性，因而成為當今計算機領域的一個研究熱點。
早期的視頻會議系統標準為ITU-T於1990年制訂的ITU-T H.320標準，它是針對基於電路交換承載的視頻會議系統的基礎標準。隨著TCP/IP技術的不斷發展，ITU-T於1996年提出了新一代視頻會議標準ITU-T H.323，該標準是基於IP傳輸網絡實現承載的視頻會議標準，定義在通用網絡體系結構之上，與具體網絡無關，極大拓寬了應用範圍。
從產品現狀來看，儘管H.323視頻會議系統豐富多樣，各有所長，但是各個廠家的產品互連互通能力不強，這對於大規模組建H.323視頻會議系統網絡造成了不便。在現有的以H.323為標準的視頻會議系統中，由多點控制單元MCU作為核心的媒體控制器，負責各個終端之間的語音和圖像數據的傳遞。現有視頻會議系統所能容納的終端個數將取決於MCU的能力，要擴展用戶數目，必須增加MCU的配置，因而包括其它硬體設備在內的高昂投資也勢必影響視頻會議系統的廣泛應用。
SIP標準是IETF組織在1999年提出的，其應用目標是基於internet環境，實現數據、音視頻實時通訊。SIP協議相對於H.323而言，相對簡單、自由，廠商可以利用現有的網絡資源擴展多媒體通訊業務，以較小的成本就可以構造滿足應用需求的系統。SIP標準嚴格意義上講是一個實現實時多媒體應用的信令標準，它採用基於文本的編碼方式，在點到點的應用環境中，具有極大的靈活性、擴充性以及跨平臺使用的兼容性。但是，SIP協議自身不支持多點的會議功能以及管理和控制功能，對於多點通訊的需求，應用單純的SIP系統難以實現。
因而，在現有的基於SIP的軟體視頻會議解決方案中，提出了SIP視頻應用伺服器的概念，該伺服器由中心(Focus)、媒體策略伺服器(Media Policy)、會議策略伺服器(Conference Policies)組成。中心通過適當的媒體策略和會議策略形成一次會議中的整體管理控制和媒體傳輸方案，負責實施對會議的管理，以及媒體的分發和傳輸。在一定程度上講，中心的功能類似於基於H.323的視頻會議系統中的MCU。該系統仍然沿用傳統的C/S架構，需要專門的媒體控制伺服器來控制和處理媒體。伺服器的能力將決定系統所支持的用戶數。
發明內容
本發明的目的是克服現有技術中的缺點，提供一種基於SIP協議的軟體多點視頻會議系統及其媒體處理方法，本系統無需傳統視頻會議中的MCU，組網非常簡單，實施起來方便可靠。
本發明技術方案如下一種多點視頻會議系統，包括軟交換設備，應用伺服器和終端設備。其中，軟交換設備是系統的呼叫控制核心，負責協議適配、呼叫處理、資源管理、業務代理工作，同時作為系統的對外接口完成和其它系統的互連互通功能。應用伺服器負責業務邏輯的控制以及計費。作為會議成員的終端設備包括會議主席和普通會議成員，任何註冊在軟交換上的終端設備均可作為會議成員參與會議，會議主席必須是具有視頻會議業務能力的SIP軟終端。
進一步地，所述終端設備是基於SIP的，具有多路媒體控制和處理能力的軟體終端。終端設備內部集成有SIP模塊，可以同時與軟交換設備和應用伺服器進行SIP會話。終端設備具有媒體處理單元，包括音頻處理模塊和視頻處理模塊。
進一步地，作為會議主席的終端設備負責會議的調度工作，包括發起會議，邀請成員加入會議，結束會議。作為會議主席的終端設備，在採集本地音頻和視頻的同時，還將接收來自於其他會議成員的音頻和視頻媒體包，由終端設備內部的媒體處理單元處理接收到的媒體包。
進一步地，作為會議主席的終端設備中，音頻處理模塊負責採集本地音頻並和接收到的其它會議成員的音頻進行合成，分發與傳輸；視頻處理模塊負責採集本地視頻、接收其它多路會議成員的視頻並進行合成與傳輸。
進一步地，作為普通會議成員的終端設備中，所述視頻處理模塊負責視頻的分割與顯示。
一種多點視頻會議系統的媒體處理方法，在現有的NGN網絡中，將多點視頻會議系統解析為會議主席和多個普通會議成員之間的多組相對獨立的SIP會話，每組會話獨立地進行呼叫處理和媒體協商工作。在多組SIP呼叫中主被叫連接成功之後，由作為會議主席的終端設備完成媒體處理，然後分別向多個會議成員分發和傳輸經過處理之後的媒體流。所述媒體處理採用端到端的架構。
進一步地，所述媒體處理包括音頻處理和視頻處理，其中音頻處理步驟如下多組SIP會話獨立進行音頻媒體的協商，在通話開始之後，會議主席同時接受來自於其它多位會議成員的音頻，分別按照相應的編碼格式進行解碼。同時採集本地音頻，對本方和其它會議成員分別按照不同的音頻處理計劃進行處理。
進一步地，當會議成員包括會議主席和普通會議成員第一、第二和第三成員時，所述音頻處理計劃為將第一、第二和第三成員的音頻合成後本地播放；將會議主席、第二和第三成員的音頻合成並按照會議主席與第一成員之間協商的音頻格式編碼之後發送給第一成員；將會議主席、第一和第三成員的音頻合成並按照會議主席與第二成員之間協商的音頻格式編碼之後發送給第二成員；將會議主席、第一和第二成員的音頻合成並按照會議主席與第三成員之間協商的音頻格式編碼之後發送給第三成員。
進一步地，所述視頻處理步驟如下在多組SIP會話的媒體協商過程中，會議主席均以第一格式協商視頻。在通話建立之後，會議主席將接收到的來自於其他會議成員的多路視頻解碼並抽樣成第二格式，同時將本地採集到的視頻也抽樣為第二格式，然後再合成為一幀完整的第一格式的視頻，分別發送給其它多個會議成員；會議成員解碼接收到的視頻，然後分割出其它會議成員的視頻並分屏顯示。
進一步地，當會議成員包括會議主席和普通會議成員第一、第二和第三成員時，所述第一格式為四分之一通用中間格式即QCIF格式，所述第二格式為Sub-QCIF格式。
與現有技術相比，本發明以下一代網絡NGN的核心設備軟交換設備為呼叫處理設備，以基於Parlay/OSA規範開發的應用伺服器來控制業務邏輯，將視頻會議解析為多組點對點的SIP會話，並將其有機地巧妙地結合起來，在媒體處理上，摒棄了傳統的C/S(終端/伺服器)模式，採用Client-to-Client(端到端)的架構，媒體處理由作為會議主席的終端設備來處理，極大地拓展了視頻會議系統的支持能力。在現有的NGN網絡中即可開展該項業務，無需增加其它設備。對於終端用戶而言，配置簡單，使用方便。
圖1是本發明系統結構圖；圖2是本發明方法中的呼叫流程圖；圖3是本發明方法中的媒體傳輸流程圖；圖4是本發明方法中的音頻處理流程圖；圖5是本發明方法中的視頻處理流程圖。
具體實施例方式
圖1所示為本發明的系統結構圖，如圖1所示，本發明系統包括軟交換設備，應用伺服器和終端設備。
其中軟交換設備主要完成以下功能a)接受終端的登記和註冊。SIP軟終端或硬終端直接在軟交換上註冊，H.323的終端可以通過H.323網關到軟交換上註冊；b)協議適配和呼叫處理。實現SIP、H.248和MGCP等協議的適配，同時接收和轉發呼叫信令。
應用伺服器基於Parlay/OSA規範開發，同時內部集成有SIP的呼叫代理服務模塊。功能包括a)終端用戶的認證和鑑權。只有通過應用伺服器認證和鑑權的終端用戶，才能發起一個多方的多點視頻會議。否則只能以會議成員的身份被邀請加入會議；b)業務邏輯的控制及計費。接受來自於會議主席的會議申請(XML語言)，並將其解析為多組SIP會話，然後通過內部的SIP呼叫代理服務模塊發送SIP消息給軟交換。同時，在通話建立之後，負責對會議進行實時計費。
終端設備包括專為本系統開發的SIP軟終端或普通的SIP硬終端以及H.323終端(H.323終端通過H.323網關與軟交換互聯)。其中普通的SIP硬終端以及H.323終端只能以普通會議成員的身份被邀請加入會議，而SIP軟終端既可以會議主席的身份發起一個會議，也可以作為普通會議成員被邀請加入會議。
軟交換和應用伺服器之間，軟交換和SIP終端之間以及應用伺服器和通過它鑑權與認證的SIP軟終端之間，均按照標準的SIP協議進行交互。其中，當一個SIP軟終端發起一個會議請求時，它會將以XML語言描述的會議請求封裝在SIP MESSAGE源語之中，發送給應用伺服器。
實施例以四方會議為例進行說明。系統中單個會議可支持四方的多點視頻和音頻通訊，會議個數不限，在軟交換設備上註冊的所有終端均可發起或參與一個四方的多點視頻會議。
如圖2所示，對於四方的多點視頻會議，其呼叫流程被解析為3組相對獨立的SIP會話，過程如下1)作為會議主席的客戶端A向應用伺服器發送以XML語言描述的會議發起請求，請求召開A和用戶B、C、D的四方視頻會議；2)應用伺服器解析接收到的XML消息，以會議主席A為主叫，向軟交換設備發送SIP請求，希望分別建立終端設備A與B、C、D間的呼叫；3)軟交換設備控制並處理呼叫信令，分別建立A與B、A與C及A與D之間的呼叫；4)當B、C或D掛機時，A可以繼續通過應用伺服器邀請其它客戶端參加會議；當A掛機時，通知應用伺服器結束整個會議。
其中，媒體的傳輸採用基於WP的RTP(Real-time TransportProtocol，實時傳輸協議)來完成，RTP是用於Internet上針對多媒體數據流的一種傳輸協議。RTP被定義為在一對一或一對多的傳輸情況下工作，其目的是提供時間信息和實現流同步。當應用程式開始一個RTP會話時將使用兩個埠一個給RTP，一個給RTCP(Real-timeTransport Control Protocol，實時傳輸控制協議)。RTP本身並不能為按順序傳送數據包提供可靠的傳送機制，也不提供流量控制或擁塞控制，它依靠RTCP提供這些服務。
如圖3所示，四路音頻的合成和視頻的處理由作為會議主席的客戶端A來完成，音頻和視頻的編解碼全部採用軟體來實現。音頻編解碼支持G.711、G.729和G.723，視頻採用H.263標準，QCIF格式。
1)對於會議主席A，當它與B、C和D的呼叫建立之後，會同時打開3組媒體通道，每一組同時打開2對RTP和RTCP埠，分別接收來自B、C和D的音頻媒體包與視頻媒體包。同時，A向B、C、D上指定的埠發送處理過後的音頻媒體包與視頻媒體包；2)作為會議成員的終端設備B、C和D，在它們與A的呼叫分別建立之後，將各自打開2對RTP和RTCP埠，接收來自於A的音頻和視頻媒體包，同時，向A上指定的埠發送本地採集到的音頻媒體包與視頻媒體包。對終端設備B、C和D而言，此過程與普通的點對點可視電話並無二致。
本發明中的音頻編解碼支持G.711、G.729和G.723。音頻處理過程如圖4所示，在A與B、C和D的SIP會話建立之後1)普通會議成員B、C和D分別採集本地音頻，在壓縮編碼之後發送給會議主席A；2)會議主席A採集本地音頻，同時接收到來自於會議成員B、C和D的三路音頻並分別進行解碼；3)會議主席A將解碼得到B、C和D的音頻混合，通過揚聲器播放出來；將本地音頻與C、D的音頻混合，壓縮編碼之後發送給B；將本地音頻與B、D的音頻混合，壓縮編碼之後發送給C；將本地音頻與B、C的音頻混合，壓縮編碼之後發送給D；4)普通會議成員B、C和D分別接收來自於會議主席A的混音，解碼之後通過揚聲器播放出來。
本發明中的視頻編解碼採用H.263標準，最大帶寬限定在384kbps，視頻處理過程如圖5所示1)會議主席A採集本地視頻(QCIF格式)並回送本地顯示，同時進行抽樣處理，尺寸由QCIF抽樣為Sub-QCIF；2)會議主席A接收到來自於會議成員B、C和D的三路視頻包後，分別進行解碼，並送給本地視頻顯示窗口顯示；3)會議主席A對解碼後得到的各幀圖像進行抽樣，每幀圖像的尺寸由QCIF抽樣為Sub-QCIF；4)會議主席A將四幀Sub-QCIF的圖像拼接為一幀QCIF的圖像；5)會議主席A將拼接得到的QCIF的圖像進行壓縮和編碼，分別發送給會議成員B、C和D；6)會議成員B、C和D接收到來自會議主席A的視頻媒體包，進行解碼，分割得到其它三方的視頻並進行顯示，同時，各自將本地採集到的視頻送到本地視頻顯示窗口顯示。需要指出的是，對於作為會議成員的SIP硬終端或H.323終端，只能將接收到的視頻直接送到視頻顯示窗口顯示，目前無法實現分屏顯示各個會議成員的圖像。
綜上所述，本發明具有以下優點本發明組網簡單方便，系統具有良好的實用性和可擴展性。本發明中呼叫處理是基於SIP協議來實現的，相對於H.323要簡單、自由。同時，在本發明中，媒體的控制和處理由作為會議主席的客戶端來完成，因而，在現有的NGN網絡中就可以構造滿足應用的系統，使得運營商可以非常方便實現大規模的業務推廣和應用；本發明中媒體的控制是依靠作為會議主席的軟終端來實現的，因而在軟交換上註冊的終端用戶均可發起或參與一個多方的多點視頻會議，而在傳統的基於H.323標準的視頻會議系統中，其所能容納的終端個數受限於MCU的能力；本發明中的軟終端具有同時進行多路SIP會話的能力，同時還具有媒體的合成、分發、傳輸和分割等媒體控制功能。當然，考慮到軟交換設備的強大的協議適配能力，會議成員所使用的終端設備，不僅局限於普通的SIP軟體終端或硬體終端，還適用於H.323終端；本發明中業務邏輯是由應用伺服器來控制的，而該應用伺服器是建立在Parlay/OSA架構基礎之上的。由於Parlay/OSA規範的開放性，使得業務邏輯的實現更加靈活方便，可以滿足不同客戶群的需要；同時，應用伺服器具有可靠和靈活的計費策略，可以根據業務和運營商的需要制訂相應的計費方案。
當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明所附的權利要求的保護範圍。
權利要求
1.一種多點視頻會議系統，包括軟交換設備，應用伺服器和終端設備，其中，軟交換設備是系統的呼叫控制核心，負責協議適配、呼叫處理、資源管理、業務代理工作，同時作為系統的對外接口完成和其它系統的互連互通功能，應用伺服器負責業務邏輯的控制以及計費，其特徵在於作為會議成員的終端設備包括會議主席和普通會議成員，任何註冊在軟交換上的終端設備均可作為會議成員參與會議，會議主席必須是具有視頻會議業務能力的SIP軟終端。
2.根據權利要求1所述的系統，其特徵在於，所述終端設備是基於SIP的，具有多路媒體控制和處理能力的軟體終端；終端設備內部集成有SIP模塊，可以同時與軟交換設備和應用伺服器進行SIP會話；終端設備具有媒體處理單元，包括音頻處理模塊和視頻處理模塊。
3.根據權利要求2所述的系統，其特徵在於，作為會議主席的終端設備負責會議的調度工作，包括發起會議，邀請成員加入會議，結束會議；作為會議主席的終端設備，在採集本地音頻和視頻的同時，還將接收來自於其他會議成員的音頻和視頻媒體包，由終端設備內部的媒體處理單元處理接收到的媒體包。
4.根據權利要求3所述的系統，其特徵在於，作為會議主席的終端設備中，音頻處理模塊負責採集本地音頻並和接收到的其它會議成員的音頻進行合成，分發與傳輸；視頻處理模塊負責採集本地視頻、接收其它多路會議成員的視頻並進行合成與傳輸。
5.根據權利要求2所述的系統，其特徵在於，作為普通會議成員的終端設備中，所述視頻處理模塊負責視頻的分割與顯示。
6.一種多點視頻會議系統的媒體處理方法，其特徵在於在現有的NGN網絡中，將多點視頻會議系統解析為會議主席和多個普通會議成員之間的多組相對獨立的SIP會話，每組會話獨立地進行呼叫處理和媒體協商工作；在多組SIP呼叫中主被叫連接成功之後，由作為會議主席的終端設備完成媒體處理，然後分別向多個會議成員分發和傳輸經過處理之後的媒體流；所述媒體處理採用端到端的架構。
7.根據權利要求6所述的方法，其特徵在於，所述媒體處理包括音頻處理和視頻處理，其中音頻處理步驟如下多組SIP會話獨立進行音頻媒體的協商，在通話開始之後，會議主席同時接受來自於其它多位會議成員的音頻，分別按照相應的編碼格式進行解碼；同時採集本地音頻，對本方和其它會議成員分別按照不同的音頻處理計劃進行處理。
8.根據權利要求7所述的方法，其特徵在於，當會議成員包括會議主席和普通會議成員第一、第二和第三成員時，所述音頻處理計劃為將第一、第二和第三成員的音頻合成後本地播放；將會議主席、第二和第三成員的音頻合成並按照會議主席與第一成員之間協商的音頻格式編碼之後發送給第一成員；將會議主席、第一和第三成員的音頻合成並按照會議主席與第二成員之間協商的音頻格式編碼之後發送給第二成員；將會議主席、第一和第二成員的音頻合成並按照會議主席與第三成員之間協商的音頻格式編碼之後發送給第三成員。
9.根據權利要求7所述的方法，其特徵在於，所述視頻處理步驟如下在多組SIP會話的媒體協商過程中，會議主席均以第一格式協商視頻；在通話建立之後，會議主席將接收到的來自於其他會議成員的多路視頻解碼並抽樣成第二格式，同時將本地採集到的視頻也抽樣為第二格式，然後再合成為一幀完整的第一格式的視頻，分別發送給其它多個會議成員；會議成員解碼接收到的視頻，然後分割出其它會議成員的視頻並分屏顯示。
10.根據權利要求9所述的方法，其特徵在於，當會議成員包括會議主席和普通會議成員第一、第二和第三成員時，所述第一格式為四分之一通用中間格式即QCIF格式，所述第二格式為Sub-QCIF格式。
全文摘要
本發明旨在提供一種多點視頻會議系統及其媒體處理方法，用於視頻會議技術領域，系統包括軟交換設備，應用伺服器和終端設備，終端設備包括會議主席和普通會議成員。媒體處理方法將多點視頻會議系統解析為會議主席和多個普通會議成員之間的多組相對獨立的SIP會話，每組會話獨立地進行呼叫處理和媒體協商工作。在多組SIP呼叫中主被叫連接成功之後，由作為會議主席的終端設備完成媒體處理，然後分別向多個會議成員分發和傳輸經過處理之後的媒體流。本發明極大地拓展了視頻會議系統的支持能力。
文檔編號H04L29/06GK1816134SQ20051003830
公開日2006年8月9日 申請日期2005年2月6日 優先權日2005年2月6日
發明者楊勇, 楊春, 曹義林, 丁坤, 黃明石, 龔曉東 申請人:中興通訊股份有限公司