多點會議視頻切換的製作方法

2023-06-17 16:06:36

專利名稱：多點會議視頻切換的製作方法
技術領域：
本發明一般涉及會議系統。
背景技術：
在傳統多點視頻會議中，存在從各個終端向會議橋(conference bridge)發送的一個視頻流和一個音頻流。通常，會議橋對來自各個終端 的音頻流進行解碼來確定語音活動性(voice activity)。具有最高語音活 動性的終端，或最大聲的發言者被標記為活動參與者(active participant)。這可以通過將語音活動性測量編碼進音頻流的分組中來得到 輔助。根據可以在遠程會議站點處顯示的視頻片段的數目，與活動參與者 相關聯的許多視頻流可以被解碼和被重新編碼以用於在一個 或多個遠程站 點顯示。可替換地，視頻片段可以被簡單地重新路由到會議站點而不重新 編碼。
在某些會議系統中，最活動的音頻流可以被混合以用於分發給遠程會 議站點。更先進的會議系統可以執行多重混合以防止在存在活動發言者或 活動性的本地站點中的回波(echo)效應。因此，每一個具有活動發言者 的會議站點可以接收唯一混合後的音頻流，該混合後的音頻流僅包括位於 一個或多個遠程會議站點的活動發言者的語音。
假定在單個多點會議中可以產生的無數個可能音頻流，則對這些流進 行編碼和解碼可能是計算上要求很高的任務。因此，某些多點會議系統可 以利用活動性度量來給音頻數據的分組或幀加標籤(tag)，使得會議橋容易快速判定哪些音頻流是活動的，而不必對音頻進行實際解碼。其它多點 會議系統可以分析分組有效載荷的關鍵部分來確定語音活動性，而沒有計 算上麻煩的對分組的活動性進行解碼和測量的處理。


圖1A示出用於執行多點會議的示例通信系統； 圖1B示出用於執行多點會議的示例站點； 圖2示出用於輔助多點會議的示例會議橋；以及 圖3是示出用於多點會議期間的視頻切換的示例方法的流程圖。
具體實施方式
概覽
在一個實施例中， 一種方法包括接收多個音頻信號，這些音頻信號各自 包括多個分組，分組包含與會議參與者相關聯的語音數據。音頻信號中的 一個或多個音頻信號與視頻信號相關聯並且音頻信號中的至少一個音頻信
號與僅限語音(voice-only)會議參與者相關聯。該方法還包括確定多個音 頻信號中的每一個音頻信號的活動性度量，其中，活動性度量指示音頻信 號與當前正在講話的會議參與者相關聯的置信值(confidence value)。該 方法還包括針對多個音頻信號中的每一個音頻信號，利用活動性度量對多 個分組中的一個或多個分組進行編碼，並且向會議橋發送利用活動性度量 編碼後的多個音頻信號。
在另一個實施例中， 一種方法包括從多個會議站點中的一個或多個會 議站點接收利用活動性度量編碼後的多個音頻信號。活動性度量指示音頻 信號與當前正在講話的會議參與者相關聯的置信值。此外，音頻信號中的 一個或多個音頻信號與視頻信號相關聯，並且音頻信號中的至少一個音頻 信號與僅限語音會議參與者相關聯。該方法還包括基於各自的活動性度量 來確定最活動的信號，並且向多個會議站點中的一個或多個會議站點發送 多個最活動的音頻信號。
描述圖1A是用於執行各個位置的參與者之間的多點會議的示例通信系統 10。所示出的實施例包括可以支持遠程位置的站點110a-110d之間的會議 的通信網絡100。還示出了會議橋120，會議橋120輔助參與會議的站點 110之間的音頻和/或視頻信號通信。在圖IB中提供了站點110的示例實 施例。這裡使用的"會議"可以包括使用任何音頻和/或視頻手段(包括通 過語音和/或視頻裝置、文本聊天和即時消息傳遞來傳送的信號、數據或消 息)傳送的、多個用戶之間的任何通信會話。
通信網絡100表示通信設備，包括用於對耦合到通信網絡100的元件 進行互連的硬體和任何合適的控制邏輯。 一般，通信網絡100可以是能夠 傳送音頻和/或視頻電信信號、數據和/或消息的任何網絡。因此，通信網 絡100可以包括以下網絡的全部或部分無線電接入網(RAN);公共電 話交換網(PSTN);公共或私有數據網；區域網(LAN);城域網 (MAN);廣域網(WAN);諸如網際網路之類的局部、區域或全球通信 網或計算機網；有線或無線網絡；企業內部網；或前述網絡的任何組合。 為了輔助所述通信能力，通信網絡100可以包括路由器、集線器、交換 機、網關、呼叫控制器，和/或任何適當形式或布置的任何其它適當的組 件。此外，通信網絡100可以表示被配置為以數據的分組、信元、幀、段 或其它部分的形式來傳送信息的任何硬體和/或軟體。儘管通信網絡100被 示為單個網絡，但是通信網絡100可以包括任何數目或任何配置的網絡。 此外，通信系統IO可以包括任何數目或任何配置的通信網絡100。
會議橋120用作多點會議期間的中間媒介(intermediary)。在操作 中，會議橋120用作對站點110之間的媒體信號進行互連的管道。具體而 言，會議橋120可以收集站點110處產生的音頻和/或視頻信號並且將所述 信號分發給參與多點會議的其它站點110。會議橋120可以被配置為支持 任何數目的在任何數目的會議上進行通信的站點。此外，會議橋120可操 作用於將遠程音頻和/或視頻信號指派給本地站點110處的特定會議裝置。 為了輔助所述功能，會議橋120可以包括在支持多點會議(包括視頻會 議)中所使用的任何橋接或交換裝置。在各種實施例中，會議橋120可以 包括硬體、軟體和/或嵌入式邏輯，例如， 一個或多個編解碼器。在某些實施例中，會議橋120的各種組件和/或功能可以分布於整個通信系統10， 例如，在站點110處。
圖1B是站點110的簡化圖。在所示出的實施例中，站點110包括會 議設備140，會議設備140輔助本地用戶130和遠程站點IIO處的參與者 之間的會議。儘管圖1B中所示出的站點110具有特定數目和配置的各種 組件，但是站點IIO可以包括任何數目、任何組合或布置的這種裝置。
用戶130a-130c表示可以出席會議的一個或多個個人或個人群組。用 戶130可以使用任何適當的裝置和/或組件來參加視頻會議，例如，音頻因 特網協議(IP)電話、視頻電話用具、基於個人計算機(PC)的視頻電話 和流式傳輸(streaming)客戶端。在會議期間，用戶130可以作為發言者 或作為非發言者的參與者來參加會話。
會議設備140可以包括用於建立和支持視頻會議的任何合適的元件。 在所示出的實施例中，會議設備140包括監視器142、擴音器144、攝像 機146、麥克風148、輔助音頻輸入埠 (AAIP) 150和會議管理器160。 儘管未明確示出，但是會議設備140還可以包括用於遠程位置之間的會議 的一個或多個網絡接口、存儲器、處理器、編解碼器或任何其它適當的硬 件或軟體。在操作中，會議設備140可以使用諸如會話發起協議(SIP)或 國際電信聯盟(ITU)建議H.323之類的任何適當的技術和/或協議來建立 視頻會議會話。此外，會議設備140可以支持其它支持諸如H.261、 H.263 和/或H.264之類的其它標準的視頻系統，並且是可與這些其它視頻系統互 操作的。
監視器142a-142c可以包括輔助接收視頻信號並且將與一個或多個遠 程會議參與者相關聯的圖像顯示給本地站點IIO處的用戶130的任何適當 的硬體和/或軟體。監視器142的示例可以包括筆記本PC、安裝在牆上的 監視器、安裝在地面的監視器或自由直立式監視器。監視器142可操作用 於使用諸如高清晰之類的提供真實圖像的任何適當的技術來顯示根據視頻 信號的圖像。
擴音器144a-144c表示可操作用於將由遠程會議站點110處的麥克風 148所產生的音頻信號變換成聲音的機電裝置。具體地，擴音器144可以在會議期間本地廣播一個或多個正在發言的遠程參與者的語音。根據一個
實施例，站點處的每個監視器142有一個擴音器144。在某些實施例中， 擴音器144可以與會議設備140的其它組件(例如，監視器142)相結 合。此外，站點110可以包括更多或更少擴音器144。
攝像機146a-146c可以包括用於捕獲並且產生一個或多個用戶130和 周圍區域的圖像的任何適當的硬體和/或軟體。在操作中，每個攝像機146 可以產生圖像流並且將該流作為視頻信號進行發送。由攝像機146產生的 視頻信號可以被壓縮並且在遠程站點IIO處被接收。遠程站點110可以解 壓縮該視頻信號以用於通過監視器142進行顯示。儘管所示出的站點110 的實施例包括產生三個視頻信號的3個攝像機142,但是特定實施例可以 包括產生任何數目的視頻信號的更多或更少攝像機142。
麥克風148a-148d表示可操作用於將聲音變換成電信號的任何聲電換 能器(transducer)或傳感器。在操作中，每個麥克風148可以捕獲本地站 點IIO處的一個或多個本地用戶130的語音並且將其變換成音頻信號，以 用於傳送到遠程站點110。在遠程站點IIO被接收到後，該音頻信號可以 由擴音器144進行廣播。儘管所示出的實施例指示出存在用於每個用戶 130的麥克風146，但是特定站點IIO可以具有比用戶130更多或更少的麥 克風。此外，在某些實施例中，麥克風148可以與會議設備140的任何其 它組件(例如，攝像機146)相結合。
輔助音頻輸入埠 (AAIP) 150可以是可操作用於接收、產生和/或發 送輔助音頻信號的輸入/輸出信道。具體地，AAIP 150可以用作輔助麥克 風148d或其它音頻裝置的輸入埠。輔助麥克風148d的典型應用可以是 用於手持或頸掛式(佩戴式)無線麥克風。AAIP 150也可以表示本地音頻 源的輸入，該本地音頻源例如是來自DVD播放器的視聽表示或音頻分 量。在實施例中，AAIP 150可以用作使得僅限語音會議參與者能夠遠程呼 入會議的撥號音頻埠。因此，與橋或其它會議集線器不同地，僅限語音 撥號參與者可以通過直接呼入站點110來參加會議會話。儘管AAIP 150 被示為獨立裝置，但是AAIP 150可以與會議設備140的任何組件(例 如，會議管理器160)集成。會議管理器160可以傳送通信網絡100與站點110之間的信息和信 號。 一般，會議管理器160可以表示用於管理會議的任何適當的硬體和/ 或軟體。會議管理器160的特定實施例可以包括一個或多個處理器、存儲 器、接口或編解碼器。在操作中，會議管理器160可以通過會議橋120來 在站點110之間發送和接收包含會議媒體的信號。關於站點110，會議管 理器160可以向會議橋120傳送4個音頻信號和3個視頻信號。類似地， 會議管理器160也可從會議橋120接收至少4個音頻信號和3個視頻信 號。4個所傳送的音頻信號可以是由3個麥克風146a-146c產生的並且可 以是以下任何內容的混合a) AAIP 150麥克風，b)來自像DVD播放器 一樣的播放裝置的輔助音頻輸入，和c:僅限音頻撥號信號；而3個視頻 信號可以是由攝像機144a-144c產生的。
在特定實施例中，會議管理器160可以利用使用Franhofer低延遲音 頻編解碼器(AAC-LD)的、48KHz的高質量編解碼器對音頻信號進行編 碼。由AAIP 150產生的音頻信號可以從8 KHz採樣率被重新採樣並變到 48KHz採樣率。以這種方式，多個輔助音頻輸入可以被混合以產生單個 輔助音頻流。
如圖1B中所示，會議管理器160包括處理器162和存儲器164。處 理器162可以執行與由會議管理器160提供的服務相關聯的命令和指令。 處理器162的示例包括專用集成電路(ASIC)、現場可編程門陣列 (FPGA)、數位訊號處理器(DSP)和任何其它適當的專用或通用處理 器的組合。存儲器164可以存儲由會議管理器160使用的處理器指令和/ 或任何其它適當的信息。這樣的信息可以包括信號處理指令、編碼算法、 信號混合指令和任何壓縮/解壓縮協議。
為了輔助多個用戶130之間的會議，站點110可以劃分成多個區 112。在所示實施例中，站點110劃分成左區112a、中心區112b和右區 112c。為了此說明書的目的，從面向監視器142的用戶130的角度來定義 左和右的空間約定。如所示的，每個區包括服務該區中的一個或多個用戶 130的各種會議設備組件。具體地，每個區112包括監視器142、擴音器 144、攝像機146和麥克風148。服務每個區的會議設備可以與在本地站
12點110處產生並且在遠程站點110處被接收到用於廣播的特定信道相關 聯。如將更詳細描述的，信道對應於要在站點110的特定區112中廣播和 /或顯示的音頻和/或視頻信號。關於由AAIP150產生的音頻信號，輔助信 道可以對應於要由輔助擴音器廣播和/或要被混合併且通過特定區中的各 個擴音器144廣播的音頻信號。因此，輔助信道可以由單個區112、多個 區112的組合或不與區相關聯的分離的輔助裝置中的擴音器144廣播。
如圖1B中所示，攝像機146a-146c和麥克風148a-148c分別與區 112a-112c相關聯。因此，給定麥克風148可以產生包含位於相應區112 中的一個或多個用戶130的語音的音頻信號，並且攝像機146可以產生包 含相應區112中的(一個或多個)用戶130的圖像的視頻信號。更具體而 言，由麥克風148a-148c中的每一個產生的音頻信號可以分別對應於由攝 像機146a-146c產生的視頻信號。因此，由站點IIO發送的每個信道可以 包含與位於特定區112中的相同的(一個或多個)用戶130相關聯的音頻 信號和視頻信號。
與攝像機146和麥克風148相似，監視器142a-142c和擴音器144a-144c分別與區112a-112c相關聯。因此，監視器142可以顯示位於特定區 112中的遠程用戶130的圖像，而擴音器144同時廣播相同遠程用戶130 的語音。在會議期間，監視器142和擴音器144可以分別顯示和廣播遠程 參與者的圖像和語音，使得本地用戶130看到並聽到遠程參與者，就像遠 程參與者直接在會議桌對面一樣。為了提供上述空間一致性，在本地站點 處廣播相應信道的區可以與和該信道相關聯的遠程用戶所位於的區相對。 為了清楚，如所提到的，信道對應於要在特定區112中被廣播和/或被顯 示的音頻和/或視頻信號。因此，左信道對應於要通過本地左區112a中的 擴音器和/或監視器被廣播的音頻和/或視頻信號。當位於會議站點110中
時，本地用戶130的空間方位左對於遠程用戶130的空間方位右，並且反 之亦然。因此，在站點IIO之間的多點或點對點會議中，與左信道相關聯 的音頻和視頻信號可以由位於遠程右區的會議設備產生。因此，由本地右 區112c中的攝像機148c產生的視頻信號可以由位於遠程左區112a的監 視器142a顯示。該相對法可以保證所產生的音頻和視頻信號與所廣播的音頻和視頻信號之間的空間一致性。因此，位於左區112a的用戶130可 以通過監視器142a觀看遠程用戶，就像遠程用戶130直接位於會議桌對 面一樣。
為了維持空間一致性，可以利用空間標識符來對所發送的音頻和視頻 分組進行編碼。空間標識符可以指示源區112和/或目的地區112。因此， 空間標識符可以輔助音頻和視頻信號的路由和分發。在某些實施例中，空 間標識符可以是分組頭的一部分，因此允許分組被路由，而不必對有效載 荷進行解碼。在某些實施例中，例如可以由麥克風148、攝像機146、 AAIP 150和/或會議管理器160執行編碼。
在會議期間，AAIP 150和/或會議管理器160也可以操作用於利用活 動性度量來對與音頻信號相關聯的音頻分組進行編碼。活動性度量可以是 可以用來確定活動信道的置信值或聲學測量(acoustic measurements)。 活動信道是對應於當前正在講話的會議參與者(即，活動發言者)的音頻 和/或視頻信號。活動性度量可以是基於特定語音的相對響度(即，分貝 水平)來測量和/或計算的。在某些模式的操作中，特定信號的活動性度 量可以是動態的。因此，在用戶130停止發言或另一用戶130開始發言 後，可以相應地調整被編碼在每個信號的各個音頻分組中的活動性度量。 與空間標識符的編碼一樣，活動性度量可以被包括在分組頭的部分中。因 此，可以不需要對音頻信號的解碼和/或對音頻信號的解壓縮來識別編碼 後活動性度量。
在某些實施例中，活動性度量可以慮及電子欺騙(spoofing)。這裡 使用的電子欺騙是指部分由於誤認了來自相鄰區112的聲音活動性而引起 的活動性度量的任何差錯。 一般，存在至少3種引起電子欺騙的活動性 1)由相鄰講話者產生的聲音能量；2)麥克風之間的敏感度差異；和3) 由站點處的混響(reverberation)引起的殘餘能量。關於由相鄰講話者產 生的電子欺騙，由於區12可能不是實際的物理屏障，所以麥克風148可 能從位於相鄰區U2的發言者捕獲殘餘聲音。如果給定麥克風148比一個 或多個其它麥克風148更加敏感，則會發生相似的結果。作為示例，如果 麥克風148a比麥克風148b稍微地更加敏感，則麥克風148a可能被鄰近區112a和112b的邊界的發言者欺騙。關於混響，主要考慮用戶130結束 發言之後在站點110中迴蕩(linger)的聲音能量。例如，幾乎在話語結 束之後的同時，由於牆對聲波的反彈，靠近牆的麥克風148的聲音能量可 能具有比站點中間處的麥克風更高的聲音能量讀出。
考慮到電子欺騙，可以部分地基於由多個麥克風148收集的聲學數據 來定義活動性度量。具體地，會議管理器160可以接收來自每個麥克風 148的音頻信號和來自AAIP 150的僅限語音音頻信號，並且確定各個活 動性度量。與僅基於來自每個麥克風148的單一測量來確定活動性度量相 比較，使用來自多個麥克風的測量來定義各個活動性度量可以允許更精確 的活動講話者確定。更具體而言，活動性度量可以區分各個區中的聲音活 動性。作為示例，如果區112a中的用戶130a當前正在發言，則麥克風 148a-148c可以各自收集與用戶130的語音相關聯的聲波。由於用戶130a 離麥克風148a最接近，所以分貝水平可能在麥克風148a處最高、在麥克 風148b處較低、並且在麥克風148c處最低。如果各個麥克風148a-148c 向其各自的音頻信號單獨指派活動性度量，則存在關於以下問題的不確定 性麥克風148c處的低分貝水平是否是由以柔和的語音發言的用戶130c 引起的，是不是因為麥克風148a更敏感，或者麥克風148c是否正在從混 響或在其相應區的外部的發言者收集殘餘聲波。因此，考慮到電子欺騙， 可以採用一種或多種算法來確定麥克風148中的每一個麥克風的活動性度 量。(一種或多種)算法權衡的因素包括麥克風敏感度、麥克風之間的 測量/讀出延遲、靜態背景噪聲以及每個麥克風148處的相應分貝測量。 儘管提供了具體因素，但是可以使用可以輔助對一個或多個活動講話者的 精確確定的任何因素。
現在返回圖1A，在會議期間，會議橋120可以部分地基於編碼到各 種音頻流中的活動性度量來向站點110a-110d分發音頻和視頻信號。具體 地，會議橋120可以使用被加標籤到從遠程站點IIO接收到的各種音頻信 號的分組的活動性度量來確定最活動的信道(即，對應於正在發言的會議 參與者的音頻和/或視頻信號)。因此，會議橋120不必對音頻和/或視頻
數據進行解碼來確定活動信道。如之前所述，信道可以對應於要在站點IIO的特定區112中廣播的音頻和/或視頻信號。在最活動的信道被確定之 後，會議橋120可以將與這些信道相關聯的各個音頻和視頻信號路由到一 個或多個遠程站點110。將所路由的信道限制於最活動的信道可以減小服 務遠程站點IIO所需要的帶寬。此外，避免對各個音頻信道的解碼可以減 小整個音頻延遲。
在圖1A和圖1B中所示的實施例中，會議橋120—般可以向每個站 點110分發4個音頻信道。這些信道可以具有各種組合併且可以源自各個 站點110。例如，兩個信道可以是來自AAIP 150的輔助信道， 一個信道 可以是來自中心區112b的麥克風148b，並且另一個信道可以是來自右麥 克風148c。在某些情況下，各個信道可以源自不同站點110。在特定情況 中，最活動的信道可以全是左信道並且源自每個站點IIO的右區112c。在 這種情況下，各個左音頻信號可以被混合併通過左擴音器144a廣播。可 替換地，與被選擇用來顯示在左監視器142a上的視頻信號相關聯的左音 頻信號可以專門通過左擴音器144a被播放，並且其它左信道音頻信號可 以通過輔助揚聲器(未示出)被廣播。在輔助信道是最活動的信道中的一 個的情況中，輔助信道音頻信號可以與通過擴音器144a-144c中的每一個 廣播的各個音頻信號混合。在某些實施例中，輔助信道可以通過單獨的輔 助擴音器被廣播。
如所提到的，音頻信號可以被混合併且之後從單個擴音器144被廣 播。在某些實施例中，可以在路由之前，在會議橋120處執行對信號的混 合。可替換地，可以由站點IIO處的會議管理器160執行混合。在具體實 施例中，會議管理器160可以在向會議橋120發送信號之前混合音頻信 號。作為示例，如果多個僅限語音的參與者正通過AAIP 150參與會議， 則會議管理器160可以混合多個輔助音頻信號並且通過單個輔助信道來發 送它們。與之相比，會議管理器160也可以在接收到從會議橋120所路由 的信號之後混合音頻信號。在這樣的實施例中，與各個音頻信號相關聯的 音頻分組可以被編碼以指示混合應當發生。作為示例，音頻分組中的每一 個分組可以包含用來指示音頻信號與特定視頻信號相關聯的代碼欄位。此 外，該代碼欄位也可以指示相關聯的信道。因此，當會議管理器160接收
16與特定信道相關聯的多個音頻信號而沒有接收用於各個音頻信號的相應視
頻信號時，會議管理器160可以混合各個音頻信號。會議管理器160之後 可以將混合後的音頻信號轉發給適當的(一個或多個)擴音器144以用於 廣播。
在一個實施例中，會議橋可以向每個站點110發送N+l個音頻信道 和N個視頻信道。附加的音頻信道可以用作活動講話者的過渡直到活動 視頻信號切換為止。作為示例，假定在站點110a-110d之間的視頻會議期 間的給定時間，基於活動性度量的4個最活動的信道是兩個左信道、 一個 中心信道和一個右信道。由於左監視器僅可以顯示來自單個左信道的視頻 信號，所以會議橋120可以選擇與兩個活動的左信道中最活動的左信道相 關聯的視頻信號以用於傳送。然而，會議橋120仍然可以傳送與這4個最 活動的信道中的每一個信道相關聯的音頻信號。因此，來自不那麼活動的 左信道的音頻可以在各個站點處被廣播，然而，本地用戶可能無法觀看發 言者的圖像。現在，如果之前較活動的信道突然變成比之前不那麼活動的 信道更不活動，則會議橋120可以切換成發送與之前不那麼活動的左信道 相關聯的視頻信號。因此，附加的左音頻信道可以用作過渡，使得本地會 議參與者不會在活動視頻信號切換期間錯過遠程通信內容。
為了進一步示出會議橋120的能力，假設在給定時間，當前正在發 言的4個用戶130全都位於他們各自的站點110a-110d的左區112a中。因 此，所有活動講話者都與左區112a相關聯(因而是右信道)並且僅一個 用戶130可以在任何給定站點IIO處的右監視器142a上被顯示。在具體 實施例中，會議橋120可以選擇具有最高持續活動性度量的右信道並且向 除源站點以外的各個站點IIO發送與該信道相關聯的音頻和視頻信號。接 收所選擇的右信道音頻和視頻信號的各個站點110可以分別通過右擴音器 144c和右監視器142c廣播和顯示信號。在某些實施例中，其餘的右信道 音頻信號也可以被路由到除了它們各自的源站點之外的各個站點110。這 些音頻信號中的每一個音頻信號可以與和最活動信道相關聯的音頻信號混 合，並且通過右擴音器142c被廣播。
關於視頻，會議橋120可以選擇僅分發與對於特定區112最活動的音頻信號相關聯的視頻信號。在具有相鄰監視器142的站點110中，對於右 視頻信號突然從右視頻顯示器142a跳至中心視頻顯示器142b或左視頻顯 示器142c，這在心理上是煩人的。因此，可以設置這樣的策略每一次 只可以顯示一個"右"視頻信道。此外，避免發送所有右視頻信道可以減 少站點110處的信號處理以及延遲和抖動問題。關於左信道和中心信道， 會議橋120可以繼續將最活動的信號路由到各個會議站點110。
圖2是示出根據具體實施例的會議橋220的簡化框圖。會議橋220可 以提供與關於圖1描述的會議橋120相關聯的所有功能。如圖2中所表示 的，會議橋220可以接收來自會議站點的音頻-視頻輸入信號210並且向 一個或多個遠程站點分發音頻4見頻輸出信號212。與會議橋220相關聯的 功能可以由接口 222、處理器224和存儲器226來提供。儘管示出了特定 配置和數目的組件，但是會議橋220可以包括可以提供所陳述的功能的任 何組件。
接口 222能夠向諸如圖1中的通信網絡IOO之類的通信網絡傳送信息 和信號或者從其接收信息和信號。接口 222可以表示任何埠或連接，真 實的或虛擬的，包括使得會議橋220可以通過通信網絡與其它裝置交換信 息和信號的任何適當的硬體和/或軟體。接口 222的示例可以包括乙太網 驅動，T1或L1接口，綜合業務數字網(ISDN)接口、諸如Wi-Fi之類的 無線網絡接口、網卡和/或防火牆。如所示的，接口 222可操作用於從參 與會議的一個或多個站點接收一個或多個音頻-視頻輸入信號210，並且向 參與該會議的一個或多個其它站點發送一個或多個音頻-視頻輸出信號 212。應當注意，這一個或多個音頻4見頻輸入信號210可以基本上與音頻-視頻輸出信號212相似。
處理器224通過處理從各個會議設備接收到的信息和信號來控制會議 橋220的操作和管理。處理器224可以包括操作來控制和處理信號的任何 適當的硬體、軟體或兩者。處理器224的示例包括但不限於專用集成電 路(ASIC)、現場可編程門陣列(FPGA)、數位訊號處理器(DSP)和 任何其它適當的專用或通用處理器。此外，處理器223可以運行代碼來執 行所述操作中的任何操作。存儲器226可以存儲由會議橋220使用的數據、處理器指令和/或任 何其它信息。在某些實施例中，存儲器226可以存儲站點標識符、路由指 令和/或信號處理算法。存儲器226也可以存儲由處理器224運行以控制 操作並且執行會議橋220的所述功能的軟體。存儲器226可以包括任何形 式的易失性或非易失性存儲器，包括但不限於磁介質、光介質、隨機存 取存儲器(RAM)、只讀存儲器(ROM)、可移除介質或任何其它適當 的本地或遠程存儲組件。
圖3是示出用於多點會議期間的視頻切換的方法的流程圖。所述處理 在步驟300處開始，其中，產生多個音頻信號和任何相關聯的視頻信號。 音頻信號可以由麥克風148產生並且相關聯的視頻信號可以由一個或多個 攝像機146產生。此外，所述音頻信號中的至少一個音頻信號可以與僅限 語音的參與者相關聯並且沒有相關聯的視頻信號。如所討論的，僅限語音 的參與者可以是撥號並且通過會議管理器160連接到會議的遠程用戶 (即，不在站點110處)。
處理繼續到步驟310，其中，例如由會議管理器160接收這多個音頻 信號。響應於接收這些音頻信號，會議管理器160可以在步驟320處確定 每一個音頻信號的活動性度量。活動性度量可以對應於特定麥克風正在接 收與活動講話者相關聯的聲波的置信值。在某些實施例中，可以使用對與 多個麥克風和/或AAIP 150相關聯的聲學數據進行比較的算法來計算活動 性度量。
在確定活動性度量之後，可以在步驟330利用每個音頻信號各自的活 動性度量來對與每個音頻信號相關聯的一個或多個分組進行編碼。此外， 還可以利用提供與產生音頻信號的麥克風相關聯的信道的空間指示符來對 音頻分組進行編碼。具體地，空間指示符可以提供音頻信號是左信道、 中心信道或右信道。如果音頻信號是由AAIP 150產生的，則空間指示符 可以提供該音頻信號與輔助信道相關聯。如所討論的，信道可以對應於 要廣播音頻和/或視頻信號的站點UO處的一個或多個區112。關於輔助信 道，音頻信號可以在任何單個區112、多個區112的組合和/或分離的輔助 裝置中被廣播。在步驟340，編碼後的音頻信號和任何相關聯的視頻信號可以發送給 會議橋120。響應於從參與會議的各個站點接收音頻信號，在步驟350， 會議橋120可以確定最活動的音頻信號。該確定可以根據各個音頻信號中 所編碼的活動性度量來逐信道地進行。因此，會議橋120可以分別確定最 活動的左信道、中心信道、右信道和輔助信道。可替換地，會議橋120可 以確定總體上最活動的音頻信號，而不論信道為何。
響應於確定最活動的音頻信號，在步驟360，會議橋120可以向各個 會議站點IIO發送最活動的音頻信號和任何相關聯的視頻信號。具體地， 會議橋120可以向參與會議的各個站點110 (除了每個信號各自的發源站 點110以外)發送所選擇的音頻和視頻信號。
可以對在圖3中描述的方法進行修改、增加或省略。在某些實施例 中，該方法可以包括更多、更少、或其它步驟。此外，某些步驟可以由其 它組件和裝置來執行。例如，麥克風148或AAIP 150也可以操作用於執 行步驟320和/或步驟330。此外，圖2中所示的方法中所描述的步驟可以 以任何合適的順序被執行，而不偏離本發明的範圍。
在實施例中，可以使用以ANSIC代碼提供的以下算法來執行對一個 或多個音頻信號的活動性度量的確定-
20#i_itclud ，vadhaetric;豕-h，
th赴following matrix ia used to fiiui any chaim lsjrjco no
* doubt activs b6yofid th懲鵬;a:iiBOTft pow^ aicx鄰horn That is,
* even aasuwii叫woi:,S!t ease cowpl丄!ngf the powr ia still to the point
* fcli^t any positive roaw:Lt: 'mu3t b an iwdieat01r o￡ txia*通etivity-
* T^Lia is the eouplirig o￡ the talkar at ths eorzsaponding 一旌icid:n
，'fco th oth#r Ms"Wpti爐銀ffi ， Hot;^幼,級t t加.ftUKili^ey w4c拳i,s理ralcroplKHns
* aat sy^erie. Tha w丄.;t瞎l瞎ssi i^ ￡O^Iioa# is辨￡^ cloa錄to th*
*' icit瞎n4&d ta^kei. I蚤eine頃th松t承lke.rs will not coqpl效vecy strongly
to t!H睡,&eropli加錄,！3W't ttis wi牌l,豕豕miglit couple ^ into th other aieroptaaea*
* 3(& the coupling fadtors below rapraaartfc of tft d的e賴of COM(pli:ag
* o￡ snergy inta the ot:hs;c miejrojp^Kmsa tliat were not int nded, 命Tlnda factor ia a ratio of the unintended micropiicos crvmr thet
V
審d&f irae MIC—TAtrRER二2JWJ:K二tFP 0,1'2 S f tds'fi師ADJACENT I^CTGR IJH 0,125f
// 3朋lflaa
〃 5擁C0鄰U闊to All other ndews
乂/ 承less c。uplxrig
>V 310 4S l sa ccmjiling
// i2泡JL魯S3" coupling to ail ot^s'sr mic;坦 〃 鵬i母3a G卿iiTigi
// 15泡1卷'S3 c;o雄li飢g
float GcKij>iin^Mat:rixl*0WFAl3e:pOiS:tt:iv4; [4〗〔4》" ，麵—,fA5r5R
-鵬TA1KEH鄉LrSV
,C:—T酵HA諷》rp 鵬Jtte—,艦—lfj^
隨Aox一Tawin鍵:5一跳
l，Of 一
fl力在t Ci3uplingMati:iitLow:P改l3e狡fl"gativie。〖4』〖'湊工 -MX TALKER 2旌l5 LFHt
—' '雄 iuai '
，.丁ftC證匿觀副,
;i美 — — -mjx—imira;—2皿mic—l歸，
I' 0f"" 一
Tirsaelc勿鵬factor- EOUgllly '6加30鵬,operates on power
譜&—VAD一TRAC:塞&,75 AL爐HS VA5 T誕K
■TO JT國訓,J歸 6250 ，始 V隱—菌IS匿TOR，隨0.25f 〃
〃 10" * 柳* 12卿
tnhitiit: detection sustained
,062
,03
// $ d邁leas, than mies.
in a ndc:鄰'iKMis then inciease t^sse monbed
The p0。9Hn appi:G3t:l鵬,ti^ci1 is b^想咖el on在dit&cal cl直st攻nc9 1鵬te:cr, Th.e m在k pcw母r into a sie:03^aaci楊i翠g母RgiS3t舉d a't ，5 ni te:r3 frqm it, T5o效戰3忠iKt:&v&cy o￡ th敏ffiiete^o怖敏;通is條&o^t 2, so (th頃l娜，t m d丄r&et 'to r樣vs《fe母,r幼tis aixw.t :鵬t母.F教/五，O鵬tejca /" Q
has b齒eoniput瞎(i with the reverb Alpha to辨c tha l加g t it )n far REVEa^一JTACT0狹冊，2 th柳th餘longf tec加cation of direrct
fco rerve:be郷t is afecwt T鵬5o-l， With KS.VE職一HiC 0E，, 1 it would be
a&o t 2-畫fcO"1,. 4—ia esspectad c^ftisid^ciift^ 汰③d tlb嗲ir逸tiO" off eirit distance t畫o-liltel'y di3ts打ce to the srdc:;coipiione， I am settiiigi tha TfOTEJKS FACTOR hi^h so th改t we dcm*tspoof d with for low f^l&攻。￡*
v
爭defi加腿VS站IMT0R L烈
E》'pic 4 office n:lf r cwrt s:oo加has r銀鴨tb右0 or about Sil ^er S&0鵬12 dB pejc iOQi nus
ti鵬of 節s
dB pes 鵬
off d&op n s^y念4* ,vei:y 10 bus or . 6 ot 10 ma
ao alpha "' .;2.4 for typio il r。c nu
Fsr ta.QsiUy eevctl^r'a^t; ffoow* 100<3鵬th勁n w級敏alp^通■ ,13 B dr鄉
*v ry Id鵬《
勵;pm :,畫.o，24f50>o應《 T想o 眷defi加MJPMA二鵬f畫二tFI1 " l爭O sec ，60VadMefcc,ic3一t *鄰,
)// tsX3'ft鵬9思筆1購動''l-low龍通,l，詠jpos主tl;v錄教
4
retio M&de = 0 )law False說e訴tives
dp—^'ftlptn逸g;費v瞎rb
鄰—》IrthiWftta op- > V a dTharo ah ol d
sl聘
《
loat *)Coupl丄ng6i3tKi必ewFal爭e祝e^1珠t::Lve3z 腿iS憩fi li斷，
柳—？k網hSl&疆固； ，"i豕y,一PAd^一副'—
鄰々似v馨rO;Pa'ctt&jr
〖float ■*)QKipl丄ftg時改tjrisOiO^F改;L想e'Po詠iti辨3j
At鵬mSti im
v加—Ai&jAH微,m 鵬？a纖H^一i^
叩'->mM'bFOWf O，Of;r
3
void Con^mteVadMetriGS (
WM瞎exics-t *鄰， float喻她i^mPoui通ts. float兪n。i3e打0p:(f^ float, *vadMat.ric )
imt if
float powerMaw;
fl喊v^Pow ￡WotU￡ii*d.y float cwerbAdjttst
/■* Fiiwi the m x;l;mu^ pcrwer o￡' tile isU cr f^oft si-
* This mieropfegosse will be declaued: be ffoc swj:銀逸ftd丄上忠IKW錄E"
* " j>i:，a d to fcre Accurat Eoe that tatei。n,
* Once this Kicrophorve is dfttei:mi豹iftid then ^ook fof otSiwis:加ietog3!raoift&!S
* feh戰.t加ja.t fe* active :b caua thsy 3u3ba:t郷tial */
ir-slsKtto V加鵬X3 Jie站憶的柳d OTM，SI說—aEAHNELS 、f po,r幽w "n廿aETT:sfcP衡ers今iiKle.KMax〗
M。'w .aurvey th6底S都我iiTBii^兩ic^op的咖鬌!!f to s畑母'wrh:iG!h 鵬&￡
* havs th&lr own energy, Dtilikely to i>e any a43ac柳t wicn:oph01^，
* Th丄iS r'詠q^i丄E勁畫s飢ultip:iyi一 flLicrtjphene input pcwei: toy畫a faqt。:r
幽fch魂e郷tJxip通t^3 th nywcLiW jcpaetsd eewipling (trans:f暨ir function gairO
* into ttto otliei: ntlcrophcmes and aahtracting thl^ fo瀏ttwi of
* the MieropnoMiei for that station-. See the Couplingl !&tsix sbo^餘to:
* tfce worat—case co^￡"￡iaLimfc,s-
* 跌維t 2
* 艦K ， 3 V
// contains vadfraclt扣鵬jrs and othei; stuff // —— W電這rTrlt powers derived elsewhere
〃 A,"t // outputdo ialtE WAt存時al產nhi-7itios bsedt 8 diss pa押h瞎
vad Fos rMO di f i改d
v3so汁PE0duc1i I! n.4tosfw3epQS 2-,
i SIH- CHSB6 T;."
tf< i 3瞎2》
/* a&trkct room reverbtf:rat欲飯rti3at豕o
*- tha!t ar屯lats to the !2&t1:yv but §ieh &i,t- Wta4e high !: aslaitj.v:tty,
* UQli.k.ffl reverb the laijib :節ow取r i敏lAteH&l iitfhibitior^ Iv!;st
、*- leak, the PQ泰r 柙he [email protected] !wtate>
* 3汁ata, then- accept the nen* vaJLCa,
GPIVV,&3-r象ckF0w作Kai}
葛s- vft>
違—yls135i改po宏趙K *" 0f7VInhib您暨t紐^
/* pre!sie the ,r也^屯lrb布n牽rgy to鄰審G, Baicropho-葛i頃&out */
.KSGMIS.l窓.ICi!fE:l-ssir i+* I-
for
C8tpstc activity C03t^d-豕3CE::^ lsttic,
3apLA4f.lT0>cs.f.i&_@3c3 { f:LO&t la.vdl、 float t31K牽sjb ，
、/
lf{ B.tl: A lo,o,CJS w 、/
c§fidencs歸.a,QC5f * qaiploglG《ati》？
<20 dB & 9.3 sain lthra鄉
20t40 a級tb朽逢.碟hBl加
I
儘管詳細描述了某些實施例，但是，本領域技術人員可以確知大量改 變、替換、變化、更改和修改，並且本發明意欲包含所有這樣的落在所附 權利要求的精神和範圍以內的改變、替換、變化、更改和修改。
權利要求
1.一種方法，包括接收多個音頻信號，其中所述音頻信號包括多個分組，所述分組包含與會議參與者相關聯的語音數據；並且所述音頻信號中的一個或多個音頻信號與視頻信號相關聯；確定所述多個音頻信號中的每一個音頻信號的活動性度量，其中，所述活動性度量指示出所述音頻信號與當前正在講話的會議參與者相關聯的置信值；針對所述多個音頻信號中的每一個音頻信號，利用所述活動性度量對所述多個分組中的一個或多個分組進行編碼；以及向會議橋發送利用所述活動性度量編碼後的所述多個音頻信號。
2. 根據權利要求1所述的方法，還包括，針對與視頻信號相關聯的一 個或多個音頻信號中的每一個音頻信號，向所述會議橋發送所述視頻信 號。
3. 根據權利要求1所述的方法，其中，確定活動性度量包括比較與多 個所述音頻信號中的每一個音頻信號相關聯的聲學測量。
4. 根據權利要求1所述的方法，其中，所述音頻信號中的至少一個音 頻信號與僅限語音會議參與者相關聯。
5. 根據權利要求4所述的方法，還包括 確定多個音頻信號是與僅限語音會議參與者相關聯的；以及 響應於確定多個音頻信號是與僅限語音會議參與者相關聯的，混合所述多個音頻信號。
6. 根據權利要求4所述的方法，還包括與視頻信號相關聯的音頻信號中的每一個音頻信號還與會議站點處的 多個區中的區相關聯；以及確定活動性度量包括確定區分所述多個區中每一個區中的聲音活動性 的活動性度量。
7. 根據權利要求4所述的方法，其中與視頻信號相關聯的音頻信號中的每一個音頻信號還與會議站點處的 多個區中的區相關聯；以及所述方法還包括利用空間標識符來對所述音頻信號中的每一個音頻信 號進行編碼，所述空間標識符指示出與所述多個音頻信號中的每一個音頻 信號相關聯的區。
8. 根據權利要求4所述的方法，還包括接收在會議站點處要被廣播的 多個音頻信號，其中-所述要被廣播的多個音頻信號中的每一個音頻信號與多個信道中的信 道相關聯；並且所述多個信道中的每一個信道與會議站點處的區相關聯。
9. 根據權利要求8所述的方法，還包括接收在會議站點處要被顯示的多個視頻信號，其中，所述多個視頻信號中的每一個視頻信號與所述要 被廣播的多個音頻信號中的音頻信號相關聯。
10. 根據權利要求9所述的方法，還包括-確定所述要被廣播的多個音頻信號中的至少兩個音頻信號是與相同信 道相關聯的；以及響應於確定所述要被廣播的多個音頻信號中的至少兩個音頻信號是與 相同信道相關聯的，混合與相同信道相關聯的所述至少兩個音頻信號。
11. 根據權利要求8所述的方法，還包括確定所述要被廣播的多個音頻信號中的至少一個音頻信號是與輔助信 道相關聯的，其中，所述輔助信道與僅限語音會議參與者相關聯；以及對於每個信道，將與輔助信道相關聯的所述至少一個音頻信號和與所 述信道相關聯的要被廣播的所述音頻信號進行混合。
12. —種系統，包括接口，所述接口可操作用於接收多個音頻信號，其中所述音頻信號包括多個分組，所述分組包含與會議參與者相關聯 的語音數據；並且所述音頻信號中的一個或多個音頻信號與視頻信號相關聯；以及處理器，所述處理器可操作用於:確定所述多個音頻信號中的每一個音頻信號的活動性度量，其 中，所述活動性度量指示出所述音頻信號與當前正在講話的會議參與者相 關聯的置信值；針對所述多個音頻信號中的每一個音頻信號，利用所述活動性度量對所述多個分組中的一個或多個分組進行編碼；以及向會議橋發送利用活動性度量編碼後的所述多個音頻信號。
13. 根據權利要求12所述的系統，其中，針對與視頻信號相關聯的一 個或多個音頻信號中的每一個音頻信號，所述處理器還可操作用於向所述 會議橋發送所述視頻信號。
14. 根據權利要求12所述的系統，其中，可操作用於確定活動性度量 的處理器包括可操作用於比較與多個所述音頻信號中的每一個音頻信號相 關聯的聲學測量的處理器。
15. 根據權利要求12所述的系統，其中，所述音頻信號中的至少一個 音頻信號與僅限語音會議參與者相關聯。
16. 根據權利要求15所述的系統，其中，所述處理器還可操作用於 確定多個音頻信號是與僅限語音會議參與者相關聯的；並且 響應於確定多個音頻信號是與僅限語音會議參與者相關聯的，混合所述多個音頻信號。
17. 根據權利要求15所述的系統，其中與視頻信號相關聯的音頻信號中的每一個音頻信號還與會議站點處的 多個區中的區相關聯；並且可操作用於確定活動性度量的處理器包括可操作用於確定區分所述多 個區中每一個區中的聲音活動性的活動性度量的處理器。
18. 根據權利要求15所述的系統，其中與視頻信號相關聯的音頻信號中的每一個音頻信號還與會議站點處的 多個區中的區相關聯；以及所述處理器還可操作用於利用空間標識符對所述音頻信號中的每一個 音頻信號進行編碼，所述空間標識符指示出與所述多個音頻信號中的每一個音頻信號相關聯的區。
19. 根據權利要求15所述的系統，其中，所述處理器還可操作用於接收在會議站點處要被廣播的多個音頻信號，其中所述要被廣播的多個音頻信號中的每一個音頻信號與多個信道中的信 道相關聯；並且所述多個信道中的每一個信道與會議站點處的區相關聯。
20. 根據權利要求19所述的系統，其中，所述處理器還可操作用於接 收在會議站點處要被顯示的多個視頻信號，其中，所述多個視頻信號中的 每一個視頻信號與所述要被廣播的多個音頻信號中的音頻信號相關聯。
21，根據權利要求20所述的系統，其中，所述處理器還可操作用於 確定所述要被廣播的多個音頻信號中的至少兩個音頻信號是與相同信道相關聯的；以及響應於確定所述要被廣播的多個音頻信號中的至少兩個音頻信號是與相同信道相關聯的，混合與相同信道相關聯的所述至少兩個音頻信號。
22. —種邏輯，被編碼進一個或多個有形介質以用於執行，並且當所 述邏輯被執行時可操作用於從多個會議站點中的一個或多個會議站點接收利用活動性度量編碼後 的多個音頻信號，其中所述活動性度量指示所述音頻信號與當前正在講話的會議參與者相關聯的置信值；所述音頻信號中的一個或多個音頻信號與視頻信號相關聯；並且 所述音頻信號中的至少一個音頻信號與僅限語音會議參與者相關聯；基於各自的活動性度量來確定最活動的信號；並且 向所述多個會議站點中的一個或多個會議站點發送多個最活動的音頻 信號。
23. 根據權利要求22所述的邏輯，其中所述音頻信 中的每一個音頻信號與多個信道中的信道相關聯； 所述多個信道中的每一個信道與會議站點處的區相關聯；可操作用於基於各自的編碼後的活動性度量來確定所述最活動的信號 的邏輯包括可操作用於針對所述多個信道中的每一個信道來確定最活動的信號的邏輯；以及可操作用於向所述多個會議站點中的一個或多個會議站點發送多個所 述最活動的音頻信號的邏輯包括可操作用於向所述多個會議站點中的一個 或多個會議站點發送針對所述多個信道的每一個信道的最活動的音頻信 號。
24. 根據權利要求23所述的邏輯，其中，所述邏輯還可操作用於 從所述多個會議站點中的一個或多個會議站點接收多個視頻信號，其中，所述多個視頻信號中的每一個視頻信號與所接收到的音頻信號相關 聯；以及向所述多個會議站點中的一個或多個會議站點發送與針對所述多個信 道中的每一個信道的所述最活動的音頻信號相關聯的視頻信號。
25. 根據權利要求23所述的邏輯，其中，所述邏輯還可操作用於 從所述多個會議站點中的一個或多個會議站點接收多個視頻信號，其中，所述多個視頻信號中的每一個視頻信號與所接收到的音頻信號相關 聯；向所述多個會議站點中的一個或多個會議站點發送與所述最活動的音 頻信號相關聯的多個視頻信號；以及其中，可操作用於向所述多個會議站點中的一個或多個會議站點發送 多個所述最活動的音頻信號的邏輯包括可操作用於向第二會議站點發送 N+l個音頻信號的邏輯，其中，N是被發送給所述多個會議站點中的一個 或多個會議站點的視頻信號的數目。
全文摘要
一種方法包括接收多個音頻信號，其中音頻信號各自包括多個分組，分組包含與會議參與者相關聯的語音數據。這些音頻信號中的一個或多個音頻信號與視頻信號相關聯，並且這些音頻信號中的至少一個音頻信號與僅限語音會議參與者相關聯。該方法還包括確定多個音頻信號中的每一個音頻信號的活動性度量，其中，活動性度量指示音頻信號與當前正在講話的會議參與者相關聯的置信值。該方法還包括針對多個音頻信號中的每一個音頻信號，利用活動性度量對多個分組中的一個或多個分組進行編碼，並且向會議橋發送利用活動性度量編碼後的多個音頻信號。
文檔編號H04L12/16GK101627576SQ200880007368
公開日2010年1月13日 申請日期2008年2月29日 優先權日2007年3月5日
發明者休·J·麥朗赫林, 大衛·J·麥凱, 菲利普·R·格雷厄姆 申請人:思科技術公司