一種實現多語言會議的多點控制單元和會議終端的製作方法

2023-04-22 18:00:46 3

專利名稱：一種實現多語言會議的多點控制單元和會議終端的製作方法
技術領域：
本發明涉及通訊技術領域，尤其涉及一種實現多語言會議的系統及方法。
背景技術：
近年來，隨著通訊技術的發展，視訊會議得到了廣泛的開展和應用。視訊會議可以 理解為通常意義上的電視會議業務，通過多媒體通信手段，利用電視設備和通信網絡召開 會議，可以同時實現兩地或多個地點之間的圖像、語音、數據的交互功能。如附圖l所示，視 訊會議一般由視訊終端、傳輸網絡、多點控制單元(MCU， Multipoint ControlUnit)等幾部 分組成。 視訊終端設備主要包括視頻輸入/輸出設備、音頻輸入輸出設備、視頻編解碼器、 音頻編解碼器、信息通信設備及多路復用/信號分線設備等。其基本功能是將本地攝像機 拍攝的圖像信號、麥克風採集的聲音信號進行壓縮編碼，經過傳輸網絡，傳至遠方會場。同 時，接收來自遠方會場的聲音信號，經過解碼後，還原成模擬的圖像和聲音信號。其中對音 頻數據的處理過程如附圖2所示。 要組成一個完整的電視會議系統必須通過通信網絡將終端設備同MCU連接起來， 傳輸信道可以光纖、電纜、微波或衛星等方式。 MCU是視訊會議的控制核心，當參加會議的會議終端數量多於兩個時，必須經過 MCU進行控制，所有會議終端都要通過標準接口連接到MCU， MCU按照國際標準H. 221 、H. 242 等協議實現，主要功能是實現圖像和語音的混合和交換，實現所有會場的控制功能。
MCU對於音頻數據的處理主要是實現多點會場的混音功能，參與混音的會場為多 點會場中發言音量較大的會場。如實現三點混音，則參加混音的會場是多點會場中音量最 大的三個會場，混音策略介紹如下 1)當前只有一個會場發言，在發言會場聽不到自己的聲音，其他會場均能聽到發 言會場的聲音； 2)如果當前有兩個會場同時發言，則發言雙方均能聽到對方的聲音，但不能聽到 自己的聲音，而其他會場均能同時聽到發言的兩個會場的聲音； 3)如果當前有三個會場或超過三個以上的會場同時發言時，則音量最大的三方會 場參加混音，如附圖3所示，T1、T2、T3為當前會場中發言音量最大的三個會場，其中任意一 個會場均能聽到其他兩個會場的聲音，如Tl會場可以聽到T2和T3的聲音；T1、T2、T3之外 其他會場均能同時聽到這三個會場的聲音。 採用當前的視訊會議系統開會，會議系統對聲音的處理如附圖2所示，發言會場 的數據編碼後發送到MCU， MCU經過混音處理將發言會場的聲音數據發送到其他會議終端，
4其他終端解碼後即可聽到發言會場的聲音。在當前的視訊會議系統中，MCU和終端將某個 會場的音頻數據是作為一路數據進行處理的。當整個會議系統中只使用一種語言時，多個 會場之間的交流不會存在問題。但是，當整個會議系統中存在兩種或兩種以上的語音種類 時，與會者之間就會存在語言交流的障礙，現有技術中針對該問題，可以有以下兩種解決方 案，我們以中英文混合會議為例，並且考慮多個會場中有一個會場用英文發言的情形
第一種方法是其他所有的中文會場，為了聽懂上述英文會場的發言內容，均各自 配備翻譯人員，分別為自己的會場進行英文到中文的翻譯。這樣做的後果是，如果會議規模 較大，就要配備很多的翻譯，造成人員的浪費。而且，每個中文會場的翻譯人員在進行翻譯 時，麥克風會將翻譯數據傳遞給其他會場，這樣場面就會非常混亂，在實際中不可行；若麥 克風設置為不將翻譯數據傳遞給其他會場，則發言會場不清楚中文會場是否翻譯完成，無 法控制自己的講話速度，這樣會造成整個會議質量較差。 第二種方法是專門指定一個會場為翻譯終端，為參與混音的會場發言進行翻譯。 但這種方案同樣存在弊端，如果英文會場發言，該翻譯將其翻譯成中文，則各個會場均會先 聽到英文，後聽到中文，但事實上，中文會場無需聽到英文發言，英文會場也無需聽到翻譯 後的中文發言，這就使得與會者不得不聽到許多無用的信息，中英文混雜，使得會議秩序混 亂，與會者極易產生疲勞，而且翻譯的過程會使會議節奏變慢，效率降低。 如果再考慮到會議中可能存在三種甚至三種以上的語言種類，而且可能有多個會 場同時發言，考慮到混音之後的效果，上述兩種方案將會導致會議質量較差，無法應用。

發明內容
有鑑於此，本發明提供一種實現多語言會議的系統及方法，可以在配備少量翻譯 資源的情況下，實現在多語言多點會議系統中，各個會場可以只使用選定的語言種類參與 會議。 本發明提供的實現多語言會議的系統是這樣實現的
—種實現多語言會議的系統，包括 會議終端，用於將會場發言進行處理後，發送給多點控制單元；將來自於多點控制 單元的音頻數據，進行處理並輸出；其中，至少一個會議終端，還用於將會場發言進行翻譯， 對翻譯後的音頻數據處理後發送給多點控制單元； 多點控制單元，對來自於會議終端的音頻數據，按語種進行分聲道混音處理，將處
理後的音頻數據發送給會議終端。 其中，所述的會議終端為 具有一個輸入接口和一個輸出接口的會議終端。
其中，所述的會議終端，包括 具有兩個以上輸入輸出接口的會議終端。 其中，所述的會議終端為，採用單聲道編解碼器進行編解碼的會議終端。
其中，所述會議終端為，採用多聲道編解碼器進行編解碼的會議終端。
其中，所述的多點控制單元，為 採用單方混音、兩方混音或三方混音策略的多點控制單元。
其中，所述進行翻譯的會議終端所翻譯的會場發言為
各會場發言中音量最大的會場發言。 本發明所提供的實現多語言會議的方法為 會議終端，將會場發言進行處理後，發送給多點控制單元；將來自於多點控制單元 的音頻數據，進行處理並輸出；其中，至少一個會議終端，將會場發言進行翻譯，將翻譯後的 音頻數據發送給多點控制單元； 多點控制單元對來自於會議終端的音頻數據，按語種進行分聲道混音處理，將處 理後的音頻數據發送給會議終端。 其中，所述會議終端通過一個輸入接口 、輸出接口處理音頻數據。
其中，所述會議終端通過兩個以上的輸入、輸出接口處理音頻數據。
其中，所述會議終端採用單聲道編解碼器處理音頻數據。
其中，所述的會議終端採用多聲道編解碼器處理音頻數據。
其中，所述的混音處理為
—方混音、兩方混音或三方混音。
其中，所述的將處理後的音頻數據發送給會議終端，具體為 按照多點控制單元的設定或會議終端的選擇將處理後的音頻數據發送給會議終
丄山順。 其中，所述的將會場發言進行翻譯，具體為
將各會場發言中音量最大的發言進行翻譯
本發明的有益效果是 1、由於使用了多聲道技術，各會場可以聽到單一語言種類的會議發言，也可以按
照需求聽到所需語種的發言，從而可以成功地避免聽到無用的語言信息； 2、由於引入了同聲傳譯，因此翻譯所引起的會議延遲基本上可以忽略不計，有力
地保障了會議進程的順利完成； 3、由於在少量的會場集中處理各會場發言的翻譯工作，在保證翻譯質量的前提 下，大大節省了翻譯資源，降低了會議成本； 4、由於使用了多聲道技術，成功實現了在一個會議系統中可以使用多種語言進行 發言，同時又互不幹擾，不同語種無縫接合，從而滿足了不同人群的語言需求；


圖1是現有技術中召開多點視訊會議的系統示意圖； 圖2是現有技術中會議終端對於音頻數據的處理方案示意圖； 圖3是現有技術中多點控制單元的混音策略示意圖； 圖4是本發明的應用場景示意圖； 圖5是本發明的系統示意圖； 圖6是本發明系統的具體實施方式
一中會議終端對於音頻數據的處理方案示意 圖； 圖7是本發明系統的具體實施方式
一中多點控制單元對於音頻數據的處理方案 示意圖； 圖8是本發明系統的具體實施方式
一中存在中英俄三種語言時的混音方案示意圖； 圖9是本發明系統的具體實施方式
一中存在中英俄三種語言時的混音方案示意 圖； 圖10是本發明系統的具體實施方式
二或三中會議終端和多點控制單元之間關係 示意圖； 圖11是本發明系統的具體實施方式
三中多點控制單元的實現方案示意圖； 圖12是本發明系統的具體實施方式
四中的系統示意圖； 圖13是本發明系統的具體實施方式
五中的系統示意圖； 圖14是本發明系統的具體實施方式
五中多點控制單元的實現方案示意圖； 圖15是本發明系統中存在中英俄三種語言時的混音解決方案示意圖； 圖16是本發明系統中存在中英俄三種語言時的混音解決方案示意圖。
具體實施例方式
本發明所述的系統及方法是通過在多點會議系統的MCU採用多聲道處理技術，針 對不同的語言種類，設置不同的聲道，對不同語種的音頻數據分聲道進行處理。所謂的分聲 道處理就是指各語種的音頻數據通過各自對應的聲道進行處理，比如，中文音頻數據在聲 道1處理，英文音頻數據在聲道2處理，各語種音頻數據的處理互不幹擾。需要說明的是， 本發明所述的多點會議系統不僅包括傳統的純語音多點會議系統，也包括會議電視系統或 視訊會議系統。 本發明的實施方式以中英文多點會議為例進行說明，其他兩種或兩種以上語言種 類的會議採用類似方式處理。 請參閱附圖4，該圖描述了本發明的應用場景。每個會場對應一個會議終端，然後 指定多點會議系統中的任意一個會場為翻譯會場，負責對各個會場的發言進行中英互譯。 請參閱附圖5，本發明的系統包括各個會議終端和MCU。
本發明系統的具體實施方式
一 會議終端，翻譯終端(翻譯會場的會議終端簡稱為"翻譯終端"，以下相同)只使用 一個輸入和輸出接口 ， MCU採用多聲道混音，MCU配置會議終端對應的語種和作為翻譯終端 的會議終端。本方案中對會議終端和翻譯終端沒有什麼特殊要求，大部分工作都是由MCU 來完成。各部分詳述如下 如圖6，會議終端採集本地輸入音頻信號，進行編碼並發送給MCU。接收MCU送過 來音頻碼流，解碼後播放出來。這樣終端不必區分輸入和輸出的語種。 翻譯終端負責對各個會場的發言進行語種翻譯，如將會場的中文發言翻譯成英 文，將英文發言翻譯成中文。在本實施方式中，翻譯會場由翻譯人員進行人工同聲翻譯，也 可以使用翻譯機進行機器智能同聲翻譯。 如圖7，調度會議的時候，MCU先配置各個會議終端的語種信息，並指定具有同聲 傳譯功能的會議終端為翻譯終端。如配置會議終端1的語種為中文，會議終端2的語種為 英文，同時指定會議終端3為翻譯終端。當MCU收到會議終端的音頻數據時，先進行解碼， 然後根據該會議終端被配置的語種信息，把解碼後的語音數據送到相應的語種混音器進行 混音。例如配置為中文的會議終端，則MCU把收到的該會議終端的音頻數據送到中文混音器混音，配置為英文的會議終端的音頻數據則被送到英文混音器進行混音。翻譯終端發送 給MCU的音頻數據始終參與混音，參加哪個語種混音後面介紹。MCU按照語種單獨混音後， 各語種的混音策略參見背景技術，分別發送給對應的配置好語種的會議終端。如參加中文 混音的會議終端接收中文混音後的相應數據，參加英文的混音的會議終端接收英文混音後 的相應數據。 MCU混音有兩個步驟，第一比較各個會場的音量大小，第二根據會場的音量大小選 擇聲音被廣播的會場，並把它們的聲音發送給接收會場。混音可採用一方混音，兩方混音， 三方混音，甚至四方或更多方混音。一方混音時只有聲音最大的一方被廣播到各個會場；兩 方混音時，只有聲音最大的兩方被疊加後進行廣播，被廣播的音量最大的兩個會場不會聽 到自己的聲音，但互相能聽到對方的聲音；一方混音和兩方混音在包含三個以上會場的交 互式會議中，比較容易出現切字的缺點，因此提出了三方混音，三方混音的示意圖如圖3 :
比較各個會場的音量，得到三個音量最大的會場，Tl、 T2、 T3，則它們三個參加混 音，T1、T2、T3數據相加後發送給其他不參與混音的會場，T1、T2、T3分別聽到除了自己以外 的其他兩方會場的聲音疊加，即Tl聽到T2和T3會場疊加的聲音，T2聽到Tl和T3會場疊 加的聲音，T3聽到Tl和T2會場疊加的聲音。 一方混音的時候實現簡單，比較適合於只有 主席發言的情況，但交互性能比較差。兩方混音的時候可以有一定的交互性，但是當第三方 插話的時候，比較容易出現有一方的聲音被剪切，三方混音的交互效果比較好。
MCU按照語種獨立混音後，各語種的混音結果分別發送給對應的配置好語種的會 議終端。如參加中文混音的會議終端接收中文混音後的相應數據，參加英文的混音的會議 終端接收英文混音後的相應數據。 圖 7中，每一對語種只使用一個翻譯終端，如中英文翻譯終端可以進行中文到英 文翻譯，也可以進行英文到中文的翻譯。採用一方混音時，中英文語種中音量最大的一方發 送給翻譯終端，翻譯終端不參加音量比較，取音量最大的音頻數據發送給翻譯會場，如果音 量最大的為中文語種，則發送給翻譯終端的音頻數據語種為中文，下次混音時，翻譯終端的 音頻數據參加英文語種混音。如果音量最大的為英文語種，則發送給翻譯終端的音頻數據 語種為英文，下次混音時，翻譯終端的音頻數據參加中文語種混音。雖然中英文語種只取最 大的一方發送給翻譯終端，但是中文語種或者英文語種本身自己的混音可以採用一方，兩 方，三方，甚至四方或更多方混音，翻譯終端始終參加對應語種的混音，其音量可以是最大 一方，或者是音量最大方之一。 採用兩方混音時，選取音量最大的兩方的音頻數據發送給翻譯終端進行翻譯，則
需要有兩個翻譯終端。 一個翻譯最大音量會場的聲音，一個翻譯次最大音量會場的聲音，翻
譯會場的音量不參加音量比較。經過翻譯過的聲音被送到對應語種的混音器混音。如果音
量最大的兩方都為中文或者英文，則經過翻譯終端翻譯後的數據在下一次混音的時候以音
量最大的兩方或者音量最大的幾方之二參加英文或者中文的混音。如果音量最大的兩方為
一個中文一個英文，則經過對應的終端翻譯後分別參加中文和英文的混音。翻譯終端始終
參加混音，其參加音量比較的音量可以是等於其翻譯的會場的音量，或者是音量最大方之
一。同樣的，中文語種或者英文語種混器可以是兩方，三方甚至更多方混音。 採用三方或者更多方混音時，混音的處理和兩方的混音處理類似，需要三個或者
更多個的翻譯終端來對音量最大的幾方的音量進行翻譯。
以上為了說明方便只列舉了中英文兩個語種的多語言會議，任何兩種語言的多語 言會議都可以按照上面所說的方法來完成。本發明同時開會的語種可以超過兩個，每增加 一個語種，終端的處理不變，MCU相應增加一個混音器。如圖8所示，以中英俄三語種開會 為例，翻譯終端有三個， 一個實現中英互譯， 一個實現中俄互譯， 一個實現英俄互譯，中英俄 混音結果發送給各自的收聽會場，圖8中採用一方混音，中英俄音量最大的一方經過編碼 後發送給對應的翻譯會議終端，注意翻譯終端來的音量不參加比較。如果中文音量最大，則 把中文數據發送給中英和中俄翻譯會場，如果是英文或者俄文音量最大，處理方法類似。這 種方法中英俄只有音量最大的一方被翻譯。四語種及以上類推。 採用兩方及兩方以上的混音時的處理和前面描述的類似，只是要多一些翻譯終端 來進行次大方會場聲音的翻譯。 圖9中是更靈活的一種混音實現方式，混音時，中英，中俄，英俄語種各自比較音 量大小，然後把最大的一方發送給對應的翻譯終端進行翻譯。如中文和英文比較音量，把音 量大的一方發送給中英翻譯會議終端，中文和俄文比較音量大小，把音量大的一方發送給 中俄翻譯終端，英文和俄文比較音量大小，把音量大的一方發送給英俄翻譯終端。翻譯後的 音頻數據參加對應語種的混音。如參加中文混音的有中文、英譯中、俄譯中的數據，中文混 音有一方混音，兩方混音，三方混音，甚至更多方混音。中文混音時，英譯中的音量按照英文 的音量參與音量比較，俄譯中的音量按照俄文的音量參與音量比較。英文和俄文混音時的 處理和中文混音的處理類似，四語種及以上類推。 圖9中，每兩個語種之間也可實現兩方甚至更多方的混音，但是翻譯終端要相應 的增加。 本發明系統的具體實施方式
二 會議終端，翻譯終端只使用一個輸入和輸出接口 ，會議終端需要通過信令的方式 告知MCU自己的語種，或告知MCU自己是翻譯終端。MCU採樣多聲道混音。會議終端和翻譯 終端以及MCU使用的編解碼器為單聲道的編解碼器。各部分詳述如下
會議終端實現同具體實施方式
一，不同於實施方式一的是如圖IO，會議終端支 持會場語種配置，並通過信令如H. 245的方式向MCU確認會場的語種，例如會議終端選擇語 種為中文，則告知MCU該會議終端屬於中文會場。 翻譯終端實現同具體實施方式
一，不同於實施方式一的是配置會議終端為翻譯
終端，並通過信令如H. 245的方式通知MCU該會議終端就是翻譯終端。 MCU實現同具體實施方式
一，不同於實施方式一的是MCU通過信令如H. 245知道
會議終端配置的語種或會議終端是否作為翻譯終端來使用。即圖7中的會場屬性配置信息
是通過信令如H. 245方式從會議終端獲得。 本發明系統的具體實施方式
三 會議終端，翻譯終端只使用一個輸入和輸出接口 ，會議終端需要通過帶內的方式 告知MCU自己的語種，或告知MCU自己是翻譯終端。MCU採樣多聲道混音。會議終端和翻譯 終端以及MCU使用的編解碼器為單聲道的編解碼器。各部分詳述如下
會議終端實現同具體實施方式
二，不同於實施方式二的是會議終端接收輸入的 音頻數據，進行編碼，把編碼後的碼流和碼流對應的語種信息一起打包發送給MCU，見圖 10，如中文會議終端在發送給MCU的碼流內增加中文標識，英文會議終端發送給MCU的碼流內增加英文標識。而不是採用信令的方式向MCU表明自己的語種。 翻譯終端的實現同具體實施方式
二，不同於實施方式二的是配置會議終端為翻 譯終端，翻譯終端在發送給MCU的碼流內增加翻譯終端的標識，向MCU表明自己是翻譯終 端，而不是採用信令的方式向MCU表明翻譯終端的身份，見圖10， MCU實現同具體實施方式
二，不同於實施方式二的是見圖11， MCU通過分析接收 的音頻碼流，確認碼流的語種和會議終端是否為翻譯終端。而不是採用信令的方式來確認 會議終端的語種和是否為翻譯終端。
本發明系統的具體實施方式
四 有時候同樣一個會場可能有存在多個語種的發言和收聽多個語種，如果會場中的 多個語言交互發言的話，按照前面的方法需要不斷地更新設置會議終端的語種，這樣操作 起來不是很方便。本實現方案中會議終端使用多個輸入輸出口 。 會議終端有兩個輸入通道，會議終端的通道語種配置模塊配置每個輸入通道對應 到的語種，如中文對應通道l，英文對應通道2。通道1和通道2的數據在送往編碼器之前 先進行音量比較，音量大的一方送編碼器編碼，如圖12所示，編碼後的碼流在發送給MCU之 前加入該通道對應的語種信息。如會場中只有中文語種發言時，通道l的數據送編碼器編 碼，編碼後在碼流內打中文的標識後發送給MCU。會場只有英文發言的時候，通道2的數據 送編碼器編碼，編碼後在碼流內打英文標識後發送給MCU。如果中文和英文語種同時發言， 則音量大的一方被編碼後，加上相應的語種信息發送給MCU。 配置為翻譯終端的會議終端，在發送給MCU的碼流流中增加翻譯終端身份標識， 當然也可以通過信令的方式如H. 245信令向MCU表明身份。 如圖11， MCU收到會議終端來的音頻碼流後，通過終端語種和翻譯終端識別識別 出碼流對應的語種和是否為來自翻譯終端的碼流，進行解碼後，根據識別後的語種信息，把 碼流送到不同語種的混音器進行混音。如語種為中文的送到中文混音器混音，英文的送到 英文混音器混音。混音後，中文和英文的混音結果按照音量的大小一一配對，然後分別編 碼，並各自打上語種標識，再發送給對應的接收會議終端。如中文混音輸出和英文混音輸出 的音量最大的配對發送給接收中文或者英文最大音量的會場。 如圖12，本方案中，會議終端還可以選擇接收的語種，會議終端通過信令方式如 H. 245信令，把自己選擇收聽的語種告知MCU。經過混音後，MCU根據會議終端選擇收聽語 種信息，把混音後的數據發送給會議終端。如果會議終端選擇收聽中英文語種的信息，則 MCU發送給會議終端的數據如前面所述處理，如果會議終端只選擇收聽中文，則中文混音後 的結果發送給對應的接收會議終端，英文也是同樣處理。翻譯終端需要設置成中英文語種 都接收。 會議終端根據收聽語種的配置，對收到的MCU碼流進行有選擇的或者全部解碼， 然後把解碼後的碼流輸出到對應的輸出通道。如配置輸出通道1輸出中文，輸出通道2輸 出英文，則當會議終端接收到中英文碼流後，分別解碼，並把解碼後的碼流送到對應的輸出 通道。如果只配置輸出通道1輸出中文，則丟棄英文碼流的數據，只解碼中文碼流數據，並 發送到輸出通道1輸出。如果只配置輸出通道2輸出英文，則丟棄中文碼流的數據，只解碼 英文碼流數據，並發送到輸出通道2輸出。 發送給翻譯終端的音頻數據和翻譯終端參加的語種混音處理如下MCU比較接收到的中文和英文音頻數據的音量大小，翻譯終端不參加音量比較，取音量最大的音頻數據發送給翻譯會場，如果音量最大的為中文語種，則發送給翻譯終端的音頻數據語種為中文，下次混音時，MCU接收到的翻譯終端的音頻數據參加英文語種混音。如果音量最大的為英文語種，則發送給翻譯終端的音頻數據語種為英文，翻譯完成後，翻譯終端將翻譯後的中文數據發送到MCU，參加中文語種混音。
本發明系統的具體實施方式
五 本方案同方案四類似，不同之處在於採用了多聲道編碼器。 如圖13，會議終端的處理不同於方案四的是，不同語種的編碼對應多聲道編碼器的編碼聲道，如中文對應在左聲道編碼，英文在右聲道編碼，編碼後打包發送給MCU。
配置為翻譯終端的會議終端，在發送給MCU的碼流流中增加翻譯終端身份標識。也可以通過信令如H. 245向MCU表明身份。 如圖14， MCU收到會議終端來的音頻碼流後，進行解碼，然後把聲道數據送到對應混音器混音，如左聲道的數據送到中文混音器混音，右聲道的數據送到英文混音器混音。混音後，中文和英文的混音結果按照音量的大小一一配對，在多聲道編碼器對應的聲道編碼，發送給會議終端。 會議終端接收到MCU發送過來的碼流後，進行解碼，根據選擇的輸出語種，把解碼
後的對應語種的數據送到輸出通道。翻譯終端設置成中英文語種都接收。 發送給翻譯終端的音頻數據和翻譯終端參加的語種混音處理如下MCU比較接收
到的中文和英文音頻數據的音量大小，翻譯終端不參加音量比較，取音量最大的音頻數據
發送給翻譯會場，如果音量最大的為中文語種，則發送給翻譯終端的音頻數據語種為中文，
下次混音時，MCU接收到的翻譯終端的音頻數據參加英文語種混音。如果音量最大的為英
文語種，則發送給翻譯終端的音頻數據語種為英文，翻譯完成後，翻譯終端將翻譯後的中文
數據發送到MCU，參加中文語種混音。 以上為了說明方便，只列舉了中英文兩個語種的多語言會議，任何兩種語言的的多語言會議都可以按照上面所說的方法來完成。本發明同時開會的語種可以超過兩個，每增加一個語種，終端的處理不變，MCU相應增加一個混音器。如圖15所示，以中英俄三語種開會為例，中英俄混音結果發送給各自的收聽會場，另外中英俄音量最大的一方經過編碼後發送給對應的翻譯會議終端，注意翻譯終端來的音量不參加比較。如果中文音量最大，則把中文數據發送給中英和中俄翻譯會場，如果是英文或者俄文音量最大，處理方法類似。這種方法中英俄只有音量最大的一方被翻譯。四語種及以上類推。 圖16中是更靈活的一種混音實現方式，混音後，中英，中俄，英俄語種各自比較音量大小，然後發送給對應的翻譯終端進行翻譯。這樣中英俄語種的會場可以同時發言。四語種及以上類推。 本發明方法的
具體實施例方式
與上述系統的具體實施方式
相同，各會場首先要配置好各自會場的語種信息及正確連接會議終端的輸入輸出接口，指定一個會場作為翻譯會場，負責對會場發言進行翻譯，當多點會議系統中只有兩種語言時，指定一個會場就可以了 ，當存在三種以上語言時，就需要指定多個翻譯會場；各會議終端將會場發言轉換為音頻數據，發送給多點控制單元；還包括
11
翻譯會場對會場發言進行同聲傳譯，將翻譯後的發言，按語言種類進行處理後發送給多點控制單元； 多點控制單元對來自於會議終端的音頻數據，按語言種類分聲道進行混音處理，將處理後的音頻數據按照多點控制單元預先設定的語種或會議終端的語種選擇，發送給會議終端； 會議終端將來自於多點控制單元的音頻數據，處理後輸出。 會議終端及多點控制單元的具體實現方法，請參考上述系統的具體實施方式
一至五，在此不再贅述。 只要使用本方法，無論是只有翻譯會場發言的情形，還是只有其他會場發言的情形，或者翻譯會場和其他會場都參與發言的情形，都能成功的實現按照語言種類分聲道處理，各語種發言內容互不幹擾，各會場可以選擇自己需要的語言種類參與會議。
本發明的上述實施方式中，都只是以中英文會議為例進行說明，在本發明的實際應用過程中，會議所使用的語言並不限於中文和英文，可以是任何兩種語言的組合；會議所使用的語言種類也不限於兩種，可以是三種甚至更多；多點控制單元所使用的混音策略也不限於背景技術所使用的方法，其他混音策略同樣適用；只要按照本發明所述系統及方法，均可以實現每個會場只按照自己選擇的語種參與會議，例如當會議系統中存在中英俄三種語言時，設置三個聲道分別處理對應語種的聲音數據即可，同時設置三個翻譯會場中英翻譯會場、中俄翻譯會場和英俄翻譯會場；各會場根據配置信息決定只輸出自己需要的語言種類，屏蔽掉對自己無用的語音信息。 以上所述，僅為本發明的較佳實施例而已，並非用於限定本發明的保護範圍，凡在本發明的精神和原則之內所做的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
權利要求
一種多點控制單元，包括獲取模塊，用於獲取語種信息以及各個會議終端發送的音頻數據；混音模塊，用於根據所述語種信息，將會議終端和翻譯終端發送來的音頻數據送到相應語種的混音器進行混音，其中，翻譯終端翻譯後的音頻數據送到翻譯終端所翻譯的目標語種的混音器進行混音；發送模塊，用於將某會議終端的音頻數據發送到翻譯終端，並將相應語種的混音器混音後的音頻數據發送到相應語種的會議終端或者選擇收聽所述相應語種的會議終端。
2. 如權利要求1所述的多點控制單元，其特徵在於所述語種信息是會議終端的語種 信息、會議終端的聲道的語種信息或者會議終端的輸入通道的語種信息。
3. 如權利要求2所述的多點控制單元，其特徵在於，還包括 配置模塊，用於配置會議終端的語種信息，以及指定翻譯終端。
4. 如權利要求1或2所述的多點控制單元，其特徵在於所述獲取模塊具體用於解析 會議終端發出的信令中包含的語種信息。
5. 如權利要求1或2所述的多點控制單元，其特徵在於 所述語種信息是碼流中包含的語種標識；所述獲取模塊具體用於解析會議終端發來的碼流中包含的語種標識。
6. 如權利要求1所述的多點控制單元，其特徵在於所述第一會議終端是音量最大的 會議終端或者音量最大的多個會議終端中的一個，或者所述第一會議終端是兩個不同語種 會議終端中各自音量最大的會議終端中音量較大的會議終端。
7. 如權利要求1所述的多點控制單元，其特徵在於所述發送模塊還用於將語種標識 添加到發送的音頻數據中。
8. —種會議終端，包括 配置模塊，用於配置語種信息；通知模塊，用於根據語種信息配置，通知多點控制單元所述語種信息。
9. 如權利要求8所述的會議終端，其特徵在於 所述語種信息為所述會議終端的語種信息； 所述配置模塊，具體用於配置所述會議終端的語種信息；所述通知模塊，具體用於通過信令通知多點控制單元所述會議終端的語種信息。
10. 如權利要求8所述的會議終端，其特徵在於 所述語種信息為語種標識；所述配置模塊，具體用於將語種標識添加到所述會議終端發出的碼流中； 所述通知模塊，具體用於向多點控制單元發送所述攜帶有語種標識的碼流。
11. 如權利要求io所述的會議終端，其特徵在於，所述會議終端至少包括兩個輸入通道； 所述會議終端還包括通道語種配置模塊，用於配置各輸入通道的語種信息；音量比較模塊，用於比較各輸入通道的音量，並將音量最大的輸入通道的數據送到編 碼器編碼；所述配置模塊，具體用於將對應輸入通道的語種標識添加到所述編碼器編碼產生的碼流中。
12. 如權利要求8所述的會議終端，其特徵在於 所述會議終端包括至少有兩個聲道的編碼器； 所述配置模塊，具體用於配置各聲道的語種信息；所述通知模塊，用於根據各聲道的語種信息配置，通知多點控制單元所述語種信息。
13. 如權利要求8-12任一項所述的會議終端，其特徵在於，還包括 選擇模塊，用於選擇所述會議終端收聽的語種；所述通知模塊，還用於通知多點控制單元所述會議終端選擇收聽的語種。
14. 如權利要求13所述的會議終端，其特徵在於所述通知模塊，還用於通過信令通知 多點控制單元所述會議終端選擇收聽的語種。
全文摘要
本發明公開了一種實現多語言會議的系統，該系統包括會議終端，用於將會場發言進行處理後，發送給多點控制單元；將來自於多點控制單元的音頻數據，進行處理並輸出；其中，至少一個會議終端，還用於將會場發言進行翻譯，對翻譯後的音頻數據處理後發送給多點控制單元；多點控制單元，對來自於會議終端的音頻數據，按語種進行分聲道混音處理後，將音頻數據發送給會議終端。本發明還公開了一種實現多語言會議的方法。本發明的系統及方法實現了當多點會議系統中，存在多個發言語種時，各會場可以按照選定的語言種類參與會議。
文檔編號H04L12/18GK101702762SQ20091022101
公開日2010年5月5日 申請日期2006年9月30日 優先權日2006年9月30日
發明者劉智輝, 嶽中輝 申請人:華為技術有限公司