視頻會議中顯示發言人的方法、系統、伺服器和終端的製作方法
2023-07-11 01:19:21 1
專利名稱：視頻會議中顯示發言人的方法、系統、伺服器和終端的製作方法
技術領域：
本發明涉及通信領域，特別涉及一種視頻會議中顯示發言人的方法、系統、伺服器和終端。
背景技術：
視頻會議是現代通信中常用的一項溝通手段。通過視頻會議，與會人員不論處於何方，都可以通過語音和視頻進行交流，非常方便。
目前視頻會議系統對於音頻的常見處理方法為在視頻會議系統中存在一個或多個混音設備，會議開始後，從多個會議終端的音頻數據中挑選出幾個音量最大的媒體流，通過混音設備對這幾個媒體流進行疊加，疊加後的音頻數據由會議終端播放出來。
視頻會議系統對於視頻的常見處理方法為在每個會議終端無差別地顯示所有與會人員畫面，或者由管理員手動控制各個會議終端的視頻顯示方式(顯示哪幾方的畫面、畫面的尺寸等)，或者由與會人員手動控制自身所使用的會議終端的視頻顯示方式。
在視頻會議中，如果與會人員較多，會議終端上顯示的視頻畫面數量也會比較多；實際上，同時發言的發言人數量一般較少，只有1到2人，這1到2人的視頻才是所有與會人員最為關心，最希望看清的。目前的視頻會議系統由於不能自動將當前發言人突出顯示，與會人員經常需要通過瀏覽多個畫面才能定位到當前發言人的畫面，然後才能看清其神態、身體語言；當發言人改變時，與會人員又需要重新尋找、定位發言人。這種情況在多方討論、交流會議中頻繁發生，給與會人員的使用帶來很大的不便。
發明內容
為了使視頻會議中的與會人員快速定位當前發言人的視頻畫面，本發明實施例提供了一種視頻會議中顯示發言人的方法、系統、伺服器和終端。所述技術方案如下一種視頻會議中顯示發言人的方法，所述方法包括視頻會議中，依據發言人的音頻能量按照預定規則確定當前發言人；突出顯示所述當前發言人的視頻畫面。
本發明實施例還提供了一種視頻會議中顯示發言人的系統，所述系統包括會議媒體伺服器，用於根據發言人的音頻實時數據計算所述發言人的音頻能量，依據發言人的音頻能量按照預定規則確定當前發言人，重新組合發言人的視頻實時數據，將所述當前發言人作為突出顯示對象，並發送重新組合後的所述視頻實時數據；會議終端，用於接收所述會議媒體伺服器發送的視頻實時數據，並以視頻畫面的形式顯示所述視頻實時數據。
進一步地，本發明實施例還提供了另一種視頻會議中顯示發言人的系統，所述系統包括會議媒體伺服器，用於轉發發言人的音頻實時數據和視頻實時數據；會議終端，用於接收所述會議媒體伺服器轉發的音頻實時數據和視頻實時數據，根據所述音頻實時數據計算每個發言人的音頻能量，依據發言人的音頻能量按照預定規則確定當前發言人，重新組合發言人的視頻實時數據，將所述當前發言人作為突出顯示對象，顯示重新組合後的所述視頻實時數據。
本發明實施例同時提供了一種會議媒體伺服器，所述會議媒體伺服器包括比較模塊，用於根據發言人的音頻實時數據計算所述發言人的音頻能量，依據各個發言人的音頻能量按照預定規則確定當前發言人；組合模塊，用於將所述比較模塊確定的所述當前發言人作為突出顯示對象，重新組合所述發言人的視頻實時數據；發送模塊，用於將所述組合模塊重新組合的視頻實時數據發送給會議終端。
本發明實施例同時提供了一種會議終端，所述會議終端包括比較模塊，用於根據發言人的音頻實時數據計算所述發言人的音頻能量，依據各個發言人的音頻能量按照預定規則確定當前發言人；組合模塊，用於將所述比較模塊確定的所述當前發言人作為突出顯示對象，重新組合所述發言人的視頻實時數據；顯示模塊，用於以視頻畫面的形式顯示所述組合模塊中重新組合後的視頻實時數據。
本發明實施例通過發言人的音頻能量找出視頻會議的當前發言人，並將當前發言人的視頻畫面在會議終端上突出顯示，使與會人員可以較快地定位出當前發言人，並且更清楚地看到當前發言人的神態和身體語言，增強了視頻會議的溝通效果。
圖1是本發明視頻會議中顯示發言人的方法的實施例的流程圖；
圖2是本發明視頻會議中顯示發言人的方法的應用場景一；圖3是本發明視頻會議中顯示發言人的方法的應用場景二；圖4是本發明視頻會議中顯示發言人的方法的應用場景三；圖5是本發明視頻會議中顯示發言人的方法的實施例的顯示方式一的示意圖；圖6是本發明視頻會議中顯示發言人的方法的實施例的顯示方式二的示意圖；圖7是本發明視頻會議中顯示發言人的方法的實施例的顯示方式三的示意圖；圖8是本發明視頻會議中顯示發言人的系統的實施例的結構圖；圖9是本發明視頻會議中顯示發言人的系統的另一實施例的結構圖；圖10是本發明會議媒體伺服器的實施例的結構圖；圖11是本發明是會議終端的實施例的結構圖。
具體實施例方式
為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。
本發明實施例在判斷出視頻會議的當前發言人後，將當前發言人的視頻畫面在會議終端上突出顯示，方便了與會人員觀察發言人的神態和身體語言，增強了溝通的效果。
參見圖1，本發明一種視頻會議中顯示發言人的方法的實施例，具體步驟如下步驟101開通視頻會議。
步驟102從發言人中找出當前發言人。
其中，從發言人中找出當前發言人的方法具體如下獲取發言人的音頻實時數據，計算各發言人的音頻能量，按照預定規則依據發言人的音頻能量確定當前發言人。其中，預定規則可以是將各發言人中音頻能量最大的發言人作為當前發言人；也可以是將各發言人中音頻能量超過預先設定的閥值的發言人作為當前發言人。所述預定規則並不限於以上兩種，在具體實施中，可根據需要設置其它的規則在確定當前發言人。
上述方法中當前發言人可以是一個，也可以是多個。最典型應用場景為從與會人員中找出一個人作為當前發言人，次典型應用場景為音頻能量超過預先設定的閥值的任意一個發言人作為當前發言人。
獲取發言人的音頻實時數據的可以是視頻會議系統中的會議媒體伺服器，該方式適用於媒體伺服器集中進行媒體處理的會議系統，圖2為本發明視頻會議中顯示發言人的方法的應用場景一，其中，A、B、C均為普通會議終端，會議媒體伺服器提供所有會議媒體處理功能，發言人的音頻實時數據以媒體流的方式在會議媒體伺服器和會議終端之間傳輸；獲取發言人的音頻實時數據也可以是會議終端，該方式適用於會議終端進行分布式媒體處理的會議系統，圖3為本發明視頻會議中顯示發言人的方法的應用場景二，其中，沒有獨立的媒體處理設備，每個會議終端都收到其它會議終端的媒體數據，自行完成媒體處理；該方式同樣適用於其中一個會議終端提供會議媒體處理功能的系統，圖4為本發明視頻會議中顯示發言人的方法的應用場景三，其中，會議終端A具有媒體處理功能，能夠為其自身和會議終端B、C提供會議媒體服務。
每個發言人的音頻實時數據與其視頻實時數據是相關連的，都具有相同的會議終端標識，根據音頻實時數據確定當前發言人後，根據音頻實時數據的會議終端標識，找到當前發言人的視頻實時數據，用於在會議終端上顯示。當然，也可以通過本領域中的技術人員所知道的其它方式將每個發言人的音頻實時數據與其視頻實時數據相關連。
步驟103在會議終端上更新視頻畫面布局，突出顯示當前發言人的視頻畫面。
其中，在會議終端上突出顯示當前發言人的視頻畫面的方式包括以下三種1)參見圖5，在會議終端上，只顯示當前發言人的視頻畫面。
2)參見圖6，在會議終端上，將找到的當前發言人的視頻畫面進行放大處理，以大於其他發言人的視頻畫面的方式顯示當前發言人的視頻畫面。
3)參見圖7，在會議終端上，用特殊標記顯示當前發言人的視頻畫面。
特殊標記可以是用邊框標記當前發言人的視頻畫面，或是用其它顏色作為當前發言人視頻畫面的背景顏色，也可以是為當前發言人的視頻畫面加上標號，如①等。
進一步地，突出顯示當前發言人的視頻畫面的處理過程可以在會議媒體伺服器上完成，也可以在會議終端上完成。
在會議媒體伺服器上完成突出顯示處理的方法為會議媒體伺服器獲取各個發言人的視頻實時數據，將找出的當前發言人作為突出顯示對象，組合出新的視頻數據，例如為了達到圖5所示效果，在新的視頻數據中只包括當前發言人的視頻實時數據；為了達到圖6所示效果，對當前發言人的視頻實時數據進行擴展放大，在新的視頻數據中包括其他發言人的視頻實時數據和擴展放大後的當前發言人的視頻實時數據；為了達到圖7所示效果，變換當前發言人的視頻實時數據對應的邊框數據，以達到區別其他發言人的邊框數據為準，或者在當前發言人的視頻實時數據中增加①對應的數據等。並將新組合出來的視頻數據發送給各個會議終端，會議終端收到視頻數據後，以視頻畫面的形式在顯示設備上顯示發言人的視頻畫面。該方法適用於圖2所示系統。
在會議終端上完成突出顯示處理的方法為會議終端獲取各個發言人的視頻實時數據，將找出的當前發言人作為突出顯示對象，組合出新的視頻數據，具體組合方法同上，這裡不再贅述。並將新組合出來的視頻數據以視頻畫面的形式顯示在會議終端的顯示設備上，該方法適用於圖3所示系統；或者是會議終端除了在自身的顯示設備上顯示新的視頻畫面外，還將新的視頻數據發送給其它會議終端，該方法適用於圖4所示系統。
步驟104判斷會議是否結束，如果會議沒有結束，則執行步驟105；否則，會議結束。
步驟105在到達設定的延時時間後，返回步驟102。
參見圖8，本發明一種視頻會議中顯示發言人的系統的實施例具體包括會議媒體伺服器201，用於根據發言人的音頻實時數據計算該發言人的音頻能量，依據發言人的音頻能量按照預定規則確定當前發言人，重新組合發言人的視頻實時數據，將當前發言人作為突出顯示對象，並發送重新組合後的視頻實時數據；會議終端202，用於接收會議媒體伺服器201發送的視頻實時數據，並以視頻畫面的形式顯示視頻實時數據。
其中，會議媒體伺服器201依據發言人的音頻能量按照預定規則確定當前發言人後，將當前發言人作為突出顯示對象的實現過程如下根據當前發言人音頻實時數據確定當前發言人後，根據音頻實時數據對應的會議終端標識找到當前發言人的視頻實時數據，將找到的視頻實時數據作為突顯對象。
參見圖9，本發明一種視頻會議中顯示發言人的系統的實施例具體包括會議媒體伺服器301，用於轉發發言人的音頻實時數據和視頻實時數據；會議終端302，用於接收會議媒體伺服器301轉發的音頻實時數據和視頻實時數據，根據音頻實時數據計算每個發言人的音頻能量，依據發言人的音頻能量按照預定規則確定當前發言人，重新組合發言人的視頻實時數據，將當前發言人作為突出顯示對象，顯示重新組合後的視頻實時數據。
參見圖10，本發明一種會議媒體伺服器的實施例具體包括比較模塊401，用於根據發言人的音頻實時數據計算音頻能量，依據各個發言人的音頻能量按照預定規則確定當前發言人；組合模塊402，用於將比較模塊401確定的所述當前發言人作為突出顯示對象，重新組合發言人的視頻實時數據；發送模塊403，用於將組合模塊402重新組合的視頻實時數據發送給會議終端。
其中，組合模塊402重新組合發言人的視頻實時數據的具體過程可以為以下幾種1)為了達到圖5所示效果，從視頻實時數據中選取比較模塊301找出的當前方言人對應的視頻實時數據，將當前發言人的視頻實時數據作為新的視頻實時數據；2)為了達到圖6所示效果，對當前發言人的視頻實時數據進行擴展放大，將其他發言人的視頻實時數據和擴展放大後的當前發言人的視頻實時數據組合成新的視頻實時數據；3)為了達到圖7所示效果，變換當前發言人的視頻實時數據對應的邊框數據，以達到區別其他發言人的邊框數據為準，或者在當前發言人的視頻實時數據中增加①對應的數據等，也可以將當前發言人的視頻實時數據中的背景數據換為其他顏色對應的數據，將變換後的當前發言的視頻實時數據與其他發言人的視頻實時數據組合成新的視頻實時數據。
上述比較模塊401具體包括計算單元，用於計算發言人的音頻能量；比較單元，用於依據各個發言人的音頻能量按照預定規則確定當前發言人，所述預定規則為將各發言人中音頻能量最大的發言人作為當前發言人，或將各發言人中音頻能量超過預先設定的閥值的發言人作為當前發言人。
參見圖11，本發明一種會議終端的實施例具體包括比較模塊501，用於根據發言人的音頻實時數據計算該發言人的音頻能量，依據各個發言人的音頻能量按照預定規則確定當前發言人；組合模塊502，用於將比較模塊501確定的當前發言人作為突出顯示對象，重新組合發言人的視頻實時數據；顯示模塊503，用於以視頻畫面的形式顯示組合模塊502中重新組合後的視頻實時數據。
其中，比較模塊502具體包括計算單元，用於計算發言人的音頻能量；比較單元，用於依據各個發言人的音頻能量按照預定規則確定當前發言人，所述預定規則為將各發言人中音頻能量最大的發言人作為當前發言人，或將各發言人中音頻能量超過預先設定的閥值的發言人作為當前發言人。
本發明實施例可以利用軟體實現，相應的軟體可以存儲在可讀取的存儲介質中，如計算機或伺服器的硬碟中。
本發明實施例通過找出視頻會議的當前發言人並突出顯示其視頻畫面，有助於與會人員全面準確地理解發言人的發言內容，且避免了與會人員多次查找才能定位當前發言人，使用起來更加方便；當前發言人的視頻畫面可以以與會人員感興趣的方式突出顯示，提高了應用的靈活性。
以上所述僅為本發明的較佳實施例，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種視頻會議中顯示發言人的方法，其特徵在於，所述方法包括視頻會議中，依據發言人的音頻能量按照預定規則確定當前發言人；突出顯示所述當前發言人的視頻畫面。
2.根據權利要求1所述的視頻會議中顯示發言人的方法，其特徵在於，所述預定規則具體為將各個所述發言人中音頻能量最大的發言人作為所述當前發言人；或將各個所述發言人中音頻能量超過預先設定的閥值的發言人作為所述當前發言人。
3.根據權利要求1所述的視頻會議中顯示發言人的方法，其特徵在於，突出顯示所述當前發言人的視頻畫面的步驟具體為重新組合所述發言人的視頻實時數據，將所述當前發言人作為突出顯示對象；以視頻畫面的形式顯示重新組合後的所述視頻實時數據。
4.根據權利要求1至3中任一權利要求所述的視頻會議中顯示發言人的方法，其特徵在於，所述突出顯示的方式具體為只顯示所述當前發言人的視頻畫面；或以大於其他發言人視頻畫面的比例顯示所述當前發言人的視頻畫面；或用特殊標記顯示所述當前發言人的視頻畫面。
5.一種視頻會議中顯示發言人的系統，其特徵在於，所述系統包括會議媒體伺服器，用於根據發言人的音頻實時數據計算所述發言人的音頻能量，依據發言人的音頻能量按照預定規則確定當前發言人，重新組合發言人的視頻實時數據，將所述當前發言人作為突出顯示對象，並發送重新組合後的所述視頻實時數據；會議終端，用於接收所述會議媒體伺服器發送的視頻實時數據，並以視頻畫面的形式顯示所述視頻實時數據。
6.一種視頻會議中顯示發言人的系統，其特徵在於，所述系統包括會議媒體伺服器，用於轉發發言人的音頻實時數據和視頻實時數據；會議終端，用於接收所述會議媒體伺服器轉發的音頻實時數據和視頻實時數據，根據所述音頻實時數據計算每個發言人的音頻能量，依據發言人的音頻能量按照預定規則確定當前發言人，重新組合發言人的視頻實時數據，將所述當前發言人作為突出顯示對象，顯示重新組合後的所述視頻實時數據。
7.一種會議媒體伺服器，其特徵在於，所述會議媒體伺服器包括比較模塊，用於根據發言人的音頻實時數據計算所述發言人的音頻能量，依據各個發言人的音頻能量按照預定規則確定當前發言人；組合模塊，用於將所述比較模塊確定的所述當前發言人作為突出顯示對象，重新組合所述發言人的視頻實時數據；發送模塊，用於將所述組合模塊重新組合的視頻實時數據發送給會議終端。
8.根據權利要求7所述的會議媒體伺服器，其特徵在於，所述比較模塊具體包括計算單元，用於計算發言人的音頻能量；比較單元，用於依據各個發言人的音頻能量按照預定規則確定當前發言人，所述預定規則為將各發言人中音頻能量最大的發言人作為當前發言人，或將各發言人中音頻能量超過預先設定的閥值的發言人作為當前發言人。
9.一種會議終端，其特徵在於，所述會議終端包括比較模塊，用於根據發言人的音頻實時數據計算所述發言人的音頻能量，依據各個發言人的音頻能量按照預定規則確定當前發言人；組合模塊，用於將所述比較模塊確定的所述當前發言人作為突出顯示對象，重新組合所述發言人的視頻實時數據；顯示模塊，用於以視頻畫面的形式顯示所述組合模塊中重新組合後的視頻實時數據。
10.根據權利要求9所述的會議終端，其特徵在於，所述比較模塊具體包括計算單元，用於計算發言人的音頻能量；比較單元，用於依據各個發言人的音頻能量按照預定規則確定當前發言人，所述預定規則為將各發言人中音頻能量最大的發言人作為當前發言人，或將各發言人中音頻能量超過預先設定的閥值的發言人作為當前發言人。
全文摘要
本發明提供了一種視頻會議中顯示發言人的方法、系統、伺服器和終端，屬於通信領域。所述方法包括在視頻會議中，按照按照發言人的音頻能量的大小找出當前發言人，並將當前發言人的視頻畫面突出顯示。所述系統包括會議媒體伺服器和會議終端。本發明提供了一種會議媒體伺服器，具體包括比較模塊、組合模塊和發送模塊。本發明還提供了一種會議終端，具體包括比較模塊、組合模塊和顯示模塊。本發明通過突出顯示當前發言人的視頻畫面，使與會人員更清楚地看到發言人的神態和身體語言，增強了視頻會議的溝通效果。
文檔編號H04N7/15GK101080000SQ20071013032
公開日2007年11月28日 申請日期2007年7月17日 優先權日2007年7月17日
發明者馬樟平, 李久, 劉泳 申請人:華為技術有限公司