一種實現多畫面的方法
2023-04-26 11:20:01
專利名稱：一種實現多畫面的方法
技術領域：
本發明涉及多媒體會議電視技術，特別是涉及一種實現多畫面的方法。
背景技術：
在會議電視中，一般都有多方參加，在以前的會議電視中，由於沒有多畫面技術，參會的一方只能看到另外一方的圖像，這樣就在一定程度上降低了會議電視的直觀性，使得參會方感覺自己和其他所有參會方的交流不是面對面的。所以，如何在一個顯示屏上看見多個參會方圖像的多畫面技術對於提高會議電視的性能，滿足用戶的需求是非常重要的。
現有技術中的多畫面的傳輸方案一般包括以下兩種方法第一種方法首先由MCU(Multipoint Control Unit多點控制單元)對來自各個終端的視頻碼流進行解碼，得到相應的多路解出圖像；接著將各個解出圖像縮放成合適的尺寸並組合在一起；接著對組合圖像進行編碼，編碼後所得到的碼流被傳送給一個終端；最後該終端對組合圖像碼流解碼後所得到的解出圖像即為多畫面圖像。
第二種方法MCU對多路視頻碼流進行基於CPM(ContinuousPresence Multipoint and Video Multiplex多路視頻碼流復用)的復用傳輸方法，該方法是H.263標準建議的多畫面解決方法。在該方法中參與多畫面組合的各個終端所編出的子碼流被賦予一個用於區分彼此的標識，該標識被簡稱為「SBI」(Sub-Bitstream Indicator子碼流標識)，並被插入子碼流的圖像頭或GOB(Group of Blocks宏塊組)頭中。
在第二種方法中，MCU並不對視頻子碼流進行解碼，而只是將各路子碼流以GOB或幀為單位組合在一起，形成多路複合碼流，接收到多路複合碼流的終端根據各個圖像頭或GOB頭中的SBI標識將複合碼流中的各路子碼流加以區分，並分別予以解碼，最後將各路子碼流的解出圖像組合起來顯示，於是得到了多畫面圖像。
然而，上述現有技術卻存在許多缺點，具體如下第一種方法雖然可以實現儘可能多個子畫面的組合，但是其成本高昂，需要在MCU側開銷大量的運算能力、內存等資源。而第二種方法雖然成本低廉，但是，由於H.263語法規定其SBI標識只有2個比特(BIT)，對於二進位算法而言，該SBI標識只能代表4個不同的值，因此第二種方法最多只能組合4路碼流，也即，該方法最多只能支持4個子畫面的組合。
發明內容
本發明提供一種實現多畫面的方法，以解決現有技術中不能既成本低又能實現多於四路多畫面的問題。
為解決上述問題，本發明提供如下技術方案一種實現多畫面的方法，包含以下步驟a、MCU為各個終端生成一個包含有多畫面信息的標識，並將該標識發送至各個終端；b、各個終端接收所述標識，根據多畫面信息標識中的信息對源圖像進行編碼並將該多畫面信息標識插入子碼流發送至MCU；c、MCU收到各個終端的子碼流，組合成複合碼流，發送給顯示終端；d、顯示終端接收複合碼流，從中取出各路子碼流，根據各路子碼流的多畫面信息標識，對各路子碼流進行解碼並將解出的多個子畫面組合成多畫面圖像輸出。
其中，所述的標識是指包含有多畫面模式、子畫面位置、尺寸和格式信息的ESBI(Extended Sub-Bitstream Indicator擴展的子碼流標識)。
所述的步驟b中將該多畫面信息標識插入子碼流更具體是指如果MCU組合各路子碼流時是以幀為單位，則將該多畫面信息標識插入子碼流的圖像頭中，如果MCU組合各路子碼流時是以GOB為單位，則將該多畫面信息標識同時插入子碼流的圖像頭和GOB頭中。
所述的步驟b中根據多畫面信息標識中的信息對源圖像進行編碼具體是指按照該多畫面信息標識包含的子畫面尺寸、格式信息對源圖像進行編碼。
所述的步驟c中組合成複合碼流更具體是指以幀或GOB為單位組合成複合碼流。
所述的步驟d中從中取出各路子碼流更具體是指以幀或GOB為單位從複合碼流中取出各路子碼流。
所述的步驟d中根據各路子碼流的多畫面信息標識更具體是指如果MCU組合各路子碼流時是以幀為單位，則是根據各路子碼流的圖像頭中的多畫面信息標識，如果MCU組合各路子碼流時是以GOB為單位，則是根據各路子碼流的圖像頭和GOB頭中的多畫面信息標識。
本發明通過對H.263建議的CPM/SBI語法進行了擴展，使得多畫面信息標識的長度更長，而可以負載更多的信息，從而使得MCU在無需對視頻碼流進行解碼和再編碼的情況下，能夠實現儘可能多的子畫面碼流的傳輸和組合顯示，而子畫面的解碼和組合完全在終端上進行。本發明的優點在於一方面降低了成本，另一方面大大擴展了多畫面傳輸和組合能力，能夠實現儘可能多的子畫面的傳輸與組合。
圖1為本發明實施例的系統架構示意圖；圖2A為本發明實施例終端顯示的2畫面模式示意圖；圖2B為本發明實施例終端顯示的3畫面模式示意圖；圖2C為本發明實施例終端顯示的4畫面模式示意圖；圖2D為本發明實施例終端顯示的6畫面模式示意圖；
圖3為本發明實施例的方法流程圖；圖4為本發明實施例ESBI標識的比特域的字節劃分示意圖。
具體實現方式如圖1所示，本發明實施例的系統是目前使用廣泛的基於H.320和H.323標準的會議電視系統，該會議電視系統由6個終端、一個MCU、一個顯示終端組成，通過傳輸網絡如ISDN(Integrated ServicesDigital Network綜合服務數字網)或LAN(Local Area Network區域網)等，將MCU、6個終端、顯示終端連接起來。本會議電視系統需要將來自6個終端的子畫面通過MCU傳輸，在顯示終端輸出組合後的多畫面。
假設本實施例的會議電視系統所使用的產品可以實現4種模式的多畫面，如圖2A、2B、2C、2D所示，其中各子畫面左上角的數字即該子畫面的子畫面號，當前的會議電視系統使用的多畫面模式為6畫面模式，如圖2D所示。
如圖3所示，本發明實施例所述的一種基於擴展CPM語法的實現多畫面的方法，具體包括以下步驟第一、MCU為各個終端生成一個包含有多畫面模式、子畫面位置、尺寸和格式信息的ESBI標識，並將該ESBI標識發送至各個終端。
在多畫面電視會議召開以前，需要確定ESBI標識的具體內容。本產品中由於只有4種多畫面模式，可在ESBI標識的比特域中提供2位長度用於表示多畫面模式；由於最大的子畫面號為5，用二進位表示為「101」，可在ESBI標識的比特域中提供3位長度用於表示子畫面號，3位長度可表示的最大子畫面號為7。
這樣ESBI比特域一共5比特長度，如圖4所示為本實施例的ESBI標識的比特域的字節劃分情況。
其中，多畫面模式的2比特長度可指定為如下含義「00」表示2畫面模式；「01」表示3畫面模式；
「10」表示4畫面模式；「11」表示6畫面模式。
子畫面號的3比特的長度的情況比較複雜，需要和多畫面模式配合才可得到子畫面的顯示位置、尺寸和格式，當前多畫面模式為6畫面模式，即其比特域為「11」時，多畫面圖像為CIF(CommonIntermediate Format通用中間格式)格式的圖像，其解析度的象素為(352×288)，則可指定子畫面號的比特域為如下含義「000」表示子畫面的顯示位置為((0，0))，格式為(CIF，120×96)；「001」表示子畫面的顯示位置為((120，0))，格式為(CIF，112×96)；「010」表示子畫面的顯示位置為((232，0))，格式為(CIF，120×96)；「011」表示子畫面的顯示位置為((0，96))，格式為(CIF，120×96)；「100」表示子畫面的顯示位置為((120，96))，格式為(CIF，232×192)；「101」表示子畫面的顯示位置為((0，192))，格式為(CIF，120×96)；「110」和″111″表示為無效值。
MCU將上述的5比特長度的ESBI標識發送給各個終端，這些ESBI標識都是唯一的，各個終端得到的ESBI標識分別為終端1(″11，000″)；終端2(″11，001″)；終端3(″11，010″)；終端4(″11，011″)；終端5(″11，100″)；終端6(″11，101″)。
第二、各個終端接收該ESBI標識，將其源圖像按照該ESBI標識包含的子畫面尺寸、格式信息進行編碼後，將該ESBI標識插入子碼流發送至MCU。
以終端1為例，終端1接收到ESBI標識「11，000」，按照該ESBI標識包含的子畫面尺寸、格式信息，「(CIF，120×96)」，將其源圖像縮放成尺寸為120×96像素的圖像並進行編碼成子碼流1，假設MCU對各個子碼流的組合是以GOB為單位的，並將該ESBI標識插入到子碼流1的圖像頭和GOB頭中。
其他各個終端和終端1類似。
第三、MCU收到各個終端的子碼流，組合成複合碼流，發送給顯示終端。
MCU收到6個終端的子碼流1-6後，不須對碼流進行解碼，只需將各個子碼流以GOB為單位組合成複合碼流，並發送給顯示終端。
第四、顯示終端接收複合碼流，從中取出各路子碼流，根據各路子碼流的ESBI標識，得到當前的多畫面模式、各子畫面位置和格式，完成各個子碼流的解碼，並將解出的多個子畫面組合成為所需的多畫面圖像輸出。
顯示終端收到該複合碼流後，以GOB為單位取出各路子碼流，並分解各路子碼流的ESBI標識，如子碼流1而言，可從中分解其ESBI標識「11,000」，從而得到當前的多畫面模式為6畫面模式，子碼流1對應的子畫面0的位置為「(0，0)」，子畫面0的格式為「(CIF，120×96)」。
顯示終端繼續完成各路子碼流1-6的解碼，得到相應的子畫面0-5，然後將解出的各個子畫面組合成如圖2D所示的多畫面輸出顯示。
上述實施例ESBI標識中的5比特長度和指定的各個字節的含義僅僅只是一種示例，不能用來限制本發明的保護範圍。
權利要求
1.一種實現多畫面的方法，其特徵在於，該方法包含以下步驟a、MCU為各個終端生成一個包含有多畫面信息的標識，並將該標識發送至各個終端；b、各個終端接收所述標識，根據多畫面信息標識中的信息對源圖像進行編碼並將該多畫面信息標識插入子碼流發送至MCU；c、MCU收到各個終端的子碼流，組合成複合碼流，發送給顯示終端；d、顯示終端接收複合碼流，從中取出各路子碼流，根據各路子碼流的多畫面信息標識，對各路子碼流進行解碼並將解出的多個子畫面組合成多畫面圖像輸出。
2.如權利要求1所述的一種實現多畫面的方法，其特徵在於，所述的多畫面信息標識是指包含有多畫面模式、子畫面位置、尺寸和格式信息的ESBI。
3.如權利要求2所述的一種實現多畫面的方法，其特徵在於，所述的ESBI長度大於2個比特。
4.如權利要求1所述的一種實現多畫面的方法，其特徵在於，所述的步驟b中根據多畫面信息標識中的信息對源圖像進行編碼具體是指按照該多畫面信息標識包含的子畫面尺寸、格式信息對源圖像進行編碼。
5.如權利要求1所述的一種實現多畫面的方法，其特徵在於，所述的步驟b中將該ESBI標識插入子碼流更具體是指如果MCU組合各路子碼流時是以幀為單位，則將該ESBI標識插入子碼流的圖像頭中，如果MCU組合各路子碼流時是以GOB為單位，則將該ESBI標識同時插入子碼流的圖像頭和GOB頭中。
6.如權利要求1所述的一種實現多畫面的方法，其特徵在於，所述的步驟c中組合成複合碼流更具體是指以幀或GOB為單位組合成複合碼流。
7.如權利要求1所述的一種實現多畫面的方法，其特徵在於，所述的步驟d中從中取出各路子碼流更具體是指以幀或GOB為單位從複合碼流中取出各路子碼流。
8.如權利要求1所述的一種基於擴展CPM語法的多畫面實現方法，其特徵在於，所述的步驟d中根據各路子碼流的多畫面信息標識更具體是指如果MCU組合各路子碼流時是以幀為單位，則是根據各路子碼流的圖像頭中的多畫面信息標識，如果MCU組合各路子碼流時是以GOB為單位，則是根據各路子碼流的圖像頭和GOB頭中的多畫面信息標識。
全文摘要
本發明提出了一種實現多畫面的方法，包含以下步驟a.MCU為各個終端生成一個包含有多畫面信息的標識，並將該標識發送至各個終端；b.各個終端接收所述標識，根據多畫面信息標識中的信息對源圖像進行編碼並將該多畫面信息標識插入子碼流發送至MCU；c.MCU收到各個終端的子碼流，組合成複合碼流，發送給顯示終端；d.顯示終端接收複合碼流，從中取出各路子碼流，根據各路子碼流的多畫面信息標識，對各路子碼流進行解碼並將解出的多個子畫面組合成多畫面圖像輸出。其既降低了成本，又擴展了多畫面傳輸和組合能力，能夠實現多子畫面的傳輸與組合。
文檔編號H04N7/15GK1571508SQ0317839
公開日2005年1月26日 申請日期2003年7月19日 優先權日2003年7月19日
發明者王靜, 汪小榮, 魏小霞, 郭戈 申請人:華為技術有限公司