用於低延遲視頻混合的方法和系統的製作方法

2023-05-25 07:33:41

專利名稱：用於低延遲視頻混合的方法和系統的製作方法
技術領域：
本發明涉及實時敏感通信系統中的視頻混合器，例如用於視頻會議系統的多點控制單元(MCUs)，以及涉及構成逆混合處理的畫面分解系統和方法。
背景技術：
傳統地，視頻會議端點設計為以點對點方式連接到另一遠程視頻會議端點。如圖1中所描述的，發送端點102包括例如照相機的動態視頻源101和編碼器103，該編碼器用於將來自視頻源的視頻圖像編碼為視頻壓縮流。然後，該視頻壓縮流通過網絡接口104由網絡105發送到單個接收端點106。接收端點106包括網絡接口107、解碼器108和顯示設備109。編碼器103和解碼器108通常遵照一個已知的視頻壓縮格式，如H.264。這樣，接收端點顯示發送端點的運動視頻源的信息。
為了允許多點視頻會議，使用了所謂的多點控制單元(MCUs)。MCUs保持端點體系結構簡單，並將所有多點功能性移入到核心網絡中，這在傳統上存在於音頻會議情況中。MCU包括一個或多個MCU網絡接口、控制協議實施、多個音頻混合器、多個視頻轉換開關或多個視頻混合器、或開關與混合器的組合。對於連續存在的MCUs，不使用視頻轉換開關。
圖2描述了現有技術的多點視頻會議系統。如圖所示，多個發送端點201、202使用視頻源、編碼器和網絡接口將多個壓縮視頻流傳送到MCU 203。在MCU 203內部，MCU網絡接口204將輸入壓縮視頻流傳送到視頻混合器205，從而使輸入壓縮視頻流組合以形成單個輸出壓縮視頻流。輸出壓縮視頻流通過另一MCU網絡接口206傳送到接收端點207。
MCU可能具有許多的獨立視頻混合器208，以便將多個輸出壓縮視頻流傳送到多個接收端點。如果接收端點接收了相同的輸出壓縮視頻流，則每個接收端點將顯示同樣組的處理過的輸入視頻流。
圖3示出了現有技術的視頻混合器。如圖所示，每個輸入壓縮視頻流301、302分別在解碼器303、304中重建。每個重建的視頻流形成了解壓縮的圖像序列305、306。每個解壓縮的圖像序列包括以固定或可變幀速率的單獨畫面307、308，該幀速率通常與發送端點的發送幀速率相同。每個圖像序列中的單獨畫面由縮放/剪裁機構309、310縮放和剪裁，以形成處理過的圖像序列311、312。以這樣一種方式執行縮放和剪裁，即，不同的處理的圖像序列中的單獨畫面可以按時間(time-wise)對應方式排列，以佔據輸出圖像序列中相應畫面的不同空間區域。在圖3中，作為一個例子，第一圖像序列305按X和Y兩維中的因子而縮小，而第二圖像序列306主要是被剪裁。處理的圖像序列311、312被組合，以按照配置信息314通過圖像組合模塊313形成輸出圖像序列315。用於處理的圖像序列311、312中畫面的空間排列的配置信息314通常在會議期間是靜態的。靜態配置信息由用戶接口來控制。也可以採用允許例如ITU-TRec.T.120的框架中動態重建的機制。
應當注意，輸出圖像序列中單獨畫面的空間區域可以小於、等於或大於任一單獨畫面307、308的空間區域。空間關係一般依賴於接收端點和它們的網絡連通性的能力。在一些現有技術的視頻混合器中，允許不同輸入序列中單獨圖像的重疊。而在另一些中，則不允許這種重疊。
還應當注意，視頻混合器可以不依賴於輸入視頻流的幀速率來選擇用於輸出圖像序列的幀速率。該輸出幀速率可依據應用的需要，為常量或變量。大多數現有技術的視頻混合器都包含有處理不同輸入幀速率和不同步輸入視頻流的機構。例如，在輸出視頻序列的合成期間，一個輸入圖像序列中的單獨畫面可能會缺失，這一失去的畫面在視頻混合器中可以通過複製或外推法從一個或多個之前的單獨畫面產生。
使用普遍已知的視頻壓縮格式之一，如H.264，在編碼器316中，將輸出圖像序列315壓縮為輸出壓縮視頻流317。如圖2中所示，輸出壓縮視頻流通過MCU網絡接口和網絡傳送，然後到接收端點，在此重建並顯示。使用視頻混合，用戶可以看到來自幾個發送端點的兩個或多個視頻流的組合，而不需在接收端點附加功能。
如上所述，MCU中的視頻混合技術需要一系列的解碼步驟，其中將輸入壓縮視頻流通過一個或多個解碼器重建到空間域中，以便能夠在空間域中執行縮放、剪裁和組合步驟，從而形成組合的圖像序列。然後，組合的圖像序列在編碼器中壓縮，形成輸出視頻流。這些解碼和重編碼步驟使得在壓縮視頻流的發送與接收之間產生了延遲。
壓縮域中的視頻混合和處理可以減少延遲和圖像質量下降。Zhu等人(美國專利號6,285,661)披露了一種用於多點視頻會議的低延遲、實時數字視頻混合技術。如Zhu等人中所披露的，在MCU中使用了多個分段處理器，以從相應的多個輸入壓縮視頻流中抽取分段數據。使用多個數據隊列來存儲由分段處理器提供的分段數據，以便可以使用數據組合器來提供由控制器選擇性地提供的輸出數據。根據Zhu等人所述，視頻混合技術使用H.261標準的通用中間格式(CIF)，其中將CIF畫面分割成十二個塊組(GOB)。每個GOB包括多個數據宏塊(macroblock)。Zhu等人還使用了四分之一CIF(QCIF)格式，其中將畫面分割成三個塊組。Chen等人(美國專利號5,453,780)披露了一種在壓縮域中組合四個QCIF視頻輸入信號以產生合併CIF視頻輸出信號的方法。Yona等人(美國專利公開2003/0123537A1)披露了一種壓縮域混合技術，其中使用了宏塊地址修補法和流水線技術。Chen等人(美國專利號5,917,830)披露了一種用於接合壓縮、分包數字視頻流的技術。

發明內容
本發明提供了一種系統和方法，用於在壓縮域中空間地混合幾個視頻位流，並在壓縮域中將視頻位流分解為幾個視頻位流。
在本發明的一個實施例中，多個發送端點從多個源畫面流中產生接收端點所要求的空間解析度的多個位流。每個位流必須以這種方式從相應的源畫面流中產生，即，沒有運動矢量指向源畫面流中任一源畫面的空間區域的外部，並且根據所採用的視頻壓縮技術，它們還遵循其他約束(例如，使用ITU-T Rec.H.264適用視頻編碼所大致要求的這些約束)。位流通過網絡傳送到視頻混合器，典型地，該視頻混合器是MCU的一部分。MCU可以位於核心網絡中，或者位於接收端點中。在視頻混合器中，使用根據所採用視頻壓縮標準的空間片(slice)組分配方案，將多個宏塊空間地分配到它們在接收端點的重建畫面中的希望的位置。視頻混合器從多個輸入流的每個中取出編碼輸入畫面，以及修正輸入編碼畫面的識別和空間信息，以便連結並組合編碼輸入畫面，以形成單個輸出編碼畫面。最終，該輸出編碼畫面發送到接收端點用於重建。
在本發明的另一實施例中，MCU使用多個混合器，以將多個輸入流組合成多個輸出流。在MCU中，每個混合器將多個輸入流中的一個或多個混合得到恰好一個輸出視頻流。多個混合器中的每個都具有本地配置信息，用於映射多個空間區域，其指示放置輸入流的空間位置。這樣允許用戶根據他們自己的、獨立的配置，在接收終端觀看由MCU提供的流上的畫面。這個實施例可能需要發送端點以不同的空間解析度產生同一捕獲圖像的不止一個表示，以便滿足混合器配置信息的需要。本發明的這一實施例涉及同時聯播(simulcast)技術。
在本發明不同實施例中，MCU還包括分解系統。如上所述，該分解系統可以從產生混合視頻流的另一個MCU的輸出接收它的輸入流。該分解系統將輸入混合流分解成多個輸出分解流。這些輸出分解流可以用作MCU中混合器的輸入流。本發明的這一實施例涉及級聯MCU技術。
在本發明再一實施例中，視頻混合器是端點的一部分。視頻混合器的輸入流從網絡接口或者從多路復用器接收。視頻混合器的輸出流連接到網絡接口或者多路復用器和/或連接到端點的視頻解碼子系統。本發明的這一實施例涉及基於端點的MCU功能性。
可能，分解系統不是MCU的一部分，但是其是實現例如實時視頻編輯表的不同功能性的系統的一部分。
還可能，混合器不是MCU的一部分或者視頻會議端點的一部分，但是其是實現例如實時視頻編輯表的不同功能性的系統的一部分。
由此，本發明的第一方面提供了一種在壓縮域中的視頻混合方法，用於將多個第一視頻位流組合成至少一個具有多個幀的第二視頻位流，每個第一位流具有多個相應的幀。該方法包括將每個第一視頻位流劃分成多個片，每個片具有包括多個頭欄位的片頭；改變片頭中多個頭欄位中的一個或多個，用於在至少一些片中提供改變的片頭；為所述至少一些片的每一個提供改變的片；以及根據改變的片，產生第二視頻位流，其中在第二視頻位流中的每幀中使用的改變的片對應於在第一視頻位流中多個相應幀中的相同幀。
根據本發明，所述多個頭欄位中的一個或多個包括frame_num頭欄位。
根據本發明，所述多個頭欄位中的一個或多個包括first_mb_in_slice頭欄位，並且first_mb_in_slice具有指示在第一視頻位流的空間表示中所述每個片在空間區域中的位置的值。
根據本發明，通過將所述first_mb_in_slice的值改變為指示相應的改變的片在第二視頻位流的空間表示中的空間區域中的位置的新值，來改變該first_mb_in_slice頭欄位。
根據本發明，所述first_mb_in_slice的新值如下計算
tirst_mb_in_slice＝ypos*xsize_o+(mbpos_i/xsize_i)*xsize_o+xpos+(mbpos_i％xsize_i)其中/表示截斷除法(division by truncation)；％表示取模運算符；xsize_i表示第一視頻位流的空間表示中空間區域的水平尺寸；xsize_o表示第二視頻位流的空間表示中空間區域的水平尺寸；xpos、ypos表示第二視頻位流的空間表示中的、用於放置第一視頻位流的空間表示中的所述空間區域的位置的坐標；以及mbpos_i表示所述first_mb_in_slice的值。
根據本發明，該方法進一步包括轉換第二視頻位流，用於提供第二視頻位流的空間表示。
根據本發明，該方法進一步包括識別第一視頻位流中的片，以便允許將相同幀中的改變的片組合為第二位流中的一個幀。
根據本發明，一個或多個第一視頻位流包括由多個另外的視頻位流構成的混合位流。該方法進一步包括分解混合位流，用於提供多個分量(component)視頻位流，每個分量視頻位流對應於該另外的視頻位流中的一個，以便允許分量視頻位流與一個或多個其他的第一視頻位流組合，用於產生第二視頻位流。
根據本發明，所述產生包括將所述多個第一視頻位流中至少一個的多個片映射到第二視頻位流的空間表示中多個不重疊矩形區域中的至少一個。
根據本發明，所述第一和第二視頻位流遵照H.264標準，並且所述映射基於H.264的片組概念。
可選地，所述第一和第二視頻位流遵照H.263，其中支持片結構模式(SSM，在Annex K中定義)、子模式矩形片，並支持獨立分段解碼模式(ISM，在Annex R中定義)；使用S SM機構，將所述多個第一位流中的至少一個的多個片映射到所述重建第二位流中多個不重疊矩形空間區域中的至少一個。
本發明的第二方面提供了一種用於壓縮域中視頻混合的方法，用於將多個第一視頻位流組合成至少一個第二視頻位流，每個第一視頻位流和第二視頻位流具有相等的空間表示，其中第二視頻位流包括多個第二片，每個第二片具有包括多個頭欄位的片頭，並且其中每個第一視頻位流包括多個第一片，每個第一片具有包括多個頭欄位的片頭。該方法包括以下步驟解析第一片的片頭，用於獲得多個頭欄位中的值，其中一個值指示相應第一視頻位流的空間表示中的空間區域；修改所述一個值，用於提供指示第二視頻位流的空間表示中空間區域的新值；根據新值產生新片頭，用於提供修改的第一片；以及將第一視頻位流組合成所述一個第二視頻位流，使得根據每個第一視頻位流的修改的第一片來構成第二視頻位流中的每個第二片。
根據本發明，所述一個值是first_mb_in_slice，指示第一片在相應第一視頻流的空間表示中的空間區域中的位置，first_mb_in_slice的新值如下計算first_mb_in_slice＝ypos*xsize_o+(mbpos_i/xsize_i)*xsize_o+xpos+(mbpos_i％xsize_i)其中/表示截斷除法；％表示取模運算符；xsize_i表示第一視頻位流的空間表示中的空間區域的水平尺寸；xsize_o表示第二視頻位流的空間表示中的空間區域的水平尺寸；xpos、ypos表示第二視頻位流的空間表示中、用於放置第一視頻位流的空間表示中的所述空間區域的位置的坐標；以及mbpos i表示所述first_mb_in_slice的值。
根據本發明，一個或多個第一視頻位流包括由多個另外的視頻位流構成的混合位流。該方法進一步包括以下步驟分解混合位流，用於提供多個分量視頻位流，每個分量視頻位流對應於該另外的視頻位流中的一個，以便允許分量視頻位流與一個或多個其他的第一視頻位流組合，用於產生第二視頻位流。
本發明的第三方面提供一種視頻混合器，可操作地連接到多個發送端點，以從其接收多個第一視頻位流，用於在壓縮域中將多個第一視頻位流組合成至少一個具有多個幀的第二視頻位流，每個第一位流具有在多個相應的幀中的多個片，每個片具有包括多個頭欄位的片頭。該混合器包括用於改變片頭中多個頭欄位中的一個或多個的機構，用於根據改變的一個或多個頭欄位，提供至少一些片中的改變的片；以及用於組合改變的片的機構，用於提供第二視頻位流，其中在第二視頻位流中每幀中使用的改變的片對應於在第一視頻位流中多個相應幀中的相同幀。
根據本發明，所述多個頭欄位中的一個或多個包括first_mb_in_slice頭欄位，並且其中first_mb_in_slice具有指示所述片在第一視頻位流的空間表示中的空間區域中的位置的值；通過將所述first_mb_in_slice的值改變為指示所述改變的片在第二視頻位流的空間表示中的空間區域中的位置的新值，來改變該first_mb_in_slice頭欄位；以及所述first_mb_in_slice的新值如下計算first_mb_in_slice＝ypos*xsize_o+(mbpos_i/xsize_i)*xsize_o+xpos+(mbpos_i％xsize_i)其中/表示截斷除法；％表示取模運算符；xsize_i表示第一視頻位流的空間表示中的空間區域的水平尺寸；xsize_o表示第二視頻位流的空間表示中的空間區域的水平尺寸；xpos、ypos表示在第二視頻位流的空間表示中的、用於放置第一視頻位流的空間表示中的所述空間區域的位置的坐標；以及mbpos_i表示所述first_mb_in_slice的值。
根據本發明，所述組合包括將所述多個第一視頻位流中至少一個的多個片映射到第二視頻位流的空間表示中多個不重疊矩形區域中的至少一個。
本發明的第四方面提供一種支持如權利要求1所要求的方法的通信網絡中使用的信號發送方法，其中通信網絡包括提供多個第一視頻位流的多個發送端點以及接收所述至少一個第二視頻位流的至少一個接收端點。該信號發送方法包括以下步驟-步驟1商定由接收端點和發送端點使用的畫面格式；-步驟2向接收端點發送控制信息，以使接收端點準備接收所述第二視頻位流。
根據本發明，步驟1中的所述商定包括-產生針對接收端點的畫面格式布局；-根據針對多個發送端點中每一個的所述布局，識別至少一個畫面格式；以及-將針對多個發送端點中每一個的所述識別的畫面格式通知多個發送端點。
根據本發明，步驟1中的所述商定進一步包括響應於所述通知，從多個發送端點中的每一個接收一個商定的畫面格式；以及多個發送端點中的每一個均提供包含指示所述一個商定的畫面格式的信息的參數集，以及其中步驟2中的所述發送進一步包括以下步驟-根據由多個發送端點中的每一個提供的所述信息，產生輸出參數集，以便根據該輸出參數集，向接收端點提供控制信息。
通過結合附圖4-7，閱讀說明書，本發明將變得更易理解。


圖1示出了現有技術的點對點視頻會議系統；圖2示出了現有技術的多點視頻會議系統；圖3是顯示了現有技術多點視頻會議系統中的視頻混合處理的示意性表示；圖4是顯示了根據本發明多點視頻會議系統中的視頻混合處理的框圖；圖5是描述了根據本發明的混合操作的流程圖；圖6是示出了根據本發明在發送端點、混合器和接收端點之間發送信號和啟動過程中的事件序列的協議圖；圖7是顯示了用於級聯MU配置中視頻流分解的系統的示意性表示。
具體實施例方式
在本發明的一個實施例中，使用視頻混合器，將遵照ITU-TRec.H.264基線類(baseline profile)的多個輸入視頻位流混合成一個位流，該位流也遵照ITU-T Rec.H.264基線類。例如，參考圖4，在三個不同位置，由三個不同端點401、402、403，獨立地產生三個壓縮視頻流411、412、413。三個視頻位流411、412、413的空間表示可以彼此不同。在這個例子中，第一端點401發送視頻位流411，其中空間表示比其他端點412、412的視頻位流412、413中的空間表示寬兩倍。但是，每個位流411、412、413中的空間表示的高度相同。注意，視頻位流可以根據例如ITU-T Rec.H.264基線類壓縮。這樣，空間表示的屬性僅以壓縮形式可用。三個視頻位流411、412、413在壓縮域中由視頻混合器420混合，以形成輸出壓縮視頻位流430。輸出壓縮視頻位流430可以包含來自所有三個輸入位流411、412、413的信息。例如，輸入位流411的空間表示呈現在輸出位流430的空間表示的下半部。為了在輸出視頻位流中獲得這樣的空間表示，輸入視頻位流的空間表示就應當具有這樣的尺寸，即，它們空間地適合輸出位流的空間表示。輸出視頻位流中分量空間表示的重疊是基於宏塊的，而不是基於逐個像素確定的。這個實施例使用了ITU-T Rec.H.264基線類，其中宏塊尺寸為16×16像素。這樣，輸入畫面的每個空間區域置於可由16劃分的像素位中。
根據這一實施例，視頻混合需要對輸入視頻信號的產生和傳輸設置一些約束。這些約束中的一部分可在其他實施例中放寬，但是約束的放寬可能會增加實施和計算的複雜性。
應當理解，在這個實施例中，術語「遵照H.264的視頻位流」意味著無差錯傳輸。這樣，在基線類中，對於從輸入流接收的每個畫面，frame_num增加一，並且每個畫面的每個宏塊恰好在一個片中顯示。這一實施例進一步需要來自每個輸入位流的固定的、不變的和相同的畫面速率；並且，除了一個初始的瞬時解碼器刷新(IDR)畫面之外，在H.264的子目8.2.1和相關子目的意義上，輸入位流不包括IDR畫面。該初始IDR畫面是在每個子畫面中傳輸的第一畫面。此外，這一實施例需要這種IDR畫面以這樣一種時間到達，即，它們能夠混合成單個輸出IDR畫面。應當注意，對約束的這些要求通常例如可在基於高寬帶、ISDN的視頻會議的媒體中得到滿足。
輸入位流其他前提包括如下進一步的限定a)參數集信息A1)所有輸入流的所有片頭僅參考單個畫面參數集，在所有的片頭中使用相同的pic_parameter_set_idA2)參考的畫面參數集在所有它們的值上都是相同的，附加的約束將在下面A3至A5中提及A3)在畫面參數集中，pic_order_present_flag為OFFA4)在畫面參數集中，num_slice_groups_minus 1為0A5)在畫面參數集中，deblocking_filter_control_present_flag為ONA6)所參考的序列參數集是相同的，例外和約束將在下面A7至A9中提及A7)pic_order_cnt_type為2
A8)pic_widths_in_mbs_minus1設置為按照H.264的宏塊單元中畫面的寬度A9)pic_height_in_map_units_minus 1設置為按照H.264的宏塊單元中畫面的高度b)NAL(網絡抽象層)單元頭信息——以下將關注類型1的NAL單元在片頭方面進行修改並轉發，其他方面不改變。類型5的NAL單元(IDR)需要一些特別的信號發送，其他方面的處理與類型1的NAL單元相同。類型6至12的NAL單元由混合器截取並本地處理。這種處理過程的結果可以是在輸出位流中產生類型6-12的NAL單元。在遵照H.264基線的流中所有其他的NAL單元類型都不會出現。
c)片頭信息C1)first_mb_in_slice必須遵照H.264。應當注意，first_mb_in_slice在混合處理期間修改，用來參考在新產生的混合畫面的片中第一宏塊的位置。
C2)片類型必須是0、2、5或7。應當注意，在混合處理期間，將片類型5和7分別轉換成片類型0和2。
C3)應當注意，在混合處理期間修改frame_num，使得混合畫面的所有子畫面都具有相同的frame_num。
C4)disable_deblocking_filter_idc必須為1(過濾器完全無效)或2(在片邊界處過濾器無效)。注意，這意味著上面A5的情況。
d)底層(宏塊)除了上述提及的那些，沒有其他限制。
e)VUI(視頻可用性信息)和HRD(假定參考解碼器)參數(序列參數集擴展)輸入位流可以將VUI和HRD信息包括在它們單個參考的序列參數集中。智能混合器的實施可以使用在這些數據結構中存在的一些值，但是在這一實施例中，由混合器產生的序列參數集不產生包含VUI和HRD信息的序列參數集擴展。
基本混合操作基本混合操作的以下描述假定，已經由混合器傳輸了參數集——後面將討論參數集的產生和發送。圖5中以流程圖的形式描述了基本混合操作。
如流程圖500中所示，每當來自輸入位流之一的NAL單元到達混合器時(步驟501)，如之前討論的那樣，混合器首先以特定的方式處理除1以外類型的NAL單元。如果nal_unit類型是1，那麼到達的是正常片，應當處理。
首先，解析片頭(步驟502)。存儲值用於進一步處理。假設所使用的變量名與依照H.264的7.3.3節中的描述的句法元素的變量名是相同的。還儲存不屬於片頭的第一句法元素的位精確位置。
如下計算first_mb_in_slice的新值(步驟503)令xsize_i為重建的輸入流空間區域的水平尺寸，以宏塊為單位測量(16像素)令xsize_o為所產生的混合流的空間區域的x水平尺寸，以宏塊為單位測量(16像素)令xpos、ypos分別為輸出流的空間表示中「窗口」的頂部、左側宏塊的x和y位置，輸入流的空間表示將複製到其中。
令mbpos_i為輸入位流中first_mb_in_slice之前的值。
下面，/符號表示截斷除法，％符號表示取模運算，∥符號後的文本行表示注釋(c++句法)first_mb_in_slice＝ypos*xsize_o+∥「窗口」上方行中的宏塊(mbpos_i/xsize_i)*xsize_o+ ∥「窗口」中的行xpos+ ∥「窗口」左邊的宏塊列(mbpos_i％xsize_i)； ∥「窗口」中的列將pic_parameter_set_id設置為0(步驟504)。
可通過例如軟體程序422(見圖4)計算first_mb_in_slice的新值。
將frame_num設置為適當的值(步驟505)。在這一實施例中，不考慮網絡層的定時信息和輸入位流的編碼器中最後的幀跳過。在這一實施例中，將frame_num設置為下一個輸出畫面的frame_num(在其他實施例中，frame_num可以設置為比輸出畫面的frame_num高的值；nal_unit可以在隊列中延遲，直到該發送它時為止)。
片頭的句法元素的所有其他值保持不變。
使用片頭句法元素的(修改)值，產生遵照H.264規範的新片頭(步驟506)。這個片頭與NAL單元的非片頭數據連結(步驟507)。在解析片頭期間，存儲這個非片頭數據的開始。如果需要在新產生的片的尾處填充，則可以根據H.264的句法規範執行(見H.264規範中的rbsp_slice_trailing_bits)。
應當注意，這一連結處理需要面向比特的操作，不過那些操作比需要將位流重建到它的空間域的操作，計算強度要小得多。
新產生的片保存在緩存器中，直到其能夠與帶有相同frame_num的其他片一起發出(508)。
還可使用混合器420中的軟體程序422(圖4)，在混合操作中執行一個或多個其他步驟。例如，軟體程序422還具有偽碼，用於解析片頭，並存儲片頭欄位中的值，用於進一步處理；設置frame_num並產生新的片頭。可以使用相同的軟體程序，將視頻位流劃分成片，修改頭欄位，並將多個輸入視頻流組合成輸出視頻流。信號發送、參數集的產生和操作為了符合這一實施例的位流的需要，除了點對點呼叫之外，還需要信號發送支持。此外，媒體流的啟動過程與點對點情況中的一個略有不同。在圖6中以協議圖的形式描述了信號發送和啟動過程，描述如下在信號發送數據路徑中1.接收端點和混合器商定接收畫面格式，使用例如offer-answer協議(步驟601)。
2.通過這個信息，以及來自用戶接口或會議配置協議或應用(例如CPCP(發展中的會議策略控制協議，網際網路草稿))的信息，混合器可以產生接收畫面格式的布局，因此也產生了來自發送終端的所需的輸入格式(步驟602)。使用普通的能力交換處理，將這些需要的畫面格式傳達到發送終端(步驟603)。注意，H.264需要發送者在最大支持格式下的支持畫面格式方面非常靈活。在同一步驟中，還需要通知發送終端，它們必須遵照上述的「前提」產生流。這一步驟使與信號發送協議相關的啟動結束。啟動的剩餘步驟在媒體級上處理，並僅在完成了信號發送級的操作之後才開始。
在媒體數據路徑中3.發送終端開始發送單個畫面和序列參數集(步驟604)。
4.根據接收的參數集和配置，混合器產生單個畫面參數集和單個序列參數集，包含與配置信息一致的片組映射。這些參數集發送到接收端點(步驟605)。此外，與凍結畫面請求(用於凍結標識，直到有意義的混合內容為可用)一起，要添加到混合畫面上的標識可以在含有該標識作為內容的IDR畫面中發送到接收端點(步驟605)。
5.如H.264所要求的那樣，發送終端將單個IDR畫面發送到混合器。IDR畫面的內容可以是隨機的——其不用於進一步的處理(步驟606)。
6.在虛擬IDR畫面之後，發送端點開始將內部(Intra)畫面發送到混合器(步驟607)。
7.一旦所有的端點都同步發送了內部畫面(在任一啟動或恆定網絡延遲之後)，混合器混合第一內部畫面，並將它發送到接收終端，同時釋放凍結畫面(步驟608)。
8.在預定時間周期之後，端點切換到發送正常的中間編碼畫面(步驟609)。在這一實施例中，預定時間周期為五秒。但是，一旦網絡條件的實驗結果為可用，這一時間周期可以顯著減少(也可以增加信號發送支持，使得端點向混合器報告它們已準備好了)。
9.混合器混合正常的中間編碼畫面，並將混合的正常畫面發送到接收端點(步驟610)。
10.從這點開始，會議進行，直到發送端點之一停止發送畫面，或者接收端點斷開連接。在兩種情況之一中，並在優選實施例中，混合器停止混合，會議終止。
第二實施例這一實施例與在可能有錯誤傾向的環境中非同步源的混合有關。當發送終端的幀速率不同時(例如，一些發送終端位於PAL(逐行倒相)域，而另一些位於NTSC(國家電視標準委員會)域)，或者當幀可跳過時，或者當傳輸中幀損壞或丟失時，會存在這種情況。混合處理要更複雜。
在這種環境中，在會議啟動期間，混合器必須將最大幀速率用信號通知接收終端，該幀速率等於或者高於由發送終端使用的速率中最高的幀速率。可替換地，在能力交換期間，混合器可以強制發送終端達到某一幀速率，該幀速率低於或者等於由接收端點支持的幀速率。
一旦建立起在幀速率方面，接收端點「快於」或者至少與「最快的」發送端點一樣「快」，混合處理就以通常的方式操作，除非混合器確定一個或多個輸入畫面是不可及時用於混合。畫面可能會遺失，因為a)畫面故意沒有由發送端點編碼(跳過的畫面)；b)由於發送端點的較低的幀速率，畫面沒有及時到達；或者c)畫面在傳輸中丟失了。通過混合器觀察片頭中的frame_num，可在輸入位流中區分情況(a)和(b)與情況(c)。
在情況(a)或(b)中，混合器將單個片引入混合畫面中，該混合畫面整體由以SKIP模式編碼的宏塊構成。這就強迫接收端點重新顯示與之前畫面中相同的內容。應當理解，對具有跳過的宏塊的單個片進行編碼不構成解碼步驟，並且計算簡單。替代地，混合器只是省略了發送沒有數據可用於其的宏塊。實際上，該省略將導致不兼容的位流，並在接收端點中引發誤差隱藏算法。通常在端點中實施誤差隱藏算法。
在情況(c)中，必須通知接收端點，如從接收端點所見(混合器的輸出畫面)，輸入畫面的一部分在傳輸中已丟失，並需要隱藏。當使用H.264作為視頻壓縮標準時，可以優選地如下執行，由混合器通過產生片，覆蓋沒有宏塊數據的適當空間區域，並將NAL單元頭中的forbidden_zero_bit設置為1。
為了補償網絡抖動，並處理不同的幀尺寸，混合器應當具有合理尺寸的緩存器。優選地，在連接期間以適當的方式選擇這些緩存器的尺寸，至少要考慮所測量的網絡抖動和所測量的畫面尺寸中的變化。
非H.264視頻壓縮當使用除了H.264基線之外的視頻壓縮標準/技術時，根據本發明，視頻混合方法仍然適用，只要●會議中的所有端點支持同樣的視頻壓縮標準。
●視頻壓縮標準/技術必須支持允許適當形式的編碼畫面的空間分段的機制。
當前，包含對本發明的充分支持的另一視頻壓縮標準是ITU-TRec.H.263，其中支持Annex R，並支持Annex K、子模式矩形片。由此，可遵照H.263製成第一和第二視頻位流，其中支持片結構模式(Annex K中定義的SSM)、子模式矩形片，並支持獨立分段解碼模式(Annex R中定義的ISM)。使用SSM機制，將所述多個第一位流中至少一個的多個片映射到所述重建的第二位流中多個不重疊矩形空間區域的至少一個中。
級聯MCU中視頻流的分解當一個MCU的混合器(「發送混合器」)的輸出送入一個或多個其他MCU(「中間MCU」)的一個或多個輸入中時，使用級聯MCU。級聯MCU通常用於有幾十個參加者的大型會議。但是，希望保密的情況中也使用這一技術。使用級聯MCU，一個公司的許多參加者可以共享他們保密的MCU(「中間MCU」)，並且只有中間MCU的輸出信號離開公司的管理域。
如圖7中所示，MCU 720中的「發送混合器」730從兩個發送端點701、702接收兩個壓縮視頻位流711、712。混合器730的輸出722通過網絡740發送到中間MCU 750。MCU 750具有混合器770和分解器760。分解器760用作來自發送混合器730的壓縮視頻位流722的終結器。在MCU 750內，輸入視頻流722分解成兩個視頻流761、762，傳送到混合器770。混合器770還從另一個發送端點703接收視頻位流713。混合器770將視頻流761、762、713混合成混合視頻流771，傳送到接收端點780。
如圖7中所示，MCU 720的發送端點701、702在域A中，而發送端點703和MCU 750在不同的域B中。域A可為例如公司LAN。域B可為例如另一個公司的LAN。應當知道，可以使用在其他域中的帶有分解器的一個或多個MCU來形成更深的級聯。
通常，在級聯MCU環境中，從另一個MCU接收它的視頻信息的MCU沒有標準化裝置來分離混合畫面中的各種子畫面。本發明允許MCU在從另一MCU接收的混合視頻流中提取子流。例如，由MCU 750接收的視頻流722由通過MCU 720中混合器730的兩個位流711、712組成。使用分解器760，MCU 750能夠在壓縮域中提取子流761、762。子流761、762分別相關於子流711、712。使用子流761、762，混合器770可以採用更靈活的方式，與輸入流713一起，組成輸出流771。
下面使用圖7和H.264標準作為例子，解釋分解處理。
1.分解器760從發送混合器730接收畫面和序列參數集。畫面參數集包括H.264片組映射，用來識別混合流722的空間區域，該混合流來源於連接到發送混合器730(或者其他級聯的MCU)的各種端點701、702。信號發送支持還用來a)指示使用適當的混合器730產生了在分解器760處終結的流722，和b)在混合流722中識別每個子流711、712(如，提供實名、呼叫者ID，或者識別的類似手段)。信號發送支持的精確性能在本發明的範圍之外。為了從提取的子流761、762產生自持H.264編碼流，分解器760執行以下步驟如下為每個子流761、762產生序列參數集當從混合位流722接收時複製序列參數集，並改變a)seq_parameter_set_id為1，b)pic_width_in_mbs_minus 1為以宏塊為單位(16像素)測量的子流761、762的空間表示的水平尺寸，和c)pic_height_in_map_units_minus 1為以宏塊為單位測量的子流的空間表示的垂直尺寸。應當注意，每個子流的空間表示的尺寸可從輸入畫面的片組映射中提取。將產生的序列參數集發送到分解器760的輸出流761、762。
2.如下為每個子流761、762產生畫面參數集當從混合流722接收時複製在畫面參數集中出現的句法元素的值，並改變a)pic_parameter_set_id為1，b)seq_parameter_set_id為1，和num_slice_groups_minus 1為0，然後產生新的畫面參數集。將產生的畫面參數集發送到分解器760的輸出流761、762。
3.將含有例如標識的IDR畫面發送到分解器的輸出流。發出針對在分解器760的輸出流761、762的凍結畫面請求。
4.重複步驟5至8，直到連接終止從輸入NAL單元中去除片頭。將它的內容和編碼宏塊數據的開頭存儲在局部變量中。在下面的描述中，根據H.264句法元素的名字，選擇局部變量的名字。
5.如下修改局部變量first_mb_in_slice令xsize_i為重建的輸入混合流722的空間區域的水平尺寸，以宏塊為單位(16像素)測量。令xsize_o為將要產生的混合流771的空間區域的x水平尺寸，以宏塊為單位(16像素)測量。令xpos、ypos分別為輸出流761、762的空間表示中「窗口」的頂部、左側宏塊的x和y位置，輸入流722的空間表示將複製到其中。
令mbpos_i為輸入混合位流722中first_mb_in_slice之前的值。
/符號表示截斷除法，％符號表示取模運算，∥符號之後的一行文字表示注釋(c++句法)first_mb_in_slice＝(-ypos*xsize_o)+ ∥「窗口」上方行中的宏塊(mbpos_i/xsize_i)*xsize_o+ ∥「窗口」中的行(-xpos)+ ∥「窗口」左方的宏塊列(mbpos_i％xsize_i)； ∥「窗口」中的列6.設置pic_parameter_set_id為17.使用修改的局部變量，產生新的片頭，當在步驟5之前存儲時，將它與宏塊數據連結。將修改的片發送到分解器的輸出。應當注意，在分解處理期間，局部變量frame_num不改變。這樣有助於(在連接到分解器輸出的設備上)識別在發送混合器與分解器之間的傳輸路徑上混合流任一丟失的畫面。
為了將輸入視頻722分解成子流761、762，分解器760可具有與混合器中軟體程序422(見圖4)類似的軟體程序，來修改例如first_mb_in_slice的局部變量，並改變句法元素的值。此外，軟體程序422還可以具有偽碼，用於執行一個或多個信號發送步驟，如圖6中所示。
對本領域技術人員來說，相當的處理可以用於基於H.362w/Annex R，K(矩形片子模塊)的級聯MCU。
這樣，雖然本發明相關於其一個或多個實施例進行了描述，但是本領域技術人員將會理解，只要不脫離本發明的範圍，可以在其形式和細節上，進行前述和各種其他的改變、省略和偏移。
權利要求
1.一種壓縮域中視頻混合的方法，用於將多個第一視頻位流組合成至少一個具有多個幀的第二視頻位流，每個第一位流具有多個相應的幀，所述方法的特徵在於將每個第一視頻位流劃分成多個片，每個片具有包括多個頭欄位的片頭；改變片頭中多個頭欄位中的一個或多個，用於在至少一些片中提供改變的片頭；為每個所述至少一些片提供改變的片；以及根據改變的片產生第二視頻位流，其中第二視頻位流中每幀中使用的改變的片對應於在第一視頻位流中多個相應幀中的相同幀。
2.根據權利要求1所述的方法，其特徵在於，所述多個頭欄位中的一個或多個包括frame_num頭欄位。
3.根據權利要求1所述的方法，其特徵在於，所述多個頭欄位中的一個或多個包括first_mb_in_slice頭欄位，並且該first_mb_in_slice具有指示所述每個片在第一視頻位流的空間表示中的空間區域中的位置的值。
4.根據權利要求3所述的方法，其特徵在於，通過將所述first_mb_in_slice的值改變為新值來改變該first_mb_in_slice頭欄位，該新值指示相應的改變的片在第二視頻位流的空間表示中的空間區域中的位置。
5.根據權利要求4所述的方法，其特徵在於，所述first_mb_in_slice的新值如下計算first_mb_in_slice＝ypos*xsize_o+(mbpos_i/xsize_i)*xsize_o+xpos+(mbpos_i％xsize_i)，其中/表示截斷除法；％表示取模運算符；xsize_i表示第一視頻位流的空間表示中的空間區域的水平尺寸；xsize_o表示第二視頻位流的空間表示中的空間區域的水平尺寸；xpos、ypos表示在第二視頻位流的空間表示中的、用於放置第一視頻位流的空間表示中所述空間區域的位置的坐標；以及mbpos_i表示所述first_mb_in_slice的值。
6.根據權利要求1所述的方法，其進一步的特徵在於，轉換第二視頻位流，用於提供該第二視頻位流的空間表示。
7.根據權利要求1所述的方法，其進一步的特徵在於，識別第一視頻位流中的片，以便允許將相同幀中改變的片組合成第二位流中的幀之一。
8.根據權利要求1所述的方法，其特徵在於，一個或多個第一視頻位流包括由多個另外的視頻位流構成的混合位流，所述方法進一步的特徵在於分解該混合位流，用於提供多個分量視頻位流，每個分量視頻位流對應於該另外的視頻位流之一，以便允許分量視頻位流與一個或多個其他第一視頻位流組合，用於產生第二視頻位流。
9.根據權利要求1所述的方法，其特徵在於，所述產生包括將所述多個第一視頻位流的至少一個的多個片映射到第二視頻位流的空間表示中多個不重疊矩形區的至少一個。
10.根據權利要求9所述的方法，其特徵在於，所述第一和第二視頻位流遵照H.264。
11.根據權利要求9所述的方法，其特徵在於，所述映射基於H.264的片組概念。
12.根據權利要求1所述的方法，其特徵在於，所述第一和第二視頻位流遵照H.263，其中支持片結構模塊(SSM，在Annex K中定義)、子模式矩形片，並支持獨立分段解碼模式(ISM，在Annex R中定義)。
13.根據權利要求12所述的方法，其特徵在於，使用SSM機構，將所述多個第一位流中至少一個的多個片映射到所述重建的第二位流中多個不重疊矩形空間區域的至少一個。
14.一種用於在壓縮域中視頻混合的方法，用於將多個第一視頻位流組合成至少一個第二視頻位流，每個第一視頻位流和第二視頻位流具有等同的空間表示，其中該第二視頻位流包括多個第二片，每個第二片具有包括多個頭欄位的片頭，並且其中每個第一視頻位流包括多個第一片，每個第一片具有包括多個頭欄位的片頭，所述方法的特徵在於解析第一片的片頭，用於獲得多個頭欄位中的值，其中一個值指示相應的第一視頻位流的空間表示中的空間區域；修改所述一個值，用於提供指示第二視頻位流的空間表示中的空間區域的新值；根據新值產生新的片頭，用於提供修改的第一片；以及將第一視頻位流組合成所述一個第二視頻位流，使得根據每個第一視頻位流的修改的第一片，構成第二視頻位流中的每個第二片。
15.根據權利要求14所述的方法，其特徵在於，所述一個值是first_mb_in_slice，指示第一片在相應的第一視頻流的空間表示中的空間區域中的位置。
16.根據權利要求15所述的方法，其特徵在於，所述first_mb_in_slice的新值如下計算first_mb_in_slice＝ypos*xsize_o+(mbpos_i/xsize_i)*xsize_o+xpos+(mbpos_i％xsize_i)，其中/表示截斷除法；％表示取模運算符；xsize_i表示第一視頻位流的空間表示中的空間區域的水平尺寸；xsize_o表示第二視頻位流的空間表示中的空間區域的水平尺寸；xpos、ypos表示在第二視頻位流的空間表示中的、用於放置第一視頻位流的空間表示中的所述空間區域的位置的坐標；以及mbpos_i表示所述first_mb_in_slice的值。
17.根據權利要求14所述的方法，其特徵在於，一個或多個第一視頻位流包括由多個另外的視頻位流構成的混合位流，所述方法進一步的特徵在於分解該混合位流，用於提供多個分量視頻位流，每個分量視頻位流對應於該另外的視頻位流之一，以便允許該分量視頻位流與一個或多個其他第一視頻位流組合，用於產生第二視頻位流。
18.一種視頻混合器，可操作地連接到多個發送端點，以從其接收多個第一視頻位流，用於在壓縮域中將多個第一視頻位流組合成至少一個具有多個幀的第二視頻位流，每個第一位流具有在多個相應幀中的多個片，每個片具有包括多個頭欄位的片頭，所述混合器特徵在於用於改變片頭中多個頭欄位中的一個或多個的機構，用於根據改變的一個或多個頭欄位，提供至少一些片中的改變的片；以及用於組合改變的片以提供第二視頻位流的機構，其中在第二視頻位流中每幀中使用的改變的片對應於在第一視頻位流中多個相應幀中的相同幀。
19.根據權利要求18所述的視頻混合器，其特徵在於，所述多個頭欄位中的一個或多個包括first_mb_in_slice頭欄位，並且該first_mb_in_slice具有指示所述片在第一視頻位流的空間表示中的空間區域中的位置的值。
20.根據權利要求19所述的視頻混合器，其特徵在於，通過將所述first_mb_in_slice的值改變為指示所述改變的片在第二視頻位流的空間表示中的空間區域中的位置的新值，來改變first_mb_in_slice頭欄位。
21.根據權利要求20所述的視頻混合器，其特徵在於，所述first_mb_in_slice的新值如下計算first_mb_in_slice＝ypos*xsize_o+(mbpos_i/xsize_i)*xsize_o+xpos+(mbpos_i％xsize_i)，其中/表示截斷除法；％表示取模運算符；xsize_i表示第一視頻位流的空間表示中的空間區域的水平尺寸；xsize_o表示第二視頻位流的空間表示中的空間區域的水平尺寸；xpos、ypos表示在第二視頻位流的空間表示中的、用於放置第一視頻位流的空間表示中所述空間區域的位置的坐標；以及mbpos_i表示所述first_mb_in_slice的值。
22.根據權利要求18所述的視頻混合器，其特徵在於，所述組合包括將所述多個第一視頻位流中至少一個的多個片映射到第二視頻位流的空間表示中多個不重疊矩形區域中的至少一個。
23.一種用於支持如權利要求1所主張的方法的通信網絡的信號發送方法，其中該通信網絡包括用於提供多個第一視頻位流的多個發送端點以及用於接收所述至少一個第二視頻位流的至少一個接收端點，所述信號發送方法的特徵在於步驟1商定由接收端點和發送端點使用的畫面格式；步驟2向接收端點發送控制信息，以使接收端點準備接收所述第二視頻位流。
24.根據利要求23所述的信號發送方法，其特徵在於，步驟1中的所述商定包括產生針對接收端點的畫面格式布局；針對多個發送端點中每一個，根據所述布局，識別至少一個畫面格式；以及將針對多個發送端點中每一個的所述識別的畫面格式通知該多個發送端點。
25.根據權利要求24所述的信號發送方法，其特徵在於，步驟1中的所述商定進一步包括響應於所述通知，從多個發送端點中的每一個接收一個商定的畫面格式。
26.根據權利要求25所述的信號發送方法，其特徵在於，多個發送端點中的每一個提供包括指示所述一個商定的畫面格式的信息的參數集，並且其中步驟2中的所述發送進一步包括步驟根據由多個發送端點中的每一個提供的所述信息，產生輸出參數集，以便根據輸出參數集，向接收端點提供控制信息。
27.一種嵌入計算機可讀介質中的軟體產品，用於壓縮域視頻混合，用於將多個第一視頻位流組合成至少一個具有多個幀的第二視頻位流，每個第一位流具有多個相應的幀，其中每個第一視頻位流劃分成多個片，每個片具有包括多個頭欄位的片頭，所述軟體產品的特徵在於用於執行以下內容的多個代碼改變片頭中多個頭欄位中的一個或多個，用於在至少一些片中提供改變的片頭；為所述至少一些片中的每個提供改變的片；以及根據改變的片產生第二視頻位流，其中在第二視頻位流中的每幀中使用的改變的片對應於在第一視頻位流中多個相應幀中的相同幀，並且其中所述多個頭欄位中的一個或多個包括first_mb_in_slice頭欄位，該欄位具有指示所述每個片在第一視頻位流的空間表示中的空間區域中的位置的值。
28.根據權利要求27所述的軟體產品，其特徵在於，通過將所述值改變為新值來改變first_mb_in_slice頭欄位，該新值指示相應的改變的片在第二視頻位流的空間表示中的空間區域中的位置，所述軟體產品進一步包括用於如下計算所述新值的代碼first_mb_in_slice＝ypos*xsize_o+(mbpos_i/xsize_i)*xsize o+xpos+(mbpos_i％Xsize_i)，其中/表示截斷除法；％表示取模運算符；xsize_i表示第一視頻位流的空間表示中空間區域的水平尺寸；xsize_o表示第二視頻位流的空間表示中空間區域的水平尺寸；xpos、ypos表示在第二視頻位流的空間表示中、用於放置第一視頻位流的空間表示中所述空間區域的位置的坐標；以及mbpos_i表示所述first_mb_in_slice的值。
29.根據權利要求27所述的軟體產品，進一步包括用於以下內容的代碼識別第一視頻位流中的片，以便允許將相同幀中的改變的片組合到第二位流中的幀之一。
30.根據權利要求27所述的軟體產品，其特徵在於，在多點控制單元中執行所述壓縮域視頻混合，該多點控制單元可操作地連接到提供多個第一視頻位流的多個發送端點，以及連接到接收第二視頻位流的接收端點，所述軟體產品進一步包括用於以下內容的代碼產生用於接收端點的畫面格式布局；根據該布局，為多個發送端點中的每個識別至少一個另外的畫面格式；以及將用於多個發送端點中的每個的所述識別畫面格式通知多個發送端點。
31.根據權利要求30所述的軟體產品，其特徵在於，多個發送端點中的每個響應於所述通知提供參數集，該參數集包括指示來自多個發送端點中的每個的一個商定的畫面格式的信息，該軟體產品進一步包括用於以下內容的代碼根據由多個發送端點中的每個提供的所述信息，產生輸出參數集，以便根據輸出參數集，將控制信息提供給接收端點。
32.根據權利要求27的軟體產品，其特徵在於，一個或多個第一視頻位流包括由多個另外的視頻位流構成的混合位流，所述軟體產品進一步包括用於以下內容的代碼分解該混合位流，用於提供多個分量視頻位流，每個分量視頻位流對應於該另外的視頻位流之一，以便允許分量視頻位流與一個或多個其他第一視頻位流組合，用於產生。
全文摘要
一種用於壓縮域視頻混合的方法和系統，用於將輸入視頻流空間組合成輸出視頻流。使用H.264作為例子，將每個輸入流劃分成多個片，每個片具有包含first mb in slice頭欄位的多個頭欄位。根據輸出流中畫面格式，修改每個輸入流的first mb in slice，使得修改的first mb in slice頭欄位指示輸出流的空間表示中的位置，在該位置放置輸入流的片。使用H.264的片組機制，將片的第二和隨後的宏塊的空間位置映射到適當位置。如果輸入流由上遊混合器在先前混合，那麼在將它們與其他輸入流組合之前，可以使用分解器將這些混合流分離成分量流。
文檔編號H04N5/265GK101095350SQ200580045841
公開日2007年12月26日 申請日期2005年12月20日 優先權日2005年1月4日
發明者S·文格爾, M·阿尼克瑟拉 申請人:諾基亞公司