在會議電視系統中傳輸多路視頻的方法
2023-04-30 10:23:06
專利名稱:在會議電視系統中傳輸多路視頻的方法
技術領域：
本發明涉及多媒體通信領域，尤其涉及在會議電視系統中傳輸多路視頻的方法。
技術背景
會議電視系統是指通過各種通訊傳輸媒體，將圖像、語音、文字、圖片等多種信息分送到各個用戶，使得在地理上分散的用戶可以共聚一處，通過圖像、聲音等多種方式交流信息。這樣，開會時就不需要將人們從四面八方召集過來，既節省了時間和金錢，又免除了人們往返奔波之苦。目前，國內外主流的會議電視設備大都採用基於H系列的國際標準，主要集中在H. 320系列和H. 323系列。其中，遵循H. 320協議的會議電視系統主要應用於El、 V. 35、ISDN等以電路交換為基礎的網絡上，遵循這種標準的會議電視系統具有穩定性和可靠性高、技術標準成熟、設備種類豐富、網絡線路專網專用等優點，因而備受那些對圖象質量要求高、注重穩定性和可靠性的群體的歡迎。另外，在全球範圍內能夠使用並且保證質量的會議電視網絡目前一般都採用基於H. 320協議技術的視訊設備。
隨著H. 320會議電視系統的普及，人們提出了更多需求，傳輸兩路甚至更多路視頻就是其中之一。目前，檢索到的現有技術方案有兩種，分述如下
第一種方案是將兩路或更多路視頻進行疊加，然後將疊加後的圖像進行編碼和傳輸。如華為技術有限公司申請的中國專利02106057. 6「會議電視終端的雙視傳送系統」，其公開了一種在會議電視終端之間進行雙視傳送的方法。在各路視頻源和編碼器之間增加一個多路視頻控制器，對多路視頻進行處理，處理以後的圖像傳給編碼器進行編碼。由該技術方案可見，實際上在會議電視終端之間傳輸的是多路視頻控制器的輸出視頻，其只是單路視頻，不是真正意義上的多路視頻傳輸。
第二種方案是採用ITU-T 的 H. 3 草案「Role Management andAdditional Media Channels for H. 300-series Terminals」。該方案的基本思路為首先通過擴展的能力交換來獲取第二路視頻的帶寬；然後綜合呼叫速率和HSD信息計算出第二路視頻的信道佔用情況，包括起始子時隙和結束子時隙；最後在對應的通道中分別傳送兩路視頻數據。最後的 H. 221幀結構見圖1，其中音頻數據、FAS、BAS、HSD都和普通H. 221幀結構中的一樣，只是視頻數據分成第一路視頻數據和第二路視頻數據兩個部分，分佔不同的時隙和子時隙進行傳輸。
這種方案可以實現多路視頻的傳輸，但缺點也很明顯
其一，每路視頻填入到相應的通道時都要做比特移位操作，這無疑會大大增加計算量。視頻路數越多，計算量增加越多，帶來的直接結果是系統效率大為降低。
其二，實現複雜。採用這種方案會對現有的H. 320協議有較大改動，MCU和終端需要做大量的改動。
其三，視頻碼率不能隨意設置，因為第二路及以後視頻的碼率所佔用的通道是以子時隙為單位的，而每個子時隙的帶寬是8Kbps，所以碼率也必須是8Kbps的整數倍。
其四，各路視頻的信道佔用情況計算複雜。必須獲取第一路視頻的信息和HSD、MLP、HMLP等信息才能計算出第二路視頻的信道佔用情況，然後才能計算出第三路視頻的信道佔用情況，依此類推。
發明內容
本發明的目的在於提供一種在會議電視系統中基於包結構傳輸多路視頻的方法， 以克服現有技術中存在的系統效率低、實現複雜、各路視頻碼率不能任意設置、信道佔用參數計算複雜等缺點。
為實現以上目的，本發明所採取的技術方案為
一種在會議電視系統中傳輸多路視頻的方法，該方法對各路視頻分別進行包封裝，將生成的多個包組織成單一數據流，並填充到幀結構中進行傳輸。
優選地，該方法包括對各路視頻分別進行編碼後，以包封裝的方式對所述多路視頻進行復用，生成單一視頻數據流；將所述多路視頻復用後的單一視頻數據流與其他類型數據一起構成幀結構；將所述幀結構通過網絡發送給接收終端；所述接收終端對所接收的幀結構中的所述單一視頻數據流進行解復用，以提取出各路視頻數據。
優選地，在所述復用步驟之前還包括確定幀結構中分配給視頻數據的時隙和子時隙的情況；根據所確定的視頻數據的時隙和子時隙的分配情況計算出視頻數據所佔用的總帶寬；確定要傳輸的視頻路數及各路視頻的參數；根據所確定的各路視頻的參數分別對各路視頻進行編碼。
優選地，所述確定視頻數據的時隙和子時隙情況的步驟是發送終端與MCU之間、 或接收終端之間通過H. 320協議的能力交互過程完成的。
優選地，所述確定視頻路數及各路視頻參數的步驟是發送終端與MCU之間、或接收終端之間通過擴展的BAS碼完成的，擴展的BAS碼內容包括視頻路數、每路視頻的碼率、 視頻格式。
優選地，所述各路視頻的參數包括帶寬、視頻格式，其中各路視頻的帶寬之和小於或等於所計算出的視頻數據佔用的總帶寬。
優選地，所述編碼步驟中傳送各路視頻以進行編碼的碼率是該路視頻的碼率乘以折算係數，以考慮對該路視頻數據進行封裝時包頭所佔用的帶寬，其中該折算係數小於或等於一個包最多可傳輸的有效數據字節數/包長。
優選地，所述復用步驟進一步包括將各路視頻的數據封裝成固定大小的包；將各路視頻打包後的數據以包為單位進行混合，以生成單一的數據流。
優選地，所述各路視頻的數據包由固定長度的包頭、視頻數據和填充字節組成。
優選地，所述包頭包括同步頭，其標明包的開始，用於進行包的同步操作；標識， 其標明包的類型，用於區分該包來自哪一路視頻；序號，其標明包在該類型中的順序，用於檢測該包與該路視頻中其前面的包是否連續；數據長度，其標明包中承載的有效視頻數據的長度。
優選地，所述包中的序號依該路視頻中數據被封裝成包的先後順序而遞增。
優選地，所述填充字節用於在該包中的包頭與視頻數據的總長度未達到所述固定包長時，填補不足部分。
優選地，所述構成幀結構的步驟進一步包括將所述多路視頻復用後生成的單一數據流填充到所確定的帶寬中對應於視頻數據的時隙和子時隙中；將所述視頻數據與其他類型的數據一起、加上H. 320信令構成H. 221幀。
優選地，在所述解復用步驟之前還包括所述接收終端確定幀結構中分配給視頻數據的時隙和子時隙的情況；所述接收終端確定所傳輸的視頻路數及各路視頻的參數。
優選地，所述確定視頻數據的時隙和子時隙情況的步驟是接收終端與MCU或接收終端之間通過H. 320協議的能力交互過程完成的。
優選地，所述確定視頻路數及各路視頻參數的步驟是所述接收終端與MCU或接收終端之間通過擴展的BAS碼完成的，擴展的BAS碼內容包括視頻路數、每路視頻的碼率、視頻格式。
優選地，所述解復用的步驟進一步包括所述接收終端根據所確定的視頻數據對應的時隙和子時隙從所接收的幀結構中提取出視頻數據；所述接收終端在所提取出視頻數據中分別對應於各路視頻的各包中尋找包頭；所述接收終端根據所述各包中的包頭信息提取出該包中所承載的有效視頻數據。
優選地，所述視頻數據中的各包為固定大小的包，且各包分別由固定長度的包頭、 視頻數據和填充字節組成。
優選地，所述各包中的包頭包括同步頭，其標明包的開始，用於進行包的同步操作；標識，其標明包的類型，用於區分該包來自哪一路視頻；序號，其標明包在該類型中的順序，用於檢測該包與該路視頻中其前面的包是否連續；數據長度，其標明包中承載的有效視頻數據的長度。
優選地，在所述解復用步驟之後還包括所述接收終端對所接收幀結構中的單一視頻數據流解復用後得到的各路視頻數據進行解碼；所述接收終端輸出解碼後得到的各路視頻數據。
採用本發明在會議電視系統中傳輸多路視頻的方法，可以方便地實現在會議電視系統中多路視頻數據的傳輸，而且每路視頻的碼率可以任意設置。與現有技術相比，本發明技術方案的優勢在於
1.由於本發明方法中將所有的視頻數據合併成統一的視頻流來處理，所以處理兩路視頻和多路視頻的複雜度是一樣的，從而提高了系統效率；
2.實現簡單，對現有H. 320系統改動小，只需對MCU和終端做很小的改動即可；
3.各路視頻的帶寬可任意設置；
4.由於各路視頻共用一個通道，所以通道建立簡單。
相信通過以下結合附圖對本發明具體實施方式
的說明，能夠使人們更好地了解本發明上述的特點、優點和目的。
圖1是現有技術中按照H. 329協議生成的H. 221幀結構的示意圖；
圖2是根據本發明在會議電視系統中傳輸多路視頻的方法流程圖；
圖3是根據本發明一個實施例在發送終端處的處理流程圖；
圖4是根據本發明一個實施例對各路視頻數據進行包封裝的示意圖；
圖5是根據本發明一個實施例構成的H. 221幀結構的示意圖；[0044]圖6是根據本發明一個實施例對多路視頻數據進行復用的原理圖；
圖7是根據本發明一個實施例在接收終端處的處理流程圖；
圖8是根據本發明一個實施例對多路視頻數據解復用的原理圖。
具體實施方式
下面結合附圖對本發明的優選實施例進行詳細的說明。
圖2是根據本發明在會議電視系統中傳輸多路視頻的方法流程圖。如圖2所示， 利用本發明所提供的方法在會議電視系統中實現多路視頻傳輸的過程主要包括採用對各路視頻分別進行包封裝的方式對多路視頻進行復用，以生成單一的數據流，步驟205 ；將多路視頻復用後的數據流與其他類型數據一起構成幀結構，步驟210 ；將該幀結構通過網絡發送給接收終端，步驟215 ；接收終端對所接收的幀結構中的單一視頻數據流進行解復用， 以提取出各路視頻數據，步驟220。
在本發明的一個實施例中，要在會議電視系統中實現兩路視頻的傳輸，會議碼率為1920Kbps ；第一路視頻碼率為1200Kbps速率，第二路視頻碼率為640Kbps速率；無HSD ； 音頻為56Kbps ;LSD為6. 4Kbps。發送終端和接收終端通過MCU相連。本實施例中，將這兩路視頻的傳輸過程劃分為發送終端和接收終端處的兩部分處理流程，並分別結合圖3和圖 7來進行描述。
圖3顯示了本實施例中在發送終端處的處理流程。如圖3所示
在步驟305，發送終端按照H. 320協議和MCU進行能力交換，獲得視頻數據在初始傳輸信道中所佔用的時隙、子時隙的分配情況。音頻數據佔用了初始傳輸信道(第1時隙) 的1到7子時隙；LSD數據視頻數據佔用了初始傳輸信道除音頻數據和FAS、BAS之外的所有帶寬；而視頻數據佔用了信道中2 30時隙的所有帶寬。所以視頻總帶寬為1856Kbps。
在步驟310，發送終端和MCU進行擴展能力交換，得出各路視頻的參數，第一路視頻碼率為1200Kbps，第二路視頻為640Kbps。兩路視頻相加總碼率為1840Kbps，小於可用的視頻總帶寬。
在步驟315，發送終端按照各路視頻參數啟動兩路視頻編碼。考慮到對視頻數據進行包封裝時，包頭會佔用部分帶寬，所以傳給各路編碼單元的視頻碼率是步驟310中獲取的各路視頻碼率乘以折算係數。從本實施例中對各路視頻數據進行封裝所採用的包結構，可以得出各路視頻傳輸效率為000-4)/200 = 98%，以此做為折算係數，則第一路視頻碼率為1176Kbps，第二路視頻碼率為627Kbps。將折算後的碼率傳給兩路編碼單元，以對兩路視頻數據進行編碼。
在步驟320，判斷會議電視系統目前是否處於會議中，如果在會議中，則該處理流程前進到步驟325，否則該處理流程結束。
在步驟325，對各路視頻數據進行包封裝。本實施例中，所採用的包結構為包頭佔用4個字節，包長為200位元組。從各路視頻編碼單元獲取編碼後的視頻數據，將每路視頻數據加上4個字節長度的包頭，打成長度為200位元組的包。圖4是本實施例中對各路視頻數據進行包封裝的示意圖，如圖4所示，該包結構中包頭包括同步頭、標識、序號、數據長度。 下面表1中顯示了本實施例的包頭中各部分信息的含義
表 1[0057]
順序 I欄位名稱I含義
_1_同步頭表明是包的開始，用於進行包的同步操作_
_2_標識表明包的類型，用於區分是第幾路視頻_
3_序號表明該類型包的順序，用於接收終端檢測包是否連續。_
4I數據長度I指明該包中所承載的有效數據長度
其中，包頭信息中同步頭長1個字節，固定為0x47 ；標識長1個字節，取值範圍從 0到255，其中255用做填充空包的標識，用於視頻數據長度不夠時進行填充，以保證包中碼率恆定；序號長1個字節，取值範圍從0到255初始值為0，每發送一個同類型的包序號就加1，當到達最大值後又從0開始計數；數據長度長1個字節，取值範圍從0到184，為0時代表全部是填充字節；為184則代表包中除包頭外全部是有效數據，取值在兩者之間的代表包中不僅含有有效數據，還有填充字節。填充字節是用於當視頻數據加上包頭沒有達到包長時，填補不足部分，其固定為OxFF。
在步驟330，將兩路打包後的視頻數據以包為單位進行混合，復用在一起，生成單一的數據流。圖6是本實施例中多路視頻數據復用的原理圖，其中各路打包後的視頻數據通過多路視頻復用單元進行復用，生成以包為單位的單一的碼流。
在步驟335，將復用後的數據流按照H. 221的幀結構放入所確定的對應時隙中，和其他數據一起形成H. 221幀。根據在步驟305中得到的結果，復用後的數據流應該佔用2 到30時隙，圖5顯示了根據本實施例構成的H. 221幀結構的示意圖。此外，當數據不夠時要填充空包，以保證輸出碼率恆為1856Kbps。
在步驟340，發送終端將成幀後的H. 221數據發送到網絡。
圖7是本實施例中在接收終端處的處理流程圖。如圖7所示
在步驟705，接收終端按照H. 320協議和MCU進行能力交換，獲得在傳輸信道中視頻數據佔用的時隙、子時隙的分配情況。得出的結果和步驟305中的一致，視頻數據佔用了 2 30時隙的所有帶寬，總帶寬為1856Kbps。
在步驟710，接收終端和MCU進行擴展能力交換，得出各路視頻的參數。得出第一路視頻碼率為1200Kbps，第二路視頻為640Kbps。兩路視頻相加總碼率為1840Kbps，小於可用的視頻總帶寬。
在步驟715，接收終端按照各路視頻參數啟動兩路視頻解碼。與步驟315中的計算過程一樣，得出的結論也一樣，第一路視頻碼率為1176Kbps，第二路視頻碼率為627Kbsp。 將折算後的碼率傳給兩路解碼單元以對兩路視頻數據進行解碼。
在步驟720，判斷會議電視系統目前是否處於會議中，如果在會議中，則該處理流程前進到步驟725，否則該處理流程結束。
在步驟725，從網絡接收數據。
在步驟730，接收終端從接收的H. 221幀中提取出視頻數據。從步驟705中可以得出視頻數據佔用了 2 四時隙。將這些時隙的數據順序取出，放入到視頻接收緩衝區中。
在步驟735，對接收到的數據進行解復用處理，以得到兩路純粹的視頻碼流。圖8 是本實施例中多路視頻數據解復用的原理圖，復用的數據流通過多路視頻解復用單元進行解復用，剔除包頭和填充字節，輸出多路視頻碼流。具體地，在解復用時首先需要尋找包頭， 如果連續5次在間隔200位元組處找到同步頭，即0x47，就表明進入同步狀態；如果連續3次在間隔200位元組處未找到同步頭，就表明進入失步狀態，需要再次進行同步操作。解復用時必須根據包頭信息來確定該包屬於哪路視頻，包含多少有效數據，數據是否連續，然後將有效數據分別放到對應路視頻的輸出緩衝區中。但發現數據不連續時還需做些錯誤處理，如凍結等。
在步驟740，接收終端從兩路視頻輸出緩衝區中取出視頻數據，分別傳給兩路解碼單元。
在步驟745，兩路解碼單元對所輸入的視頻數據進行解碼，並將解碼後的圖像輸出，在電視機上進行顯示。
類似地，可以參照上述步驟來實現傳輸超過兩路視頻的情形。
以上雖然通過示例性的實施例對本發明的在會議電視系統中傳輸多路視頻的方法進行了詳細的描述，但是以上的實施例並不是窮舉的，本領域技術人員可以在本發明的精神和範圍內實現各種變化和修改。因此，本發明並不限於這些實施例，本發明的範圍僅由所附權利要求
為準。
權利要求
1.一種在會議電視系統中傳輸多路視頻的方法，其特徵在於，該方法對各路視頻分別進行包封裝，將生成的多個包組織成單一數據流，並填充到幀結構中進行傳輸；該方法包括以下步驟對各路視頻分別進行編碼後，以包封裝的方式對所述多路視頻進行復用，生成單一視頻數據流；將所述多路視頻復用後的單一視頻數據流與其他類型數據一起構成幀結構； 將所述幀結構通過傳輸信道發送給接收終端；所述接收終端對所接收的幀結構中的所述單一視頻數據流進行解復用，以提取出各路視頻數據。
2.如權利要求
1所述的方法，其特徵在於，在所述復用步驟之前還包括 確定傳輸信道中分配給視頻數據的時隙和子時隙的情況；根據所確定的視頻數據的時隙和子時隙的分配情況計算出視頻數據所佔用的傳輸信道中的總帶寬；確定要傳輸的視頻路數及各路視頻的參數； 根據所確定的各路視頻的參數分別對各路視頻進行編碼。
3.如權利要求
2所述的方法，其特徵在於，所述確定傳輸信道中視頻數據的時隙和子時隙情況的步驟是發送終端與MCU或接收終端之間通過H. 320協議的能力交互過程完成的。
4.如權利要求
2所述的方法，其特徵在於，所述確定視頻路數及各路視頻參數的步驟是發送終端與MCU或接收終端之間通過擴展的BAS碼完成的，擴展的BAS碼內容包括視頻路數、每路視頻的碼率、視頻格式。
5.如權利要求
2所述的方法，其特徵在於，所述各路視頻的參數包括帶寬、視頻格式， 其中各路視頻的帶寬之和小於或等於所計算出的視頻數據佔用的總帶寬。
6.如權利要求
4所述的方法，其特徵在於，所述編碼步驟中傳送各路視頻以進行編碼的碼率是該路視頻的碼率乘以折算係數，以考慮對該路視頻數據進行封裝時包頭所佔用的帶寬，其中該折算係數小於或等於一個包最多可傳輸的有效數據字節數/包長。
7.如權利要求
1所述的方法，其特徵在於，所述復用步驟進一步包括 將各路視頻的數據封裝成固定大小的包；將各路視頻打包後的數據以包為單位進行混合，以生成單一的數據流。
8.如權利要求
7所述的方法，其特徵在於，所述各路視頻的數據包由固定長度的包頭、 視頻數據和填充字節組成。
9.如權利要求
8所述的方法，其特徵在於，所述包頭包括 同步頭，其標明包的開始，用於進行包的同步操作； 標識，其標明包的類型，用於區分該包來自哪一路視頻；序號，其標明包在該類型中的順序，用於檢測該包與該路視頻中其前面的包是否連續；數據長度，其標明包中承載的有效視頻數據的長度。
10.如權利要求
9所述的方法，其特徵在於，所述包中的序號依該路視頻中數據被封裝成包的先後順序而遞增。
11.如權利要求
8所述的方法，其特徵在於，所述填充字節用於在該包中的包頭與視頻數據的總長度未達到固定包長時，填補不足部分。
12.如權利要求
2所述的方法，其特徵在於，所述構成幀結構的步驟進一步包括 將所述多路視頻復用後生成的單一數據流填充到所確定的傳輸信道對應於視頻數據的時隙和子時隙中；將所述視頻數據與其他類型的數據一起、加上H. 320信令構成H. 221幀。
13.如權利要求
1所述的方法，其特徵在於，在所述解復用步驟之前還包括 所述接收終端確定幀結構中分配給視頻數據的時隙和子時隙的情況；所述接收終端確定所傳輸的視頻路數及各路視頻的參數。
14.如權利要求
13所述的方法，其特徵在於，所述確定傳輸信道中視頻數據的時隙和子時隙情況的步驟是接收終端與MCU之間、或接收終端之間通過H. 320協議的能力交互過程完成的。
15.如權利要求
13所述的方法，其特徵在於，所述確定視頻路數及各路視頻參數的步驟是所述接收終端與MCU之間、或接收終端之間通過擴展的BAS碼完成的，擴展的BAS碼內容包括視頻路數、每路視頻的碼率、視頻格式。
16.如權利要求
13所述的方法，其特徵在於，所述解復用的步驟進一步包括 所述接收終端根據所確定的視頻數據對應的時隙和子時隙在從傳輸信道中接收的幀結構中提取出視頻數據；所述接收終端在所提取出視頻數據中分別對應於各路視頻的各包中尋找包頭； 所述接收終端根據所述各包中的包頭信息提取出該包中所承載的有效視頻數據。
17.如權利要求
16所述的方法，其特徵在於，所述視頻數據中的各包為固定大小的包， 且各包分別由固定長度的包頭、視頻數據和填充字節組成。
18.如權利要求
16或17所述的方法，其特徵在於，所述各包中的包頭包括 同步頭，其標明包的開始，用於進行包的同步操作；標識，其標明包的類型，用於區分該包來自哪一路視頻；序號，其標明包在該類型中的順序，用於檢測該包與該路視頻中其前面的包是否連續；數據長度，其標明包中承載的有效視頻數據的長度。
19.如權利要求
1所述的方法，其特徵在於，在所述解復用步驟之後還包括所述接收終端對所接收幀結構中的單一視頻數據流解復用後得到的各路視頻數據進行解碼；所述接收終端輸出解碼後得到的各路視頻數據。
專利摘要
本發明公開了一種在會議電視系統中傳輸多路視頻的方法，包括採用對各路視頻分別進行包封裝的方式對所述多路視頻進行復用，以生成單一的數據流；將所述多路視頻復用後的數據流與其他類型數據一起構成幀結構；將所述幀結構通過網絡發送給接收終端；所述接收終端對所接收的幀結構中的單一視頻數據流進行解復用，以提取出各路視頻數據。本發明可以方便地實現在會議電視系統中多路視頻數據的傳輸，而且每路視頻的碼率可以任意設置，克服了現有技術中的系統效率低、實現複雜、信道佔用參數計算複雜等缺點。
文檔編號H04N7/15GKCN101073257 B發布類型授權 專利申請號CN 200480044542
公開日2012年5月30日 申請日期2004年12月22日
發明者朱曉斌, 李暉, 田智平 申請人:中興通訊股份有限公司導出引文BiBTeX, EndNote, RefMan專利引用 (2),