支持roi區域的多路視頻流的編碼、解碼方法和系統的製作方法

2023-06-09 23:51:01 1

專利名稱：：支持roi區域的多路視頻流的編碼、解碼方法和系統的製作方法
技術領域：
：本發明涉及視頻流的編碼、解碼方法和系統，尤其涉及一種支持ROI(感興趣)區域的多路視頻流的編碼、解碼方法和系統。
背景技術：
：在監控應用中，通常需要觀看一個全景和高質量的ROI區域，單獨傳輸兩個完全尺寸的碼流會造成不必要的帶寬浪費。另外，如果單獨只傳一個全景的碼流，並把碼流分配到ROI區域，在一定程度上可以提高ROI區域的PSNR(PEAKSignalNoiseRatio,峰值信號噪聲比例)，但是，基於ROI區域的流量控制只能通過調節量化階參數等單一手段來滿足提高區域質量要求，不能滿足解析度、光線模式等更多的監控質量變化要求。事實上，目前的編碼器還不能支持在同一編碼序列內圖像的不同區域的編碼的多種模式變化。目前基於ROI區域的編碼技術有基於區域的流量控制、變解析度和分層編碼等。正如上一段所述，流量控制方法通過對ROI區域的分配不同的碼率來實現更高質量的視覺效果，然而基於區域的流控只能滿足提高區域質量單一要求,不能滿足解析度，光線模式等更多要求。另外，基於區域的變解析度和分層編碼等需要改變編解碼技術框架，提高了實現的複雜度。例如，儘管分層編碼能實現同一編碼序列內的多解析度的需求，但是在現階段，分層編碼的實現提高了監控前端編碼的複雜度，不適合於硬體實現。
發明內容本發明的目的在於解決上述問題，提供了一種支持ROI區域的多路視頻流的編碼、解碼方法，靈活調節ROI區域的編碼策略和顯示策略。本發明的方法既能滿足解析度、光線模式等更多要求，又無需改變編解碼技術框架。本發明的另一目的在於提供了一種支持ROI區域的多路視頻流的編碼、解碼系統，靈活調節ROI區域的編碼策略和顯示策略。本發明的系統既能滿足解析度、光線模式等更多要求，又無需改變編解碼技術框架。本發明的技術內容為本發明揭示了一種支持感興趣區域的多路視頻流的編碼、解碼方法，包括編碼和傳輸過程根據用戶需要可選地對採集後的感興趣部分的視頻信息進行感興趣區域編碼，根據用戶需要可選地對採集後的所有視頻信息進行全景編碼；在感興趣區域編碼後對其進行打包以產生感興趣碼流並發送，在全景編碼後對其進行打包以產生全景碼流並發送，其中打包的形式包括在包結構中插入時間戳以同步感興趣碼流和全景碼流，在包結構中承載標識符以識別分屬不同碼流的包，並插入感興趣標誌符以及感興趣的起始和終止宏塊信息；在用戶需要的情況下可選地對打包後產生的感興趣碼流和全景碼流進行復用並傳輸；解碼過程對解復用出的感興趣碼流包，先經碼流解析，解析出其中的感興趣碼流、感興趣編碼的參數和時間戳，該解析出的感興趣碼流根據該解析出的感興趣編碼的參數和時間戳進行解碼，根據用戶需要可選地進行感興趣區域的單獨播放；對解復用出的全景碼流，先經碼流解析，解析出其中的全景碼流和時間戳，該解析出的全景碼流根據該解析出的時間戳進行解碼，根據用戶需要可選地進行全景播放；如果同時存在解碼後的感興趣幀和全景幀，根據該解析出的時間戳對兩者進行同步，並根據感興趣區域的位置信息對兩者進行像素域的融合，根據用戶需要可選地進行感興趣區域結合全景的播放。上述的支持感興趣區域的多路視頻流的編碼、解碼方法，其中，在編碼過程中，感興趣區域編碼和全景編碼採用相同的編碼參數。上述的支持感興趣區域的多路視頻流的編碼、解碼方法，其中，在編碼過程中，感興趣區域編碼和全景編碼採用不同的編碼參數。上述的支持感興趣區域的多路視頻流的編碼、解碼方法，其中，在編碼過程中，在全景編碼之前還包括下採樣的過程用以減小圖像尺寸。上述的支持感興趣區域的多路視頻流的編碼、解碼方法，其中，在解碼過程中，在像素域融合之前，還包括對全景幀進行上採樣。上述的支持感興趣區域的多路視頻流的編碼、解碼方法，其中，在解碼過程中，在對全景碼流/感興趣碼流進行解碼之前還包括碼流緩衝過程。上述的支持感興趣區域的多路視頻流的編碼、解碼方法，其中，在解碼過程中，在對全景碼流/感興趣碼流進行解碼之後還包括將其存儲為全景幀/感興趣幀。基於上述方法，本發明還揭示了一種支持感興趣區域的多路視頻流的編碼、解碼系統，包括編碼裝置，包括感興趣區域編碼模塊，根據用戶需要可選地對採集後的感興趣部分的視頻信息進行感興趣區域編碼；全景編碼模塊，根據用戶需要可選地對採集後的所有視頻信息進4亍全景編碼；感興趣區域打包模塊，連接該感興趣區域編碼模塊，對感興趣區域編碼後的碼流進行打包，包括時間戳插入單元，將時間戳插入包頭部結構以同步感興趣碼流和全景碼流；標識符承載單元，在該包頭部結構的同步源上承載標識符以識別分屬不同碼流的包；標誌符插入單元，在包中插入標誌符以識別該包是否包含感興趣;馬流；感興趣宏塊信息插入單元，插入感興趣的起始和終止宏塊位置信息；感興趣區域包發送模塊，連接該感興趣區域打包模塊，發送感興趣區i或包；全景打包模塊，連接該全景編碼模塊，對全景編碼後的碼流進行打包，包括時間戳插入單元，將時間戳插入包頭部結構以同步感興趣碼流和全景碼流；標識符承載單元，在該頭部結構的同步源上承載標識符以識別分屬不同碼流的包；標誌符插入單元，插入標誌符以識別該包是否包含感興趣區域的信息；全景包發送模塊，連接該全景打包模塊，發送全景包；復用模塊，連接該感興趣區域打包模塊和該全景打包模塊，根據用戶需要可選地對感興趣碼流和全景碼流進行復用；感興趣和全景復用發送模塊，發送復用後的碼流；傳輸裝置，包括包傳輸模塊，傳輸感興趣碼流/全景碼流/感興趣碼流和全景碼流的復用流；解復用模塊，對經由該包傳輸模塊傳輸的碼流進行系統層解復用，通過在該碼流頭部結構的同步源上承載的標識符標識分屬不同碼流的包；解碼裝置，包括感興趣碼流解析模塊，對解復用出的感興趣碼流包進行解析，解析出其中的感興趣碼流、感興趣編碼的參數和時間戳；感興趣解碼模塊，根據解析出的感興趣編碼的參數和時間戳對解析出的感興趣碼流進行解碼；感興趣播放模塊，根據用戶需要可選地對感興趣區域進行單獨播放；全景碼流解析模塊，對解復用出的全景碼流包進行解析，解析出其中的全景碼流和時間戳；全景解碼模塊，根據解析出的時間戳對解析出的全景碼流進行解碼；全景播放模塊，根據用戶需要可選地進行全景播放；像素域融合模塊，根據解析出的時間戳和感興趣區域的位置信息，將解碼後的感興趣幀和全景幀進行像素域上的融合；全景和感興趣播放模塊，將經該像素域融合模塊融合後的全景和感興趣區域的結合加以播放。上述的支持感興趣區域的多路視頻流的編碼、解碼系統，其中，編碼裝置中的感興趣區域編碼模塊和全景編碼模塊採用相同的編碼參數。上述的支持感興趣區域的多路視頻流的編碼、解碼系統，其中，編碼裝置中的感興趣區域編碼模塊和全景編碼模塊採用不同的編碼參數。上述的支持感興趣區域的多路視頻流的編碼、解碼系統，其中，編碼裝置中的全景編碼模塊之前還包括下採樣模塊以減小圖像尺寸。上述的支持感興趣區域的多路視頻流的編碼、解碼系統，其中，解碼裝置中的像素域融合模塊之前還包括對全景幀進行上採樣的上採樣模塊。上述的支持感興趣區域的多路3見頻流的編碼、解碼系統，其中，解碼裝置中還包括位於該感興趣碼流解析模塊和該感興趣解碼模塊之間的感興趣碼流緩沖模塊，以及位於該全景碼流解析模塊和該全景解碼模塊之間的全景碼流緩衝模塊。上述的支持感興趣區域的多路視頻流的編碼、解碼系統，其中，解碼裝置中還包括感興趣幀存儲模塊，位於該感興趣解碼模塊和該感興趣播放模塊之間，存儲解碼後的感興趣幀，並提供給該像素域融合模塊；全景幀存儲模塊，位於該全景解碼模塊和該全景播放模塊之前，存儲解碼後的全景幀，並提供給該像素域融合模塊。本發明對比現有技術有如下的有益效果本發明在編碼端可選地對ROI區域、全景或是兩者的復用進行編碼，以RTP包的形式基於RTP/UDP/IP傳輸協議棧結構進行傳輸，在解碼端解析RTP包，對ROI區域或全景進行同步解碼，並根據用戶的需要將ROI區域幀和全景幀在像素域進行融合。對比現有技術，本發明滿足了ROI區域的視頻壓縮需碼策略和顯示策略等方面，具有很強的靈活性。圖1是本發明的支持ROI區域的多路3見頻流的編碼、解碼方法的一個較佳實施例的流程圖。圖2是RTP頭部結構的示意圖。圖3是承載ROI多碼流傳輸的協議棧結構的示意圖。圖4是承載ROI多碼流的包結構的示意圖。圖5是本發明的支持ROI區域的多鴻4見頻流的編碼、解碼系統的一個較佳實施例的框圖。圖6是圖5所示系統實施例中的編碼裝置的框圖。圖7是圖5所示系統實施例中的傳輸裝置的框圖。圖8是圖5所示系統實施例總的解碼裝置的框圖。具體實施例方式下面結合附圖和實施例對本發明作進一步的描述。圖1示出了本發明的支持ROI區域的多路視頻流的編碼、解碼方法的一個較佳實施例的流程。請參見圖1，下面是對該方法中各步驟的詳細描述。步驟S100:對採集後的感興趣部分的視頻信息進行ROI區域編碼。該步驟是根據用戶需要可選的，也即，只有當用戶需要在終端觀看感興趣部分的視頻信息時，才需要進行步驟S100。ROI碼流的特點是，編碼器只對感興趣區域進行編碼，對於感興趣區域以外的視頻信息將不編碼。ROI(感興趣)區域通常是空間域內的部分區域，但也可以是時域上的若干幀，感興趣區域的範圍可以是預先設定的，也可以根據用戶需求設置，感興趣區域範圍的確定並不包含在本申請之中。本發明主要考慮空間域上ROI的情況。ROI區域的生成通過某種算法實現，比如圖像分割，運動跟蹤等。通常，ROI區域的生成算法需要儘量保證ROI區域的編碼效率。比如，如果相鄰幀都是以部分ROI區域編碼的，那麼ROI區域的生成算法需要考慮並權衡在當前幀的幀內編碼效率，同時也要考慮降低與前一幀運動補償的殘差。單純對ROI區域編碼會導致編碼效率的損失。這種損失主要是由下面方面造成的幀間的運動矢量和實際ROI幀間相關區域的位置不匹配；ROI區域的邊緣部分的有效幀內預測模式的減少，等等。另外，考慮到全景碼流和ROI對應區域的相關性並沒有被利用，所以單獨對ROI區域進行編碼有一定的效率降低，然而，優勢也是明顯的。首先，ROI作為關鍵信息，可以單獨提取和呈現給監控終端。其次，實現的複雜度比分層編碼降低，另外，監控參數設置的靈活性也得到了提高。正如上面所提到的，ROI區域的定義不僅僅是在每一幀內的某個空間區域，同樣也可以推廣到時域上。實際應用中，也不是每個視頻幀都會包含ROI區域。這樣在傳輸的時候，只需要對時域上的ROI顯示單元進行標記以區分時域上的ROI幀。在必要的時候，監控終端可以只提取解碼並播放ROI碼流而忽略全景碼流，這樣可以大大突出監控重點，並節省監控的人力需求。本步驟中產生ROI碼流的方式中，僅僅對ROI區域進行編碼，視頻圖像尺寸為視頻寬x視頻高。可以有兩種方式實現，其一是將非ROI區域跳過不編碼，另一是將非ROI區域設置為不含有圖像紋理信息的值再進行編碼。這兩種實現均是現有技術，簡述如下。對於第一種實現方式，直接把非ROI區域的像素值直接設置為一常量(例如128)，生成一個遮蔽(Mask)後的圖像，然後使用普通的視頻編碼器對新的圖像序列進行編碼。對於第二種實現方式，為了提高編碼速度，直接把非ROI區域的宏塊語法配置成固定的值，這樣，編碼器可以完全跳過對非ROI區域的編碼.比如，假設視頻編碼格式為AVS-P2,可以把非ROI區域的宏塊按照AVS的語法定義設為固定二進位碼流，以兼容解碼器的解碼過程.對於I幀或l-MB，每個宏塊的碼流在宏塊層可以按下面方法預設設置pred一mode—flag=1;設置cbp的code—num=0;用EXPCOLOMBCODE編碼後codeword=1;而P幀或P-MB帕可以在SLICE(條帶)層把非ROI區域編為SKIP_RUN。具體方案的實現需要根據實際情況而定，第一種方案的實現比較簡單，不需要在編碼層做任何處理，完全兼容現有的編碼設備，但是對非ROI區域的編碼也會造成浪費一部分的編碼計算資源。第二種方案需要在編碼過程中根據非ROI區域的宏塊處插入預定的二進位宏塊碼流。這一步驟中可以生成一個ROI區域的編碼，也可以生成多個ROI區域的編碼，視用戶需求而定。步驟S101:對採集後的所有視頻信息進行全景編碼。這一步驟是根據用戶需要可選的，也即，只有當用戶需要觀看全景視頻信息時才需要進行這一步驟。產生全景碼流的目的是為了能夠讓監控終端能全面但粗略地了解所監控的場景。同時為了節省碼流率，通常採用監控終端所能認可的最低質量(比如解析度和PSNR)進行編碼。全景碼流通常包含全部的時域幀和場景信息。較佳地，可以在該步驟中增加對採集信息的下採樣處理，視頻圖像尺寸為下採樣率x視頻寬x視頻高。同時通過設置量化步長進行流量控制以降低全景視頻的碼流率。比較步驟S100的ROI區域編碼和步驟S101的全景編碼，可採用相同也可採用不同的編碼參數，較佳地，採用不同的編碼參數。在實際應用中，可以採用雙編碼器，也可以採用轉碼的方式實現產生雙碼流。由於用雙編碼器產生兩個獨立編碼的碼流，編碼器就可以分別對單個碼流進行高度靈活的編碼策略的選擇。步驟S102:在ROI編碼後進行RTP(實時傳輸協議)打包。步驟S103:在全景編碼後進行RTP打包。在上述兩個步驟的RTP打包過程中，需要在RTP頭部結構(RTPHeader)中插入時間戳(Timestamp)以同步感興趣碼流和全景碼流，在RTP頭部結構中的同步源(SSRC,SynchronizationSource)上承載標識符以識別分屬不同碼流的包，在RTP拓展欄位(RTPHeaderExtension)中插入ROI標誌符和ROI的起始和終止宏塊信息。RTP打包只是其中一個實例，本發明的方法能拓展到任何傳輸方案，例如MPEG2-TS等的傳輸方案。具體的說，請參見圖2,圖2示出了RTP頭部結構，其中PT將使用動態映射的方法，這可以通過SDP[2]的方法來說明，時間戳(Timestamp)用來實現ROI和全景的同步，例如ROI的時間戳需要對應於全景的時間戳，SSRC用來承載標識符(SID，SimulcastID)。系統層在RTP的PAYLOADFORMAT中定義與ROI相關的同步和處理信息，每個RTP包對應一個幀。表1簡述了RTP頭部擴展欄位(RTPHeaderExtension)的語法定tableseeoriginaldocumentpage15表一如表一所示，一個欄位指出該碼流屬於SID序列的Total—bitstream—cnt_in—simulcast個碼流數中的第Bitstream—Num個碼流。例如，，支設包含ROI的RTP流中Total—bitstream—cnt—in_simulcast=1，Bitstream—Num=0，那麼只有ROI可被解碼顯示。假設包含全景的RTP流中Total—bitstream_cnt—in—simulcast=1，Bitstream—Num=0，那麼只有全景可被解碼顯示。假設包含全景和ROI的RTP流中Total—bitstream—cnt」n—simulcast=1、Bitstream—Num分別是0和1，那麼ROI和全景可以選擇地被同步顯示。一個欄位即標誌位ROI—flag指出當前流是否是ROI流，例如當其值為1時是ROI，其值為0時為全景。如果該碼流是ROI流，則指出ROI—CNT和ROI的MBINDEX的起始號，這樣就得到了ROI的起始和終止宏塊信白在系統層定義ROI就可以在實際解碼之前就知道應該用何種模式程序多碼流數據。在某一存儲單元(AccessUnit)內(或視頻幀內)，ROI的數目可以是多個，每個ROI指出MBJNDEX的起始位置START—MBINDEX和結束位置START—MBINDEX+OFFSET。上述的定義也可以用於普通多碼流的傳輸，比如，在多碼流分屏顯示的情況下，根據該碼流是屬於SID序列的總N個碼流數中的第I個碼流的判斷來決定多碼流的處理。步驟S104:對RTP打包後的ROI碼流和全景碼流進行復用。這一步也是根據用戶需要可選的。產生復用碼流的目的在於同步ROI和全景碼流的傳輸並且控制接收端的緩衝充盈度，這樣監控終端的解碼器可以對接收到的ROI和全景碼流按照同步時間戳分別進行碼流緩衝、圖像疊加和復原。上述步驟S100-S104均是編碼端的處理過程。可以根據用戶的需要，可選地僅對一個或多個ROI進行編碼，或者僅對全景進行編碼，又或者對兩者進行編碼並復用。在RTP打包過程中引入了時間戳、同步源標識符、ROI標誌符及ROI起始和終止宏塊信息等。步驟S105:以RTP包的形式發送ROI碼流/全景碼流/ROI和全景的復用流，並基於RTP/UDP/IP傳輸協議棧結構進行傳輸。協議棧結構如圖3所示，ROI多碼流在IP網絡上傳輸，例如區域網、網際網路、GSM、3G無線網絡等。其傳輸和傳輸中的同步是通過在編碼時插入的關聯時間戳來實現。承載ROI碼流的包結構如圖4所示，包括UDP、RTP頭部、RTP頭部擴展和視頻數據。步驟S106:對傳輸的RTP碼流進行系統層解復用，通過在該RTP頭部結構的同步源上承載的標識符(SID)標識分屬不同碼流的RTP包。可以通過IP和埠解復用，也可以通過SSRC的SID解復用。步驟S107:對解復用出的ROI碼流的RTP包，經RTP解析(RTPParse),包括對RTP有效負載格式(RTPPAYLOADFORMAT)的解析，解析出其中的ROI碼流、ROI編碼參數和時間戳。步驟S108:對解析出的ROI碼流進行緩衝。步驟S109:根據解析出的ROI編碼參數和時間戳，對緩沖後的ROI碼流進行解碼，並以ROI幀的方式存儲。上述步驟S107-S109是基於實際解復用出ROI碼流的情況下進行的。步驟S110:對解復用出的全景碼流的RTP包，經RTP解析(RTPParse)，包括對RTP有效負載格式(RTPPAYLOADFORMAT)的解析，解析出其中的全景碼流和時間戳。步驟S111:對解析出的全景碼流進行緩衝。步驟S112:根據解析出的時間戳，對緩衝後的全景碼流進行解碼，並以全景幀的方式存儲。上述步驟S110-S112是基於實際解復用出全景碼流的情況下進行的。步驟S113:根據解析出的時間戳以及ROI區域的位置信息，將ROI幀和全景幀在像素域上進行融合，生成清晰度不一的視頻圖像。這一步是在存儲有全景幀和ROI幀的前提下由用戶需求決定而進行的。如果在編碼時曾對全景編碼釆用下採樣，那麼需要在融合之前對全景幀進行上採樣。步驟S114:對ROI幀/全景幀/ROI和全景融合幀進行播放。具體播;故哪一類的幀，由用戶決定。由此可見，用戶在監測終端選擇觀看ROI幀圖像、或全景幀圖像、或ROI和全景融合的圖像。基於上述的方法，圖5示出了本發明的支持感興趣區域的多路視頻流的編碼、解碼系統。請參見圖5,系統1包括編碼裝置10、傳輸裝置20和解碼裝置30。編碼裝置10的原理請參見圖6所示。編碼裝置10包括ROI編碼模塊100、ROIRTP打包模塊102、ROIRTP包發送模塊104、全景編碼模塊101、全景RTP打包模塊103、全景RTP包發送模塊105、復用模塊106、ROI和全景復用發送模塊107。ROI編碼模塊100根據用戶需要可選地對採集後的ROI部分的視頻信息進行ROI編碼。ROI編碼模塊100的編碼方式是現有技術，其具體實現請參見上述方法中的ROI編碼步驟，在此不再贅述。注意到，本模塊只在用戶需要對視頻信息進行ROI編碼的情況下啟動。ROIRTP打包模塊102連接ROI編碼模塊100，對編碼後的碼流進行RTP打包，其包括時間戳插入單元(未圖示)、標識符承載單元(未圖示)、標誌符插入單元(未圖示)和ROI宏塊信息插入單元(未圖示)。時間戳插入單元將時間戳插入RTP頭部結構以同步ROI碼流和全景碼流。標識符承載單元在RTP頭部結構的同步源上承載標識符(SID)以識別分屬不同碼流的RTP包。標誌符插入單元負責在RTP拓展欄位中插入標誌符以識別該RTP包是否屬於ROI碼流。ROI宏塊信息插入單元將ROI的起始和終止宏塊信息插入在RTP拓展欄位中。時間戳插入單元具體插入時間戳的方式、標識符承載單元具體在同步源上承載標識符的方式、標誌符插入單元具體插入標誌符的方式以及ROI宏塊信息插入單元具體插入起始和終止宏塊信息的方式請參見圖2和上述的表一，其具體描述的細節已在方法的描述中揭示，在此不再贅述。經打包模塊102打包後可通過R01RTP包發送模塊104對外發送。這裡的ROI編碼模塊100、ROIRTP打包模塊102以及ROIRTP包發送模塊104僅示出為一組，本領域技術人員應知，可以是兩組及以上。全景編碼模塊101根據用戶需要可選地對採集後的所有視頻信息進行全景編碼。在全景編碼模塊之前還可以設置一個下採樣模塊(未圖示)以減小圖像尺寸。全景編碼模塊101和ROI編碼模塊100可以採用相同的編碼參數也可以採用不同的編碼參數。較佳地，兩個模塊分別採取不同的編碼參數。注意到，本模塊只在用戶需要對視頻信息進行全景編碼的情況下啟動。全景RTP打包模塊103連接全景編碼模塊101，對全景編碼後的碼流進行RTP打包，包括時間戳插入單元(未圖示)、標識符承載單元(未圖示)、標誌符插入單元(未圖示)。其中時間戳插入單元將時間戳插入RTP頭部結構以同步ROI和全景，標識符承載單元在RTP頭部結構的同步源上承載標識符以識別分屬不同碼流的RTP包，標誌符插入單元在RTP拓展欄位中插入標誌符以識別該RTP包是否屬於ROI碼流。應理解，時間戳插入單元具體插入時間戳的方式、標識符承載單元具體在同步源上承載標識符的方式、標誌符插入單元具體插入標誌符的方式請參見圖2和上述的表一，其具體描述的細節已在方法的描述中揭示，在此不再贅述。經打包模塊103打包後由全景RTP包發送模塊105向外發送。復用模塊106連接ROIRTP打包模塊102和全景RTP打包模塊103,根據用戶需要可選地對ROIRTP包和全景RTP包進行復用。該模塊僅在用戶需要同時觀察全景和ROI區域圖像的情況下啟動。復用後由ROI和全景復用發送模塊107向外發送。傳輸裝置20的原理請參見圖7,傳輸裝置20包括RTP包傳輸模塊200和解復用模塊201。RTP包傳輸模塊200基於RTP/UDP/IP傳輸協議棧結構傳輸以RTP包的形式發送的ROI碼流/全景碼流/ROI和全景的復用碼流。傳輸協議棧結構請參見圖3，傳輸包的結構請參見圖4，具體已在上述的方法實施例中描述，在此不再贅述。解碼裝置30的原理請參見圖8，解碼裝置30包括ROIRTP解析模塊300、ROI緩衝模塊302、ROI解碼模塊304、ROI幀存儲模塊306、ROI播放模塊308、全景RTP解析模塊301、全景緩衝模塊303、全景解碼模塊305、全景幀存儲模塊307、全景播放模塊309、像素域融合模塊310、ROI和全景播放模塊311。ROIRTP解析模塊300對解復用出的ROI碼流RTP包進行RTP解析，包括對RTP有效負載格式(RTPPAYLOADFORMAT)的解析，解析出其中的ROI碼流、ROI編碼參數和時間戳。ROI碼流進入ROI緩衝模塊302，然後進入ROI解碼模塊304。在ROI解碼模塊304中，根據解析出的ROI編碼參數和時間戳，對解析出的ROI碼流進行解碼。解碼之後由ROI幀存儲模塊306存儲為ROI幀。隨後，根據用戶需要，通過ROI播放模塊308播放ROI幀。上述模塊在解復用出的RTP包中存在ROI碼流的情況下啟用。全景RTP解析模塊301對解復用出的全景碼流RTP包進行RTP解析，包括對RTP有效負載格式(RTPPAYLOADFORMAT)的解析，解析出其中的全景碼流和時間戳。全景碼流隨後進入全景緩衝模塊303，然後進入全景解碼模塊305。在全景解碼模塊305中，根據解析出的時間戳，對解析出的全景碼流進行解碼。解碼之後由全景幀存儲模塊307存儲為全景幀。隨後，根據用戶需要，通過全景幀播放模塊309播放全景幀。上述模塊在解復用出的RTP包中存在全景碼流的情況下啟用。在ROI幀存儲模塊306存有ROI幀和全景幀存儲模塊307中存有相應全景幀的情況下(亦即接收到的是ROI和全景復用的碼流)，在像素域融合模塊310中，根據解析出的時間戳和ROI區域的位置信息，將解碼後的ROI幀和全景幀進行像素域上的融合，形成生成清晰度不一的視頻圖像。如果在編碼裝置中存在下採樣模塊，則需在像素域融合模塊310和全景幀存儲模塊307之間設置上採樣模塊(未圖示)以與之對應。在像素域模塊310融合圖像之後，通過ROI和全景播放模塊311進行播放。從上述可知，解碼裝置30可以根據收到不同碼流情況進行解碼。在只收到ROI碼流的情況下播放ROI視頻，在只收到全景碼流的情況下播放全景視頻，在收到ROI和全景復用碼流的情況下播放ROI和全景的融合視頻。領域普通技術人員可在不脫離本發明的發明思想的情況下，對上述實施例做出種種修改或變化，因而本發明的保護範圍並不被上述實施例所限，而應該是符合權利要求書提到的創新性特徵的最大範圍。權利要求1、一種支持感興趣區域的多路視頻流的編碼、解碼方法，包括編碼和傳輸過程根據用戶需要可選地對採集後的感興趣部分的視頻信息進行感興趣區域編碼，根據用戶需要可選地對採集後的所有視頻信息進行全景編碼；在感興趣區域編碼後對其進行打包以產生感興趣碼流並發送，在全景編碼後對其進行打包以產生全景碼流並發送，其中打包的形式包括在包結構中插入時間戳以同步感興趣碼流和全景碼流，在包結構中承載標識符以識別分屬不同碼流的包，並插入感興趣標誌符以及感興趣的起始和終止宏塊信息；在用戶需要的情況下可選地對打包後產生的感興趣碼流和全景碼流進行復用並傳輸；解碼過程對解復用出的感興趣碼流包，先經碼流解析，解析出其中的感興趣碼流、感興趣編碼的參數和時間戳，該解析出的感興趣碼流根據該解析出的感興趣編碼的參數和時間戳進行解碼，根據用戶需要可選地進行感興趣區域的單獨播放；對解復用出的全景碼流，先經碼流解析，解析出其中的全景碼流和時間戳，該解析出的全景碼流根據該解析出的時間戳進行解碼，根據用戶需要可選地進行全景播放；如果同時存在解碼後的感興趣幀和全景幀，根據該解析出的時間戳對兩者進行同步，並根據感興趣區域的位置信息對兩者進行像素域的融合，根據用戶需要可選地進行感興趣區域結合全景的播放。2、根據權利要求1所述的支持感興趣區域的多路視頻流的編碼、解碼方法，其特徵在於，在編碼過程中，感興趣區域編碼和全景編碼採用相同的編碼參數。3、根據權利要求1所述的支持感興趣區域的多路視頻流的編碼、解碼方法，其特徵在於，在編碼過程中，感興趣區域編碼和全景編碼採用不同的編碼參數。4、根據權利要求1所述的支持感興趣區域的多路視頻流的編碼、解碼方法，其特徵在於，在編碼過程中，在全景編碼之前還包括下採樣的過程用以減小圖像尺寸。5、根據權利要求4所述的支持感興趣區域的多路視頻流的編碼、解碼方法，其特徵在於，在解碼過程中，在像素域融合之前，還包括對全景幀進行上採樣。6、根據權利要求1所述的支持感興趣區域的多路視頻流的編碼、解碼方法，其特徵在於，在解碼過程中，在對全景碼流/感興趣碼流進行解碼之前還包括碼流緩沖過程。7、根據權利要求1所述的支持感興趣區域的多路視頻流的編碼、解碼方法，其特徵在於，在解碼過程中，在對全景碼流/感興趣碼流進行解碼之後還包括將其存儲為全景幀/感興趣幀。8、一種支持感興趣區域的多路視頻流的編碼、解碼系統，包括編碼裝置，包括感興趣區域編碼模塊，根據用戶需要可選地對採集後的感興趣部分的視頻信息進行感興趣區域編碼；全景編碼模塊，根據用戶需要可選地對採集後的所有視頻信息進行全景編碼；感興趣區域打包模塊，連接該感興趣區域編碼模塊，對感興趣區域編碼後的碼流進行打包，包括時間戳插入單元，將時間戳插入包頭部結構以同步感興趣碼流和全景碼流；標識符承載單元，在該包頭部結構的同步源上承載標識符以識別分屬不同碼流的包；標誌符插入單元，在包中插入標誌符以識別該包是否包含感興趣碼流；感興趣宏塊信息插入單元，插入感興趣的起始和終止宏塊位置信息；感興趣區域包發送模塊，連接該感興趣區域打包模塊，發送感興趣區域包；全景打包模塊，連接該全景編碼模塊，對全景編碼後的碼流進行打包，包括時間戳插入單元，將時間戳插入包頭部結構以同步感興趣碼流和全景碼流；標識符承載單元，在該頭部結構的同步源上承載標識符以識別分屬不同碼流的包；標誌符插入單元，插入標誌符以識別該包是否包含感興趣區域的信息；全景包發送模塊，連接該全景打包模塊，發送全景包；復用模塊，連接該感興趣區域打包模塊和該全景打包模塊，根據用戶需要可選地對感興趣碼流和全景碼流進行復用；感興趣和全景復用發送模塊，發送復用後的碼流;傳輸裝置，包括包傳輸模塊，傳輸感興趣碼流/全景碼流/感興趣碼流和全景碼流的復用流；解復用模塊，對經由該包傳輸模塊傳輸的碼流進行系統層解復用，通過在該碼流頭部結構的同步源上承載的標識符標識分屬不同碼流的包；解碼裝置，包括感興趣碼流解析模塊，對解復用出的感興趣碼流包進行解析，解析出其中的感興趣碼流、感興趣編碼的參數和時間戳；感興趣解碼模塊，根據解析出的感興趣編碼的參數和時間戳對解析出的感興趣碼流進行解碼；感興趣播放模塊，根據用戶需要可選地對感興趣區域進行單獨播放；全景碼流解析模塊，對解復用出的全景碼流包進行解析，解析出其中的全景碼流和時間戳；全景解碼模塊，根據解析出的時間戳對解析出的全景碼流進行解碼；全景播放模塊，根據用戶需要可選地進行全景播放；像素域融合模塊，根據解析出的時間戳和感興趣區域的位置信息，將解碼後的感興趣幀和全景幀進行像素域上的融合；全景和感興趣播放模塊，將經該像素域融合模塊融合後的全景和感興趣區域的結合加以播放。9、根據權利要求8所述的支持感興趣區域的多路視頻流的編碼、解碼系統，其特徵在於，編碼裝置中的感興趣區域編碼模塊和全景編碼模塊採用相同的編碼參數。10、根據權利要求8所述的支持感興趣區域的多路視頻流的編碼、解碼系統，其特徵在於，編碼裝置中的感興趣區域編碼模塊和全景編碼模塊釆用不同的編碼參數。11、根據權利要求8所述的支持感興趣區域的多路視頻流的編碼、解碼系統，其特徵在於，編碼裝置中的全景編碼模塊之前還包括下採樣模塊以減小圖像尺寸。12、根據權利要求11所述的支持感興趣區域的多路視頻流的編碼、解碼系統，其特徵在於，解碼裝置中的像素域融合模塊之前還包括對全景幀進行上採樣的上採樣模塊。13、根據權利要求8所述的支持感興趣區域的多路視頻流的編碼、解碼系統，其特徵在於，解碼裝置中還包括位於該感興趣碼流解析模塊和該感興趣解碼模塊之間的感興趣碼流緩衝模塊，以及位於該全景碼流解析模塊和該全景解碼模塊之間的全景碼流緩衝模塊。14、根據權利要求8所述的支持感興趣區域的多路視頻流的編碼、解碼系統，其特徵在於，解碼裝置中還包括感興趣幀存儲模塊，位於該感興趣解碼模塊和該感興趣播放模塊之間，存儲解碼後的感興趣幀，並提供給該像素域融合模塊；全景幀存儲模塊，位於該全景解碼模塊和該全景播放模塊之前，存儲解碼後的全景幀，並提供給該像素域融合模塊。全文摘要本發明公開了一種支持ROI區域的多路視頻流的編碼、解碼方法和系統，靈活調節ROI區域的編碼策略和顯示策略。其技術方案為在編碼端可選地對ROI區域、全景或是兩者的復用進行編碼，並打包發送。在解碼端解析傳輸包，對ROI區域或全景進行同步解碼，並根據用戶的需要將ROI區域幀和全景幀在像素域進行融合。本發明應用於視頻監控領域。文檔編號H04N7/26GK101453639SQ20071017133公開日2009年6月10日申請日期2007年11月29日優先權日2007年11月29日發明者丁亞強,林福輝,武曉陽申請人:展訊通信(上海)有限公司