從發射機向接收機傳輸數位化運動圖像的方法和系統以及相應的解碼器的製作方法
2023-06-06 22:30:51
專利名稱：從發射機向接收機傳輸數位化運動圖像的方法和系統以及相應的解碼器的製作方法
技術領域：
本發明涉及用於從發射機向接收機傳輸數位化運動圖像的方法和系統。另外，本發明還涉及一種相應的(圖像-)解碼器。
用於處理數位化圖像數據的方法、尤其是圖像壓縮方法對本領域技術人員是已知的(譬如參見圖像壓縮標準MPEG-2，MPEG-4或H.26x)。
在這方面，還已知把含有數位化運動圖像序列的圖像數據流如此地從發射機傳輸給接收機，使得首先傳輸具有重要信息內容的信息。這優選地通過使用所謂的優先級來實現，藉助該優先級來對運動圖像序列的信息內容進行分類。由此，根據其優先級傳輸圖像數據，可以在圖像數據流中首先把具有重要信息內容的數據傳輸給接收機。詳情可以查閱文獻[1]、[2]或[3]。
另外還已知所謂的實時-傳輸-協議(RTP)。RTP協議是用於諸如音頻和/或視頻等實時應用的應用專用協議，並為數據類型識別、分組編號及時標監視等提供功能。這些協議是由網際網路工程任務組(IETF)進行標準化的，在[4]或[5]中包含有MPEG-1、MPEG-2和H.263的例子。
在圖像處理中，另外還已知把各個圖像塊組合成宏塊，尤其把多個有關的宏塊稱為所謂的「片段」。譬如在[6]中，可以把多個宏塊行或一個與圖像物體有關的圖像段組合成一個片段。
目前現有技術的一個問題是，在有差錯的信道上傳輸時解碼器首先不會注意到傳輸差錯，而該被解碼的差錯在顯示運動圖像序列時會被傳播。這在被顯示的視頻圖像中將導致明顯的質量損失。
本發明的任務在於，幾乎完全地阻止視頻圖像中的差錯傳播。
該任務通過獨立權利要求的特徵來解決。本發明的改進方案由從屬權利要求給出。
為解決所述的任務，首先提供了一種用於從發射機向接收機傳輸數位化運動圖像的方法，其中在發射機中以圖像數據流的形式提供所述的數位化運動圖像。把所述的圖像數據流劃分成優先級。藉助適配層在發射機中利用預定的協議把所述被劃分成優先級的圖像數據流傳輸到接收機。在接收機設有適配層的情況下確定傳輸差錯。針對所確定的傳輸差錯在接收機內執行差錯處理。(在接收機中)把經差錯處理後的圖像數據流輸入到圖像解碼器中。因此可以在接收機中形式被傳輸的數位化運動圖像序列。
該方法具有以下優點，即對標準化圖像解碼器透明地提供業務「差錯處理」，以便阻止傳輸信道中的差錯在顯示數位化運動圖像時被傳播和因此導致上述的質量損失。具體地說，上述方法的差錯處理確保了識別和相應地處理這種差錯，以便不導致上述差錯在運動圖像內的傳播。
通過把劃分為優先級和藉助適配層進行傳輸組合起來，可以得到非常的有益效果。因此確保圖像數據內的數據按照優先級從發射機被傳送給接收機，使得在接收機中首先只輸入具有最重要信息內容的數據。由此確保了在接收機內以某個最低質量首先顯示該運動圖像。接下來需傳輸的數據尤其被用於連續地改善質量，以便在出現傳輸差錯的情況下在該時間點確保至少可以使用以前傳輸的圖像數據，並使該傳輸差錯不影響接下來傳輸的圖像。
在此需指出的是，優選地從出現差錯開始，可以放棄屬於該運動圖像序列內的圖像的、圖像數據流的所有圖像數據。相應地，如果該(被放棄的)圖像數據需要被用來重構一個內部圖像，則可以統一地不利用明顯出錯的數據來進行重構。差錯處理的一種可能性在於，從出現出錯開始，每個同步的圖像都要放棄用於該圖像的接下來的數據。譬如，尚未出錯的分區數據直到被識別出的差錯可以被考慮用來進行差錯處理和解碼。所述的差錯處理也可以是放棄所述的出錯數據。
如果包含有優先級或其一部分的分組在經網絡傳輸時被丟失，則這可以通過適配層檢測到。隨後引入相應的差錯處理。分組的損失譬如通過採用RTP協議來檢測；通過放棄數據來進行差錯處理。
在此尤其以分組損失為出發點；於是到達一個分組或在(網絡中)傳輸時丟失該分組。由此不存在該分組的信息。一種可能的差錯處理譬如在於，為運動估測而在最後一個可無差錯地解碼的運動矢量類和下一個可無差錯地解碼的運動矢量類之間進行運動矢量的內插。在損失具有重要信息內容的分組的情況下，也可以放棄一個完全的圖像。
一種改進方案在於，將多個接收機設為所述圖像數據流的接收者。
通過用同步標記或分區表來分離所述的分區，在傳輸差錯之後應該確保解碼器在檢測到序列差錯之後再次與圖像數據流同步。這是H.263和MPEG-4-標準的組成部分。
數據在差錯情況下尤其被放棄，直到下一個被識別出的分區界限。通過相應地優先化各個信息內容，應該確保重要的信息內容要以比具有不重要信息內容的數據(分組)要低的概率被丟失。由此確保可以顯示圖像或運動圖像序列的某個最低質量。
另一種改進方案在於，藉助優先級把所述運動圖像的數據進行如此地分類，使得具有最重要信息內容的數據首先在圖像數據流中被發射機傳輸給接收機。由此象上文所述的那樣確保了具有最重要信息內容的數據(針對運動圖像序列的每個圖像，也即針對每個可同步的單元)首先被傳輸。隨後(分級地)分別傳輸較不重要的、用於確保連續地改善圖像質量的數據。如果在這種數據內發生差錯，那麼，雖然能以足夠的質量識別視頻圖像，也放棄當前可同步的單元內的隨後信息。可同步的單元由此被理解為位於兩個同步點之間的區域，從該同步點起可以再次-即便出現差錯-重新考慮圖像數據流的數據。
另一擴展方案在於，由所述的適配層採用不同的協議以用於從發射機到接收機的傳輸。所述的適配層尤其可以使用分組交換的業務或面向連接的業務。優選地，所述的適配層使用各個傳輸協議的業務品質特徵。
尤其有利的是，適配層可以同時使用多個協議，或者適配層可以同時使用一個協議或不同協議的多個信道。
一種改進方案在於，通過由所述的適配層採用一種對差錯敏感的協議來確定傳輸差錯。所述對差錯敏感的協議特別是RTP協議。如果每個分組可藉助順序號進行標識，則此處便被認為是對差錯敏感的，也就是說，若丟失一個分組，則也會丟失相應的分組號。於是，到達的分組具有比原本期望的要大的號。由此可以檢測到差錯(此處是分組損失)。
但原則上也可以採用各種其它的協議，其至少可以確保檢測出傳輸差錯。
還有一種改進方案是，分組交換地和/或面向連接地執行所述的傳輸。
另一種改進在於，由所述的圖像解碼器顯示所獲得的運動圖像。
上述方法的優點尤其在於可以使用標準的圖像解碼器，業務「差錯處理」對於該解碼器是透明地被提供的。由此可以這樣擴展所述標準解碼器的功能性，使得它無論如何也不顯示所述被傳播的傳輸差錯。這是通過上述適配層來確保的。
還有一種改進方案在於，通過優先級中的頭部信息來尋址一組相關聯的宏塊(片段)。這尤其具有以下優點，即多個(相繼的)宏塊(片段)的組合可以作為一部分圖像數據流而按照優先級進行劃分。在該情形下，也在圖像數據於圖像數據流內的傳輸順序中考慮該片段的邏輯結構。這可以按不同的方式和方法來實現。一種可能性在於，在所述片段所含的塊的宏塊類型信息之前設置所述的片段信息。另一種可能性在於設立一個片段表格，由它給出宏塊類型或宏塊至不同片段的分配關係。第三種可能性在於，直接給下一級的優先級分配所述的片段信息，該優先級譬如是表徵所述片段所含的宏塊的DCT係數。
尤其還有一種改進方案，所述的圖像解碼器是按照MPEG標準或H.26x標準工作的標準化圖像解碼器。
另外，為解決上述任務還給出了一種用於在接收機內解碼數位化運動圖像的方法。在此，以圖像數據流的形式提供所述的數位化運動圖像。把所述的圖像數據流劃分成優先級。藉助接收機的適配層確定傳輸差錯。針對所述的傳輸差錯在接收機內執行差錯處理。把所傳輸的、經差錯處理後的圖像數據流輸入到圖像解碼器中。
為解決上述任務還提供了一種圖像解碼器，其具有一個處理器單元，該處理器單元被如此實施，使得a)以圖像數據流的形式提供數位化運動圖像；b)把所述的圖像數據流劃分成優先級；c)可藉助接收機的適配層確定傳輸差錯；d)可針對所述的傳輸差錯在接收機內執行差錯處理；以及e)可把所傳輸的、經差錯處理後的圖像數據流輸入到圖像解碼器中。
為解決上述任務還給出了一種用於傳輸數位化運動圖像的系統，其具有一個發射機和一個接收機，其中在發射機中以圖像數據流的形式提供所述的數位化運動圖像。發射機把所述的圖像數據流劃分成優先級。發射機藉助適配層並利用預定的協議把所述被劃分成優先級的圖像數據流傳輸到接收機。接收機藉助適配層確定傳輸差錯，並針對所述的傳輸差錯執行差錯處理。在接收機中把所傳輸的、經差錯處理後的圖像數據流輸入到圖像解碼器中。
所述用於解碼數位化運動圖像的方法尤其適用於執行上述改進方案之一。
所述的圖像解碼器和所述用於傳輸數位化運動圖像的系統尤其適用於執行上述的方法和所述的改進方案之一。
下面藉助附圖來示出和說明本發明的實施例。其中
圖1示出了用於從發射機向接收機傳輸數位化運動圖像的系統簡圖。
在圖1中給出了用於傳輸數位化運動圖像的系統，其具有一個發射機和一個接收機。接下來講述該系統、圖像解碼器、從發射機向接收機傳輸數位化運動圖像的方法、或用於解碼的方法。
圖1示出了用於編碼運動圖像的編碼器101。被編碼的運動圖像應該(儘可能壓縮地、也即資源節省地)被傳輸給解碼器110，其中解碼器110優選地按照諸如MPEG-4或H.263等編碼標準進行工作。為此在協議結構中設立了一種擴展，其在編碼器方包括塊102～104，在解碼器方包括塊107～109。該協議結構的擴展的目的在於，給解碼器110透明地提供一種附加業務，也即提供一個容錯的和經差錯處理的圖像數據流。在該情形下，一方面可以有利地通過考慮優先級來經傳輸信道(105或106)進行傳輸，也即首先傳輸具有重要信息內容的信息，另一方面，可以識別和處理信道差錯，使得解碼器110不會收到在運動圖像序列上傳播的、並由此導致視頻質量大大受損的比特差錯。
據此，在塊102內在編碼器101方以優先級進行分區，也即按照優先級逐元素地對圖像數據流進行整理。從一個譬如來自H.26L圖像編碼器並含有以下內容
PSYNC|PTYPE|MB_TYPE1|MVD1|CBP1|LUM1|CHR_AC1|CHR_DC1|MB_TYPE2|MVD2|CBP2|LUM2|CHR_AC2|CHR_DC2…的圖像數據流出發，按照以下優先級來執行分區1PSYNC(「圖像同步」)PTYPE(「圖像類型」)2MB_TYPE1...MB_TYPEn(出現在一個幀/片段內的所有元素的「宏塊-類型」)3CBP1...CBP1(「編碼塊樣式」)4MVD1...MVDn(「運動矢量差」)5LUM1...LUMn(「亮度係數」)6CHR_DC1...CHR_DCn(「DC色度係數」)7CHR_AC1...CHR_ACn(「AC色度係數」)所述的優先級1-7是示例性的，其中優先級1是具有最高優先級的類。在把圖像數據流分區成優先級(參見塊102)之後，在適配層(塊103和104)內觸發經(由差錯的)傳輸信道進行傳輸。在圖1中，在塊103內示出了用於UMTS網絡的適配層，在塊104內示出了用於IP網絡(網際網路協議)的適配層。此處的較大優點在於，根據每次使用的網絡可以使用該網絡的特殊業務品質特徵。所述的業務品質特徵由網絡通知給所述的適配層。另外，在解碼器110方可以通知編碼器101存在哪些適配層，以便相應地利用可供使用的網絡(參見反向信道112和114)。由適配層把按照優先級整理的圖像數據打包成RTP分組，並將其(用不同的方法，譬如面向分組地)傳輸給解碼器110方的各個適配層(參見塊107和108)。所述的圖像數據流用參考符號111和113表示。
如此地從適配層傳輸的分組譬如具有以下結構1PSYNC，PTYPE，MB_TYPE1...MB_TYPEn，CBP1...CBPn，MVD1...MVDn(優先級1～4)2LUM1...LUMn(優先級5)3CHR_DC1...CHR_DCn(優先級6)4CHR_AC1...CHR_ACn(優先級7)在此再次表明，對運動圖像序列的各圖像最重要的信息被組合成優先級1-4，如上所述。亮度值(灰度值，流明值)被組合在優先級5中，並且仍然在色度值(優先級6和7)之前傳輸。如果解碼器收到這種分組，該解碼器便識別出一個圖像已開始；該圖像為哪種類型；在圖像中是否存在物體，如果存在，是位於何處；以及編碼方式(在塊中是否有DCT)和運動矢量信息。此後立即傳輸亮度值，也即有效的圖像信息。顏色信息被放在亮度信息之後傳輸；必要時沒有顏色信息也可以分辨所述的圖像。
經網絡的傳輸是通過使用網絡特有的特徵來實現的，在圖1中舉例示出了網際網路協議網絡和UMTS網絡。每個這種網絡都可能經受幹擾，其中可能出現分組損失。由解碼器方的適配層(參見塊107和108)檢測這些分組損失。塊109負責進行解分區，也即通過劃分優先級而重新生成圖像數據流，並對損失的信息執行差錯處理。最後把結果輸入到解碼器110中。由此，解碼器110可以是標準化的圖像解碼器，按照優先級分區和解分區的業務以及上述的差錯處理對於標準化解碼器110是透明地被提供的。
每個低的優先級尤其具有對高的優先級的依賴性。如果較高優先級的數據丟失，則位於其之下的優先級的、依賴於所述被丟失的類中的元素的數據再也不能被分析，除非丟失的信息可以從以前的圖像中估測出來(「差錯掩蔽」)。各個圖像信息越相關聯(但編碼效率越低)，則這種估測越成功。
有一種特點在於，也可以考慮把多個相繼的宏塊(片段)組合成一個被分區的圖像數據流。在該情形下，優選地隨後規定怎樣在上述分區方法中尋址所述的片段和怎樣對這種尋址需要儘可能少的存儲器位置。
在圖像數據流(沒有被分區)中，片段頭部的常用布置如下|PSYNC|PTYPE||SLICE|MBTYPE1|DCT-Coeff1|MBTYPE2|DCT-Coeff2||SLICE|MBTYPE1|...
其中，SLICE＝片段頭部，SLICETABLE＝表格形式的片段尋址，DCT-Coeff＝在宏塊中的所有DCT係數。
在分區的過程中，一次性地產生如此給出片段頭部的可能性，使得其後跟隨了所有包含在該片段中的宏塊類型
|PSYNC|PTYPE||SLICE|MBTYPE1|MBTYPE2||SLICE|MBTYPE3|MBTYPE4|...＝＞＝＞DCT-Coeff1|DCT-Coeff2|DCT-Coeff3|DCT-Coeff4|...
在該情形下，按照以上例子的優先級2(宏塊類型)編入所述的片段-頭部-信息。
作為選擇方案，可以以表格的形式實現片段頭部的尋址，其中，該表格中的元素指示了哪些宏塊屬於哪個片段(列/行分配)。這種片段的尋址如下|PSYNC|PTYPE||SLICETABLE|MBTYPE1|MBTYPE2|MBTYPE3|MBTYPE4|...
另一種選擇方案在於，在原來的圖像數據內、也即在DCT係數內實現片段頭部的尋址。在該情形下，譬如把所述的片段信息分配給所述的色度值、也即上述方案的優先級5。
為此在下面示出了一個例子|PSYNC|PTYPE||MBTYPE1|MBTYPE2|MBTYPE3|MBTYPE4...|＝＞＝＞|SLICE|DCT-Coeff1|DCT-Coeff2||SLICE|DCT-Coeff3|DCT-Coeff4|...|在通過表格或在宏塊-類型-分區內應用片段尋址的情況下，可以節省大量的存儲位置。另外，在接收機的適配層中，在統一到某個尋址方式的情況下，可以為解碼器110之下透明而有效的轉換。
參考文獻[1]J.D.Villasenor「Proposed Draft Text for the H.263Annex V Data Partitioned Slice Mode」，ITU，研究組16，視頻專家組，文件Q15-I-14，Red Bank會議，1999.10.18-21[2]H.-D.Cho，Y.-S.Saw，「A New Error Resiliant CodingMethod using Data Partitioning with Reed-SolomonProtection」，ITU，研究組16，視頻專家組，文件Q15-H-25，柏林會議，1999.8.3-6[3]M.Lutrell，「Simulatin Results for Modified ErrorResilient Syntax with Data Partitioning and RVLC」ITU，研究組16，視頻專家組，文件Q15-F-29，Seoul會議，1998.11.2-6[4]D.Hofmann，G.Fernande「RTP Payload Format forMPEG1/MPEG2 Videe」，IETF-Doc.RFC 2250，http//www.ietf.org/rfc.html.C.Zhu「RTP Payload Format for H.263 Video Streams」IETF-Doc.RFC 2190，http//www.ietf.org/rfc.html.ITU推薦H.263附錄K。
權利要求
1.用於從發射機向接收機傳輸數位化運動圖像的方法，a)其中在發射機中以圖像數據流的形式提供所述的數位化運動圖像；b)其中把所述的圖像數據流劃分成優先級；c)其中藉助適配層在發射機中利用預定的協議把所述被劃分成優先級的圖像數據流傳輸到接收機；d)其中藉助接收機的適配層確定傳輸差錯；e)其中針對所述的傳輸差錯在接收機內執行差錯處理；以及f)其中把所傳輸的、經差錯處理後的圖像數據流輸入到圖像解碼器中。
2.如權利要求1所述的方法，其中，將多個接收機設為所述圖像數據流的接收者。
3.如權利要求1或2所述的方法，其中，藉助優先級把所述運動圖像的數據進行如此地分類，使得具有最重要信息內容的數據首先在圖像數據流中被發射機傳輸給接收機。
4.如上述權利要求之一所述的方法，其中，由所述的適配層採用不同的協議以用於從發射機到接收機的傳輸。
5.如上述權利要求之一所述的方法，其中，由所述的適配層通過考慮傳輸時的預定業務品質特徵來提供發射機和接收機之間的傳輸業務。
6.如上述權利要求之一所述的方法，其中，通過由所述的適配層採用一種對差錯敏感的協議來確定傳輸差錯。
7.如權利要求6所述的方法，其中，所述對差錯敏感的協議是RTP協議。
8.如上述權利要求之一所述的方法，其中，通過一個或多個無線接口來進行所述的傳輸。
9.如上述權利要求之一所述的方法，其中，分組交換地和/或面向連接地執行所述的傳輸。
10.如上述權利要求之一所述的方法，其中，由所述的圖像解碼器顯示所獲得的運動圖像。
11.如上述權利要求之一所述的方法，其中，通過優先級中的頭部信息來尋址一組相關聯的宏塊。
12.如權利要求11所述的方法，其中，以表格的形式來綜合所述的一組相關聯的宏塊的頭部信息。
13.如上述權利要求之一所述的方法，其中，所述的圖像解碼器是按照MPEG標準或H.26x的標準化圖像解碼器。
14.用於在接收機內解碼數位化運動圖像的方法，a)其中以圖像數據流的形式提供所述的數位化運動圖像；b)其中把所述的圖像數據流劃分成優先級；c)其中藉助接收機的適配層確定傳輸差錯；d)其中針對所述的傳輸差錯在接收機內執行差錯處理；以及e)其中把所傳輸的、經差錯處理後的圖像數據流輸入到圖像解碼器中。
15.圖像解碼器，具有一個處理器單元，該處理器單元被如此實施，使得a)以圖像數據流的形式提供數位化運動圖像；b)把所述的圖像數據流劃分成優先級；c)可藉助接收機的適配層確定傳輸差錯；d)可針對所述的傳輸差錯在接收機內執行差錯處理；以及e)可把所傳輸的、經差錯處理後的圖像數據流輸入到圖像解碼器中。
16.用於傳輸數位化運動圖像的系統，具有一個發射機和一個接收機，a)其中在發射機中以圖像數據流的形式提供所述的數位化運動圖像；b)其中發射機把所述的圖像數據流劃分成優先級；c)其中發射機藉助適配層並利用預定的協議把所述被劃分成優先級的圖像數據流傳輸到接收機；d)其中接收機藉助適配層確定傳輸差錯；e)其中接收機針對所述的傳輸差錯執行差錯處理；以及f)其中在接收機中把所傳輸的、經差錯處理後的圖像數據流輸入到圖像解碼器中。
全文摘要
建議一種用於從發射機向接收機傳輸數位化運動圖像(圖像數據流)的方法。藉助適配層在發射機中利用預定的協議把被劃分成優先級的圖像數據流傳輸到接收機。藉助接收機的適配層確定傳輸差錯，針對所述的傳輸差錯執行差錯處理，以及將其輸入到圖像解碼器中。
文檔編號H04N7/24GK1449627SQ01814714
公開日2003年10月15日 申請日期2001年7月5日 優先權日2000年7月7日
發明者G·巴瑟, F·布爾克特, J·潘德爾, S·普雷特, T·斯託克哈梅 申請人:西門子公司