組合數字視頻信號的復用方法和相關聯的函數數據結構的製作方法

2023-10-24 23:57:32 4

專利名稱：組合數字視頻信號的復用方法和相關聯的函數數據結構的製作方法
技術領域：
本發明涉及一種函數數據結構和一種用於生成該函數數據結構的方法。該函數數據結構和該方法適於用於組合數字視頻信號的復用方法，該復用方法同樣是本發明的主題。因而，本發明也涉及一種用於實施根據本發明的方法和復用方法的編碼軟體以及帶有所述編碼軟體和/或函數數據結構的數據載體和數據處理設備。
背景技術：
數字圖像由如下數據集構成該數據集包括帶有對空間位置和像素的色值的說明 (Angabe)的元組。在此，常常來自RGB色彩空間(紅綠藍色彩空間)的色值、尤其是來自值為每個顏色通道為0到255的RGB色彩空間的色值被用作色值。可替換地，經常使用YUV色彩空間，其中色值劃分成亮度信號Y和兩個色度信號U和V。為了提供具有如通過局域通信網絡或者電信網絡進行存儲和數據傳輸的過程的實用處理，數字圖像被壓縮。為了進行數據處理、尤其是利用壓縮算法進行數據處理，數字圖像在現有技術中被分成用色值說明(Fartwertangabe)來編碼的帶有隱含的位置說明的像素的宏塊。這些宏塊接著用於對冗餘進行分析或者用於限定數字圖像的壓縮單位。壓縮將數據寫入至少
-第一數據流部分中，該第一數據流部分包括數據集的被減少了冗餘的部分，以及 -與第一數據流部分相關的第二數據流部分中，該第二數據流部分描述了冗餘。第一和第二數據流部分在此可以優選地共同被編碼在一個數據流中。第一和第二數據流部分也可以被劃分成兩個數據流中的每一個數據流中。在此，來自第一數據流部分的原始數據可以根據第二數據流部分在再引入 (Wiedereinfuehrung)冗餘的情況下被重建。相對應地，可以將分成宏塊的數字圖像壓縮成
-第一數據流部分，該第一數據流部分包括宏塊、優選地所有宏塊的被減少了至少空間冗餘的部分，以及
-與第一數據流部分相關的第二數據流部分，該第二數據流部分描述了冗餘。此外，在有損數據壓縮的情況下，還去除在再現時對於人類感覺而言可被視為不重要的數據。這些數據在解壓縮時不被重建。這種有損數據壓縮例如對於MP3文件的生成而言是公知的。如MP3的高度壓縮的文件格式基於無損和有損數據壓縮的組合。針對壓縮從圖像數據中去除空間冗餘的一種方式是幀內預測，如例如在US專利 7，386，048中所描述的那樣，為了描述示例性的幀內預測和幀內預測器而涉及該US專利。在上面所述的將分成宏塊的數字圖像壓縮成第一和第二數據流部分的情況下，幀內預測宏塊可以通過如下方式用於壓縮
-第一數據流部分被減少具有與來自至少一行像素的色值的相關性的色值說明，所述至少一行像素被布置在幀內預測宏塊的一個邊緣的外部和該邊緣上，以及 -第二數據流部分包括用於描述所述相關性的幀內預測器。相關性尤其是像素的色值的一致性或者像素的色值與在幀內預測宏塊的一個邊緣的外部和該邊緣上的那行像素的色值的相似性。幀內預測器在此產生如下指令針對在幀內預測宏塊中的像素採用來自該行或這些行的像素的關聯的像素的色值。如果被壓縮的數字圖像本身不包含這種像素行，即當幀內預測宏塊具有與數字圖像的邊緣共同的邊緣時，則標準壓縮算法採用具有預給定色值(Fartwertvorgabe)的像素行。現有技術的圖像壓縮的該方面在圖Ia和Ib中被闡明。圖Ia示出了在數字圖像的邊緣4之內的三個相同大小的宏塊第一宏塊1在數字圖像的左上角。第二宏塊2將第三宏塊3與第一宏塊間隔開。與第三宏塊3鄰接地示出了被用於DC幀內預測的像素的L形區域5。在此，針對帶有DC幀內預測的壓縮，根據來自值為0到255的RGB色彩空間或者YUV色彩空間的平均灰度值1 而採用L形區域5的在邊緣4的外部(即在圖Ia中在第三宏塊3之上)的帶有預給定色值的那些像素。在圖Ib中示出了相對應被壓縮的宏塊3在更大範圍中的布置，其中該範圍是數字圖像的部分。在該圖像中，在圖1中所示的第一、第二和第三宏塊1、2、3的該行之上成行地布置其他宏塊6、7。在解壓縮第三宏塊3時，藉助第二數據流部分的幀內預測器給該塊中的像素分配與圖Ib中所示的L形區域5疊加的宏塊7的像素的色值。在此，出現如下分配 在所述分配中，代替在壓縮時針對像素所描述的平均灰度值而分配來自疊加的宏塊7的像素的另外的色值。解壓縮由此有錯誤。如果來自有錯誤地被解壓縮的宏塊3的像素被用於在壓縮和解壓縮數字圖像時的其他幀內預測，則可出現錯誤在大部分數字圖像上的蔓延。如果來自有錯誤地被解壓縮的宏塊3的像素被用於在如視頻的時間圖像序列的情況下的幀內預測，則可出現錯誤在視頻的長再現周期上的蔓延。在視頻圖像序列中，圖像的如下宏塊不僅有空間關係而且有時間關系所述宏塊可以是16X 16個像素的亮度區域。在計算機系統中的軟體應用中、如在視頻會議應用中，檢測多個時間序列的圖像記錄、即與時間值相關的圖像，並且這些時間序列彼此同步。這樣，在視頻會議中由每個視頻會議參與者或每組視頻會議參與者記錄視頻，這些視頻分別包括時間序列的圖像記錄並且此外還通常包括錄音並且必要時包括其他記錄。這些記錄在時間上同步，以便能夠實現為視頻會議參與者或成組的視頻會議參與者同時再現所有或多個視頻會議參與者或成組的視頻會議參與者的記錄。視頻會議參與者或成組的視頻會議參與者的記錄在視頻會議應用的情況下通常通過數據網絡被傳輸到中央伺服器、如多點控制單元(MCU)，在那裡被聚集並且通過數據網絡被回送到視頻會議參與者或成組的視頻會議參與者。在此，記錄數據必須被壓縮，被發送到中央伺服器，在那裡被聚集，從那裡以被壓縮的方式被發送給參與者或者參與者組並且接著可以被解壓縮和被解碼。為了通過數據網絡傳輸和發送數據，所傳輸的或所發送的數據量確定了硬體資源和網絡資源的要求並且是在視頻會議應用中的進行限制的因素。所記錄的數據的壓縮因而是必需的。如果不同的視頻會議參與者的同步視頻圖像序列以被壓縮的形式在多點控制單元中被彙編並且被發送給所有視頻會議參與者，則出現上面結合圖Ia和Ib所描述的問題。 接收到的視頻圖像序列的圖像的被壓縮的宏塊3會與其他視頻圖像序列的同步圖像的宏塊7鄰接地來布置，並且接著在接收之後和在解碼或解壓縮所彙編的視頻圖像序列之後在視頻會議參與者那方引起錯誤並且由此引起差的圖像質量。根據現有技術，因而通過多點控制單元接收到的被壓縮的記錄數據完全被解壓縮，被重新彙編，隨後被重新壓縮並且最後被發送。相對應的方法要求硬體資源極大並且也可導致不可接受的傳輸延遲。對於視頻數據的壓縮公知了編碼標準，如尤其是HJ64|MPEG-4 AVC0在該視頻標準H. 264/AVC中，定義了針對Luma樣本的如下幀內預測
-針對具有4X4個像素的塊，8個定向的幀內預測模式加上一個DC預測模式， -針對具有8X8個像素的塊，8個定向的幀內預測模式加上一個DC預測模式， -針對具有16X16個像素的塊，3個定向的幀內預測模式加上一個DC預測模式。定向的幀內預測模式在此如在圖Ia和Ib中所闡明的那樣使用具有來自與幀內預測塊3相鄰的塊7、2的關於相關的幀內預測塊3在上部或在左邊的行的像素的區域5。定向的幀內預測模式指示在幀內預測塊中的在從被複製的像素出發的預給定的方向上的位置處的像素中的至少一些像素的複製過程。這些方向從在圖Ia和Ib中所示的L形區域5 的邊(Schenkel)出發向下、向右或在不同的對角線上朝向幀內預測塊3延伸。針對DC預測模式，在圖Ia和Ib中所示的區域5的像素的平均色值被用於預計幀內預測塊中的所有像素的色值。特別是在DC預測模式下，上面結合圖Ia和Ib所描繪的解壓縮錯誤非常強烈地損害了圖像質量。對應於用於視頻數據的H. 264/AVC的較新的傳輸格式通過如下方式允許將不同的視頻會議參與者的同步視頻圖像序列彙編為被壓縮的宏塊的組他們對針對視頻會議參與者的視頻圖像序列的涉及在該視頻圖像序列的圖像的邊緣的外部的像素的宏塊禁止幀內預測、即幀內預測模式的信息進行編碼。然而，這些傳輸格式對於不處理這些信息的解碼器並非可普遍使用。利用現有技術，不用對禁止確定的幀內預測的信息進行解碼的解碼器的視頻會議參與者不能接收到許多視頻會議。給眾多視頻會議參與者供給新的符合的解碼器特別是在費用方面是該問題的無效率的解決方案。

發明內容
本發明的任務是克服現有技術的缺點。本發明的另一任務是能夠以高效的方式、 尤其是在所需的硬體和/或軟體資源方面以高效的方式發送視頻數據的被壓縮的記錄的彙編。本發明的另一任務是以簡單的方式在無需事先解壓縮的情況下能夠實現在中央伺服器那方的彙編並且對於多個解碼器類型是可解碼的。為此目的，本發明涉及一種用於對至少兩個數字圖像的集進行編碼的方法和函數數據結構，所述數字圖像被分成用色值說明來編碼的像素的宏塊，其中也有幀內預測宏塊， 其中圖像中的每個都被壓縮成至少-第一數據流部分，該第一數據流部分包括宏塊的被減少了至少空間冗餘的部分，以
及
-與第一數據流部分相關的描述冗餘的第二數據流部分， 其中，針對幀內預測塊中的每個，
-第一數據流部分被減少了具有與來自至少一行像素的色值的相關性的色值說明，所述至少一行像素被布置在幀內預測宏塊的一個邊緣的外部和該邊緣上，並且針對所述至少一行像素，在像素在被壓縮的圖像的外部的情況下採用預給定色值， -以及第二數據流部分包括用於描述相關性的幀內預測器。色值在此可以是亮度值和/或色度值。宏塊可以具有相同大小的方形面，所述方形面各具有相同數目的像素。第一數據流部分可以被減少了具有與至少一行像素的色值的相關性的色值說明， 所述至少一行像素被布置在幀內預測宏塊的一個邊緣的外部和該邊緣上。在此，尤其是該行像素可以被布置在上邊緣或左邊緣上。本發明設置對如下面進行編碼該面被分成第一面和第二面，所述第一面中的每個都被數字圖像之一的宏塊佔據，所述第二面將第一面彼此間隔開並且被帶有預給定色值的像素佔據。這種根據本發明的編碼避免了在幀內預測時的解壓縮錯誤，因為預給定色值的色值分配(如在上面結合圖Ia針對圖像的邊緣宏塊所描述的那樣)即使在對經過彙編的圖像進行解碼時也通過如下方式來保證第二面將第一面彼此間隔開並且具有帶有預給定色值的像素。有利地，宏塊具有相同大小的方形面，所述方形面各帶有相同數目的像素，並且第二面將第一面中的每兩個平行地以對應於方形宏塊之一的距離間隔開。由此提供了如下數據所述數據特別良好地匹配逐塊解壓縮的標準解碼。像素的在圖Ia中闡述的用於幀內預測塊3的預測的L形區域5在圖Ia中在右邊突出於幀內預測塊3。在壓縮數字圖像時，因而可以針對突出於幀內預測塊3的區域中的像素採用預給定色值，並且該預給定色值被用於幀內預測。為了避免在解碼圖像集時的解壓縮錯誤，其中突出的區域伸入到該集的圖像中，有利地在被分為第二面和第一面的面的邊
緣上設置第二面。尤其是，如果本發明被應用於視頻會議系統，則數字圖像是不同的時間圖像序列的在時間上同步的圖像，尤其是視頻圖像記錄的I幀的數據集。第一數據流部分接著有利地被減少了空間和時間冗餘，其中尤其是使用了至少一種方法，所述至少一種方法被選自基於頻率分析的壓縮、尤其是基於藉助離散餘弦變換的頻率分析的壓縮和/或基於量化和/或熵編碼的壓縮。上面所描述的方法和數據結構可以在用於組合數字視頻信號的復用方法中被使用並且可以作為編碼軟體來實施，所述編碼軟體有利地包括
-用於通過電信網絡接收被壓縮的圖像的單元，以及 -用於通過電信網絡發送通過所述編碼軟體來編碼的數據的單元。根據本發明的軟體或者數據結構被存儲在數據存儲介質上。帶有這種數據存儲介質的數據處理設備因而也是本發明的一個方面，其中該數據處理設備被設立有本發明的編碼軟體。


在下文中參照附圖描述了本發明的方面和示例性實施方案，其中 圖Ia和Ib示意性地闡明了在數字圖像的不同範圍中的宏塊，以及
圖2示意性地闡明了根據本發明的數據結構。
具體實施例方式圖Ia和Ib闡明了用於在傳統的多點控制單元中對兩個數字圖像的集進行編碼的函數數據結構的構造。數字圖像被分成用位置說明和色值說明來編碼的像素的宏塊1、2、 3、6、7，其中也有幀內預測宏塊3，其中圖像中的每個都被壓縮。在邊緣4處帶有宏塊1、2、 3的圖像之一在多點控制單元處被接收並且與具有帶有宏塊6、7的數字圖像的另一數字圖像的宏塊的數據集彙編，使得宏塊7包含幀內預測宏塊3的幀內預測器所涉及的像素。這種彙編在圖2中所示的根據本發明的用於對四個數字圖像的集進行編碼的函數數據結構中被避免。根據本發明的函數數據結構在根據本發明的多點控制單元中利用對面的編碼來構造，其中該面被分成第一面8和第二面9，所述第一面8中的每個第一面都被四個數字圖像中的每個的宏塊1、3佔據，該第二面9將第一面8彼此間隔開。宏塊1、3被壓縮並且包括幀內預測宏塊3，所述幀內預測宏塊3被減少了具有與來自至少一行像素的色值的相關性的色值說明，所述至少一行像素被布置在幀內預測宏塊的一個邊緣的外部和該邊緣上並且針對所述至少一行像素，在像素在被壓縮的圖像的外部的情況下採用預給定色值。第二面9的所有像素都具有預給定色值。根據本發明的多點控制單元接收到四個數字圖像，這些數字圖像分別被分成用位置說明和色值說明來編碼的像素的宏塊，其中也有幀內預測宏塊，其中圖像中的每個都根據H. 264/AVC標準被壓縮。宏塊1、3具有相同大小的方形面，所述方形面各具有相同數目的像素，並且第二面9將第一面8中的每兩個第一面平行地以對應於方形宏塊1、3之一的距離間隔開。在第一面8中，由此由四個視頻參與者布置視頻圖像記錄的幀的不同數據集的在時間上同步的圖像。視頻圖像記錄根據按照H. 264/AVC標準的壓縮的組合被減少了空間和時間冗餘。根據由四個視頻參與者接收到的視頻圖像記錄的在時間上同步的序列的分別由四個如在圖2中所示的被壓縮的圖像構成的集的時間序列包括帶有在圖2中所闡明的數據結構的數據集。被壓縮的圖像的集的時間序列由多點控制單元發送。為了接收和發送，多點控制單元具有
-用於通過電信網絡接收被壓縮的圖像的單元，以及 -用於通過電信網絡發送通過編碼軟體來編碼的數據的單元。
所發送的數據可以利用多個解碼器高質量地被接收和被顯示。
儘管結合視頻會議應用參照了這些圖，但本發明通常可應用於如下應用這些應用包括提供被壓縮的圖像數據的集，這些圖像數據中的至少一部分通過幀內預測可以以被壓縮的方式存在。這些應用尤其是對於網際網路中的Web服務圖像提供是令人感興趣的。
附圖標記列表 1、2、6、7 宏塊
3幀內預測宏塊 4邊緣
5幀內預測的像素區域
8第一面 9第二面
權利要求
1.一種用於對至少兩個數字圖像的集進行編碼的方法，所述數字圖像被分成用色值說明來編碼的像素的宏塊，其中也有幀內預測宏塊，其中圖像中的每個都被壓縮成至少-第一數據流部分，所述第一數據流部分包括宏塊的被減少了至少空間冗餘的部分，以及-與第一數據流部分相關的描述冗餘的第二數據流部分，其中，針對幀內預測宏塊中的每個，-第一數據流被減少了具有與來自至少一行像素的色值的相關性的色值說明，所述至少一行像素被布置在幀內預測宏塊的一個邊緣的外部和該邊緣上，並且針對所述至少一行像素，在像素在被壓縮的圖像的外部的情況下採用預給定色值，-以及第二數據流包括用於描述相關性的幀內預測器，其特徵在對如下的面進行編碼所述面被分成第一面和第二面，所述第一面中的每個都被所述數字圖像之一的宏塊佔據，所述第二面將所述第一面彼此間隔開並且被具有預給定色值的像素佔據。
2.根據權利要求1所述的方法，其中，宏塊具有相同大小的方形面，所述方形面各帶有相同數目的像素。
3.根據權利要求2所述的方法，其特徵在於，所述第二面將所述第一面中的每兩個第一面平行地以對應於方形宏塊之一的距離間隔開。
4.根據上述權利要求之一所述的方法，其特徵在於，所述第二面被設置在分成第二面和第一面的面的一個邊緣上。
5.根據上述權利要求之一所述的方法，其特徵在於，第一數據流被減少了具有與來自至少一行像素的色值的相關性的色值說明，所述像素被布置在幀內預測宏塊的一個邊緣的外部和該邊緣上。
6.根據權利要求5所述的方法，其中，所述行的像素被布置在上邊緣上或者被布置在左邊緣上。
7.根據上述權利要求之一所述的方法，其特徵在於，所述數字圖像是不同時間圖像序列的在時間上同步的圖像，尤其是視頻圖像記錄的I幀的數據集。
8.根據權利要求7所述的方法，其中，第一數據流被減少了空間和時間冗餘。
9.根據權利要求8所述的方法，其中，第一數據流通過至少一種方法來減少所述至少一種方法選自基於頻率分析的壓縮、尤其是基於藉助離散餘弦變換的頻率分析的壓縮和/ 或基於量化和/或熵編碼的壓縮。
10.一種用於組合數字視頻信號的復用方法，其特徵在於，實施根據權利要求7至9之一所述的方法。
11.一種編碼軟體，其特徵在於帶有按照根據上述權利要求之一所述的方法的編程步驟的單元。
12.根據權利要求11所述的編碼軟體，其包括-用於通過電信網絡接收被壓縮的圖像的單元，以及-用於通過電信網絡發送通過編碼軟體來編碼的數據的單元。
13.一種用於對至少兩個數字圖像的集進行編碼的函數數據結構，所述數字圖像被分成用位置說明和色值說明來編碼的像素的宏塊，其中也有幀內預測宏塊，其中圖像中的每個都被壓縮成至少-第一數據流部分，所述第一數據流部分包括宏塊的被減少了至少空間冗餘的部分，以及-與第一數據流部分相關的描述冗餘的第二數據流部分， 其中，針對幀內預測宏塊中的每個，-所述第一數據流部分被減少了具有與來自至少一行像素的色值的相關性的色值說明，所述至少一行像素被布置在幀內預測宏塊的一個邊緣的外部和該邊緣上，並且針對所述至少一行像素，在像素在被壓縮的圖像的外部的情況下採用預給定色值， -以及第二數據流部分包括用於描述相關性的幀內預測器，其特徵在於對如下的面進行編碼所述面被分成第一面和第二面，所述第一面中的每個都被所述數字圖像之一的宏塊佔據，所述第二面將所述第一面彼此間隔開並且被具有預給定色值的像素佔據。
14.一種數據存儲介質，其特徵在於，該數據存儲介質存儲根據權利要求11或12所述的編碼軟體和/或帶有根據權利要求13所述的函數數據結構的數據。
15.一種數據處理設備，其被設立有根據權利要求11或12所述的編碼軟體並且包括根據權利要求14所述的數據存儲介質。
全文摘要
用於對數字圖像集進行編碼的函數數據結構，所述數字圖像被分成利用色值說明來編碼的像素的宏塊，其中也有幀內預測宏塊，其中所述圖像中的每個都被壓縮成至少一個第一數據流部分和一個第二數據流部分，所述第一數據流部分包括宏塊的被減少了空間冗餘的部分，所述第二數據流部分描述冗餘，其中針對幀內預測宏塊，第一數據流部分被減少了具有與來自像素行的色值的相關性的色值說明，所述像素行被布置在幀內預測宏塊的邊緣外部和該邊緣上，並且針對所述像素行，在像素在被壓縮的圖像外部的情況下採用預給定色值，並且第二數據流包括用於描述相關性的幀內預測器，所述函數數據結構具有對如下面的編碼所述面被分成第一面和第二面，所述第一面中的每個都被數字圖像之一的宏塊佔據，所述第二面將所述第一面彼此間隔並且被具有預給定色值的像素佔據。
文檔編號H04N7/16GK102334336SQ201080009569
公開日2012年1月25日 申請日期2010年3月1日 優先權日2009年3月2日
發明者奧爾特爾 N., 阿蒙 P. 申請人:西門子企業通訊有限責任兩合公司