為視頻序列進行運動補償時域內插的方法和裝置的製作方法
2023-05-18 08:31:26 2
專利名稱：為視頻序列進行運動補償時域內插的方法和裝置的製作方法
技術領域：
本發明有關編碼和解碼視頻數據的方法。在對視頻信號進行編碼，以使其適於數字處理(例如傳輸或存儲)時，對視頻數據進行壓縮以優化可用帶寬和存儲容量的使用。好的壓縮結果是靠有損編碼來得到的，其中在解碼階段不能完全恢復原始信號的信息。
儘管利用有損編碼可以獲得好的結果，但本發明的一個目的是提供一種編碼方法，利用這種方法可以獲得更好的壓縮結果。更好的性能指的是，利用類似的壓縮率或帶寬，獲得更好的解碼結果，或者，利用更好的壓縮率或更小的帶寬，獲得類似的解碼結果。為達到這一目的，在權利要求1中提供了一種用於編碼一個視頻信號的方法。
從一個要被編碼的視頻流中，去掉一些幀，生成一個抽取幀序列。隨後，對該抽取幀序列進行時域內插，以獲得該抽取(跳越)幀的好的估計。隨後，檢測出其中的估計值不充分的跳躍-估算幀區域，說它不充分指的是它不滿足預定的標準。通過將編碼器中仍然可以使用的被跳過的幀與跳躍-估算幀進行比較，可以檢測這些區域，並可確定殘留信息。現在，只對抽取幀序列和所檢測區域的殘留數據進行編碼，並將其插入編碼比特流中。最好在抽取幀序列的本地解碼編碼幀上執行時域內插，以便對解碼器中也可用的幀執行時域內插。
按本發明，通過從主比特流中提取殘留數據來解碼一個編碼比特流。從而，可以利用與編碼過程中使用的插入處理類似的處理方法，對主比特流進行內插。隨後，殘留數據被加入內插後的幀序列中。
通過使用本發明的編碼/解碼系統，可以獲得較好的性能/帶寬比，這是因為，只有相關的殘留數據被插入到編碼信號中了。
本發明還有關一種解碼方法，一個編碼器，一個解碼器，一個音頻視頻設備，一個數據保存設備，一個電腦程式和一個數據載體設備(電腦程式存儲在其上)。
本發明特殊的詳盡的優點列在相關的權利要求中。從以下參照附圖的描述中，可以看到本發明進一步的目的，獲得的結果，改進，效果和細節，附圖包括
圖1顯示按本發明的一種編碼方法的流程圖，圖2是按照本發明，與圖1中的方法結合使用的一種解碼方法的流程圖，圖3是按本發明的另一種編碼方法的流程圖，圖4是按照本發明，與圖3中的方法結合使用的一種解碼方法的流程圖，圖5是按本發明的一個編碼器的例子，圖6是按本發明的一個解碼器的例子，圖7是按照本發明，另一個編碼器的實例的框圖，圖8是按照本發明，另一個編碼器的實例的框圖，圖9顯示了一個視頻編碼器的例子的框圖，該編碼器可用在圖7的編碼器中。
在圖1中，顯示了按本發明的一種編碼方法的流程圖。一個包含視頻序列的視頻輸入信號10被送入一個視頻編碼器中，在該例中是一個MPEG編碼器20。編碼器20以一種專用的數字格式編碼視頻信號，在該例中是MPEG格式。編碼信號由一系列幀組成，例如MPEG中的一個IPP序列。編碼器20在編碼過程中執行一個時域抽取操作，也就是說，預定數量的幀被跳過或丟棄。舉例來說，輸入視頻信號是一個50Hz的信號，而被輸出的主流輸出信號是一個12.5Hz的信號。抽取因子是從4個中抽1個，也就是說，從一個包含四個幀的序列中，只保留一個幀。應指出的是，這裡的編碼是一個標準MPEG操作。另外，抽取因子是可調整的，以便獲得所要求的數據流縮減。
編碼器20還編碼一個全編碼數據流，也就是不丟棄由於時間插入所生成的任何幀。這一數據流被送入一個解碼器30，該解碼器是一個適用於對所述編碼數據流進行解碼的解碼器，在該例中是一個MPEG解碼器。解碼數據流35是一個50Hz的信號，這是因為在編碼過程中沒有丟掉任何幀。數據流35被提供給一個IP選擇器40；選擇器40執行一個時域濾去過程，該過程與編碼器20對原始視頻輸入信號進行的時域濾去過程相同。其結果又是一個12.5Hz的信號。該縮減後的信號被送入一個運動估計器50，在該例中是一個自然運動估計器。估計器50通過估算附加的幀，將信號從12.5Hz向上擴展為50Hz。估計器50所執行的向上擴展過程，與隨後解碼器對編碼數據流進行解碼時所執行的擴展過程相同。按本發明，可以使用任何運動估計方法。特別地，如用在幀速度轉換方法中的那樣，基於自然或真實運動估算的運動估算可以取得好的效果。一種非常經濟實用的方法是三維遞歸搜索(3DRS)，該方法很適用於用戶，該方法見於，例如U.S.Patents 5072293，5148269，5212548。利用3DRS方法估算出的運動矢量趨同於真實運動，運動矢量域很大程度上抑制了空間和時間上的一致性。因此，矢量不一致性並非經常達到極限(？)，從而，與非真實的運動估算相比，所傳輸的殘留數據數量減少了。
向上轉換信號55被送入一個評定單元60(用一個減法符號表示)。送給估算單元的還有全數據流35(用一個加法符號表示)。評定單元60將運動估計器50確定的插入幀與實際的幀進行比較。從比較結果確定估計幀與實際幀的不同之處。各個幀中的差值被評定出來；在差值滿足某閾值的情況下，該差值被選為殘留數據。該閾值可以和差值的可感知度有關；這類閾值準則本身在本技術中是已知的。在該例中，殘留數據被描述為meta塊。隨後，meta塊形式的殘留數據流120被送入一個MPEG編碼器70。可以利用一個MPEG環境中提供的專有數據信道對殘留數據編碼。
最後，利用多路復用器將主數據流與殘留數據流組合，形成一個單一的信號輸出數據流90。輸出數據流90可被傳輸(例如，利用一個(無線)數據傳輸連接)或存儲，或用於其它目的。
在圖2中，顯示了按照本發明，對數據流90進行解碼的方法的流程圖。首先，在多路信號分離器100中將數據流90分離成主數據流30和殘留數據流120。多路信號分離器被編程以識別出包含在輸入信號中的殘留數據流。在使用一個專用數據信道的情況下，多路信號分離器從所用的專用數據信道提取殘留數據。主數據流30和殘留數據流120都是藉助於一個MPEG解碼器解碼的，分別見步驟130和140。主數據流解碼數據被送入一個運動估計器中，在該例中為一個自然運動估計器150。運動估計器150(在本技術中是已知的)插入所提供的數據，從前面解碼所得的12.5Hz信號生成50Hz信號。隨後，向上變換的50Hz信號被送入一個組合器160。
除了向上變換信號之外，送入組合器160的還有來自解碼器140的解碼後的殘留信號。組合器160將主數據流的信息與殘留數據流進行組合。這樣一個操作在本技術中是已知的，包括利用各殘留信息(例如meta塊)代替主數據流中的信息(例如meta塊)。組合器160的輸出信號是一個50Hz幀速率的視頻數據流。
如果接收數據流90的解碼器不具備檢測殘留數據流的能力時，則只對主數據流進行解碼。從而，即使利用一個完全不適於殘留數據信號的解碼器，也可以解碼出一個可用的視頻信號。不過，該解碼信號不如利用殘留數據校正所得到的信號好。
本發明可應用於各種設備，例如一個類似無線發射機或計算機網絡路由器之類的數據傳輸設備，該設備包含輸入信號接收裝置和用於發射編碼信號的發射裝置(例如一個天線或一個光纖)，可以向該設備提供一個按本發明的圖像編碼設備，該編碼設備與輸入信號接收裝置和發射裝置相連。另外，可以在一個DVD記錄器，一個PVR(HDD)記錄器(舉例來說)中實現一個按本發明的解碼器。按本發明的編碼和解碼系統可以用例如網際網路視頻流業務，和家用(無線)網絡實現。
從2個中抽出1個的時域抽取方法可以得到好的結果；一般，需檢測跳過-估算幀區域內小於5-10％的區域，以滿足殘留信息的需要。從4個中抽取1個的抽取法也能得到好的結果。在不要求最高圖像品質的應用場合，利用本發明，可以跳過更多的幀。
本法明還有關用於執行上述例證編碼和解碼方法的一個編碼器和解碼器。在圖5中，顯示了按本發明的一個編碼器的例子。它包含一個用於接收視頻數據的輸入部分310，與編碼器320相連。編碼器與一個多路復用器330和一個本地解碼器340相連。本地解碼器340與選擇器350和一個評定單元360相連。選擇器350通過一個估計器370與評定單元360相連。選擇器350經一個編碼器380與與多路復用器相連。多路復用器連接到一個輸出單元390上。
在圖6中，顯示了一個按本發明的解碼器。該解碼器包含一個與多路分離器420相連的輸入部分410。多路分離器420與解碼器440和430相連。兩個解碼器都與組合器460相連；解碼器430是直接相連的，而解碼器440是經估計器450相連的。組合器460與一個輸出部分470相連。
在圖3和圖4中，顯示了一個編碼/解碼系統的第二個實例。與前面所述實例的元件相對應的部分用同樣的參考符號表示，其功能描述參照以上所述。第二個實例與第一個實例的不同之處在於，在解碼階段使用了一個附加的自然運動估計器。至此，在編碼器中，編碼階段使用了兩種不同類型的時域內插，一種簡單的和一種複雜的。解碼器只需要使用簡單的(相對節省的)時域內插。複雜的(相對昂貴的)時域內插只需用在編碼器中。
在第一和第二實例中，對視頻流的編碼大體類似。在第二個實例中(見圖3)，引入了一個附加步驟200，其中，在一個複雜時域內插器(例如自然運動類型的內插器)中對來自挑選器40的信號進行向上轉換，得到對抽取幀的高精度內插。這一高精度數據被送給一個評定器220。
與高精度插補並行，數據還被送入一個簡單時域內插器210(最終解碼器使用的類型)。該簡單內插器210生成一個中間精度的數據流，提供給上述的評定器220。評定器220將高精度插補和中間精度插補進行比較，生成一個校正矢量流，包含在(例如)專用數據信道中的殘留信息中，送給多路復用器。該矢量流還被送入一個組合器230，組合器將該矢量數據與簡單內插器210生成的中間精度內插值進行組合。組合後的信號送入自然運動估計器50』，估計器50』利用該信息校正插補後的幀。隨後的殘留數據確定步驟與第一個實例類似。
所得到的編碼數據流包含主流數據，殘留數據和校正矢量信息。因此，所使用的帶寬略大於第一個實例，但可以獲得更好的品質。
如圖4所示，在解碼過程中，輸入信號被分離為主數據流，殘留數據流(類似於第一個實例)和矢量數據。視頻輸出的形成類似於第一個實例，所不同的是，自然運動估計器150』還包含來自中等品質估計器210』的結果，該結果在230』中由解碼矢量校正。通過使用附加的中等品質估計器，所得結果明顯改善了，尤其是在使用校正矢量時。獲得更好品質所附加的費用相對較少，包括一個額外的簡單運動估算設備和略微增加的帶寬。另外，在編碼步驟中需要一個額外的高品質估計器，不過這只是略微增加了編碼器的費用。
在以上所述設備和方法的例子中，殘留數據流和主數據流使用相同的編碼和解碼方法。也可能使用不同的方法來編碼和解碼殘留數據。例如，殘留數據流的編碼和解碼可以專用於殘留數據。在這種情況下，與對主數據流和殘留數據流使用同樣的編碼和解碼方法相比，可以獲得一個更有效的編碼。編碼效率的提高可以(例如)是由於殘留數據和主數據間的相關性的差異引起的，因為，總體來說，殘留數據流中連續幀的相關性比主數據流中連續幀的相關性小。
殘留數據的編碼可以是一些專用的編碼方案，其中可以考慮殘留數據流中視覺內容的特性。例如，殘留數據中分散的非空塊可以首先集成到一個大的組中。
圖7和圖8分別顯示了一個編碼器和解碼器的例子的框圖，其中，殘留數據和主數據在編碼階段是交叉的。
圖7的編碼器包含一個用於接收視頻數據的接收部分510，與一個視頻編碼器(例如一個MPEG編碼器)520相連。視頻編碼器520與多路復用器530相連，並連接到一個本地解碼器540上。本地解碼器540與一個選擇器550和一個評定單元560相連。選擇器550經一個估計器570與一個評定單元560相連。評定單元560與編碼器520相連。多路復用器530連接到一個輸出部分590，或自帶輸出部分590。
視頻編碼器520以一種專用的數字格式，在本例中是一個MPEG格式，編碼視頻信號。編碼器520還提供一個全編碼數據流，也即不丟棄時域內插所得的任何幀。該數據流被送給解碼器540，解碼器540適於對編碼數據流進行解碼。在該例中，解碼器540是一個MPEG解碼器。由於在編碼階段沒有丟去任何幀，因此解碼數據流535是一個50Hz的信號。數據流535被送給一個IP選擇器550；選擇器540執行的時域消除與編碼器520對原始視頻信號所執行的時域消除相同。結果是一個12.5Hz的信號。該縮減後的信號被送入一個運動估計器570，在該例中採用的是一個自然運動估計器。
估計器570通過估算另外的幀，將12.5Hz向上轉換為50Hz信號。估計器570所執行的向上轉換操作，與解碼器對編碼數據流進行解碼時將要執行的向上轉換操作相同。在該例中，估計器570是一個自然運動估計器。向上轉換的信號555被送入一個評定單元560(用一個減號表示)。送入評定單元560的還有全數據流535(用加號表示)。評定單元560將運動估計器570所確定的插補幀與真實的幀進行比較。由比較結果確定估計幀與實際幀的不同之處。該比較可以包括，例如，對照預定準則，檢查估計幀與實際幀之間的不同。
求出了各幀中的差值之後，若差值滿足準則規定的閾值，則評定單元560向視頻編碼器520發送重定格式代碼，指示編碼器應該怎樣重新構造各個幀。當估算幀和實際幀類似時，評定單元560向視頻編碼器520發送一個跳躍碼。視頻編碼器520在編碼過程中將來自評定單元560的數據與主數據進行交叉。從而，即便是對殘留數據和主數據使用相同的編碼和解碼部件，例如MPEG-2編碼器和解碼器，也可獲得高的編碼效率。另外，可以便利地檢測出實際幀和跳躍碼。
圖9顯示了視頻編碼器520的一個實現例子。在圖9中，視頻編碼器包含一個編碼設備524，它與一個後處理設備相連，例如一個Tri-Media設備。後處理設備包括變長編碼器521，522，它們經一個重定格式設備523相連。重定格式設備523與評定單元560相連，接收重定格式指令。編碼器524還與視頻編碼器520的輸入相連。編碼器524對一個沒有丟掉任何幀的全編碼數據流進行編碼，即，第二編碼器對未進行時間抽取的數據編碼。該數據流被發送到本地解碼器540，本地解碼器540能對全編碼數據流進行解碼。
在圖8中顯示了符合本發明的一個解碼器。解碼器包含一個與視頻解碼器630相連的輸入部分610。視頻解碼器630的輸出與選擇器640相連。選擇器640直接與一個重寫器660相連。選擇器640還與一個估計器650相連。估計器650與重寫器660相連。重寫器660與一個輸出部分670相連。
視頻解碼器630可以解碼一個編碼數據流，並且特別適於對利用圖7的編碼器編碼的數據流進行解碼。隨後，由視頻解碼器630將所得到的解碼數據流發送到選擇器640。選擇器執行一個時間抽取，該過程對應於圖7的編碼器中選擇器550進行的向下轉換時間抽取過程。選擇器640將抽取後的數據發送給估計器650。重寫器根據解碼器630送來的信息，決定是使用估計器640送來的信息還是使用選擇器640已扔掉的數據。
當圖7-9的編碼器和/或解碼器適應MPEG格式時，如MPEG格式中提供的那樣，跳躍碼可以是一個跳躍宏塊代碼。這樣一個跳躍宏塊代碼可被用於其它的編碼器類型，因為多數的視頻編碼標準都提供一個跳躍碼。
另外，還可以使用一個編碼塊模式(cbp)代碼，見於「Digital video；an introduction to MPEG-2」章節8.4.5，Kluwer，1997，Haskell etall.。這樣一個CBP表明在宏塊中哪一個是空塊，即，在MPEG中，哪一個塊具有全零的離散餘弦變換。因此，如果在一個宏塊或一個幀中，只有一部分要被實際的幀或(宏)塊所代替，則其它部分可由CBP表明，從而減小了數據量。
如果本發明用於MPEG環境下，對基本幀(即抽取數據流)進行編碼的一種有效選擇是IPP幀編碼；對於跳躍幀來說，進行B幀編碼是一種有效的選擇，不過也可以使用其它的編碼方法。
在一個有利實例中，利用一個另加的內插器對一個相對低幀速率的視頻序列(例如一個24Hz的漸進的電影序列)進行時域插值，獲得一個全幀視頻序列，該內插器與用於對抽取幀序列進行插值的內插器相比，具有更高的品質和精度，該另加的內插器可以是，例如，上述複雜的時域內插器或複雜的自然運動，或高精度2-3下拉算法。該內插器最好是一個非實時，離線內插器.。在上述實例中，通過使用一個更高品質的另加內插器對一個相對低幀速率的電影序列進行插值，可以產生一個電影時域增進層。在解碼器中，該電影時域增進層用於獲得減少電影顫抖的解碼視頻信號。通過直接將該低幀速率視頻序列用作抽取視頻序列，可以有效地執行全幀視頻序列的抽取。該電影時域增進層還可以與一個空間增進層組合，從而生成一個帶有空間和時域增進層的反向兼容比特流，以提高視頻品質。
本發明並不局限於在此處所描述的物理設備中實現，它也可用於其它設備。特別是，本發明並不局限於物理設備，還可用於更抽象的邏輯設備中或用在執行設備功能的軟體中。另外，該設備還可在物理上分散在幾個設備中，而邏輯上認為是一個單一的設備。還有，邏輯上認為是獨立的設備也可集成在一個單獨的物理設備中。
本發明還可以在運行在一個計算機系統上的電腦程式中實現，當運行在一個計算機系統上時，至少包含用於執行本發明方法的步驟的代碼部分，或者使通用計算機系統能夠執行本發明計算機系統的功能。這樣一個電腦程式可以提供在一個數據載體上，例如一個CD-ROM或磁碟上，該數據載體存有可裝入計算機系統內存中的數據，該數據代表電腦程式。該數據載體還可以是一個數據連接，例如一個電話線或一個能發射代表本發明電腦程式的信號的無線連接。
權利要求
1.一種用於編碼一個數字視頻流的方法，包含以下步驟提供一個全幀視頻序列，藉助於時域抽取，通過從全幀序列中刪除一些幀，生成一個抽取幀序列，藉助於一個內插器對抽取幀序列進行時域內插，將全幀序列的幀與時域內插幀序列的相應幀進行比較，根據至少是對一個幀的比較，為該幀確定殘留信息，以及提供一個包含抽取幀序列和所確定的殘留信息的輸出流。
2.權利要求1中所述的方法，其中抽取幀序列被壓縮編碼。
3權利要求1中所述的方法，其中殘留信息以數據塊的形式編碼。
4.根據前面任一個權利要求的方法，其中的殘留信息在一個專用數據信道中編碼。
5.根據前面任一個權利要求的方法，其中的時域插值是依靠自然或真實運動執行的。
6.根據前面任一個權利要求的方法，其中的預定幀數量是從2個幀中抽出1個。
7.根據權利要求1-5中任一個的方法，其中的幀數量是從4個幀中抽出1個。
8.權利要求1中所述的方法，其中利用除抽取幀序列之外的數據(例如運動矢量)來協助時域內插。
9.權利要求1中所述的方法，其中藉助於一個另加的內插器，通過對一個相對低幀速率的視頻序列進行時域內插，獲得全幀視頻序列，該另加內插器與對抽取幀序列進行時域內插所用的內插器相比，具有更高的品質和精度。
10權利要求9中所述的方法，其中抽取幀序列是直接由低幀速率視頻序列形成的，而不是從全幀序列中刪除一些幀形成的。
11一種方法，對按照前面任一個權利要求中所描述的方法編碼的數據流進行解碼，該方法包括從編碼數據流中分離除抽取幀序列和所確定的殘留信息。解碼抽取幀序列，利用與編碼過程中所用內插處理相類似的內插處理，對解碼後的抽取幀序列進行時域內插，解碼殘留信息，並將殘留信息與內插幀序列進行組合，生成一個輸出數據流。
12.一個用於編碼數字視頻數據的編碼器，配有一個輸入部分，用於提供一個全幀視頻流，用於生成一個抽取幀序列的裝置，藉助於時域抽取，從接收部分所接收全幀序列中刪除一些幀，生成一個抽取幀序列，內插裝置，藉助於一個內插器，對抽取幀序列進行時域內插，比較裝置，將全幀序列的幀與時域內插後幀序列中的相應幀進行比較，並根據至少是該幀的比較結果，為該幀確定殘留信息，和一個輸出部分，提供一個包含抽取幀序列和所確定的殘留信息的輸出流。
13.一個帶有輸入部分和輸出部分的解碼器，用於對數字視頻數據解碼，該解碼器配有一個解碼部分，用於執行符合權利要求11的解碼處理。
14.一個音頻視頻裝置，包含數據輸入裝置，音頻視頻輸出裝置，和權利要求13中所聲明的一個解碼裝置。
15.一個數據保存裝置，包含有代表一個輸出流的數據，該輸出流是按照權利要求1-10的任一個中所聲明的方法獲得的。
16.一個電腦程式，包含用於執行權利要求1-11的任一個中所聲明方法的步驟的代碼部分。
17.一個數據保存設備，包含有代表權利要求16中所聲明的電腦程式的數據。
18.一個視頻數據流，包含一個抽取幀序列和與抽取幀序列相關的殘留信號，將利用內插器對抽取幀序列進行時域內插所得到的幀序列中的各個幀，與全幀序列中相應的各個幀進行比較，獲得該殘留信號。
全文摘要
一種用於編碼一個數字視頻流的方法，包含以下步驟將一個視頻序列編碼為一個全幀序列，藉助於時域抽取，從全幀序列中刪除預定數量的幀，生成一個抽取後的幀序列。對全幀序列進行本地解碼，對抽取幀序列進行本地解碼，藉助於一個內插器對解碼後的抽取幀序列進行時域內插，將全幀序列的本地解碼幀與本地內插幀序列的相應幀進行比較，根據至少是對一個幀的比較結果，為該幀確定殘留信息，並提供一個包含抽取幀序列和所確定的殘留信息的輸出流。
文檔編號H04N7/26GK1605211SQ02825342
公開日2005年4月6日 申請日期2002年12月16日 優先權日2001年12月21日
發明者W·H·A·布魯斯, F·J·德布魯伊恩, G·德哈恩, D·布拉澤羅維, G·J·M·維沃爾特 申請人:皇家飛利浦電子股份有限公司