用於在多通路編碼器中高效地進行第一通路編碼的方法和設備的製作方法

2023-10-07 21:41:54 2

專利名稱：用於在多通路編碼器中高效地進行第一通路編碼的方法和設備的製作方法
技術領域：
本發明原理總體涉及視頻編碼，更具體地，涉及用於在多通路編 碼器(multi-pass encoder)中高效地進行第一通路編碼的方法和設備。
背景技術：
多通路視頻編碼系統的效率取決於關於輸入視頻的可用信息的精 度。關於視頻的信息或者作為元數據是可用的，或者可以在第一通路 編碼時期間加以採集。利用該信息，有效多通路算法向視頻序列的特 定部分分配比特，以便能夠針對所有圖像獲得恆定的視頻質量。如果 關於視頻的信息是可靠的，則能夠獲得比特在圖像上的更精確的分布。
為了將比特適當地分布在圖像上，通常用第一通路採集與所要進 行編碼的視頻有關的信息。第一通路可以包括預分析或全編碼。可以 通過僅以幀內模式對圖像進行編碼，以簡單的方式完成全編碼。還可 以通過以幀間和幀內模式對圖像進行編碼，以規則的方式來完成全編 碼。與預分析相比，採用全編碼的第一通路採集關於視頻複雜度的更 可靠的信息，並得到了更好的視頻質量。此外，如果第一通路編碼器 在類似於第二通路編碼器的配置設置下進行工作，則從第一通路採集 的數據的可靠性提高。然而，這種方式的計算複雜度會更高。
通常，大多數多通路視頻編碼系統對整個多通路編碼系統的計算 複雜度有所限制。因此，典型地，這樣的系統沒有能力包含在非常類 似於第二通路編碼器的設置下工作的第一通路編碼器。儘管這不是必 然情況，但對於大多數多通路編碼系統而言，這是非常典型的情形。通常，第一通路編碼器應當快速運行的同時，向接下來的幾個通路提 供可靠的統計數據。
第一通路編碼的複雜度取決於特定多通路編碼系統的設計。例如， 在第一個現有技術多通路視頻編碼系統中，第一通路編碼以較高的質 量水平運行，並耗費較多時間。儘管該複雜度水平對於某些應用而言 是可以接受的，但以具有實時或接近於實時響應為目標的大多數系統 需要簡單而有效的第一通路編碼。
如上所述，多通路系統的第一通路可被實現為預分析步驟/級(以 下稱"預分析級")或被實現為全編碼。
至於作為多通路視頻編碼系統第一通路的預分析級，該預分析級 可以執行簡單的圖像求差或差異計算，以採集視頻信息。第二通路編 碼基於從第一通路採集到的信息運行。與一通路全編碼相比，預分析 的複雜度較低(即，第一通路的運行時間較短)。然而，從預分析採集 到的信息不是非常可靠，並且這會在視頻質量方面影響總體性能。由 於高質量是許多高清視頻應用的主要需求，因此諸如全編碼等先進方 法對於第一通路而言是必需的。
至於作為多通路視頻編碼系統的第一通路的全編碼級，可以採用 多種方式實現全編碼。
例如，作為第一通路全編碼級的一個示例，可以使用僅進行了幀 內編碼的原始輸入視頻序列來實現第一通路全編碼。在這種情況下，
可以使用通過對幀內圖像(intra pictures)進行編碼獲得的比特，來預 測在接下來的幾個通路中將使用到的幀內或幀間圖像的比特。然而， 根據幀內圖像對幀間圖像的比特的預測不是非常可靠，這是由於幀內 和幀間圖像是使用各自不同的方法進行編碼的。
作為第一通路全編碼級的另一示例，可以使用進行了幀內和幀間 編碼的原始輸入視頻序列來實現第一通路全編碼，其中幀內和幀間編 碼是採用固定的編碼器配置設置進行的。與僅進行幀內編碼的方法相 比，這種類型的編碼可以產生更可靠的信息，以預測接下來的幾個通 路中的圖像的比特。然而，第一通路編碼中所使用的固定配置設置可 能與接下來的幾個通路的配置設置不匹配。因此，接下來的幾個通路的比特分布精度可能會有損失。
作為第一通路全編碼狀態的另一示例，還可以使用具有多種編碼 器配置設置的原始輸入視頻序列來實現第一通路全編碼。改變編碼器 配置設置意味著針對這些設置中的每一個設置多次完成第一通路編 碼。如果將在第一通路編碼中提供最佳性能的設置應用於第二通路編 碼，則可以以這種方式獲得更好的總體視頻質量。
因此，儘管採用全編碼的第一通路改進了視頻質量，但它在編碼 時間方面效率較低。
參見圖1，以附圖標記100總體指示多通路視頻編碼系統。
多通路視頻編碼系統100包括第一通路編碼器110，具有與第 二通路編碼器130的第一輸入相連並進行信號通信的第一輸出。第一 通路編碼器110的第二輸出與複雜度分析器120的輸入相連並進行信
號通信。複雜度分析器120的輸出與第二通路編碼器130的第三輸入
相連並進行信號通信。
第一通路編碼器110的第一輸入和第二通路編碼器130的第二輸 入可用作多通路視頻編碼系統100的用於接收視頻源信號的輸入。第 一通路編碼器110的第二輸入和第二通路編碼器130的第四輸入可用 作多通路視頻編碼系統的用於接收配置數據的輸入。第二通路編碼器 130的輸出可用作多通路視頻編碼系統IOO的輸出，用於輸出比特流。
因此，如上所述，多通路視頻編碼系統100的輸入是要進行編 碼的原始視頻源和每個編碼器將使用的配置數據。對於每一通路，確 定編碼器設置的配置數據可以不同。相同視頻源同時饋入第一通路和 第二通路編碼器作為典型多通路編碼器的輸入。由複雜度分析器120 分析通過第一通路編碼器110所執行的第一通路編碼而獲得的信息。 第二通路編碼器130可以直接從複雜度分析器120和第一通路編碼器 110取得信息，作為除輸入視頻源以外的輸入。通過複雜度分析器120 傳至第二通路編碼器130的信息可以是各圖像類型比特。從第一通路 編碼器UO傳至第二通路編碼器130的信息可以是運動向量。多通路 視頻編碼系統100的輸出是通常遵循多種視頻壓縮標準(如，國際標 準化組織/國際電工委員會(ISO/IEC)運動圖像專家組-4 (MPEG-4)第10部分的高級視頻編碼(AVC)標準/國際電信聯盟電信部門
(ITU-T) H.264建議(以下稱"MPEG-4 AVC標準")以及ISO/IEC MPEG-2標準)之一的壓縮比特流。
參見圖2，以附圖標記200總體指示一種用於實現多通路視頻編 碼的方法。
方法200包括開始框201，開始框2將控制權交予功能框209 (例如，手動操作功能框)。功能框209涉及執行編碼器設置，並將控 制權交予功能框210。功能框210執行第一通路編碼，並將控制權交 予功能框220。功能框220執行複雜度分析，並將控制權交予功能框 230。功能框230執行第二通路編碼，並將控制權交予結束框240。

發明內容
本發明原理解決了現有技術的上述和其他缺點和不足，本發明原 理涉及用於在多通路編碼器中高效地進行第一通路編碼的方法和設 備。
根據本發明原理的一個方面，提供了一種設備。該設備包括多 通路視頻編碼器，用於通過在第一通路編碼前對輸入圖像數據的至少
一部分進行二次採樣(sub-sampling),對至少一圖像的輸入圖像數據 執行第一通路編碼。二次採樣是空間二次採樣和時間二次採樣中的至 少一種。
根據本發明原理的另一個方面，提供了一種方法。該方法包括 通過在第一通路編碼前對輸入圖像數據的至少一部分進行二次採樣， 對至少一圖像的輸入圖像數據執行第一通路編碼。二次採樣是空間二 次採樣和時間二次採樣中的至少一種。
根據本發明原理的另一個方面，提供了一種設備。該設備包括 多通路視頻編碼器，用於對至少一圖像的輸入圖像數據執行第一通路 編碼，且用於對通過第一通路編碼得到的信息執行分析，以提高在後 一通路編碼前發生的後續複雜度分析中所使用的信息的可靠性。
根據本發明原理的另一個方面，提供了一種方法。該方法包括 對至少一圖像的輸入圖像數據執行第一通路編碼，以及對通過第一通路編碼得到的信息執行分析，以提高在後一通路編碼前發生的後續復 雜度分析中所使用的信息的可靠性。
根據本發明原理的另一個方面，提供了一種用於多通路視頻編碼 器的設備。該編碼器用於至少對至少一圖像的輸入圖像數據執行第一 通路編碼。該設備包括用於在第一通路編碼前對輸入圖像數據的至 少一部分進行二次採樣的二次採樣器。二次採樣是空間二次採樣和時 間二次採樣中的至少一種。
根據本發明原理的另一個方面，提供了一種用於多通路視頻編碼 器的方法。該編碼器用於至少對至少一圖像的輸入圖像數據執行第一 通路編碼。該方法包括在第一通路編碼前，對輸入圖像數據的至少 一部分進行二次採樣。二次採樣是空間二次採樣和時間二次採樣中的 至少一種。
根據本發明原理的另一個方面，提供了一種用於多通路視頻編碼 器的設備。該編碼器用於至少對至少一圖像的輸入圖像數據執行第一 通路編碼。該設備包括二次採樣分析器，用於對通過第一通路編碼 得到的信息執行分析，以提高在後一通路編碼前發生的後續複雜度分 析中所使用的信息的可靠性。
根據本發明原理的另一個方面，提供了一種用於多通路視頻編碼 器的方法。該編碼器用於至少對至少一圖像的輸入圖像數據執行第一 通路編碼。該方法包括對通過第一通路編碼得到的信息執行分析， 以提高在後一通路編碼前發生的後續複雜度分析中所使用的信息的可 靠性。
本發明原理的上述和其他方面、特徵和優點將在需要結合附圖閱 讀的、以下示例性實施例的詳細說明中變得顯而易見。


依照以下示例性附圖，可以更好地理解本發明原理。附圖中 圖1是根據現有技術的多通路視頻編碼系統的框圖； 圖2是根據現有技術的用於實現多通路視頻編碼的方法的框圖； 圖3是根據本發明原理的實施例的、可應用本發明原理的、帶有二次採樣的示例性多通路視頻編碼系統的框圖4是根據本發明原理的實施例的、可應用本發明原理的、帶有
二次採樣和信息分析的示例性多通路視頻編碼系統的框圖5是根據本發明原理的實施例的、可應用本發明原理的多通路
視頻編碼系統中使用的示例性視頻編碼器的框圖6是根據本發明原理的實施例的、帶有二次採樣的、用於多通
路視頻編碼的示例性方法的流程圖7是根據本發明原理實施例的、帶有二次採樣和信息分析的、
用於多通路視頻編碼的示例性方法的流程圖。
具體實施例方式
本發明原理涉及用於在多通路編碼器中高效地進行第一通路編 碼的方法和設備。
本說明書闡釋了本發明原理。因此，應當認識到，所屬領域的技 術人員將能夠設計出雖未在此處明確說明或示出、但體現了本發明的 原理並涵蓋於其精神和範圍內的各種配置。
此處敘述的所有示例以及條件式語言均為達到教學目的，以幫助 讀者理解由發明人提出的改進了現有技術的發明原理以及發明構思， 因而應將其理解為不限於那些具體敘述的示例以及條件。
此外，此處敘述的所有本發明原理、方面和實施例的所有說明及 其具體示例均意在涵蓋其結構以及功能等價物。此外，這些等價物意 在包括當前己知等價物以及將於未來開發出來的等價物，即，不管結 構如何，開發出來用於執行同一功能的任意元件。
因而，舉例而言，所屬領域技術人員應認識到此處所示的框圖呈 現了體現本發明原理的示意電路的概念性視圖。類似地，應認識到流 程圖、狀態轉移圖、偽碼等表示各種可以計算機可讀介質充分表現的， 因而無論是否明確說明了計算機或處理器，均能夠用計算機或處理器 予以執行的過程。
可以通過採用專用硬體以及同適當軟體相關的能夠執行軟體的 硬體來實現附圖所示的各種實施例的功能。如果用處理器來提供功能，則可以用單獨的專用處理器、單獨的共享處理器或者多個其中若干可 以是共享處理器的獨立處理器來提供功能。此外，不應將術語"處理 器"或"控制器"的明確使用看成專指能夠執行軟體的硬體，反之其 可以無限制地隱含包括數字處理器("DSP")硬體、用於存儲軟體
的只讀存儲器("ROM")、隨機存取存儲器("RAM")以及非易失性
存儲器。
還可以包括常規的和/或定製的其他硬體。類似地，附圖中的所有 開關也只是概念上的。可以通過程序邏輯操作、專用邏輯、程序控制 以及專用邏輯的相互作用，或者甚至手動實現它們的功能，其中具體 技術可以根據上下文進行了更加具體的理解後，由實施者加以選擇。
在其權利要求中，任意被表示為用於執行指定功能的元件都意在
包含執行該功能的任意方式，後者包括比如，a)執行該功能的電路
元件的組合或b)任意形式的軟體，因而包括同用於執行該軟體以 實現所述功能的適當電路相結合的固件、微碼或類似軟體。由這種權 利要求所限定的發明在於以權項要求的方式結合在一起的各種所述裝 置所提供的功能。因而，應將能夠提供這種功能的任意裝置看做此處 說明的裝置的等價物。
說明書中對本發明原理"一個實施例"或"一實施例"的引用意 味著，至少在依照本發明原理的一實施例中包含了結合實施例進行說 明的特定的特徵、結構、特點等等。因而，在整篇說明書中各處出現 的短語"在一個實施例中"或"在一實施例中"未必指同一實施例。
此外，應當認識到短語"圖像數據"是指與任意靜止圖像和運動 圖像(即，包括運動的圖像序列)相對應的數據。
應當認識到，舉例而言，"A禾n/或B"情況下的術語"和/或"的
使用意在包括選擇第一個列出的選項(A)、選擇第二個列出的選項
(B)、或同時選擇兩個選項(A和B)。再舉一例，就"A、 B和/或C"
而言，該短語意在包括選擇第一個列出的選項(A)、選擇第二個列
出的選項(B)、選擇第三個列出的選項(C)、選擇第一個和第二個列 出的選項(A和B)、選擇第一個和第三個列出的選項(A和C)、選擇 第二個和第三個列出的選項(B和C)、或選擇所有三個選項(A、 B和C)。所屬和相關領域的普通技術人員容易理解，可以隨列出項目的數 量對其進行擴展。
參見圖3，以附圖標記300總體指示帶有二次採樣的示例性多通路
視頻編碼系統。
多通路視頻編碼系統300包括二次採樣器305，具有與第一通路 編碼器310的第一輸入相連並進行信號通信的輸出。第一通路編碼器 310具有與複雜度分析器320的輸入相連並進行信號通信的第一輸出。 複雜度分析器320的輸出與第二通路編碼器330的第一輸入相連並進行 信號通信。第一通路編碼器310的第二輸出與第二通路編碼器330的第 二輸入相連並進行信號通信。
二次採樣器305的輸入和第二通路編碼器的第四輸入可用作多通 路視頻編碼系統300的、用於接收視頻源信號的輸入。第一通路編碼器 310的第二輸入和第二通路編碼器330的第三輸入可用作多通路視頻編 碼系統300的、用於接收配置數據的輸入。第二通路編碼器330的輸出 可用作多通路視頻編碼系統300的、用於輸出比特流的輸出。
參見圖4，以附圖標記400總體指示帶有二次採樣和信息分析的示 例性多通路視頻編碼系統。
多通路視頻編碼系統400包括二次採樣器405， 二次採樣器405具 有與第一通路編碼器410的第一輸入相連並進行信號通信的輸出。第一 通路編碼器410具有與二次採樣分析器415的輸入相連並進行信號通信 的第一輸出。二次採樣分析器415的輸出與複雜度分析器420的輸入相 連並進行信號通信。複雜度分析器420的輸出與第二通路編碼器430的 第一輸入相連並進行信號通信。第一通路編碼器410的第二輸出與第二 通路編碼器430的第二輸入相連並進行信號通信。
二次採樣器405的輸入和第二通路編碼器的第四輸入可用作多通 路視頻編碼系統400的、用於接收視頻源信號的輸入。第一通路編碼器 410的第二輸入和第二通路編碼器430的第三輸入可用作多通路視頻編 碼系統400的、用於接收配置數據的輸入。第二通路編碼器430的輸出 可用作多通路視頻編碼系統400的、用於輸出比特流的輸出。
參見圖5，以附圖標記500總體指示可應用本發明原理的多通路視頻編碼系統中所使用的視頻編碼器。
視頻編碼器500包括幀排序緩衝器510，幀排序緩衝器510具有與 合併器585的同相輸入連接並進行信號通信的輸出。合併器585的輸出 與變換器和量化器525的第一輸入相連並進行信號通信。變換器和量化 器525的輸出與熵編碼器545的第一輸入以及反變換器和反量化器550 的第一輸入相連並進行信號通信。熵編碼器545的輸出與合併器590的 第一同相輸入相連並進行信號通信。合併器5卯的輸出與輸出緩衝器 535的第一輸入相連並進行信號通信。
編碼器控制器505的第一輸出與幀排序緩衝器510的第二輸入、反 變換器和反量化器550的第二輸入、圖像類型判決模塊515的輸入、宏 塊類型(MB類型)判決模塊520的輸入、幀內預測模塊560的第二輸 入、解塊濾波器565的第二輸入、運動補償器570的第一輸入、運動估 計器575的第一輸入、和參考圖像緩衝器580的第二輸入相連並進行信 號通信。
編碼器控制器505的第二輸出與補充增強信息(SEI)插入器530 的第一輸入、變換器和量化器525的第二輸入、熵編碼器545的第二輸 入、輸出緩衝器535的第二輸入、和序列參數集(SPS)和圖像參數集 (PPS)插入器540的輸入相連並進行信號通信。
圖像類型判決模塊515的第一輸出與幀排序緩衝器510的第三輸 入相連並進行信號通信。圖像類型判決模塊515的第二輸出與宏塊類型 判決模塊520的第二輸入相連並進行信號通信。
序列參數集(SPS)和圖像參數集(PPS)插入器540的輸出與合 並器5卯的第三同相輸入相連並進行信號通信。
反量化器和反變換器550的輸出與合併器525的第一同相輸入相 連並進行信號通信。合併器525的輸出與幀內預測模塊560的第一輸入 和解塊濾波器565的第一輸入相連並進行信號通信。解塊濾波器565的 輸出與參考圖像緩衝器580的第一輸入相連並進行信號通信。參考圖像 緩衝器580的輸出與運動估計器875的第二輸入相連並進行信號通信。 運動估計器575的第一輸出與運動補償器570的第二輸入相連並進行信 號通信。運動估計器575的第二輸出與熵編碼器545的第三輸入相連並進行信號通信。
運動補償器570的輸出與開關597的第一輸入相連並進行信號通 信。幀內預測模塊560的輸出與開關597的第二輸入相連並進行信號通 信。宏塊類型判決模塊520的輸出與開關597的第三輸入相連並進行信 號通信。開關597的輸出與合併器525的第二同相輸入和合併器585的反
相輸入相連並進行信號通信。
幀排序緩衝器510和編碼器控制器505的輸入可用作編碼器500 的、用於接收輸入圖像501的輸入。此外，補充增強信息(SEI)插入 器530的輸入可用作編碼器500的、用於接收元數據的輸入。輸出緩衝 器535的輸出可用作編碼器500的、用於輸出比特流的輸出。
如上所述，本發明原理涉及一種用於在多通路編碼器中高效地進 行第一通路編碼的方法和設備。在一實施例中，採用可變比特率多通 路視頻編碼器實現本發明原理。可變比特率多通路編碼器的目標是 通過改變不同圖像間的比特分配來提供恆定的視頻質量。為此，第一 通路通常用於採集與要編碼的視頻的有關信息。第一通路可以是預分 析或全編碼。與預分析相比，採用全編碼的第一通路可以採集更可靠 的關於視頻複雜度的信息，並得到更好的視頻質量。然而，全編碼的 計算複雜度更高。為了保持較低的複雜度，在一實施例中，此處根據 本發明原理說明的一種方法和設備對輸入視頻序列執行二次採樣，以 執行快速且高效的第一通路視頻編碼。在一實施例中，二次採樣方法 包括空間二次採樣技術和/或時間二次採樣技術。應當認識到，此處還 提出了用於執行空間和時間二次採樣的不同實施例。
此外，在一實施例中，還提出了一種二次採樣分析器，當使用根 據本發明原理提出的二次採樣技術或任何其他預分析技術時，該二次 採樣分析器對通過第一通路編碼而獲得的信息進行分析，並向複雜度 分析器提供更可靠信息。也就是說，此處提供的二次採樣分析器不僅 限於此處根據本發明原理描述的帶有二次採樣的第一通路全編碼，相 反，給定此處提供的本發明原理的教導，所屬和相關領域的普通技術 人員還可以在保持本發明原理的範圍同時，使用其他類型的第一通路 全編碼方案一起使用。根據本發明原理的各種實施例，提出了多種示例性方式，用於在 加速多通路視頻編碼器的第一通路編碼的同時，仍提供對視頻信息的 精確測量。在一實施例中，這是通過對輸入視頻序列進行二次採樣來 完成的。在圖4中，功能框405示出了所提出的視頻二次採樣框在整個
多通路視頻編碼系統400內的示例性位置。可以通過降低空間解析度和 /或時間解析度來實現所提出的二次採樣。以下根據圖6示出和說明了 採用二次採樣的多通路視頻編碼的示例性方法。應當認識到，本發明 原理不僅限於此處說明的以下方法或其各種變體。也就是說，給定了 此處提供的本發明原理的教導，所屬和相關領域的普通技術人員將在 保持本發明原理的範圍的情況下構思出上述和各種其他方法，用於對 輸入視頻執行二次採樣，從而在多通路編碼器中高效地進行第一通路 編碼。
方法l:降低空間解析度
在與根據本發明原理的第一方法(以下稱"第一方法")有關的
一實施例中，輸入視頻序列的空間解析度在第一通路中被處理之前被
降低了。應當認識到，可以將第一方法應用於預分析的一通路以及第
一通路全編碼。第一方法減少了在第一通路中處理的樣本數，且不會
以任何方式改變第一通路處理方法。
在與第一方法有關的一實施例中，可以通過對輸入圖像的像素數
進行二次採樣，以得到更低的解析度(如一半或四分之一的解析度)， 來降低空間解析度。應當認識到，可以通過不同方式(通過最近鄰法、 或者通過使用包括但不限於雙線性或雙三次圖像插值的基於插值濾波 器的方法)來執行二次採樣。還應當認識到，執行二次採樣的上述方
式僅是示例性的；並且，給定了此處提供的本發明原理的教導，所屬 和相關領域的普通技術人員將在保持本發明原理的範圍的情況下構思 出上述和各種其他方法，用於執行二次採樣，以提供在根據本發明原
理的多通路編碼器中進行的高效的第一通路編碼。
在與第一方法有關的另一實施例中，可以通過將全解析度輸入圖
像裁剪至更低解析度(如一半或四分之一的解析度)來降低空間解析度。可以通過各種裁剪方法來獲得更低的解析度。舉例而言，可以從
圖像的右部、左部、頂部和底部對稱地裁剪掉l/4的寬度和l/4的高度
以獲得一半的解析度。再舉一例，可以從圖像的底部和頂部非對稱地 裁剪掉不同數量的水平像素，和/或從圖像的左側和右側非對稱地裁剪 掉不同數量的垂直像素。
方法2:降低時間解析度
在與根據本發明原理的第二方法(以下稱"第二方法")有關的 一實施例中，輸入視頻序列的時間解析度在第一通路中被處理之前被 降低了。與第一方法的情況一樣，可以將第二方法應用於預分析的一 通路以及第一通路全編碼。
與第一方法相比，第二方法的不同之處在於在保持圖像大小與 原始圖像大小相同的同時，減少了在第一通路中處理的樣本數。類似 於第一方法，第二方法也不以任何方式改變第一通路處理方法。
在與第二方法有關的一實施例中，可以通過每隔一個圖像集
(SOP)跳過一個SOP來進行規則的二次採樣，從而降低時間解析度。 在該實施例中，所跳過的圖像的數量可以與一個SOP中的圖像的數量
相等。S0P長度可以是大於或等於1的任意數字。
在與第二方法有關的另一實施例中，可以通過規則地跳過每個
SOP的最後N個圖像來降低時間解析度，其中N小於SOP長度。
在與第二方法有關的另一實施例中，可以通過不規則地跳過每個
SOP的前M個圖像來降低時間解析度，其中M小於SOP長度。
方法3:同時降低空間和時間解析度 在與根據本發明原理的第三方法(以下稱"第三方法")有關的
一實施例中，輸入視頻序列的空間和時間解析度都在第一通路中被處
理之前被降低了。與第一方法和第二方法的情況一樣，可以將該方法
應用於預分析的一通路以及第一通路全編碼。
第三方法包括第一方法和第二方法的每種可能的組合，包括但不
限於以下實施例。
在一實施例中，可以將一半解析度的空間二次採樣與通過每隔一個SOP跳過一次實現的規則的時間二次採樣加以組合。
在另一實施例中，可以將一半解析度的空間二次採樣與不規則的
時間二次採樣組合。
可以容易地應用所述的第一、第二和第三方法，以支持具有多於
兩通路的多通路編碼算法。還可以在基於預分析的多通路編碼器之前
應用所述方法。
用於執行信息分析以為複雜度分析提供可靠信息的
所提出的方法
在典型的多通路編碼器中，由複雜度分析器來分析通過第一通路 編碼器獲得的信息。複雜度分析器的效率取決於複雜度分析器可得到 的信息的可靠性和數量。在一實施例中，還提出了一種方法，用於分 析和處理通過第一通路獲得的信息，並為複雜度分析器產生更可靠信 息。根據圖4示出和說明了具有所提出的分析器方框的多通路視頻編碼
器框圖。根據圖7示出和說明了採用所提出的信息分析的對應方法。當
在多通路編碼系統中使用所提出的二次採樣方法或其他預分析方法 時，可以使用所提出的二次採樣分析器。
二次採樣分析器從與所提出的視頻二次採樣框一起運行的第一 通路編碼中獲取包括但不限於量化參數、每圖像的比特、和圖像類型 在內的信息，並估計將由複雜度分析器使用的非二次採樣的視頻的信 息。在特定實施例中，通過在採用二次採樣的第一通路之後獲得的信 息來估計不採用二次採樣的第一通路的信息，其中可以使用以下估計 過程。
假定需要估計一個圖像集中的P (預測)圖像的平均QP (量化參 數)，其中qp—，y表示可變。想要通過使用由採用所提出的二次採樣方 法的第一通路以及隨後的第一通路編碼獲得的P圖像的平均量化參數
(即，qP—passLsubsampled)、 B (雙向預測)圖像的平均量化參數(即， qB—passl—subsampled )禾口i (幀內)圖像的平均量化參數(即， qi—passl—subsampled , 來估計qp,w。那麼，可以如下估計qp—passi:
Qp—pass! — "J q—passl—subsampled + qp—passl—subsampled + qB—passl—subsampled ("其中，、 aP 、 aB是權重係數，
qi—passl—subsampled 、 qP一pass1—subsampled 、 qB—Passl—subsampied是己知值(通過採用所提出的二次採樣方法的第一通路 編碼獲得的信息)。可以通過使用訓練數據來獲得權重因子込=K (XP
aB]。換言之，可以通過使用各種SOP長度和SOP結構，在線下執行仿
真，以找到最佳地估計出未進行二次採樣的視頻的第一通路信息的係數。
一種用來找到權重係數的方式是求解以下方程
《s
— / —戸.v 1 — — .，W 9 f _ pav.vl — ,f由cr/np/et/ —.哪W
中，qj—passl—subsampled—sopl qi—passl—subsampled—sopN 、 passl—subsampled_sopi主
qp—passl—subsampled—sopN、 qB_passl—subsampled—sopl至^B—pass 1—subsampled—sopN 、 qp—pass 1 一sop 1至qP—pass 1 _，N是通過仿真獲得的。
在以上示例中，演示了P圖像的量化參數估計。可以使用相同的 估計過程來估計P、 I或B圖像的量化參數或比特。此外，使用不同預 分析算法的第一通路編碼也可以從所提出的二次採樣分析器獲益。
參見圖6，以附圖標記600總體指示採用二次採樣的多通路視頻編
碼的示例性方法。
方法600包括開始框601，開始框601將控制權交予功能框605。 功能框605執行視頻二次採樣，並將控制權交予功能框609 (例如， 手動操作功能框)。功能框609涉及執行編碼器設置，並將控制權交予 功能框610。功能框610執行第一通路編碼，並將控制權交予功能框 620。功能框620執行複雜度分析，並將控制權交予功能框630。功能
框630執行第二通路編碼，並將控制權交予結束塊640。
參見圖7，以附圖標記600總體指示採用二次採樣和信息分析的多
通路視頻編碼的示例性方法。
方法700包括開始框701，開始框701將控制權交予功能框705。功 能框705執行視頻二次採樣，並將控制權交予功能框709 (例如，手動 操作功能框)。功能框709涉及執行編碼器設置，並將控制權交予功能 框710。功能框710執行第一通路編碼，並將控制權交予功能框715。功
q:屍
《p /jaw 1
《P
(2)能框715執行二次採樣分析，並將控制權交予功能框720。功能框720 執行複雜度分析，並將控制權交予功能框730。功能框730執行第二通 路編碼，並將控制權交予結束塊740。
現在對本發明的許多附帶的優點/特徵中的一些進行說明，以上已 說明了其中的一些。例如， 一個優點/特徵是一種包括多通路視頻編碼 器的設備，該多通路視頻編碼器用於通過對第一通路編碼前的、至少 一圖像的輸入圖像數據的至少一部分進行二次採樣，來對輸入圖像數 據執行第一通路編碼。二次採樣是空間二次採樣和時間二次採樣中的 至少一種。
另一優點/特徵是如上所述的具有多通路視頻編碼器的設備，其 中，該多通路視頻編碼器通過降低所述至少一圖像中至少一圖像的空 間解析度，來對輸入圖像數據的至少所述部分進行空間二次採樣。
另一優點/特徵是如上所述的具有多通路視頻編碼器的設備，該多 通路視頻編碼器降低所述至少一圖像中至少一圖像的空間解析度，其 中，該多通路視頻編碼器通過規則地跳過所述至少一圖像中的至少一 圖像，來對輸入圖像數據的至少所述部分進行時間二次採樣。
另一優點/特徵是如上所述的具有多通路視頻編碼器的設備，該多 通路視頻編碼器降低所述至少一圖像中至少一圖像的空間解析度，其 中，該多通路視頻編碼器通過不規則地跳過所述至少一圖像中的至少 一圖像，來對輸入圖像數據的至少所述部分進行時間二次採樣。
另一優點/特徵是如上所述的具有多通路視頻編碼器的設備，其 中，該多通路視頻編碼器通過對所述至少一圖像中的至少一圖像進行 裁剪，來對輸入圖像數據的至少所述部分進行空間二次採樣。
此外，另一優點/特徵是如上所述的具有多通路視頻編碼器的設 備，該多通路視頻編碼器對所述至少一圖像中的至少一圖像進行裁剪， 其中，該多通路視頻編碼器通過規則地跳過所述至少一圖像中的至少 一圖像，來對輸入圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有多通路視頻編碼器的設 備，該多通路視頻編碼器對所述至少一圖像中的至少一圖像進行裁剪， 其中，該多通路視頻編碼器通過不規則地跳過所述至少一圖像中的至少一圖像，來對輸入圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有多通路視頻編碼器的設 備，其中，該多通路視頻編碼器通過規則地跳過所述至少一圖像中的 至少一圖像，來對輸入圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有多通路視頻編碼器的設 備，其中，該多通路視頻編碼器通過不規則地跳過所述至少一圖像中 的至少一圖像，來對輸入圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有多通路視頻編碼器的設 備，其中，在對通過第一通路編碼得到的信息進行複雜度分析之前， 該多通路視頻編碼器對該信息執行分析，該信息用於後一通路編碼。
此外，另一優點/特徵是如上所述的具有多通路視頻編碼器的設 備，在對通過第一通路編碼得到的信息進行複雜度分析之前，該多通 路視頻編碼器對該信息執行分析，其中，執行位於複雜度分析前的、 對通過所述第一通路編碼得到的信息執行的所述分析，以為所述後一 通路編碼提供對所述輸入圖像數據的壓縮參數的統計估計。
此外，另一優點/特徵是如上所述的具有多通路視頻編碼器的設 備，在對通過第一通路編碼得到的信息進行複雜度分析之前，該多通 路視頻編碼器對該信息執行分析，其中，壓縮參數的統計估計與未進 行二次採樣的輸入圖像數據有關。
此外，另一優點/特徵是如上所述的具有多通路視頻編碼器的設 備，在對通過第一通路編碼得到的信息進行複雜度分析之前，該多通 路視頻編碼器對該信息執行分析，其中，該信息包括量化參數、每 圖像的比特、和圖像類型中的至少一個。
此外，另一優點/特徵是一種用於多通路視頻編碼器的設備。該編 碼器用於至少對至少一圖像的輸入圖像數據執行第一通路編碼。該設 備包括二次採樣器，用於在第一通路編碼之前，對輸入圖像數據的 至少一部分進行二次採樣。二次採樣是空間二次採樣和時間二次採樣 中的至少一個。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，其中， 該二次採樣器通過降低所述至少一圖像中至少一圖像的空間解析度，來對輸入圖像數據的至少所述部分進行空間二次採樣。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，該二 次採樣器降低所述至少一圖像中的至少一圖像的空間解析度，其中， 該二次採樣器通過規則地跳過所述至少一圖像中的至少一圖像，來對 輸入圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，該二 次採樣器降低所述至少一圖像中的至少一圖像的空間解析度，其中， 該二次採樣器通過不規則地跳過所述至少一圖像中的至少一圖像，來 對輸入圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，其中， 該二次採樣器通過對所述至少一圖像中的至少一圖像進行裁剪，來對 輸入圖像數據的至少所述部分進行空間二次採樣。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，該二 次採樣器對所述至少一圖像中的至少一圖像進行裁剪，其中，該二次 採樣器通過規則地跳過所述至少一圖像中的至少一圖像，來對輸入圖 像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，該二 次採樣器對所述至少一圖像中的至少一圖像進行裁剪，其中，該二次 採樣器通過不規則地跳過所述至少一圖像中的至少一圖像，來對輸入 圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，其中， 該二次採樣器通過規則地跳過所述至少一圖像中的至少一圖像，來對 輸入圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，其中， 該二次採樣器通過不規則地跳過所述至少一圖像中的至少一圖像，來 對輸入圖像數據的至少所述部分進行時間二次採樣。
此外，另一優點/特徵是如上所述的具有二次採樣器的設備，該設 備還包括二次採樣分析器，用於在對通過第一通路編碼得到的信息 進行複雜度分析之前，對該信息執行分析。該信息用於後一通路編碼。
此外，另一優點/特徵是如上所述的具有二次採樣器和二次採樣分析器的設備，其中，執行位於複雜度分析前的、對通過所述第一通路 編碼得到的信息執行的所述分析，以為所述後一通路編碼提供對所述 輸入圖像數據的壓縮參數的統計估計。
此外，另一優點/特徵是如上所述的具有二次採樣器和二次採樣分 析器的設備，其中，壓縮參數的統計估計與未進行二次採樣的輸入圖 像數據有關。
此外，另一優點/特徵是如上所述的具有二次採樣器和二次採樣分 析器的設備，其中，該信息包括量化參數、每圖像的比特、和圖像類 型中的至少一個。
根據此處的教導，所屬領域的普通技術人員易於弄清本發明原理 的上述和其他特徵以及優點。應當理解的是，可以硬體、軟體、固件、 專用處理器或其組合等各種形式實現對本發明原理的教導。
在最優選的情況下，將本發明原理的教導實現為硬體和軟體的組 合。此外，軟體可以被實現為確實包含於程序存儲單元中的應用程式。 應用程式可裝載於具有任意適當架構的機器，並由後者來執行。優選 情況下，在具有諸如一個以上的中央處理單元("CPU")、隨機存取
存儲器("RAM")以及輸入/輸入("I/O")接口等硬體的計算機平臺
上實現該機器。計算機平臺還可以包括作業系統以及微指令代碼。此
處說明的各種處理和功能可以是可由CPU執行的、微指令代碼的一部
分或者應用程式的一部分或者其任意組合。此外，可以將諸如附加數 據存儲單元和列印單元等各種其他外圍設備連接至計算機平臺。
還應當理解的是，由於附圖中所描繪的某些構成系統組件以及方 法在優選情況下是用軟體來實現的，因而系統組件或處理功能框之間 的實際連接根據本發明原理的編程方式可能會有所不同。給定了此處 的說明，所屬領域的普通技術人員將能夠構想出本發明原理的上述以 及類似的實現方式或配置。
雖然參考附圖對示例性實施例進行了說明，但應當理解的是，本 發明不局限於這些具體的實施例，所屬領域的普通技術人員可以在不 背離本發明原理的範圍或精神的前提下進行各種改進和修改。正如附 屬的權利要求所闡釋的那樣，意在將所有此類改進和修改包含於本發明原理的範圍之內。
權利要求
1.一種設備，包括多通路視頻編碼器(300)，用於通過在第一通路編碼前對至少一圖像的輸入圖像數據的至少一部分進行二次採樣，來對所述輸入圖像數據執行所述第一通路編碼，其中，所述二次採樣是空間二次採樣和時間二次採樣中的至少一種。
2. 根據權利要求l所述的設備，其中，所述多通路視頻編碼器 (300)通過降低所述至少一圖像中的至少一圖像的空間解析度，來對所述輸入圖像數據的至少所述部分進行空間二次採樣。
3. 根據權利要求2所述的設備，其中，所述多通路視頻編碼器 (300)通過規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據的至少所述部分進行時間二次採樣。
4. 根據權利要求2所述的設備，其中，所述多通路視頻編碼器 (300)通過不規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據的至少所述部分進行時間二次採樣。
5. 根據權利要求l所述的設備，其中，所述多通路視頻編碼器 (300)通過對所述至少一圖像中的至少一圖像進行裁剪，來對所述輸入圖像數據的至少所述部分進行空間二次採樣。
6. 根據權利要求5所述的設備，其中，所述多通路視頻編碼器 (300)通過規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據的至少所述部分進行時間二次採樣。
7. 根據權利要求5所述的設備，其中，所述多通路視頻編碼器 (300)通過不規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據的至少所述部分進行時間二次採樣。
8. 根據權利要求l所述的設備，其中，所述多通路視頻編碼器 (300)通過規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據的至少所述部分進行時間二次採樣。
9. 根據權利要求l所述的設備，其中，所述多通路視頻編碼器(300)通過不規則地跳過所述至少一圖像中的至少一圖像，來對所述 輸入圖像數據的至少所述部分進行時間二次採樣。
10. 根據權利要求l所述的設備，其中，所述多通路視頻編碼器(300)在對通過第一通路編碼得到的信息進行複雜度分析之前，對所述信息執行分析，所述信息用於後一通路編碼。
11. 根據權利要求10所述的設備，其中，執行位於複雜度分析前 的、對通過所述第一通路編碼得到的信息執行的所述分析，以為所述 後一通路編碼提供對所述輸入圖像數據的壓縮參數的統計估計。
12. —種方法，包括通過在第一通路編碼前對至少一圖像的輸入圖像數據的至少一 部分進行二次採樣，來對所述輸入圖像數據執行所述第一通路編碼(605、 705)，其中，所述二次採樣是空間二次採樣和時間二次採樣中的至少一 種(605、 705)。
13. 根據權利要求12所述的方法，其中，所述二次採樣步驟通過 降低所述至少一圖像中的至少一圖像的空間解析度，來對所述輸入圖 像數據的至少所述部分進行空間二次採樣(605、 705)。
14. 根據權利要求13所述的方法，其中，所述二次採樣步驟通過 規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據 的至少所述部分進行時間二次採樣(605、 705)。
15. 根據權利要求13所述的方法，其中，所述二次採樣步驟通過 不規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數 據的至少所述部分進行時間二次採樣(605、 705)。
16. 根據權利要求12所述的方法，其中，所述二次釆樣步驟通過 對所述至少一圖像中的至少一圖像進行裁剪，來對所述輸入圖像數據 的至少所述部分進行空間二次採樣(605、 705)。
17. 根據權利要求16所述的方法，其中，所述二次採樣步驟通過 規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據 的至少所述部分進行時間二次採樣(605、 705)。
18. 根據權利要求16所述的方法，其中，所述二次採樣步驟通過不規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據的至少所述部分進行時間二次採樣(605、 705)。
19. 根據權利要求12所述的方法，其中，所述二次採樣步驟通過 規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數據 的至少所述部分進行時間二次採樣(605、 705)。
20. 根據權利要求12所述的方法，其中，所述二次採樣步驟通過 不規則地跳過所述至少一圖像中的至少一圖像，來對所述輸入圖像數 據的至少所述部分進行時間二次採樣(605、 705)。
21. 根據權利要求13所述的方法，還包括在對通過所述第一通 路編碼得到的信息執行複雜度分析之前，對所述信息執行分析(715)， 所述信息用於後一通路編碼。
22. 根據權利要求21所述的方法，其中，執行位於複雜度分析前 的、對通過所述第一通路編碼得到的信息執行的所述分析，以為所述 後一通路編碼提供對所述輸入圖像數據的壓縮參數的統計估計(715)。
23. —種設備，包括多通路視頻編碼器(300)，用於對至少一圖像的輸入圖像數據執 行第一通路編碼，並對通過所述第一通路編碼得到的信息執行分析， 以提高在後一通路編碼前發生的後續複雜度分析中所使用的信息的可 靠性。
24. —種方法，包括對至少一圖像的輸入圖像數據執行第一通路編碼；以及對通過所述第一通路編碼得到的信息執行分析(715)，以提高在 後一通路編碼前發生的後續複雜度分析中所使用的信息的可靠性。
25. 根據權利要求24所述的方法，其中，執行位於複雜度分析前的、對通過所述第一通路編碼得到的信息執行的所述分析，以為所述 後一通路編碼提供對所述輸入圖像數據的壓縮參數的統計估計(715)。
全文摘要
提供了在多通路編碼器中高效地進行第一通路編碼的方法和設備。設備包括多通路視頻編碼器(300)，用於通過在第一通路編碼前對至少一圖像的輸入圖像數據的至少一部分進行二次採樣，來對所述輸入圖像數據執行所述第一通路編碼。二次採樣是空間二次採樣和時間二次採樣中的至少一種。
文檔編號H04N7/26GK101529912SQ200780039585
公開日2009年9月9日 申請日期2007年10月22日 優先權日2006年10月25日
發明者克裡斯蒂娜·戈米拉, 格克切·丹尼, 陸曉安 申請人:湯姆森許可貿易公司