用於視頻編碼器中的高質量幀內模式預測的設備和方法

2023-06-12 08:49:06

專利名稱：用於視頻編碼器中的高質量幀內模式預測的設備和方法
用於視頻編碼器中的高質量幀內模式預測的設備和方法
相關申請本申請要求2008年4月30日提交的名稱為「ApparatusAnd Method For High Quality Intra Mode Prediction In A Video Coder」的美國專利申請No. :12/113, 197 的 優先權，該美國專利申請的公開在此以參考的方式併入。
背景技術：
數字視頻編碼技術使得組成數字視頻序列的大量可視化數據的有效存儲和傳輸 成為可能。隨著國際數字視頻編碼標準的發展，數字視頻目前已在從視頻會議和DVD至數 字TV、移動視頻、和網際網路視頻流和共享的大量應用中變得普通。數字視頻編碼標準提供世 界性地刺激數字視頻應用的增長所需的互用性和靈活性。目前，負責開發和實現數字視頻編碼標準的兩個國際組織為在國際電信聯 盟-電信標準局(「ITU-T」)授權下的視頻編碼專家組以及在國際標準組織(「ISO」)與國 際電工委員會(「IEC」)授權下的運動圖像專家組(「MPEG」)。ITU-T已開發了 H. ^x(例 如H. 261、H. 263)系列視頻編碼標準，而IS0/IEC已開發了 MPEG-x(例如MPEG-U MPEG-4) 系列視頻編碼標準。H. 26x標準主要設計用於諸如視頻會議和視頻電話的實時視頻通信應 用，而MPEG標準則設計用於解決視頻存儲、視頻廣播、和視屏流應用的需求。ITU-T和IS0/IEC還共同開發高性能、高質量視頻編碼標準，包括先前的H.沈2 (或 MPEG-2)和新近的H.沈4 (或MPEG-4PartlO/AVC)標準。在2003年採用的H. 264視頻編碼 標準以明顯比先前的視屏編碼標準低的比特率(達到50% )而提供高的視頻質量。H. 264 標準提供了足夠的適用於各種應用的靈活性，包括低的和高的比特率應用以及低的和高的 解析度應用。新應用可在現有和將來網絡上開發出來。H. 264視頻解碼標準在與其它現有的視頻編碼標準共享共有特徵的同時，也具有 與這些其它現有標準相區別的許多優點。

圖1顯示了 H. 264的基本視頻編碼結構。H. 264 視頻編碼器100將數字視頻序列的各視頻幀分成16 X 16像素塊(稱為「宏塊」)，使得能以 塊級進行幀的處理。各宏塊可利用來自其當前視頻幀的信息編碼成幀內編碼宏塊，或利用來自其先前 幀的信息編碼成幀間編碼宏塊。對幀內編碼宏塊進行編碼，以便通過變化、量化、和熵(或 可變長度)編碼(或稱亂度編碼)，而充分利用在給定的視頻幀內存在的空間性冗餘。對幀 內編碼宏塊進行編碼，以充分利用連續的幀中在宏塊之間存在的臨時性冗餘，這樣，僅需要 對連續幀之間的變化進行編碼。這可通過運動估計和補償而予以實現。為了提高用於幀內編碼宏塊的幀內編碼過程的效率，通過利用幀內預測105充分 利用在給定的幀中相鄰的宏塊之間的空間相關性。由於給定的幀中相鄰的宏塊傾向於具有 相似的可視化特性，所以可從已編碼的周圍宏塊預測幀中給定的宏塊；然後，對給定的宏塊 與其預測之間的差異進行編碼，這與對給定的宏塊直接編碼比較起來產生表示該給定的宏 塊的較少的位(比特，比特)。圖2中示出了更詳細地顯示了幀內預測的方框圖200。可對整個16X16的宏塊進行幀內預測，或者可對宏塊內各4X4的塊進行幀內預測。這兩種不同的預測類型分別由「 Intra_16 X 16，，和「 Intra_4X 4」表示。Intra_16 X 16 模式更適於編碼視頻幀非常平滑的區域，而化^_4乂4模式更適於編碼具有重要細節的視 頻幀的區域。在Intra_4X4模式中，如圖3A_;3B所示地從空間相鄰的樣本預測各4X4的塊。利 用標記為「A-Q」的相鄰塊中的在先解碼、即重構樣本預測標記為「a-p」的4X4的塊300的 16個樣本。也就是說，從相鄰的塊A310、B320、C325、和D315預測塊X305。具體地，可以利 用位於被預測塊之上方的和左側的塊中的數據，進行幀內預測，例如，通過取得在被預測塊 之上方的和左側的塊的右下方像素、在被預測塊之上方的塊的下面行的像素、在被預測塊 之上方的和右側的塊的下面行的像素、以及在被預測塊值左側的塊的右側列的像素，進行 預測。對於宏塊中的各4X4的塊，可使用由H. 264視頻編碼標準限定的九種預測模式中 的一種。圖4顯示了九種預測模式400。除「DC」預測模式(模式2)之外，指定了八種方向 預測模式。這些模式適於預測視頻幀中的方向結構，例如各種角度的邊緣。典型的H. 264視頻編碼器在通常稱為幀內編碼「模式決策」或「模式選擇」的過程 中，根據某些準則從九種可能的htra_4X4預測模式選擇一種，以對幀內編碼宏塊內的各 4X4的塊進行編碼。一旦選定幀內預測模式，就從相鄰塊的重構版本取得預測像素，以形成 預測塊。然後如圖2所示，通過從當前塊減去預測塊來獲得殘差。模式決策準則通常包括如圖5所示的、通過可在http://iph0me. hhi. de/ suehring/tml/公開獲得的JM參考編碼器中實現的偽碼500對殘差編碼的代價的優化。殘 差是當前塊與由相鄰塊中重構像素形成的預測塊之間的像素值的差異。評估的代價可以是 初始塊與預測塊之間的絕對誤差代價的和(「SAD」)、初始塊與預測塊之間誤差代價平方和 (「SSE」)、或更常用的速率失真代價(rate-distortion cost)。速率失真代價可以利用九種可能模式中每一候選模式來評估預測塊的拉格朗日 代價，並選擇出具有最小拉格朗日代價的模式。由於用於編碼宏塊存在大量可用模式，所以 用於確定代價的過程需要進行許多次。因此，在幀內模式決策階段中包括的計算非常密集。如圖3A-B所示，儘管計算密集，但為給定的塊確定預測模式的代價優化通常 僅基於先前塊，並假定給定的塊對以下的塊沒有影響。結果，每一塊的編碼模式決策僅 是局部地進行了優化，這不能產生可用於給定宏塊編碼的最好的率失真(速率失真， rate-distortion)平衡。由於每一塊的編碼模式決策僅是局部優化的，所以不能保證對於 給定的碼率下視頻序列的可視化質量最佳。

發明內容
在一實施方式中，計算機可讀存儲介質包括可執行指令，以在待編碼的視頻序列 中選擇作為幀內編碼塊的多個塊。相對於其先前相應的幀內編碼塊，針對每一幀內編碼塊， 計算其累積幀內預測代價(aggregate intra prediction cost)。基於累積幀內預測代價， 為每一幀內編碼塊選擇其幀內預測模式。在一實施方式中，公開了一種為視頻序列中的幀內編碼塊選擇其幀內預測模式的 方法。相對於先前相應的幀內編碼塊的幀內預測模式的子集，計算與用於每一幀內編碼塊 的多種幀內預測模式相關的累積幀內預測代價。基於累積幀內預測代價，選擇用於每一幀內編碼塊的幀內預測模式的子集。確定來自用於每一幀內編碼塊的幀內預測模式的子集中 產生最小累積幀內預測代價的幀內預測模式。本發明的另一實施方式則包括一種視頻編碼設備，其具有接收視頻序列的接口和 對視頻序列進行編碼的處理器。處理器具有可執行指令，以從待編碼的視頻序列中選擇多 個塊作為幀內編碼塊，並基於累積幀內預測代價，為每一幀內編碼塊選擇幀內預測模式，其 中，累積幀內預測代價是相對於用於先前相應的幀內編碼塊的幀內預測模式的子集而計算 出來的。
以下結合附圖進行詳細地說明，以更充分地理解本發明的實施方式，且附圖中相 同的附圖標記至始至終指的是相同的部分。圖1顯示了 H. 264視頻編碼標準的基本視頻編碼結構。圖2顯示了 H. 264視頻編碼標準的幀內預測的方框圖。 圖3A顯示了根據H. 264視頻編碼標準從空間相鄰的樣本預測的4 X 4的塊。圖:3B顯示了根據H. 264視頻編碼標準從相鄰的塊預測的4 X 4的塊。圖4顯示了 H. 264視頻編碼標準的九種htra_4 X 4的預測模式。圖5顯示了用於參考H. 264編碼器的htra_4X4的編碼模式決策階段的偽碼。圖6顯示了根據一實施方式用於視頻編碼器中的幀內模式預測的流程圖。圖7顯示了根據一實施方式相對於先前塊用於當前塊的幀內模式預測的流程圖。圖8顯示了根據H. 264視頻編碼標準用於幀內編碼宏塊中的編碼4X4的塊的處 理順序。圖9顯示了根據一實施方式相對於先前塊為當前塊選擇幀內預測模式的原理圖。圖10顯示了根據一實施方式示出當前塊與先前塊之間的編碼路徑的原理圖。圖11顯示了根據一實施方式用於為幀內編碼宏塊中的每一塊選擇幀內預測模式 的流程圖。圖12顯示了根據一實施方式示出宏塊中的編碼路徑的原理圖。圖13顯示了根據一實施方式的視頻編碼設備的方框圖。
具體實施例方式本發明提供了一種用於確定宏塊中所有塊的編碼模式的技術，該技術能獲得比目 前現有方法更好的率失真平衡(rate-distortiontrade-off)。如通常在此所使用地，幀內模式預測指的是利用給定的幀內預測模式的數字視頻 序列的宏塊中的塊的預測。可從用於對視頻序列編碼的諸如由給定的視頻編碼標準或視 頻編碼器、例如H. 264視頻編碼標準指定的預測模式的多種幀內預測模式選擇幀內預測模 式。塊可以是來自16X16的宏塊的4X4的塊或16X16的塊，或者可以是如由視頻編碼標 準或視頻編碼器指定的任何其它尺寸的塊或宏塊。根據本發明一實施方式，基於相對於先前相應的塊的總幀內預測值為給定的幀內 編碼宏塊中的每一塊選擇幀內預測模式。如通常在此所使用地，累積幀內預測代價指的是 對於當前的幀內編碼塊及其先前相應的幀內編碼塊的累積幀內預測代價。代價可以是初始塊與預測塊之間的絕對誤差代價的和(「SAD」)、初始塊與預測塊之間誤差代價平方和 (「SSE」)、或更一般地利用率失真代價。因此，如通常在此所使用地，給定幀內編碼塊的幀內預測代價指的是與編碼該塊 所選擇的給定幀內預測模式相關的幀內預測代價。如由本領域的技術人員所理解地，如以 上參考圖2和5所描述地，通過相對於塊的相鄰塊的重構版本預測所述塊，並對被預測的塊 與給定的塊的殘差進行編碼，計算給定的幀內編碼塊的幀內預測代價。如在此以下更詳細地描述地，按處理順序處理當前的幀內編碼塊及其先前相應的 幀內編碼塊。例如，宏塊中對於該宏塊中待處理的第二塊而言，先前相應的塊是該宏塊中被 處理的第一塊，宏塊中對於該宏塊中待處理的第三塊而言，先前相應的塊是該宏塊中被處 理的第二塊，宏塊中對於該宏塊中待處理的第四塊而言，先前相應的塊是該宏塊中被處理 的第三塊，等等。可以理解的是，宏塊中待處理的第一塊沒有先前相應的塊。如在此以下更 詳細地描述地，該宏塊中對第一塊計算的累積幀內預測代價只是編碼該第一塊的幀內預測 代價。在一實施方式中，對用於先前相應的塊的幀內預測模式的子集計算幀內預測代 價。然後，通過將用於當前幀內編碼塊的多種幀內預測模式的幀內預測代價加和到用於先 前相應的塊的幀內預測模式的子集的幀內預測代價，從而計算對於當前幀內編碼塊而言的 累積幀內預測代價。例如，如在此以下更詳細地描述地，對於給定先前塊A而言，對諸如在H. 264標準 中所指定的總共九種幀內預測模式中的例如三種幀內預測模式的幀內預測模式的子集計 算幀內預測代價。然後，對於當前塊B，例如對所有九種幀內預測模式的所有幀內預測模式 計算幀內預測代價。然後，將對用於先前塊A的幀內預測模式的子集而言的幀內預測代價 加到對用於當前塊B的所有幀內預測模式而言的幀內預測代價，以產生對當前塊B而言的 累積幀內預測代價。根據本發明一實施方式，為每一幀內編碼塊選擇具有最低累積幀內預測代價的幀 內預測模式的子集。利用以上的示例，對於當前塊B，選擇例如三種幀內預測模式的子集。然後，在用於先前相應的塊的幀內預測模式的子集中的每一幀內預測模式與用於 當前塊的對應幀內預測模式之間形成並存儲編碼路徑。如通常在此所使用地，編碼路徑指 的是用於對先前塊編碼的幀內預測模式與用於對當前塊編碼的幀內預測模式之間的聯繫。 在一實施方式中，每一編碼路徑與累積幀內預測代價相關。利用以上的示例並如在此以下更詳細地描述地，當前塊B中的幀內預測模式的子 集中的每一幀內預測模式具有到用於先前塊A的幀內預測模式的子集中的對應幀內預測 模式的編碼路徑。例如，對於幀內預測模式的子集中的三種幀內預測模式在當前塊B與先 前塊A之間形成三條編碼路徑。在一實施方式中，在給定的宏塊中從第一幀內編碼塊至最後的幀內編碼塊結合具 有最低累積幀內預測代價的編碼路徑的子集。然後，把對於將第一幀內編碼塊引導至最後 的幀內編碼塊的編碼路徑而言的累積幀內預測代價加起來，以產生宏塊累積幀內預測代價 的子集。選擇將第一幀內編碼塊結合至最後的幀內編碼塊的產生最低宏塊累積幀內預測代 價的編碼路徑，以確定用於對宏塊中的每一幀內編碼塊編碼的幀內預測模式。圖6顯示了根據本發明一實施方式用於視頻編碼器中的幀內模式預測的流程圖。首先，對於給定的視頻編碼序列，在步驟600中選擇作為幀內編碼塊待編碼的多個塊。如在H. 264及例如視頻編碼標準的MPEG系列的其它相似的視頻編碼標準中所指 定地，幀內編碼宏塊是具有4X4或16X16的幀內編碼塊的16X16的宏塊。諸如例如通過 利用幀內預測如在視頻編碼標準中所指定地對每一幀內編碼塊編碼。接下來，如在此以下更詳細地描述地，在步驟605中相對於先前相應的幀內編碼 塊對每一幀內編碼塊計算累積幀內預測代價。例如，各16X16的宏塊具有總共16個4X4 的幀內編碼塊。相對於16X16的宏塊中的第一個4X4的幀內編碼塊計算對於該16X16 的宏塊中的例如第二個4X4的幀內編碼塊而言的累積幀內預測代價。也就是說，如在此以 下更詳細地描述地，通過將對於第二個4X4的幀內編碼塊而言的幀內預測代價加到對於 第一個4X4的幀內編碼塊而言的幀內預測代價來計算對於第二個4X4的幀內編碼塊而言 的累積幀內預測代價。可以理解的是，對每一幀內編碼塊計算的幀內預測代價是與幀內預測模式相關的 代價。還可以理解的是，由於作為宏塊中的第一塊，所以給定宏塊中的第一幀內編碼塊在宏 塊中沒有先前相應的塊。因此，該第一幀內編碼塊的累積幀內預測代價簡單地是與用於預 測和編碼塊的幀內預測模式相關的幀內預測代價。最後，如在此以下更詳細地描述地，在步驟610中基於累積幀內預測代價選擇用 於宏塊中每一幀內編碼塊的幀內預測模式。根據用於宏塊的總的最低幀內預測代價選擇為 每一幀內編碼塊選擇的幀內預測模式。可以理解的是，與在現有技術的方法中進行的傳統幀內預測形成對比，在塊之間 聯合地選擇為宏塊選擇的幀內預測模式。也就是說，用於給定塊的預測模式的選擇影響用 於緊接在前的相鄰塊的預測模式的選擇。通過聯合地選擇用於宏塊中的所有塊的幀內預測 模式，不僅如在傳統地現有技術的方法中一樣局部地優化幀內模式決策，而是對於整個宏 塊全面地優化該幀內決策模式。現在參考圖7，描述根據本發明一實施方式相對於先前塊用於當前塊的幀內模式 預測的流程圖。考慮視頻序列給定的宏塊中的當前塊B和先前塊A。可通過利用N種幀內 預測模式中的一種對宏塊中的每一塊編碼，其中N是由用於對視頻序列編碼的視頻編碼標 準或視頻編碼器指定的數。例如，根據H. 264視頻編碼標準存在可用於幀內編碼4X4的塊 的總共N=9種預測模式。根據本發明一實施方式，在步驟700中為先前塊A選擇N中幀內預測模式的子集。 通過計算用N種幀內預測模式對先前塊A編碼的累積幀內預測代價、並為對先前塊A編碼 選擇產生最低的累積幀內預測代價的M種幀內預測模式來形成幀內預測模式的子集。子集 例如可包含M < N種幀內預測模式，例如子集可包含M = 3種幀內預測模式。可以理解的是，對於給定的宏塊的第一塊，幀內預測模式的子集包含用於對塊編 碼的產生最低的幀內預測代價的M種預測模式。還可以理解的是，通過如參考圖2和5所 描述地預測和編碼塊計算根據給定的預測模式用於對塊編碼的幀內預測模式。接下來，在步驟705中通過用於當前塊B的N種允許的預測模式進行幀內預測。應 指出的是，對於先前塊A，在每一編碼模式限定相鄰的信息的情況下，存在分別對應於M種 選定的編碼模式中的一種的M種重構版本。因此，對於當前塊B，給定先前塊A中不同的相 鄰信息，將N種候選模式中的每種模式嘗試M次。於是，存在對用於當前塊B的N種幀內預測模式中的每種模式計算的M種幀內代價。在步驟710中通過將對用於當前塊B的N種幀內預測模式而言的幀內預測代價加 到對用於編碼先前塊A的M種幀內預測模式的子集而言的幀內預測代價來計算用於對塊B 編碼的累積幀內預測代價。可以理解的是，僅將對於當前塊B而言的M種計算代價中的一 種代價加到對於塊A而言的各代價。也就是說，如果將先前塊A(具有與其相關的代價)中 的M種模式中的一種模式用於預測當前塊B，則通過該預測能獲得代價，並且僅將兩種代價 加到一起。這樣，對於可用於對當前塊B編碼的N中幀內預測模式中的每一幀內預測模式 計算M種累積幀內預測代價，產生總共NXM種累積幀內預測代價計算。然後，在步驟715中基於累積幀內預測代價選擇用於當前塊B的M種幀內預測模 式的子集。這通過如下方式實現為可用於對先前塊A編碼的M種幀內預測模式中的每種 模式選擇用於對當前塊B編碼的產生最低的總幀內預測值的N種幀內預測模式中對應的一 種模式。最後，在步驟720中，在可用於對先前塊A編碼的M種幀內預測模式中的每種模式 與其用於對當前塊B編碼的產生最低的總幀內預測值的N種幀內預測模式中對應的一種模 式之間形成和存儲編碼路徑。現在參考圖8，描述根據H. 264標準用於對幀內編碼宏塊中的4X4的塊編碼的處 理順序。宏塊800具有從0標記至15的16個4X4的塊。標記表示宏塊內處理和編碼4X4 的塊的順序。例如，緊接在塊810(標記為塊「1」)之前對塊805(標記為塊「0」)編碼，並 緊接在塊820(標記為塊「5」)之前對塊815(標記為塊「4」)編碼。也就是說，塊805是塊810先前相應的塊，塊810是塊815先前相應的塊，塊815 是塊820先前相應的塊，等等。如本領域的技術人員所理解地並如以上參考圖2-5所描述 地，通過一種幀內預測模式對每一塊編碼。現在參考圖9，描述根據本發明一實施方式相對於先前塊為當前塊選擇幀內預測 模式的原理圖。先前塊A900與M種幀內預測模式的子集905相關，在該情況下，M = 3。子 集905例如可包含從由H. 264視頻編碼標準指定並在圖4中顯示了的九種預測模式選擇的 預測模式。用於先前塊A900的各預測模式、即預測模式mA1910、mA2915、和mA3920具有用於 預測和編碼與其相關的先前塊A900的幀內預測代價、即幀內預測代價JA1、Ja2、和JA3。如在此以上參考圖6-7更詳細地描述地，還為當前塊B925選擇幀內預測模式的子 集。子集中的M種幀內預測模式的選擇通過如下方式實現通過對可用於對當前塊B925編 碼的所有幀內預測模式930-970、諸如例如由H. 264視頻編碼標準指定的九種預測模式計 算幀內預測代價、相對於用於先前塊A900的幀內預測模式905的子集計算累積幀內預測代 價、和挑選產生最低的M種累積幀內預測代價的M種幀內預測模式在該情況下，例如挑選產 生最低的三種累積幀內預測代價的三種幀內預測模式。如所顯示了地，每一幀內預測模式930-970具有與其相關的M種幀內預測代價， 例如幀內預測模式mB1930具有與其相關的M種預測代價Jbi』、Jbi i和Jbi 2。相對於先前塊 A900的子集905中的幀內預測模式mA1910、mA2915、和mA3920對幀內預測模式mB1930計算 累積幀內預測代價。通過把與幀內預測模式相關的幀內預測代價加起來、也就是說通過計 算JA1+JB1—0、JA2+JB1—i、和JA3+JBL2來計算累積幀內預測代價。這對用於當前塊B910的所有幀內預測模式930-970完成，也就是說對於幀內預測模式930-970中的每種模式，計算三種累積幀內預測代價。然後，對於每一幀內預測模式 930-970，作為產生最低的累積幀內預測代價的子集905中的一種選擇子集905中對應的幀 內預測模式。例如，作為對於幀內預測模式mB1930產生最低的累積幀內預測代價的一種從 子集905中的幀內預測模式910-920選擇幀內預測模式mA1910。然後，作為產生例如mB1930、mB59 50、和mB8965的最低的三種累積幀內預測代價的模 式選擇用於當前塊B925的三種幀內預測模式。如上所述，然後在用於先前塊A900的幀內 預測模式905的子集與用於當前塊B910的幀內預測模式的子集之間形成和存儲編碼路徑。現在參考圖10，描述根據本發明一實施方式示出當前塊與先前塊之間的編碼路徑 的原理圖。在用於先前塊A900的幀內預測模式905的子集與用於當前塊B925的幀內預 測模式的子集之間形成和存儲編碼路徑1000-1010。在用於先前塊A900的幀內預測模式 mA1910與用於當前塊B925的幀內預測模式mB1930之間形成編碼路徑1000，在用於先前塊 A900的幀內預測模式mA2915與用於當前塊B925的幀內預測模式mB5950之間形成編碼路徑 1005，並在用於先前塊A900的幀內預測模式mA3920與用於當前塊B925的幀內預測模式 mB8965之間形成編碼路徑1010。編碼路徑1000-1010具有與它們相關的累積幀內預測代價。編碼路徑1000具有 與其相關的累積幀內預測代價JA1+JB11015，編碼路徑1005具有與其相關的累積幀內預測代 價JA1+JB51020，而編碼路徑1010具有與其相關的累積幀內預測代價JA3+JB81025。本領域的技術人員可以理解的是，累積幀內預測代價1015-1025是在先前塊A900 與當前塊B925之間計算的最低的累積幀內預測代價。本領域的技術人員還可以理解的是， 在與給定的宏塊中的第一塊相關的幀內預測模式的子集一直到與給定的宏塊中的最後的 塊相關的幀內預測模式的子集之間形成編碼路徑。在給定的宏塊中為預測和編碼每一塊選 擇幀內預測模式簡單地是選擇產生最低的累積幀內預測代價的編碼路徑的問題。現在參考圖11，描述根據本發明一實施方式用於為幀內編碼宏塊中的每一塊選擇 幀內預測模式的流程圖。首先，在步驟1100中結合幀內編碼宏塊中從第一塊至最後的塊的 編碼路徑。然後，在步驟1105中把對於結合的編碼路徑的累積幀內預測代價加起來。然 而，在步驟1110中作為最後的編碼路徑選擇具有最低的累積幀內預測代價的結合的編碼 路徑。可以理解的是，對於具有M種幀內預測模式的子集，由於為當前塊選擇的子集中 的每一幀內預測模式經由編碼路徑與為其先前相應的塊選擇的子集中的一種幀內預測模 式相關，所以存在總共M種結合的編碼路徑。例如，在M = 3的情況下，可得到總共3種結合 的編碼路徑。選擇表示最低的累積幀內預測代價的結合的編碼路徑作為最後的編碼路徑。現在參考圖12，描述根據本發明一實施方式示出宏塊中的編碼路徑的原理圖。示 意圖1200示出在包含16個幀內編碼塊的給定的幀內編碼宏塊中用於每一塊0-15的三種 幀內預測模式的子集的三種結合的編碼路徑1205-1215。從三種編碼路徑1205-1215選擇 作為產生最低的累積幀內預測代價的編碼路徑的最後的編碼路徑、例如編碼路徑1210。然 後，用於結合的編碼路徑相關的幀內預測模式預測和編碼幀內編碼塊0-15。可以理解的是，通過聯合地選擇用於宏塊中的所有塊的幀內預測模式，也就是說 通過從結合的編碼路徑選擇產生最低的累積幀內預測代價的幀內預測模式，不僅如在傳統 地現有技術的方法中一樣局部地優化用於對視頻序列編碼的幀內模式決策，而是對於整個宏塊全面地優化該幀內決策模式。現在參考圖13，描述根據本發明一實施方式的視頻編碼設備的方框圖。視頻編碼 設備1300具有用於接收視頻序列的接口 1305和用於對視頻序列編碼的處理器1310。接 口 1305例如可以是數位照相機或俘獲光學圖像的其它這樣的圖像傳感器裝置中的圖像傳 感器、計算機或其它這樣的處理裝置中的輸入口、或連接至處理器並能夠接收視頻序列的 任何其它的接口。根據本發明一實施方式並如上所述，處理器1310具有通過利用幀內預測對接收 的視頻序列編碼的可執行指令或例程。例如，處理器1310具有通過利用幀內預測在待幀內 編碼的視頻序列中選擇幀、宏塊、和塊的例程1315、以及基於相對於用於先前對應的幀內編 碼塊的幀內預測模式的子集計算的累積幀內預測代價選擇用於每一幀內編碼塊的幀內預 測模式的例程1320。可以理解的是，視頻編碼設備1300可以是孤立的設備或者可以是諸如例如數字 照相機和攝像放像機、手持式移動裝置、網絡攝影機、個人計算機、可攜式電腦、移動裝置、 個人數字助理等的另一裝置的一部分。有利地，在此描述的實施方式使得在宏塊中全面地進行幀內預測成為可能，以獲 得高質量的視頻序列。與傳統的幀內預測方法形成對比，在塊之間聯合地選擇為宏塊選擇 的幀內預測模式。在這種情況下，不僅如在傳統地現有技術的方法中一樣局部地優化幀內 模式決策，而是對於整個宏塊全面地優化該幀內決策模式，從而為整個視頻序列獲得優良 的率失真性能。前述的說明只是為了解釋本發明，所使用的特定術語是為了更徹底地理解 本發明。然而，本領域技術人員可以理解，在實施本發明時，一些特定細節並不是必須的。因 此，前述本發明特定實施方式的敘述目的只是為了說明及描述，而並非是為了窮盡或限制 本發明於特定的公開形式；顯而易見的是，經本發明的以上啟示，就完全可能做出許多其它 的改進和改變。
權利要求
1.一種計算機可讀存儲介質，其包括如下可執行指令在待編碼的視頻序列中選擇多個塊作為幀內編碼塊；相對於先前相應的幀內編碼塊，為每一幀內編碼塊計算其累積幀內預測代價；以及基於所述累積幀內預測代價，為每一幀內編碼塊選擇其幀內預測模式。
2.如權利要求1所述的計算機可讀存儲介質，其中，所述的視頻序列包括多個幀內編 碼幀，每一幀內編碼幀包括多個宏塊。
3.如權利要求2所述的計算機可讀存儲介質，其中，在待編碼的視頻序列中選擇多個 塊作為幀內編碼塊的可執行指令包括從宏塊選擇幀內編碼塊的可執行指令。
4.如權利要求1所述的計算機可讀存儲介質，其進一步包括為先前相應的幀內編碼 塊選擇幀內預測模式的子集的可執行指令。
5.如權利要求4所述的計算機可讀存儲介質，其進一步包括為先前相應的幀內編碼 塊的幀內預測模式的子集計算幀內預測代價的可執行指令。
6.如權利要求5所述的計算機可讀存儲介質，其中，為每一幀內編碼塊計算其累積幀 內預測代價的可執行指令包括為每一幀內編碼塊所選擇的多種幀內預測模式計算其幀內 預測代價的可執行指令。
7.如權利要求6所述的計算機可讀存儲介質，其中，所述的累積幀內預測代價包括被 加到每一幀內編碼塊所選擇的多種幀內預測模式之幀內預測代價中的、先前相應的幀內編 碼塊之幀內預測模式子集的幀內預測代價。
8.如權利要求7所述的計算機可讀存儲介質，其進一步包括為每一幀內編碼塊選擇 幀內預測模式子集的可執行指令，該幀內預測模式子集對於所述每一幀內編碼塊而言將產 生最低的累積幀內預測代價。
9.如權利要求8所述的計算機可讀存儲介質，其進一步包括在用於每一幀內編碼塊 的幀內預測模式的子集中的每一幀內預測模式與用於先前相應的塊的幀內預測模式的子 集中的一個幀內預測模式之間、形成編碼路徑的可執行指令，所述一個幀內預測模式對於 用於所述每一幀內編碼塊的幀內預測模式的子集中的每一幀內預測模式產生最低的總預 測代價。
10.如權利要求9所述的計算機可讀存儲介質，其中，每一編碼路徑與累積幀內預測代 價相關。
11.如權利要求10所述的計算機可讀存儲介質，其進一步包括通過在用於每一幀內 編碼塊的幀內預測模式的子集中的每一幀內預測模式與用於先前相應的塊的幀內預測模 式的子集中的一個幀內預測模式之間的編碼路徑進行結合、形成宏塊中從第一幀內編碼塊 至最後的幀內編碼塊的宏塊編碼路徑之子集的可執行指令。
12.如權利要求11所述的計算機可讀存儲介質，其進一步包括通過將與宏塊編碼路 徑之子集中的每一宏塊編碼路徑的每一編碼路徑相關的累積幀內預測代價進行加和、而計 算宏塊累積幀內預測代價之子集的可執行指令。
13.如權利要求12所述的計算機可讀存儲介質，其中，為每一幀內編碼塊選擇其幀內 預測模式的可執行指令包括選擇具有最低的宏塊累積幀內預測代價的宏塊編碼路徑的可 執行指令。
14.如權利要求8所述的計算機可讀存儲介質，其中，每一幀內編碼塊的幀內預測模式的子集包括至少兩種幀內預測模式。
15.一種為視頻序列中幀內編碼塊選擇幀內預測模式的方法，其包括相對於先前相應的幀內編碼塊的幀內預測模式的子集，計算與每一當前幀內編碼塊之 多種幀內預測模式相關的累積幀內預測代價；基於所述累積幀內預測代價，選擇每一當前幀內編碼塊的幀內預測模式的子集；以及確定來自每一幀內編碼塊之幀內預測模式子集中能產生最小累積幀內預測代價的幀 內預測模式。
16.如權利要求15所述的方法，其中，計算累積幀內預測代價包括對於先前相應的幀內編碼塊的幀內預測模式的子集中的每一幀內預測模式，計算其幀 內預測代價；對於每一當前幀內編碼塊的多種幀內預測模式，計算其幀內預測代價；以及將每一當前幀內編碼塊的多種幀內預測模式中每一幀內預測模式的幀內預測代價，加 和到先前相應的幀內編碼塊的幀內預測模式的子集中每一幀內預測模式的幀內預測代價。
17.如權利要求16所述的方法，其進一步包括為多種幀內預測模式中的每一幀內預 測模式，確定其最小的累積幀內預測代價。
18.如權利要求17所述的方法，其進一步包括在多種幀內預測模式中的每一幀內預 測模式與用於先前相應的幀內編碼塊的產生最小累積幀內預測代價的幀內預測模式子集 中的幀內預測模式之間，形成編碼路徑。
19.如權利要求18所述的方法，其中，為每一當前幀內編碼塊選擇幀內預測模式的子 集包括從用於每一當前幀內編碼塊的、具有最小累積幀內預測代價的多種幀內預測模式 中，選擇至少兩種幀內預測模式。
20.如權利要求19所述的方法，其進一步包括為每一當前幀內編碼塊的幀內預測模 式子集中的至少兩種幀內預測模式，存儲其編碼路徑。
21.如權利要求20所述的方法，其中，總的累積幀內預測代價包括視頻序列的宏塊中 所有幀內編碼塊的、所有存儲編碼路徑的累積幀內預測代價的和。
22.一種視頻編碼設備，其包括接口，其用於接收視頻序列；以及處理器，其用於對所述視屏序列進行編碼，並包括如下的可執行指令在待編碼的視頻序列中選擇多個塊作為幀內編碼塊；以及基於累積幀內預測代價，為每一幀內編碼塊選擇幀內預測模式，其中，累積幀內預測代 價是相對於先前相應的幀內編碼塊的幀內預測模式的子集而計算的。
23.如權利要求22所述的視頻編碼設備，其中，所述的處理器包括根據H.264視頻編碼 標準、對視頻序列進行編碼的可執行指令。
24.如權利要求22所述的視頻編碼設備，其中，所述的幀內編碼塊包括來自給定的 16X16宏塊的4X4的幀內編碼塊。
25.如權利要求23所述的視頻編碼設備，其中，幀內預測模式的子集包括在H.264視頻 編碼標準中指定的九種幀內預測模式中的至少兩種幀內預測模式。
全文摘要
本發明公開了一種計算機可讀存儲介質，其具有可執行指令，以在待編碼的視頻序列中選擇多個塊作為幀內編碼塊。其中，相對於先前相應的幀內編碼塊，計算每一幀內編碼塊累積幀內預測成本；基於累積幀內預測代價，為每一幀內編碼塊選擇幀內預測模式。
文檔編號H04N7/34GK102077599SQ200980125043
公開日2011年5月25日 申請日期2009年4月21日 優先權日2008年4月30日
發明者周建, 孔豪松 申請人:豪威科技有限公司