編碼器、解碼器、視頻幀編碼方法及比特流解碼方法

2023-04-24 14:59:36

專利名稱：編碼器、解碼器、視頻幀編碼方法及比特流解碼方法
技術領域：
本發明是有關於視頻編碼及解碼，特別是有關於視頻編碼及解碼過程中
的保真度(fidelity)處理。
背景技術：
本發明引用的參考文獻為發表於2007年正EE國際圖像信息處理會議(ICIP 2007 )年報上的Stephen Wittmann與Thomas Wedi的論文"Transmission of post-filter hints for video coding schemes"， 以及公開號為EP 1 841 230 Al的歐洲專利申請。
下一代視頻編碼方法旨在通過儘可能地壓縮數據來達到最高的效率。如果可以顯著地壓縮數據，就可以在帶寬有限的網絡中傳輸高質量的視頻。H.264/AVC (Advance Video Coding, AVC，先進視頻編碼)編碼標準是視頻編碼標準的一個例子。H.264標準結合了基於區塊的運動補償與轉換編碼(transform coding)。其中轉換編碼可以去除幀內的空間冗餘，而基於區塊的運動補償可以去除幀間冗餘。
視頻編碼可以分為四個部分預測、轉換、量化與熵編碼(entropycoding)。在編碼端，預測可由幀內預測(intraprediction)及幀間預測(interprediction)組成，其中幀內預測參考相同幀的像素，而幀間預測參考前一幀的像素。轉換將預測殘差(residues)轉換為轉換係數，使得殘差的能量可以向低頻帶集中。量化將幀的轉換係數除以一個數值並取整，使之達到更小的比特深度，從而進一步減少用來表示一幀的比特數目。最後一步的熵編碼包括量化轉換係數及其它參數的無損表示。在解碼時，將上述操作逆向執行以產生重建(reconstruction)的像素。解碼與編碼過程均包含一個封閉的迴路，其中幀的編碼/解碼後的宏塊(macroblock)被重建，並接著輸入到預測單元以產生下一幀的編碼信息。利用重建後的幀而不是原始幀來預測後續幀，可 防止幀之間的漂移。
H,264標準既利用幀內預測，也利用幀間預測，並執行基於區塊的編碼。
將一幀分成多個宏塊並分別對每一宏塊進行編碼，可導致在區塊的邊緣形成 塊效應(artifact)，也就是說，由於編碼模式或相鄰區塊的運動向量通常不 同，在區塊之間會有可見的分界線。為了消除這些塊效應，大部分基於區塊 的編碼技術在封閉的編碼迴路中包含有消除塊效應濾波器(deblocking filter)。消除塊效應濾波器可減輕區塊邊緣的痕跡，但無法移除區塊內的量 化誤差。當利用大的量化值執行高保真度(fidelity)的編碼時，僅有消除塊 效應濾波器是不夠的。
維納濾波器(Wienerfilter)從編碼信號中移除噪聲分量，以使得有噪聲 的編碼信號更接近於原始信號。當原始信號s輸入到一個典型的系統中時， 原始信號s會受到一定程度的幹擾而產生與原始信號s不同的信號s'。這是 附加的噪聲影響的結果。維納濾波器的目的在於將這兩個信號之間的均方誤 差最小化，從而使得作為結果的濾波信號sA更接近於原始信號s，而不是更 接近於幹擾信號s，。維納濾波器通過利用自相關矩陣(auto-correlation matrix) 和互相關矩陣(cross-correlationmatrix)產生濾波器係數來操作。
公開號為EP 1 841 230 Al的歐洲專利申請教導了實施於編碼器與解碼 器的維納濾波器。維納濾波器首先可產生互相關矩陣及與矩陣相關的編碼器 參數，接著將這些參數嵌入到比特流並將其發送至解碼器以用於解碼，在解 碼器中這些參數可用來減少解碼後的幀中的量化誤差，從而確保較高的保真 度。

發明內容
本發明通過提供多種保真度增強(fidelity enhancement)方法及裝置來改 善上述系統的性能，其中保真度增強方法及裝置既可實施於編碼器也可實施 於解碼器。
9本發明的實施例提供一種編碼器，用於接收視頻幀，並進行編碼處理以 產生編碼後的比特流，此編碼器包含保真度增強區塊，利用四叉樹分割
(quad-tree partition)對處理過的數據應用保真度增強技術，並產生包含至少 一參數的保真度增強信息，其中參數與四叉樹分割結構相關；以及熵編碼
(entropy coding)區塊，耦合於保真度增強區塊，用於編碼保真度增強信息， 並將編碼後的保真度增強信息嵌入到編碼後的比特流。
本發明的實施例提供一種視頻幀編碼方法，包含接收視頻幀；利用四 叉樹分割方法來決定如何分割視頻幀；依據決定結果來分割視頻幀，並對視 頻幀執行保真度增強以產生多個保真度增強參數；以及用多個保真度增強參 數編碼視頻幀，以產生編碼後的比特流。
本發明的實施例提供另一種視頻幀編碼方法，包含接收視頻幀；對處 理過的數據執行保真度增強，以產生保真度增強信息；編碼視頻幀以產生編 碼後的比特流；編碼保真度增強信息，並將編碼後的保真度增強信息嵌入到 編碼後的比特流；以及產生指針，用於指示保真度增強信息在編碼後的比特 流中的位置。
本發明的實施例提供一種比特流解碼方法，包含接收比特流；從比特 流的報頭(header)中得到指針，其中指針指示保真度增強信息在比特流中 的位置；通過解碼處理重建(reconstruction)視頻幀；以及利用保真度增強 信息對處理過的數據執行保真度增強。
本發明的實施例提供一種解碼器，用於接收比特流以產生視頻幀，解碼 器包含熵解碼單元，用於解碼比特流以產生殘差(residues)及保真度增強 信息，其中保真度增強信息包含至少一參數，參數與四叉樹分割結構相關； 以及重建迴路，耦合於熵解碼單元，用於從殘差重建視頻幀，其中重建迴路 包含保真度增強區塊，用於從熵解碼單元接收保真度增強信息，並依據從 保真度增強信息中得到的四叉樹分割結構執行保真度增強。
本發明的實施例還提供一種編碼器，用於接收視頻幀，並進行編碼處理以產生編碼後的比特流，編碼器包含預測區塊，用於對視頻幀執行預測以 產生預測殘差與預測信息；轉換與量化區塊，耦合於預測區塊，用於對預測
殘差進行轉換與量化處理；重建迴路，耦合於轉換與量化區塊及預測區塊之 間，用於依據預測殘差與來自轉換與量化區塊的信息重建視頻幀，其中重建 迴路包含參考幀緩衝器以及偏差建模(discrepancy modeling)區塊，偏差建 模區塊用於對處理過的數據應用偏差建模技術，並產生偏差建模信息。編碼 器還包括熵編碼區塊，用偏差建模信息將預測殘差編碼入編碼後的比特流。
本發明的實施例還提供一種解碼器，用於接收比特流以產生視頻幀，解 碼器包含熵解碼單元，用於解碼比特流，以產生殘差與偏差建模信息；以 及重建迴路，耦合於熵解碼單元，用於從殘差重建視頻幀，其中重建迴路包 含偏差建模區塊，用於從熵解碼單元接收偏差建模信息，並依據偏差建模
信息將偏差建模技術應用於處理過的數據。
本發明所提供的方法及裝置，與現有技術相比較，其有益效果包括通
過在比特流的報頭中設置指針來指示保真度增強信息的位置，使得解碼器不 必等待解碼全部比特流就可立即存取保真度增強信息，開始執行保真度增強。


圖1是依據本發明第一實施例的編碼器的示意圖。
圖2是依據本發明第一實施例的解碼器的示意圖。 圖3是依據本發明第二實施例的編碼器的示意圖。 圖4是依據本發明第二實施例的解碼器的示意圖。 圖5是依據本發明第三實施例的編碼器的示意圖。 圖6是依據本發明第三實施例的解碼器的示意圖。 圖7是依據本發明第四實施例的編碼器的示意圖。 圖8是依據本發明第四實施例的解碼器的示意圖。 圖9是多級四叉樹分割的示意圖。
具體實施例方式
在本說明書以及權利要求當中使用了某些詞彙來指稱特定的元件，本領 域的技術人員應可理解，硬體製造商可能會用不同的名詞來稱呼同一個元件， 本說明書及權利要求並不以名稱的差異作為區分元件的方式，而是以元件在 功能上的差異作為區分的準則，在通篇說明書及權利要求書當中所提及的"包 含"是開放式的用語，故應解釋成"包含有但不限定於"，此外，"耦合" 一詞在此包含任何直接及間接的電氣連接手段，因此，若文中描述第一裝置 耦合於第二裝置，則代表第一裝置可以直接電氣連接於第二裝置，或通過其 它裝置或連接手段間接地電氣連接至第二裝置。
閱讀了下文對於附圖所示實施例的詳細描述之後，本發明對所屬技術領 域的技術人員而言將顯而易見。
本發明旨在通過提供多種保真度增強(fidelity enhancement)方法來進一 步闡述編碼器中的維納濾波(Wiener filtering)，其中與這些保真度增強方法 相關的信息將編碼並嵌入到比特流中。以這種方式，當解碼器解碼接收到的 比特流時，內嵌的保真度增強信息被取回並利用於解碼器中以對處理過的數 據執行保真度增強。由於可對處理過的數據應用多種不同的技術，編碼器與 解碼器中保真度增強區塊的多種不同配置可確保增強的等效性(parity)，從 而不僅減小了量化誤差，而且確保了所恢復的視頻幀整體質量的提高。
對視頻編碼器及解碼器應用保真度增強方法的目的是通過消除誤差來提 高保真度。以下所列出的保真度增強方法僅作為示例，並非用以限定本發明。 保真度增強方法可包括卡爾曼濾波(Kalman filtering)、噪聲削減、去模糊 (deblurring)、維納濾波、回歸(regression)、規則化(regularization)以 及各種偏差建模(discrepancy modeling)。偏差建模可以是直流偏移補償(零 階)、加權預測(一階，如ax+b)，空間預測(例如高階預測，如av2+bv+C)、 直線擬合(line fitting,如ax+b， ay+b)、曲線擬合(如av2+bv+c， ay2+by+c)、 平面擬合(如ax+by+c)以及曲面擬合(如ax2+bxy+cy2+dx+ey+f)。請注意，這些保真度增強技術可在編碼器中對處理過的數據分多級執行。 以下提供四個實施例，但本發明並不限定於此。此外，在編碼器中(以及在 解碼器相應位置)設置一個以上保真度增強區塊的變形，也屬於本發明保護 的範圍。
除了提供用於編碼器中的多種保真度增強方法，本發明進一步提供了執
行所述保真度增強技術的多種方式，以及一種新的比特流語法(syntax)。
通常是在片段(slice)及區塊級別執行維納濾波。而本發明是利用四叉 樹分割(quad-tree partition)方法對處理過的數據執行保真度增強。利用四叉 樹分割方法分割視頻幀來執行保真度增強，可將成本函數(cost function)最 小化。舉例來說，在一些幀中，在幀的一半存在的量化誤差數量最小，因此 需要較少的擴展運算。相反地，在幀的另一半存在的量化誤差數量較大，因 此需要較多的擴展運算來將量化誤差減到最小。這種情況下，將具有較多量 化誤差的那一半分割成比另一半更小的多個區域變得意義重大。因此，四叉 樹分割通過利用成本函數分析來決定分割幀的最好方式，從而提供了一種自 適應的保真度增強方法。
圖9顯示了具有多級四叉樹分割結構的視頻幀900的示例圖。視頻幀900 的處理過的數據被提供至保真度增強區塊(如維納濾波器)，保真度增強區 塊首先基於成本函數比較來確定四叉樹分割結構。保真度增強區塊可採用自 頂向下分離演算法(top-down splitting algorithm)、自底向上合併演算法 (bottom-up merging algorithm)或任何其它順序來連續地計算對應於每一候 選四叉樹分割結構的成本函數，從而確定具有最小成本的四叉樹分割結構。 成本函數的一個例子為率失真(rate distortion)函數J-D+Xr。對於自頂向下 分離演算法，首先將視頻幀900分割為四個第一級部分，並將對應於未分割 幀的成本函數與對應於上述四個第一級部分(已分割幀)的成本函數作比較， 分割遵循具有較小成本函數的情形。如果後一個成本函數較小，則將每一第 一級部分進一步分割為四個第二級部分，並將對應於未分割的第一級部分的
13成本函數與對應於分割的第一級部分的成本函數作比較，以確定是否需要分
割這個第一級部分。圖9的視頻幀900顯示了兩個第一級部分(左下角與右 上角)，這兩個第一級部分不會進一步分割為第二級部分，然而其它兩個第 一級部分被進一步分割。類似地，將每一第二級部分分割為第三級部分並比 較成本函數，當逼近預定分割級別時終止自頂向下分離演算法。
對於自底向上合併演算法，保真度增強區塊開始計算最小部分的成本函 數，如第三級部分，對應於四個第三級部分的成本函數與對應於由這四個第 三級部分組成的較大區域的成本函數作比較。如果後一個成本函數較小，四 個第三級部分合併為一個第二級部分。在成本函數比較之後，四個第二級部 分也可合併為一個第一級部分。由保真度增強區塊最終確定的四叉樹分割結 構可為一種保真度增強信息，其將嵌入到熵編碼(entropy coding)階段的比 特流中。
當以四叉樹分割執行保真度增強時，每一較小區域的計算結果可被再次 用於較大區域，其中較大區域包含較小區域。這種重用(reuse)的方法可應 用於自底向上合併演算法及自頂向下分離演算法。首先可計算出對應於較小 區域的計算結果，這些結果接著可被再次用於較大區域的計算。在利用維納 濾波器進行保真度增強的一個示例中，會產生包含互相關(cross-correlation) 矩陣與自相關(auto-correlation)矩陣的濾波器參數。當執行某些分割方法(如 四叉樹分割方法)時，濾波後的幀的某些區域會被再次濾波，這取決於區域 的大小。因此，本發明提供一種用於維納濾波的重用的方法，其中當對由較 小區域組成的較大區域執行濾波時，用於較小區域的互相關矩陣及自相關矩 陣被再次用於較大區域。這節省了計算時間。
保真度增強參數通常被編碼並嵌入到編碼後的比特流的尾部。由於在編 碼後的比特流的尾部提供保真度增強參數意味著直到比特流的尾部被解碼之 後解碼器才能開始執行保真度增強， 一些現有方法將保真度增強信息置於報 頭(header)部分。然而這種方法需要比特流重新連接(re-catenation)。因
14此，本發明仍將保真度增強信息嵌於比特流的尾部，但在報頭中設置一個指 針用於指示保真度增強信息在比特流中的位置。舉例來說，指針可給出報頭 與尾部之間的比特數目的相關信息。這樣就允許解碼器在報頭中的指針解碼 之後即可搜尋保真度增強信息，因此，解碼器開始執行保真度增強比必須解 碼全部比特流之後才獲得保真度增強參數的情況快得多。請注意，保真度增 強參數不一定必須嵌入到比特流的尾部，且由於指針由編碼器修改，指針可
指向存儲在比特流中任何位置的任何信息，因此指針是自適應的(adaptive)。 上述保真度增強區塊可利用上述至少一種或全部方法。以下說明將結合 附圖闡述保真度增強區塊的各種不同位置，並進一步解釋保真度增強區塊的 運作。
請參照圖1，圖1為依據本發明第一實施例的編媽器100的示意圖。編 碼器100包含保真度增強(Fidelity Enhancement,以下簡稱為FE)區塊(圖 中標示為FE) 160。編碼器IOO還包含幀內預測(intraprediction)區塊110、 幀間預測(interprediction)區塊120、減法器132、轉換區塊(圖中標示為T) 134、量化區塊(圖中標示為Q) 136、反轉換區塊(圖中標示為IT) 142、 反量化區塊(圖中標示為IQ) 138、重建(reconstruction)單元(圖中標示 為REC) 170、消除塊效應(deblocking)單元140、參考幀緩衝器130以及 熵編碼單元180，其中幀間預測區塊120可以是，例如，運動估計/運動補償 區塊。除了 FE區塊160之外，編碼器100的其它元件對本領域技術人員而 言是熟知的，因此關於這些元件的功能及操作此處不再贅述。FE區塊160 接收來自參考幀緩衝器130的一個或多個參考幀的處理過的數據，減小參考 幀的處理過的數據與當前幀的數據之間的偏差(discrepancy)，並將補償的 處理過的數據提供給幀間預測區塊120進行預測。FE區塊160可在區塊、片 段或四叉樹級別上執行上述至少一種保真度增強方法。在執行保真度增強並 產生保真度增強的相關參數時，FE區塊160也可利用上述一種或多種方法。 換句話說，圖1所示的FE區塊160在執行維納濾波時可重用自相關矩陣與互相關矩陣，以及利用編碼後的比特流報頭中的自適應指針來將保真度增強 信息在比特流中的位置通知給解碼器時，所產生的保真度增強信息可嵌入到 編碼後的比特流的尾部。
請參照圖2，圖2為依據本發明第一實施例解碼器200的示意圖。解碼 器200包含FE區塊270，其位於編碼器100中FE區塊160 (見圖1)的相 應位置上。這確保了解碼器200可最佳地利用編碼器100所產生的保真度增 強信息。解碼器200更包含熵解碼單元240、幀內預測區塊210、運動補償單 元220、參考幀緩衝器230、反量化區塊256、反轉換區塊242、重建單元250 以及消除塊效應單元260。由於這些單元的功能及操作對於本領域技術人員 而言是熟知的，為簡潔起見，此處不再贅述。熵解碼單元240從所接收的比 特流中取回殘差(residues)及其它信息，如保真度增強信息、幀內部模式信 息以及幀之間模式信息等。 一些實施例中，熵解碼單元240在解碼報頭時獲 得指針，指針指示保真度增強信息在接收到的比特流中的位置。FE區塊270 接著從熵解碼單元240接收保真度增強信息，並對存儲在參考幀緩衝器230 中的一個或多個參考幀的處理過的數據進行保真度增強操作。一些實施例中， 保真度增強信息包含代表特定四叉樹分割結構的信息，FE區塊依據特定的四 叉樹分割結構執行濾波或偏差建模(discrepancy modeling)。
請參照圖3與圖4，圖3與圖4分別是依據本發明第二實施例的編碼器 300及解碼器400的示意圖。編碼器300與解碼器400分別包含FE區塊160 與FE區塊270。編碼器300中位於消除塊效應單元140之後的FE區塊160 用於減小當前幀的處理過的數據與當前幀的原始數據(即未處理的數據)之 間的誤差，並產生補償的處理過的數據。來自FE區塊160的補償的處理過 的數據存儲在參考幀緩衝器130。請注意，圖3與圖4中所示的每一區塊的 功能及操作分別與圖1及圖2中的相應區塊相同，因此保持了相同的標號。
請參照圖5~圖8，圖5~圖8分別為依據本發明第三實施例的編碼器500、 解碼器600及依據本發明第四實施例的編碼器700、解碼器800的示意圖。各實施例之間的差別在於FE區塊的位置。每一示意圖中的FE區塊都可執行 包括維納濾波的保真度增強技術。 一些實施例中採用四叉樹分割，並且重用 的方法可進一步減少計算時間。舉例來說，當先對較小區域執行維納濾波， 並接著對包含較小區域的較大區域執行維納濾波時，已經產生的互相關矩陣 與自相關矩陣可再次用於濾波。此外，所揭示的每一編碼器均可利用編碼後 的比特流報頭中的自適應指針來指示保真度增強信息在比特流中的位置。如 圖5所示的第三實施例中，FE區塊160對當前幀的處理過的數據執行保真度 增強，以減小轉換區塊134、量化區塊136、反量化區塊138以及反轉換區塊 142進行操作時所引入的誤差。如圖7所示的第四實施例中，FE區塊160對 當前幀的處理過的數據執行保真度增強，以減小量化區塊136及反量化區塊 138進行操作時所引入的誤差。
本領域技術人員應當清楚，所揭示的FE區塊並不限定於上述示意圖中 所顯示的單一位置，包含多個處於不同位置的FE區塊的編碼器及解碼器也 落在本發明保護的範圍之內。另外，編碼器與解碼器中的各FE區塊可能執 行不同的保真度增強方法。本領域技術人員也應當了解，FE區塊不必執行上 述揭示的所有方法(如比特流中指示保真度增強信息位置的指針、四叉樹分 割、四叉樹分割中計算結果的重用等)，僅執行上述方法中一種或幾種的FE 區塊也落在本發明要求保護的範圍之內。
本發明詳述了在編碼中利用維納濾波以及通過提供多種保真度增強技術 將相關濾波信息嵌入到編碼後的比特流中的構思，其中相關信息將同樣被嵌 入到編碼後的比特流中。本發明也提供一種執行保真度增強的方法，如對依 據四叉樹分割法分割的幀進行維納濾波以及計算結果的重用。最後，本發明 通過在比特流的報頭中設置指針來指示保真度增強信息的位置，為解碼器提 供了立即存取保真度增強信息的方法，即使信息並未嵌於比特流的報頭中。
所屬技術領域的技術人員可輕易完成的均等改變或潤飾均屬於本發明所 主張的範圍，本發明的權利範圍應以權利要求書所限定的範圍為準。
權利要求
1. 一種編碼器，其特徵在於，所述的編碼器用於接收視頻幀，並進行多個編碼處理以產生編碼後的比特流，所述的編碼器包含保真度增強區塊，利用四叉樹分割對處理過的數據應用保真度增強技術，並產生包含至少一參數的保真度增強信息，其中所述的至少一參數與四叉樹分割結構相關；以及熵編碼區塊，耦合於所述的保真度增強區塊，用於編碼所述的保真度增強信息，並將編碼後的保真度增強信息嵌入到所述的編碼後的比特流。
2. 如權利要求1所述的編碼器，其特徵在於，所述的保真度增強技術包 含維納濾波、卡爾曼濾波、噪聲削減、去模糊、回歸以及規則化。
3. 如權利要求1所述的編碼器，其特徵在於，所述的保真度增強區塊執 行維納濾波，產生用於所述的視頻幀的較小區域的多個自相關矩陣與多個互 相關矩陣，以及當所述的視頻幀的較大區域包括所述的較小區域時，再次將 所述的多個自相關矩陣與所述的多個互相關矩陣用於所述的較大區域。
4. 如權利要求1所述的編碼器，其特徵在於，所述的保真度增強技術是 偏差建模技術，所述的偏差建模技術包含直流偏移補償、加權預測以及空間
5. 如權利要求1所述的編碼器，其特徵在於，所述的編碼器進一步包含 預測區塊，用於對所述的視頻幀執行預測，以產生預測殘差及預測信息； 轉換與量化區塊，耦合於所述的預測區塊，用於對所述的預測殘差進行轉換與量化處理；以及重建迴路，耦合於所述的轉換與量化區塊及所述的預測區塊之間，用於 依據所述的預測殘差與來自所述的轉換與量化區塊的信息重建所述的視頻 幀；其中所述的熵編碼區塊耦合於所述的轉換與量化區塊，以及所述的保真度增強區塊處於所述的重建迴路中。
6. 如權利要求5所述的編碼器，其特徵在於，所述的重建迴路進一步包含消除塊效應單元，用於消除塊效應以產生用於所述的保真度增強區塊的 所述的處理過的數據。
7. 如權利要求5所述的編碼器，其特徵在於，所述的重建迴路進一步包含參考幀緩衝器，用於緩衝參考幀的處理過的數據；其中所述的保真度增強區塊對從所述的參考幀緩衝器得到的所述的參考 幀的處理過的數據執行保真度增強。
8. 如權利要求5所述的編碼器，其特徵在於，所述的重建迴路進一步包含反量化與轉換單元，耦合於所述的轉換與量化區塊，用於進行反量化與轉換處理以產生所述的處理過的數據；其中所述的保真度增強區塊從所述的反量化與轉換單元接收所述的處理 過的數據。
9. 如權利要求5所述的編碼器，其特徵在於，所述的重建迴路進一步包含反量化單元，耦合於所述的轉換與量化區塊，用於進行反量化處理以產生所述的處理過的數據；其中所述的保真度增強區塊從所述的反量化單元接收所述的處理過的數據。
10. 如權利要求1所述的編碼器，其特徵在於，所述的編碼後的保真度增 強信息嵌入到所述的編碼後的比特流，以及所述的編碼後的比特流的報頭包 含指針，所述的指針用於指示所述的保真度增強信息在所述的編碼後的比特 流中的位置。
11. 一種視頻幀編碼方法，所述的方法包含 接收視頻幀；利用四叉樹分割方法來決定如何分割所述的視頻幀； 依據決定結果來分割所述的視頻幀，並對所述的視頻幀執行保真度增強 以產生多個保真度增強參數；以及用所述的多個保真度增強參數編碼所述的視頻幀以產生編碼後的比特流。
12. 如權利要求11所述的視頻幀編碼方法，其特徵在於，所述的利用四 叉樹分割方法來決定如何分割所述的視頻幀的步驟進一步包含利用自頂向下分離演算法或自底向上合併演算法，並比較成本函數來決 定如何分割所述的視頻幀。
13. 如權利要求11所述的視頻幀編碼方法，其特徵在於，當所述的視頻幀的較大區域包含所述的視頻幀的較小區域時，用於所述的較小區域的多個 計算結果被再次用於所述的較大區域。
14. 一種視頻幀編碼方法，所述的方法包含 接收視頻幀；對處理過的數據執行保真度增強，以產生保真度增強信息； 編碼所述的視頻幀以產生編碼後的比特流；編碼所述的保真度增強信息，並將編碼後的保真度增強信息嵌入到所述 的編碼後的比特流；以及產生指針，用於指示所述的保真度增強信息在所述的編碼後的比特流中 的位置。
15. 如權利要求14所述的視頻幀編碼方法，其特徵在於，保真度增強包 括濾波以及偏差建模。
16. —種比特流解碼方法，所述的方法包含 接收比特流；從所述的比特流的報頭中得到指針，其中所述的指針指示保真度增強信息在所述的比特流中的位置；通過進行多個解碼處理重建視頻幀；以及 利用所述的保真度增強信息對處理過的數據執行保真度增強。
17. 如權利要求16所述的比特流解碼方法，其特徵在於，保真度增強包括濾波以及偏差建模。
18. —種解碼器，其特徵在於，所述的解碼器用於接收比特流以產生視頻 幀，所述的解碼器包含熵解碼單元，用於解碼所述的比特流以產生殘差及保真度增強信息，其中所述的保真度增強信息包含至少一參數，所述的至少一參數與四叉樹分割 結構相關；以及重建迴路，耦合於所述的熵解碼單元，用於從所述的殘差重建所述的視 頻幀，其中所述的重建迴路包含-保真度增強區塊，用於從所述的熵解碼單元接收所述的保真度增強信息， 並依據從所述的保真度增強信息中得到的所述的四叉樹分割結構執行保真度 增強。
19. 一種編碼器，其特徵在於，所述的解碼器用於接收視頻幀，並進行多 個編碼處理以產生編碼後的比特流，所述的編碼器包含預測區塊，用於對所述的視頻幀執行預測以產生預測殘差與預測信息；轉換與量化區塊，耦合於所述的預測區塊，用於對所述的預測殘差進行轉換與量化處理；重建迴路，耦合於所述的轉換與量化區塊及所述的預測區塊之間，用於 依據所述的預測殘差與來自所述的轉換與量化區塊的信息重建所述的視頻 幀；其中，所述的重建迴路包含參考幀緩衝器；以及偏差建模區塊，用於對處理過的數據應用偏差建模技術，並產生偏差建模信息；以及熵編碼區塊，用所述的偏差建模信息將所述的預測殘差編碼入所述的編 碼後的比特流。
20. 如權利要求19所述的編碼器，其特徵在於，所述的偏差建模技術包 括直流偏移補償、加權預測以及空間預測。
21. 如權利要求19所述的編碼器，其特徵在於，所述的偏差建模區塊接 收來自所述的參考幀緩衝器的參考幀的處理過的數據，並執行偏差建模以減 小所述的參考幀與所述的視頻幀之間的誤差。
22. 如權利要求19所述的編碼器，其特徵在於，所述的偏差建模區塊接 收所述的視頻幀的處理過的數據，執行偏差建模以減小所述的視頻幀的處理 過的數據與所述的視頻幀的未處理的數據之間的誤差，並將補償的處理過的 數據存儲到所述的參考幀緩衝器。
23. —種解碼器，用於接收比特流以產生視頻幀，所述的解碼器包含 熵解碼單元，用於解碼所述的比特流，以產生殘差與偏差建模信息；以及重建迴路，耦合於所述的熵解碼單元，用於從所述的殘差重建所述的視頻幀，其中所述的重建迴路包含偏差建模區塊，用於從所述的熵解碼單元接收所述的偏差建模信息，並 依據所述的偏差建模信息將偏差建模技術應用於處理過的數據。
24. 如權利要求23所述的解碼器，其特徵在於，所述的偏差建模技術包 含直流偏移補償、加權預測以及空間預測。
25. 如權利要求23所述的解碼器，其特徵在於，所述的重建迴路進一步 包含參考幀緩衝器，以及所述的偏差建模區塊從所述的參考幀緩衝器接收參 考幀的處理過的數據，並依據所述的偏差建模信息執行偏差建模。
26. 如權利要求23所述的解碼器，其特徵在於，所述的重建迴路進一步 包含參考幀緩衝器，以及所述的偏差建模區塊接收所述的視頻幀的處理過的數據，依據所述的偏差建模信息執行偏差建模，並將補償的處理過的數據存 儲到所述的參考幀緩衝器。
全文摘要
本發明提供了編碼器、解碼器、視頻幀編碼方法及比特流解碼方法。其中一種編碼器用於接收視頻幀，並進行編碼處理以產生編碼後的比特流，此編碼器包含保真度增強區塊，利用四叉樹分割對處理過的數據應用保真度增強技術，並產生包含至少一參數的保真度增強信息，其中參數與四叉樹分割結構相關；以及熵編碼區塊，耦合於保真度增強區塊，用於編碼保真度增強信息，並將編碼後的保真度增強信息嵌入到編碼後的比特流。本發明所提供的方法及裝置，通過在比特流的報頭中設置指針來指示保真度增強信息的位置，使得解碼器不必等待解碼全部比特流就可立即存取保真度增強信息，開始執行保真度增強。
文檔編號H04N7/26GK101459847SQ200810187119
公開日2009年6月17日 申請日期2008年12月12日 優先權日2007年12月13日
發明者峋 郭, 雷少民, 黃毓文 申請人:聯發科技股份有限公司