藉助偽影評價的提高的圖像/視頻質量的製作方法

2023-05-24 02:28:36

專利名稱：藉助偽影評價的提高的圖像/視頻質量的製作方法
技術領域：
本揭示內容涉及數字圖像及視頻處理，且更特定來說涉及藉助偽影評價的提高的 圖像/視頻質量。
背景技水
數字視頻功能可併入到各種各樣的裝置中，包括數位電視、數字直播系統、無線
通信裝置、個人數字助理(PDA)、膝上型計算機、桌上型計算機、數字攝像機、數 字記錄裝置、移動或衛星無線電電話及類似裝置。數字視頻及圖片裝置可在創建、修 改、傳輸、存儲、記錄及播放全動態視頻序列及圖片方面提供對常規模擬視頻及圖片 系統的顯著改善。視頻序列(還稱作視頻剪輯)由幀序列組成。圖片還可表示為幀。 來自視頻或圖片的任何幀或部分經常稱為圖像。
數字裝置(例如，行動電話及手持式數字攝像機)可錄製圖片及/或視頻兩者。可 存儲所述圖片及視頻序列並無線或經由電纜將其傳輸到另一裝置。在傳輸之前，可將 所述幀取樣並數位化。 一旦數位化，可將所述幀解析為較小的塊並將其編碼。編碼有 時與壓縮同義。壓縮可減小表示幀所需要的總(通常冗餘)數據量(即，位)。通過
壓縮視頻及圖像數據，許多圖像及視頻編碼標準允許視頻序列及圖像的改善傳輸速率。 通常，經壓縮視頻序列及經壓縮圖像稱作經編碼位流、經編碼包或位流。多數圖像及 視頻編碼標準利用經設計以促進使用要比沒有壓縮技術所使用的傳輸位少的傳輸位來 傳輸視頻及圖像的圖像/視頻壓縮技術。
為支持壓縮，數字視頻及/或圖片裝置通常包括用於壓縮數字視頻序列或壓縮圖片 的編碼器，及用於解壓縮所述數字視頻序列的解碼器。在許多情況下，所述編碼器與 解碼器形成集成編碼器/解碼器(CODEC)，其對界定視頻序列的幀內的像素塊進行 操作。在標準(例如，國際電信聯盟(ITU) H.264及運動圖像專家組(MPEG) -4、 聯合圖像專家組(JPEG))中，舉例來說，所述編碼器通常將將要傳輸的視頻幀或圖 像分割為稱作"宏塊"的視頻塊。宏塊通常是16像素高xl6像素寬。可使用各種視頻 塊大小。圖像及視頻處理技術領域中的技術人員認識到術語視頻塊或圖像塊可互換使 用。有時為使在其可互換性中清楚，使用術語圖像/視頻塊。ITU H.264標準支持處理 16x16視頻塊、16x8視頻塊、8x16圖像塊、8x8圖像塊、8x4圖像塊、4x8圖像塊及 4x4圖像塊。其它標準可支持不同大小的圖像塊。當說明編碼過程時，所屬技術領域 中的技術人員有時互換使用視頻塊或幀，且有時可將視頻塊或幀稱作視頻事物。 一般
來說，視頻編碼標準支持對視頻單元進行編碼及解碼，其中視頻單元可以是視頻塊或 視頻幀。
對於視頻幀中的每一視頻塊來說，編碼器以多種"預測"模式進行操作。在一種 模式中，所述編碼器搜索一個或一個以上緊接在前視頻幀(或後續幀)的相似大小視 頻塊以識別最相似的視頻塊，其稱作"最佳預測塊"。將當前視頻塊與其它幀的視頻 塊相比較的過程通常稱作塊級運動估計(BEM) 。 BME產生相應塊的運動向量。一 旦識別當前視頻塊的"最佳預測塊"，那麼所述編碼器可對所述當前視頻塊與所述最 佳預測塊之間的差異進行編碼。使用所述當前視頻塊與所述最佳預測塊之間的差異的 此過程包括稱作運動補償的過程。特定來說，運動補償通常是指使用運動向量提取所 述最佳預測塊且然後從輸入視頻塊中減去所述最佳預測塊以產生差異塊的動作。在運 動補償之後，通常執行一系列額外編碼步驟來完成對所述差異塊的編碼。這些額外編 碼步驟可取決於所使用的編碼標準。在另一種模式中，所述編碼器在同一幀內搜索一 個或一個以上相鄰視頻塊的相似大小視頻塊並使用來自所述塊的信息來幫助所述編碼 過程。
一般來說，作為所述編碼過程的部分，進行視頻塊(或差異視頻塊)的變換。所 述變換將所述視頻塊(或差異視頻塊)從由像素表示轉換為由變換係數表示。視頻編 碼中的典型變換稱為離散餘弦變換(DCT)。所述DCT將視頻塊數據從像素域變換為 空間頻域。在所述空間頻域中，數據由DCT塊係數表示。DCT塊係數表示在視頻塊 中所檢測的空間頻率的數量及度數。在計算DCT之後，DCT塊係數可在所謂的"塊 量化"過程中量化。DCT塊係數(來自所述視頻塊或差異視頻塊)的量化移除來自所 述塊的部分空間冗餘。在此"塊量化"過程中，有時可通過將經量化的DCT塊係數與 閾值相比較來移除其它空間冗餘。如果經量化DCT塊係數的量值小於所述閾值，那麼 棄用所述係數或將其設定為零值。
然而，當重構已在編碼器處壓縮的視頻幀或圖像時，所述編碼器處的塊量化可經 常導致不同的偽影出現在解碼器處。偽影的實例是當塊在經重構視頻圖像中出現時， 此稱作"成塊"。某些標準己嘗試通過將去塊效應濾波器包括為所述編碼過程的部分 來解決此問題。在某些情況下，所述去塊效應濾波器移除成塊但還具有拖尾或模糊視 頻幀或圖像的作用，此稱作模糊偽影。因此，圖像/視頻質量遭受"成塊"或來自去塊 效應濾波器的模糊。可減小編碼偽影對所感知視覺質量的影響的方法及設備是重大益 處。

發明內容
在附圖及以下說明中論述一個或一個以上實施例的細節。根據所述說明、圖式及 權利要求書將明了其它特徵、目的及優點。
一般來說，採用偽影評價器的處理視頻塊的圖像/視頻編碼及解碼系統可提高圖像/視頻
質量。在編碼過程期間，紋理解碼器與幀間編碼或幀內編碼預測模式所產生的視頻塊 或幀合成未經濾波的重構視頻塊或幀。將未經濾波的重構視頻塊或幀穿過偽影濾波器 以產生經濾波的重構視頻塊或幀。所述偽影濾波器可以是去塊效應濾波器或配置為去 塊效應濾波器，如果所述偽影濾波器是去塊效應濾波器或配置為一個去塊效應濾波器， 那麼其可抑制成塊。然而，在濾波之後，所得的經濾波的重構視頻塊或幀可能模糊。 當前編碼方法及標準具有局限性，因為其不具有"自適應地"改變如何更新環路內存 儲器緩衝器的方法。由於當前編碼方法及標準的此局限性，較差的圖像/視頻質量傳播 到其它幀(尤其對於幀間編碼預測模式)。
使用偽影評價器可克服當前編碼方法及標準的局限性。偽影評價器的使用基於所 感知的圖像/視頻質量評價並確定何時使用偽影濾波器(例如，去塊效應濾波器)的輸 出更好或何時使用偽影濾波器(例如，去塊效應濾波器)的輸入來更新環路內存儲器 緩衝器更好。偽影評價器的使用可不僅提高當前方法及當前幀的標準的圖像/視頻質 量，而且可提供防止較差圖像/視頻質量傳播到後續處理幀(尤其對於幀間編碼預測模 式)的額外優點。所述偽影評價器也可以是符合標準的。
對於每一未經濾波器經重構視頻塊或幀及每一經濾波的重構視頻塊或幀來說，可 產生偽影度量以測量偽影的量。所述偽影度量可以是非原始參考(NR)或完全原始參 考(FR) 。 NR與FR偽影度量之間的差異可基於原始視頻塊或幀的可用性。偽影度 量產生器產生所述偽影度量且是偽影評價器的部分。在產生偽影度量之後，可基於所 感知的圖像/視頻質量來作出使用哪一視頻塊或幀來更新環路內存儲器緩衝器的決策。 如何產生偽影度量存在變更且存在確定將經濾波的重構視頻塊或幀用於更新環路內存 儲器緩衝器還是將未經濾波視頻塊或幀用於更新環路內存儲器緩衝器的各種方法。在 以下實施例中圖解說明這些變更。
在一個實施例中，在視頻編碼器中使用偽影度量產生器來產生NR偽影度量。 在另一實施例中，在視頻編碼器中使用偽影度量產生器來產生FR偽影度量。 在其它實施例中，可使用NR或FR偽影度量來測量成塊的量。 在其它實施例中，可使用可配置偽影度量產生器來一次輸出多個偽影度量。 在又一實施例中，確定應將哪一視頻塊或幀用於更新環路內存儲器緩衝器的決策 僅基於一種類型的度量，例如成塊(或去成塊)度量。
在另一實施例中，確定應將哪一視頻塊或幀用於更新環路內存儲器緩衝器的決策 可基於多個類型的度量，例如成塊(或去成塊)度量及模糊度量。 可將上文所說明的某些實施例組合以形成其它實施例。
在附圖及以下說明中論述一個或一個以上實施例的細節。根據所述說明、圖式及 權利要求書將明了其它特徵、目的及優點。


圖1A圖解說明採用基於本文所說明技術的偽影評價器的圖像/視頻編碼及解碼系統。
圖IB圖解說明可基於本文所說明的技術使用的兩個CODEC。 圖2圖解說明視頻序列，稱作圖片群組(GOP)。
圖3圖解說明可用於圖1A或圖1B的裝置中的實例性圖像/視頻編碼器。
圖4A圖節說明圖3的簡化實例性圖像/視頻編碼器，其中圖3的去塊效應濾波器 己由更一般的偽影濾波器替代。圖5B是使用經重構及原始圖像/視頻塊或幀兩者的方 塊圖，其圖解說明圖4B中所使用的偽影度量產生器的一個方面。
圖4B圖解說明使用經重構及可選原始圖像/視頻塊或幀兩者來幫助評價圖像及視 頻質量的偽影度量產生器的使用。
圖5A圖解說明圖4B中所使用的僅使用經重構圖像/視頻塊或幀的偽影度量產生 器的一個方面。
圖5B是使用經重構及原始圖像/視頻塊或幀兩者的方塊圖，其圖解說明圖4B中 所使用的偽影度量產生器的一個方面。
圖6是圖解說明用於偽影度量產生器的用於計算ASNR度量的加權值選擇 (WVS)的圖表。
圖7圖解說明具有一般偽影濾波器及可配置有可選度量控制器的更一般偽影度量 產生器的實例性圖像/視頻編碼器。
圖8圖解說明偽影度量產生器的一般配置。
圖9圖解說明圖8的偽影度量產生器可經配置以實施不同版本的ASNR度量。 圖10圖解說明可用於典型圖像/視頻編碼器的反饋環路的偽影評價器。 圖lla圖解說明使用一種類型的度量來作出輸出決策的偽影評價器版本。 圖lib圖解說明使用多種類型的度量來作出輸出決策的偽影評價器版本。 圖12圖解說明可由圖11A中的決策邏輯塊使用的方法的流程圖。 圖13圖解說明由圖11B中的決策邏輯塊使用的方法的流程圖。 圖14圖解說明偽影評價過程的流程。
具體實施例方式
本文所用措詞"實例性"意指"充當實例、例子或例示"。在本文中，說明為"實 例性"的配置或設計均未必應視為較其它實施例或設計為優選或有利。 一般來說，本 文所說明的是一種不僅評價偽影而且改善所感知圖像/視頻質量(作為所述評價的結 果)的新穎方法及設備。
圖1A圖解說明可採用基於根據本文所說明實施例的技術的偽影評價器的圖像/視 頻編碼及解碼系統2。如圖1A中所示，源裝置4a包含在將視頻序列或圖像發送到顯 示器裝置8之前捕獲所述視頻或圖片輸入的捕獲裝置6。可將所述視頻序列或圖像發
送到存儲器10或圖像/視頻處理單元14。還可從圖像/視頻處理單元14將所述視頻序 列或圖像寫入存儲器10中。可將圖像/視頻處理單元14從存儲器10或從捕獲裝置6 接收的輸入發送到圖像/視頻編碼器。所述圖像/視頻編碼器可在圖像/視頻處理單元14 內部。可存儲經所述視頻編碼器編碼的位流輸出或將其發送到傳輸器16。源裝置4a 經由信道19將所述經編碼位流傳輸到接收裝置18a。信道19可以是無線信道或有線 線路信道。所示媒體可以是可將源裝置連接到接收裝置的空氣或任何電纜或鏈路。舉 例來說，接收器20可安裝在驅動圖像/視頻解碼器21對上文所提及的經編碼位流進行 解碼的任何計算機、PDA、行動電話、數位電視、DVD播放器、圖像/視頻測試裝備 及其它中。圖像/視頻解碼器21的輸出可將所述經解碼信號發送到顯示所述經解碼信 號的顯示器裝置22。
源裝置4a及/或接收裝置18a整體或部分可包含用於行動電話的"晶片集"或"芯 片"，包括硬體、軟體、固件的組合及/或一個或一個以上微處理器、數位訊號處理器 (DSP)、專用集成電路(ASIC)、現場可變成門陣列(FPGA)或其各種組合。此 外，在另一實施例中，圖像/視頻編碼及解碼系統2可作為CODEC24的部分在一個源 裝置4b及一個接收裝置18b中。因此，源裝置4b及接收裝置18b圖解說明源裝置及 接收裝置可包含至少一個CODEC 24，如圖IB中所見。CODEC 24由圖像/視頻編碼 器23及圖像/視頻解碼器21組成且可位於圖像/視頻處理單元14中。
圖2圖解說明視頻序列，稱作圖片群組(GOP) 130。通常使用幀間編碼預測模 式編碼來補償不同幀中的視頻塊之間的時間及空間差異兩者。使用幀內編碼預測模式 編碼來補償同一幀中的視頻塊之間的空間差異。幀間編碼及幀內編碼模式兩者均稱作 預測模式，因為其使用先前(或未來經緩衝)信息來幫助當前視頻塊編碼。在某些標 準中，I幀31將通常指示在內容上與先前幀不同的景物或幀序列的第一幀。I幀通常 使用幀內編碼模式。B幀33及P幀35兩者均可使用幀內或幀間編碼模式。P幀35可 將先前幀用作參考來進行編碼，而B幀33可將先前及未來幀兩者用作參考來進行編 碼。然而，在ITUH.264標準中，可將任何幀(I幀、P幀、B幀)用作參考來進行編 碼。可使用未來幀，因為幀通常被緩衝且緩衝器中來自過去或未來幀的數據可用於當 前正被編碼的幀。
圖3圖解說明可用於圖1A或圖1B的裝置中的實例性圖像/視頻編碼器。可將來 自視頻序列的幀或部分幀放置在圖像/視頻編碼器23內的輸入幀緩衝器42中，圖像/ 視頻編碼器23可以是CODEC 24的部分及/或在圖像/視頻處理單元14內部。可將來 自輸入幀緩衝器42的輸入幀解析為塊(所述視頻塊可以是任何大小，但標準正方形視 頻塊大小是4x4、 8x8或16x16)並發送到視頻塊緩衝器43。視頻塊緩衝器43通常將 視頻塊發送到減法器44。減法器44從開關46的輸出減去視頻塊x。開關46可在編碼 的幀內編碼與幀間編碼預測模式之間切換。如果開關46正啟用幀間編碼預測模式，那 麼通過紋理編碼器47壓縮來自x的所得差及來自不同(先前或後續)幀的視頻塊。如 果開關46啟用幀內編碼預測模式，那麼通過紋理編碼器47壓縮來自x的所得差及來
自同一幀中的先前視頻塊的預測值。
紋理編碼器47具有將輸入X (所述視頻塊或差異塊)從像素域變換為空間頻域的 DCT塊48。在所述空間頻域中，數據由DCT塊係數表示。DCT塊係數表示在視頻塊 中所檢測的空間頻率的數量及度數。在計算DCT之後，DCT塊係數可由量化器50在 所謂的"塊量化"過程中量化。DCT塊係數(來自所述視頻塊或差異視頻塊)的量化 移除來自所述塊的部分空間冗餘。在此"塊量化"過程中，有時可通過將經量化的DCT 塊係數與閾值相比較來移除其它空間冗餘。此比較可在量化器50或另一比較器塊(未 顯示)內部發生。如果經量化DCT塊係數的量值小於所述閾值，那麼棄用所述係數或 將其設定為零值。
在塊量化之後，可將所得輸出發送到兩個分離的結構(1)紋理解碼器65，及 (2)熵編碼器55。紋理解碼器65包含幫助產生經重構圖像/視頻塊或幀的解量化器 66;其將與編碼預測模式一起使用。熵編碼器55產生供傳輸或存儲的位流。熵編碼器 55可包含接收經塊量化輸出並將所述輸出重新排序以使可變長編碼器(VLC) 58進行 更高效編碼的掃描儀56。 VLC 58可採用遊程及哈夫曼編碼技術的使用來產生經編碼 的位流。將所述經編碼位流發送到輸出緩衝器60。可將所述位流發送到速率控制器62。 在維持基本質量的同時，速率控制器62預算量化器50所使用量化位的數量。熵編碼 被視為壓縮的無損形式。無損壓縮意味著如果正被編碼的數據由熵解碼器解碼那麼所 述數據可完全相同地恢復而不會破壞所述經編碼數據。熵編碼器55執行無損壓縮。
有損壓縮意指作為編碼的結果，輸入x將不產生x的相同拷貝，即使所述經編 碼輸入未遭破壞。經重構的輸入已"丟失"其部分信息。紋理編碼器47執行有損壓縮。 典型的圖像/視頻編碼器23通常具有本地紋理解碼器65以幫助幀間編碼及幀內編碼預 測模式兩者的補償。解量化器66、反DCT68及開關46的發送到加法器69的輸出一 起工作以對紋理編碼器47的輸出解碼並重構進入紋理編碼器47的輸入x。經重構的 輸入y看似x但並非就是x。 一般圖像/視頻"解碼器"通常包含解量化器66、反DCT 68及開關46的發送到加法器69的輸出的功能性。
在某些標準(例如，MPEG-4及H.263基本規範)中，去塊效應濾波器70的使用 不存在。在MPEG-4及H.263基本規範中，去塊效應濾波器作為接收裝置的視頻解碼 器中的後處理步驟為可選。其它標準(例如，ITUH.264、窗口媒體9 (Windows Media 9) (WM9)或真實視頻9 (Real Video9) (RV9))支持啟用去塊效應濾波器70 (稱 作"環路內"去塊效應濾波器)的使用。使用去塊效應濾波器70來移除當經重構輸入 y存在塊時所出現的"成塊"。如先前所提及，在某些情況下，所述去塊效應濾波器 移除所述成塊，但也具有使視頻幀或圖像模糊的作用。成塊偽影與模糊偽影之間存在 折衷。啟用去塊效應濾波器70可減少成塊，但其可通過使所述圖像模糊而使所感知視 覺質量降級。啟用去塊效應濾波器70的使用的標準總是用經濾波的重構視頻塊或幀》
來更新存儲器緩衝器81。找到確定何時使用去塊效應濾波器70的輸出更好或何時使 用去塊效應濾波器70的輸入來更新存儲器緩衝器81更好的方法具有巨大益處。此揭
示內容中的各種實施例識別並解決先前標準的局限性。此揭示內容中的各種實施例教 示評價並確定何時使用偽影濾波器(例如，去塊效應濾波器70)的輸出更好或何時使 用偽影濾波器(例如，去塊效應濾波器70)的輸入更好的方法。
如所提及，在某些標準中，當啟用去塊效應濾波器70時，可將輸出發送到存儲
器緩衝器81。存儲器緩衝器81內部可存在兩個存儲器緩衝器(1)經重構新幀緩衝
器82;及(2)經重構舊幀緩衝器84。經重構新幀緩衝器82存儲當前處理的經重構幀 (或部分幀)。經重構舊幀緩衝器84存儲過去處理的經重構幀。所述過去處理的經重 構幀用作(經重構)參考幀。所述經重構參考幀可以是在輸入幀緩衝器42中的當前幀 之前或之後的幀。當前幀(或來自當前幀的視頻塊)或當前幀與經重構參考幀(或來 自差異塊的視頻塊)之間的差異是"當前"正被編碼的幀或差異。在當前幀已完成編 碼之後且在提取來自輸入幀緩衝器42的輸入中的將要編碼的下一幀之前，用具有經重 構新幀緩衝器82的內容的拷貝來更新經重構舊幀緩衝器84。
經重構新幀緩衝器82可發送其接收的經重構視頻塊以用於空間預測器86。經重 構舊幀緩衝器84將過去處理的經重構視頻塊發送到MEC (運動估計及補償塊)87。 MEC塊包含運動估計器88及運動補償器90。運動估計器88產生可由運動補償器90 用來補償其它幀與正被編碼的一個幀之間的差異的運動向量(MV) 92及運動向量預 測器(MVP) 94。 MV92也可由熵編碼器55使用。在某些標準(例如，ITUH.264) 中，空間預測器86的輸出用於幀內預測模式且反饋回減法器44及加法器69兩者。在 某些標準(例如，MPEG-4或JPEG)中，不存在空間預測器86。
圖4A看起來類似於圖3。然而，僅出於例示的目的，在圖4A及後續圖中省略速 率控制器62及熵編碼器55。此外，在圖4及後續圖中，圖3的去塊效應濾波器70已 由更一般的濾波器(偽影濾波器72)替代。所述替代的目的是傳達可"在環路內"使 用一般偽影濾波器。如先前所提及，偽影可在重構己在解碼期間被壓縮的幀時出現。 偽影的某些實例是成塊、模糊、振蕩及色彩蔓延。成塊由個別視頻塊的獨立量化導致。 模糊由通過高頻率DCT係數的粗糙量化或截斷來抑制高頻率係數所導致。模糊也可通 過低通濾波或平滑而發生。振蕩沿高對比邊緣位置而起伏前進且可由高頻率係數的量 化或截斷導致。色彩蔓延可在由色度分量的高頻率係數的抑制導致的高度不同色度區 域出現。
用以測量圖像及視頻質量的最常用度量中的的一者是峰值信噪比(PSNR)如下 界定於方程式l中。
formula see original document page 14 方程式1)
其中PKS代表平方峰值像素值且通常是2552。
經常通過取一對視頻塊之間的像素中的差異的均方誤差(MSB)來計算編碼_誤 差。所述對可由來自原始參考幀的視頻塊x與來自經重構幀的視頻塊y組成。PSNR
是一對視頻塊之間的編碼誤差的函數。編碼—誤差指示正被比較的視頻塊中的像素之間
的相似性的量。較多相似的像素導致較大的PSNR。較小的PSNR意指較少的像素相 似。此外，還可使用PSNR來指示平均編碼誤差的量度。平均編碼—誤差由指示，且可通過取所述編碼誤差的移動平均值來產生。在此後一種情況下，PSNR 是對跨越幀的編碼_誤差的測量。即使PSNR是編碼一誤差的函數，較小的編碼—誤差不 總是產生良好的用戶所感知圖像及視頻質量。作為實例，瓷磚牆或地板的圖像可能在 施加去塊效應濾波器之後看起來模糊。瓷磚之間的邊界(邊緣)可僅代表總圖像的一 小部分。因此，當逐像素計算編碼—誤差時，所得PSNR可指示所述圖像及視頻質量為 良好，即使所述瓷磚的邊緣模糊。如果不向所述經重構圖像施加所述去塊效應濾波器， 那麼所述瓷磚邊緣可能看起來成成塊。在諸如此種情況下，PSNR不期望地限制對所 感知圖像及視頻質量的測量。
可通過新的度量(偽影信噪比(ASNR))來克服PSNR的局限性。ASNR度量 提供測量偽影的缺乏(或存在)的方法。ASNR度量的版本(ASNR (y或？))可由 圖4B的偽影度量產生器101產生。如果使用可選輸入x，那麼偽影度量產生器101可 產生ASNR度量的不同版本(ASNR (x，y或？))。將虛線畫到偽影度量產生器101 中以圖解說明輸入x是可選的。所述ANSR度量可具有各種示例。
在測量編碼偽影或編碼_誤差時可使用的兩個框架是(1)非原始參考(NR); 或(2)完全原始參考(FR)。所述NR框架的實例顯示在圖5A中。圖5A圖解說明 其中可使用圖4B的偽影度量產生器101的一個方面。圖5A中的偽影度量產生器101 幫助使用來自僅經重構(RFC，在沒有原始幀的情況下)視頻塊或幀的視頻塊來評價 所感知圖像及視頻質量。所述非參考幀可以是並非所述原始幀的任何幀。通常，已被 壓縮並重構的視頻塊或幀。FR框架的實例顯示在圖5B中。圖5B是圖解說明其中可 使用圖4B的使用可選原始輸入x的偽影度量產生器101的一個方面的方塊圖。圖5B 中的偽影度量產生器101b使用來自原始(參考)輸入x及非原始(經重構)(REC， y或？)視頻塊或幀兩者的視頻塊來幫助評價所感知圖像及視頻質量。
一般來說，偽影度量產生器的輸出是對偽影的量的測量。當所述偽影為成塊時， 可使用ASNR度量的示例。所述示例是去塊效應信噪比(DSNR)度量，其測量成塊 的缺乏或存在。在NR框架中，由偽影度量產生器執行的產生僅基於經重構幀。如果 偽影濾波器72是去塊效應濾波器，那麼圖4B中的上部偽影度量產生器101可在x不 存在的情況下輸出DSNR (y) 。 DSNR (y)是對視頻塊y (經重構視頻塊)的成塊的 量的測量。如果偽影濾波器72是去塊效應濾波器，那麼圖4B中的下部偽影度量產生 器101可在x不存在的情況下輸出DSNR ( ) 。 DSNR ( )是對視頻塊？(所述偽 影經濾波視頻塊)的成塊的量的測量。DSNR (y)或DSNR ( )(寫作DSNR (y 或？))為非原始參考(NR)度量。
如果將原始輸入x反饋到圖4B中的偽影度量產生器101中，那麼可使用FR框 架來產生度量。FR框架中的度量是對非參考幀相對於原始參考幀的偽影量的測量。如
果偽影濾波器72是去塊效應濾波器，那麼圖4B中的上部偽影度量產生器101可輸出 DSNR (x,y) 。 DSNR (x， y)是對視頻塊y相對於視頻塊x的成塊量的測量。如果偽 影濾波器72是去塊效應濾波器，那麼下部偽影度量產生器101可輸出DSNR (x， ？)。 DSNR (x,歹)是對視頻塊？相對於視頻塊x的成塊量的測量。DSNR (x,y)或DSNR (x, )(寫作DSNR (x，y或y))為完全原始參考(FR)度量。
為測量圖像或幀中的成塊量，有時使用斜率均方差(MSDS)度量來確定經重構 圖像或幀中的成塊量。然而，MSDS度量不在原始圖像或幀的實際紋理與由視頻編碼 器的塊量化步驟引入的成塊之間進行區分。此外，MSDS度量的使用不開發人類視覺 感知的使用。可通過DSNR度量來克服MSDS的局限性。DSNR度量可具有各種形式， 因為其用於通過計及不同類型的成塊並考慮人類視覺感知來更好地評價基於成塊的視 頻編碼器的圖像及視頻質量。如所提及，DSNR度量是ASNR度量的示例。
偽影信噪比(ASNR)度量的一般形式如下顯示在方程式2中
乂 ,(x,y) 乂
其中PKS代表平方峰值像素值且通常是2552。方程式2的分子包含PKS、 Ws、 Wp與Wr的乘積。Ws、 Wp及WT是經選定以計及影響圖像及視頻質量的空間(Ws)、 感知(Wp)及時間(WT)因素的加權。方程式2的分母是F (x， y)且可以是x與y 的連接或不連接函數。如果x不可用，那麼F (x,y)可由F (y)替代。還應注意，y (未經濾波的重構視頻塊或幀)可由^ (經濾波器經重構視頻塊或幀)替代。
可用於F (x, y)的函數中的一者是MSDS—誤差(x, y)。通常在使用ASNR度 量的DSNR度量示例時進行MSDS—誤差(x,y)的使用。 一方面，MSDS—誤差(x，y) 可以是MSDS (x)與MSDS (y)之間的平方誤差。另一方面，MSDS—誤差(x, y) 可以是MSDS (x)與MSDS (y)之間的誤差的絕對值。MSDSj^差(x, y)可具有 其它變型，但在FR框架中將經常是MSDS (x)與MSDS (y)之間的誤差的函數。 在NR框架中，MSDSJ^差(x， y)可由可彼此進行比較的至少兩個不同MSDS計算 替代。舉例來說，可使用MSDS (y)及MSDS ( ) 。 MSDS (x)是來自原始參考幀 的輸入視頻塊x的函數。MSDS (y或？)是來自經重構幀的視頻塊y或？的函數。
經常在所有視頻塊邊界處計算斜率均方差(MSDS)，且其中三種不同類型的斜 率在一對毗鄰視頻塊的邊界附近。通常在同一像素行上的像素之間計算所述三種不同 類型的斜率。考慮具有L行的直接彼此靠近的兩個毗鄰視頻塊。第一視頻塊中的最後 兩列像素靠近第二視頻塊中的前兩列像素。在所述第一視頻塊的最後列中的像素與倒 數第二列中的像素之間計算類型_1斜率。在所述第二視頻塊的第一列中的像素與第二 列中的像素之間計算類型一2斜率。在所述第二視頻塊的第一列中的像素與所述第一視 頻塊的最後列中的像素之間計算類型一3斜率。
通常將MSDS圖解說明為跨越共用像素行如方程式3中那樣計算
formula see original document page 17方程式3)
其中像素(i)表示所述L行中的任一者中的計算中所涉及的第z'像素群組，在此 情況下，任何第!'群組包含六個像素。對於每一視頻塊邊界，跨越L行將MSDS (像 素(i))求平均。每一視頻塊及視頻塊邊界的總(平均)MSDS將如以下方程式4中 那樣表達
formula see original document page 17其中L是界定視頻塊的邊界的行的數量。
然而，由於列是像素陣列，因此可並行計算所有同一類型的斜率。此並行計算稱
為梯度。因此，當計算一對毗鄰視頻塊之間的邊界附近的MSDS時，可計算三個梯度 (1)前_梯度(針對類型l斜率)；(2)後—梯度(針對類型2斜率)；及(3)邊緣 —梯度(針對類型3斜率)。所計算的梯度是向量。如此以來，可用以下方程式(5) 計算方程式4的並行例子
formula see original document page 17方程式5)
其中b表示任何視頻塊。在菜!'像素群組(/=7,..丄)的一對毗鄰視頻塊之間的邊 界處計算MSDS (b)。
通過求差分向量(邊緣_梯度-一平均(前_梯度，後_梯度))的L2範數的平方， 可實施方程式5。範數是數學構成物。所述L2範數是一種類型的範數且可用於計算向 量的量值。為計算所述量值，所述L2範數取向量的分量的平方和的平方根。雖然經 常如方程式4及5中所示的那樣計算MSDS，但可存在不將邊緣_梯度與前_梯度與後— 梯度的平均值之間的差平方的變型。舉例來說，可改為使用Ll範數。本文所包含的 實施例涵蓋並應用於使用類型1、類型2及類型3斜率的任何變型。
如所提及，將MSDS用於F (x,y)產生ASNR度量的示例，DSNR度量。同樣， 使用其它已知度量替代F (x,y)可用來產生ASNR度量的其它示例。去塊效應信噪比 (DSNR)度量的一般FR形式界定於以下方程式6中，formula see original document page 17
DSNR度量的一般NR形式界定於以下方程式7中，
formula see original document page 17 (方程式7)
圖5A圖解說明圖4B中所使用的僅使用經重構圖像/視頻塊或幀的偽影度量產生 器的一個方面。圖5A中的偽影度量產生器101a在沒有原始參考的情況下產生DSNR 度量。為評價去塊效應偽影，可在DSNR (y)與DSNR ( )之間進行比較(未顯示)。
方程式6或方程式7顯示的DSNR度量的分子可通過使用由以下三個加權值選擇器組 成的加權值選擇器(WVS)庫103而在偽影度量產生器101a中產生(1)輸出加權 Ws的空間WVS 104; (2)輸出加權Wp的感知WVS 105;及輸出加權WT的時間 WVS 106。可預先選擇或在編碼過程期間從輸入參數Zs、 Zp及ZT中選擇加權Ws、 Wp及Wt。可在所述編碼過程期間或在編碼器運行之前產生輸入參數Zs、 Zp及Zt。 分子發生器107計算在方程式6或方程式7的分子中所見的PKS、 Ws、 Wp與Wt的 乘積。當加權Ws、Wp及Wt均等於1時，DSNR度量的分子基值與方程式1中的PSNR 的分子相同。雖然分子發生器107中的一個乘法器108便足夠，但顯示兩個乘法器以 加重在分子中具有Ws、 Wp及Wt的作用。
可在偽影度量產生器101a中實施方程式7所示的DSNR度量的分母。輸入是REC
(經重構視頻塊或幀)，且因此方程式2中的F (x， y)僅是REC， F (y或？)的函 數。圖5A顯示當F (y或？)是MSDS (y或？)時的實例。經重構輸入REC可以是 y或？，且MSDS 112如方程式4或方程式5中所見的那樣計算MSDS (y)及MSDS
(歹)。
除法器109將分子發生器107的輸出(PKS+W^W,WT)除以MSDS 112的輸出， MSDS (REC (y或？)。對數塊114取除法器109所產生的結果的10*log1Q。對數塊 114的輸出是DSNR度量，其是偽影度量產生器101所計算的ASNR(y或？)的示例。
圖5B圖解說明可使用圖4B的使用可選原始輸入x的偽影度量產生器101的一個 方面。偽影度量產生器101b具有與偽影度量產生器101a相似的結構，除其具有分母 發生器110而不是僅一個MSDS 112。分母發生器110由兩個MSDS 112塊、減法器 44及範數因數116組成。分母發生器110接收兩個輸入(1)原始輸入ORIG (x); 及(2)經重構輸入，REC (y或？)。減法器44計算MSDS (x)與MSDS (y或？) 之間的差並將所述差發送到範數因數116。在分母發生器110的一個配置中，範數因 數116可將其輸入平方。在另一配置中，範數因數116可取其輸入的絕對值。在任一 種情況下，範數因數116可產生由分母發生器110輸出的MSDS—誤差(x，y)。除法 器109將分子發生器107的輸出除以MSDS一誤差(x， y)，且對數塊114取除法器109 所產生的結果的10*log1Q。對數塊114的輸出是DSNR (ORIG， REC)，其是偽影度量 產生器101所產生的ASNR (x,y或？)度量的示例。DSNR度量的空間、感知及時間 分量中的每一者可去加重、加重正被評價的成塊偽影或不對其進行任何改變。DSNR 將成塊偽影鎖定為目標，然而，所述結構使得其還影響所存在的任何其它偽影。舉例 來說，作為施加去塊效應濾波器的結果的模糊偽影也可被去加重、加重或保持不變。
一般來說，以改善圖像/視頻質量的方式來進行ASNR度量的加權(例如，WVS 庫103中的那些加權)選擇過程。對於DSNR度量來說，加重去成塊的恰當量且去加 重模糊的恰當量。所述選擇過程基於圖6的圖表118。在圖6中，圖表118圖解說明 偽影評價器中所使用的加權值選擇器(WVS)(空間、感知或時間)。在圖表118的 橫坐標軸上，存在兩個標記(1) Thl，其表示閾值1;及(2) Th2，其表示閾值2。
在圖表118的縱坐標軸上，所述三個標記表示來自WVS的加權值。產生通用輸入參 數Z (Zs、 Zp或Zt)且將其映射到圖表118中的橫坐標(Z)軸。Z將在以下三個範 圍中的一者中(1) 0^Z<Thl; (2) Thl SZ<Th2;及(3) Th2^Z。來自WVS 的加權由Z的範圍確定。WVS基於以下三個範圍來選擇所述加權在(l)中選擇[Wz]-、 在(2)中選擇l;及在(3)中選擇Wz。 [Wz]"加權可去加重成塊偽影的空間、感知 或時間分量。加權值1不修改所述成塊偽影。Wz加權可加重所述成塊偽影的空間、感
知或時間分量。此可通過如下文所示重寫方程式2可見
取分子要素及分母的對數顯示所述加權的作用是添加、減去或不具有作用(當加 權值為1時)。
輸入參數的選擇變化。然而，Zs、 Zp及Zt的逸擇可如下。Zs可由通過實例解釋 的多步驟過程產生。考慮將被編碼的當前視頻塊E，其具有鄰居D (在其左邊)、B (在其上邊)及A (位於其左上對角附近)。使用視頻塊E的部分及視頻塊A的部分 來形成視頻塊AE。同樣，可形成視頻塊BE及DE。可針對視頻塊AE、 BE及DE中 的每一者計算DCT且所述DCT的平均值可用於Zs。可通過跨越整個幀計算平均DCT 來產生ZP。可通過計算一個幀中的平均DCT與另一幀中的平均DCT之間的差來產生 ZT。
圖7圖解說明具有一般偽影濾波器及可配置有可選度量控制器122的更一般偽影 度量產生器121的實例性圖像/視頻編碼器。在圖7中用虛線畫出度量控制器122以及 輸入x以顯示其均為可選。可預先配置偽影度量產生器121且因此將未必需要度量控 制器122。當使用度量控制器122時，其將輸入參數傳遞到偽影度量產生器121。所述 輸入參數可存儲在偽影度量產生器121中或由度量控制器122傳遞到偽影度量產生器 121中。偽影度量產生器輸出一組度量，不只是一個輸出。當計算所述組度量時，偽 影度量產生器121也可以或可不使用原始輸入x。
圖8圖解說明偽影度量產生器121的一般配置。組成塊中的下標[i]用於顯示偽影 度量產生器121a中的兩個方面(1)可產生各種度量版本；及(2)可產生完全不同 的度量。從方面(1)，舉例來說，可斷定可產生各種形式的ASNR。從方面(2)， 舉例來說，可產生去塊效應(或塊效應)度量、模糊度量、振蕩度量、色彩蔓延度量 或任何其它類型的偽影度量。顯示一般架構捕獲可能的不同度量及各種度量版本。
可使用F—err塊123來計算原始視頻塊或幀的函數的例子與經重構視頻塊或幀的 函數的例子之間的誤差。所述函數之間的差由減法器44計算且可針對F的特定選擇來 選擇範數因數(NF) 128。偽影度量產生器121可實施偽影度量產生器101的功能。 此可通過認識到在圖5A的偽影度量產生器101a的架構中F的選擇是MSDS (y)及 MSDS ( )而可見。在圖5B的偽影度量產生器101b的架構中，F的選擇為MSDS (x， y)及MSDS (x， ？)的函數。可通過可由度量控制器122預先配置或發送的度
量—類別[i]來控制F的選擇。可將調節器[i] 130用於對F_err塊123的輸出的任何組操 作(包括將其乘以1)。調節器[i] 130 "調節"F—err塊123的輸出。可將調節器[i] 130 的輸出發送到度量布置器132。度量布置器132使用選擇器134來將各種度量或度量 版本路由到度量緩衝器136中。可內部驅動選擇器134或視情況可通過度量控制器122 來控制選擇器134。輸出MsET(ORIG,REC)是一組輸出MA[1]、MA[2]...MAN]。MSET(ORIG， REC)的每一成員可以是不同度量或各種度量版本。從圖8來看，其顯示ASNR度量 的一般形式可以是調節器(F (x,y))，即F (x，y)可由某個其它函數或函數組調節。 在方程式2中，所述調節器是10*logl0 (PKS*WS*WP*WT)。
圖9圖解說明圖8的偽影度量產生器121a可經配置以實施ASNR的各種版本。 存在可用於選擇可輸出ASNR的哪一版本的額外可選選擇器139。可選選擇器139用 於顯示圖9的偽影度量產生器121b可經配置以像偽影度量產生器101那樣起作用(僅 一個ASNR輸出)。如果不使用可選選擇器139，那麼偽影度量產生器121b的輸出可 以是ASNRset (ORIG，REC)。如先前所提及，F_err塊123可實施MSDS (x, y)及 MSDS (x, )。圖9也顯示調節器[i] 130。調節器[i]130可實施方程式2的分子連同 除法及取所述除法的對數。度量控制器122可發送導致調節器[i] 130的不同版本的不 同輸入參數。另一選擇為，度量—類別[i]可選擇並非MSDS的不同函數。也可選擇其 它範數因數[i]128。在圖9的配置中， 一般輸出ASNRsET (GRIG，REC)是ASNR^ ASNR[2]...ASNR[N]，且這些中的一者可視情況由選擇器139選擇以供輸出。
由於偽影可影響圖像及視頻質量，因此需要在編碼過程期間使用度量來幫助評價 所感知圖像及視頻質量的方法。使用圖10中的偽影評價器140容許所述方法。偽影評 價器140可評價哪一經重構輸入具有更好的所感知圖像及視頻質量。通常，在所述編 碼過程期間，用兩個選擇中的任一者來更新存儲器緩衝器81。所述選擇通常在未經濾 波的重構視頻塊(或幀)y或(經去塊效應)經濾波的重構視頻塊(或幀)？之間。 在較低位的條件下，成塊有時是主要偽影。如此以來，偽影濾波器72通常可經配置以 減少成塊。在做此的情況下，經濾波的重構視頻塊(或幀)？可非常模糊。如果？太 模糊，那麼用y更新存儲器緩衝器81將導致模糊的邊緣。如果y太成塊，那麼用y更 新存儲器緩衝器81將導致"成塊"。如果當前編碼方法及標準使用去塊效應濾波器 70，那麼其總是用去塊效應濾波器70的輸出來更新存儲器緩衝器81。當前編碼方法 及標準具有局限性，因為其不具有"自適應地"改變如何更新存儲器緩衝器81的方法。 由於當前編碼方法及標準的此局限性，較差的圖像/視頻質量傳播到其它幀(尤其對於 幀間編碼預測模式)。
"在環路內"使用圖10的偽影評價器，即圖像/視頻編碼器的反饋環路允許改變 如何更新存儲器緩衝器81的"自適應"方法。自適應意指所述圖像/視頻編碼器可依 據哪一經重構視頻塊(或幀)(y或？)具有更好的所感知視覺質量來調節到存儲器 緩衝器81的輸入。偽影評價器140評價哪一圖像及視頻質量更好，y還是^。如果y 的質量更好，那麼偽影評價器140可將輸出QA (x, y, )設定為y且用y來更新存儲
器緩衝器81。如果？的質量更好，那麼偽影評價器140可將輸出QA (x， y, )設定 為？且用？來更新存儲器緩衝器81 。如果y及？兩者的圖像及視頻質量均非可接受的 圖像及視頻質量，那麼偽影評價器140可指令圖像/視頻編碼器23用不同的量化係數 組重新進行編碼。如此以來，由偽影評價器140評價的圖像及視頻質量可緊接在幀中 的任何視頻塊的編碼及重構之後得到自適應地改善。因此，使用偽影評價器140克服 當前編碼方法及標準的局限性。圖10中所見的通過使用偽影評價器140的架構不僅提 高當前方法及標準的圖像/視頻質量，而且其還提供防止較差圖像/視頻質量傳播到後續 處理幀(尤其對於幀間編碼預測模式)的額外優點。
此外，由於某些標準(例如，ITUH.264、 WM9及RV9)支持使用去塊效應濾波 器，因此偽影評價器140的使用是符合標準的。舉例來說，可將使用編碼器中的哪一 經重構(經濾波或未經濾波)視頻塊或幀來更新存儲器緩衝器81的決策傳遞到視頻解 碼器。因此，為了使視頻編碼器與視頻解碼器同步，可將所述決策插入到視頻解碼器 的標頭信息中，即可將其作為告知所述視頻解碼器去塊效應濾波器是接通還是關閉的 位流的部分插入。
圖11A圖解說明使用一種類型的度量來作出輸出決策的偽影評價器101的版本。 圖11A圖解說明圖10中所使用的偽影評價器140的配置。偽影評價器140接收兩個 輸入y及？，且另一選擇為，接收輸入x及來自度量控制器122的輸入參數(IP)。 可預先配置來自度量控制器122的偽影評價器140a的輸入參數(IP)，即不需要來自 度量控制器122的直接輸入。如此以來，在圖11A中省略來自度量控制器122的輸入 參數。偽影評價器140將輸入x (如果接收到)及y引導到偽影度量產生器101中且 還將輸入x (如果接收到)及^引導到不同的偽影度量產生器101中。偽影度量產生 器101的結構的實施例顯示在圖5A及圖5B兩者中且上文已論述其功能，可使用任一 功能。在圖11A中，上部偽影度量產生器101輸出ASNR (x， ？)(雖然可替代使用 ASNR( ))且下部偽影評價器101輸出ASNR(x,y)(雖然可替代使用ASNR(y))。 決策邏輯142接收ASNR (x, )及ASNR (x，y)且決定輸出y或？，或啟動線輸出 RE以基於所述兩個輸入ASNR度量進行重新編碼。可認識到，圖11A中所圖解說明 的邏輯可用於任何ASNR度量，不僅僅是DSNR度量。
圖11B圖解說明使用多個度量或度量版本來作出輸出決策的偽影評價器121的版 本。圖11B圖解說明圖10中所使用的偽影評價器140的配置。偽影評價器140接收 兩個輸入y及？，且另一選擇為，接收輸入x及來自度量控制器122的輸入參數(IP)。 可預先配置來自度量控制器122的偽影評價器140b的輸入參數(IP),即不需要來自 度量控制器122的直接輸入。如此以來，在圖11B中省略來自度量控制器122的輸入 參數。偽影評價器140將輸入x (如果接收到)及y引導到偽影度量產生器121中且 還將輸入x (如果接收到)及？引導到不同的偽影度量產生器121中。偽影度量產生 器121的結構顯示在圖8及圖9兩者中且上文已論述其功能，可使用任一功能。在圖
IIB中，上部偽影度量產生器121輸出MsET (X, )(雖然可替代使用MsET ( ))
且下部偽影評價器121輸出MSET (x， y)(雖然可替代使用MSET (y))。決策邏輯 143接收M犯t(x， ？)及MsET(x，y)且決定輸出y或？，或啟動線輸出RE以基於所 述兩個輸入度量組進行重新編碼。
圖12圖解說明圖11A中的決策邏輯(142塊)所使用的方法的流程圖。減法器 44減去ASNR度量輸入、ASNR (x,歹)及ASNR (x, y)，且將所得差發送到輸出 質量(144塊)。在輸出質量(144塊)內部，將所述差與零相比較(146)。如果所 述差大於O,那麼此意指(1) ASNR (x， ？) >ASNR (x,y)且輸出(148)是卜 及(2) ASNR (x, ) >可接受圖像及視頻質量閾值。如果所述差小於零，那麼(1) ASNR (x，y) >ASNR (x， ？)且輸出(150)是y;及(2) ASNR (x，y) >可接受圖 像及視頻質量閾值。如果啟用控制(CTRL)信號，那麼決策邏輯(142塊)的輸出(RE) 可指令圖像/視頻編碼器23對x進行重新編碼。此在ASNR (x，y)及ASNR (x，歹) 兩者小於可接受圖像及視頻質量閾值的情況下是可能的。使用輸出QA (x, y, )來更
新編碼器存儲器緩衝器(參見圖10)。可認識到，圖12的流程圖中所圖解說明的邏 輯可用於任何ASNR度量，不僅僅是DSNR度量。
圖13圖解說明圖11B中的決策邏輯143所使用的方法的流程圖。所述流程圖表 示任何偽影度量或偽影度量的變型的決策邏輯。舉例來說，A[l]可以是成塊，iMA[1] (x， ？)可以是DSNR (x，歹)。同樣，A[2]可以是模糊且Ma[2] (x, )可以是測量 的模糊的量的度量。同樣，MA[1] (x，y)可以是DSNR (x, y)且MA[2] (x, y)可以 是測量y的模糊的量的度量。MA[2] (x, y或？)可以是與Maw (x， y或？)相比去加 重成塊且如此以來更多加重模糊的DSNR的另一版本。MA[2] (x，y或？)也可以是測 量模糊的量的度量。
迸行Maw(x, )與成塊閾值之間的比較160以檢查經濾波的重構視頻塊(或幀) 中所存在的成塊的量。如果比較160為真(是)，那麼？滿足"可接受"所感知圖 像及視頻質量。迸行Mam (x， 7)與模糊閾值之間的進一步比較162以檢查？中所存 在的模糊的量。如果比較162為真(是)，那麼？對於模糊及成塊兩者來說滿足"可 接受"所感知圖像及視頻質量。所得瑜出Qa (x，y, 7)成為164 且編碼器存儲器緩 衝器(參見圖10)得以用？更新。
如果任一比較160或162為假(否)，那麼進行MAw (x，y)與模糊閾值之間的 比較166以檢查未經濾波的重構視頻塊(或幀)y中所存在的模糊的量。如果比較166 為真(是)，那麼y滿足"可接受"所感知圖像及視頻質量。迸行Map] (x, y)與模 糊閾值之間的進一步比較168以檢査y中所存在的模糊的量。如果比較168為真(是)， 那麼y對於模糊及成塊兩者來說滿足"可接受"所感知圖像及視頻質量。所得輸出QA
(x, y, )成為170 y，且所述編碼器存儲器緩衝器(參見圖10)得以用？更新。如 果任一比較166或168為假(否)，那麼線輸出RE變得現用(172)，且原始視頻塊
(或幀)x的重新編碼可發生。
圖14圖解說明偽影評價過程的流程圖。在偽影評價開始之後，度量_類別的選擇
(180)基於將產生什麼類型或版本的度量。原始x視頻塊或幀(如果一個可用)的載
入及可用經重構y或？視頻塊或幀的載入(182)發生。可用函數F及/或範數因數(NF) 來計算誤差(184)。可在編碼之前或期間(串行或並行)進行調節器[i] (186)。然 後，可執行調節器[i]與使用函數F及/或NF計算的誤差的結果的組合(188)。所得組 合導致兩個MsET度量結果，MSET (x, y)及MSET (x, )。可布置MSET (x, y)與 MSET (x， ？)中的每一成員(192)。基於Mset (x， y)成員與M犯t (x， ？)成員之 間的至少一個比較的邏輯決策(194)決定y與？中的哪一者具有更好的圖像及/或視 頻質量。基於所述決策(瑜出Qa (x,y， ？))，使用y與？中的更好一者來在編碼過 程期間更新編碼器環路內存儲器緩衝器。如果y或？的圖像及視頻質量均不可接受， 那麼決策邏輯(194塊)也可發出重新編碼信號RE。
已說明了多個不同實施例。所述技術可能夠通過藉助在編碼過程期間在環路內使 用偽影評價器改善圖像及視頻質量來改善視頻編碼。所述技術是符合標準的。所述技 術還可實施於硬體、軟體、固件或其任一組合中。如果實施於軟體中，那麼所述技術 可涉及一種包含計算機可讀程序代碼(還可稱為計算機代碼)的計算機可讀媒體，當 所述計算機可讀程序代碼在對視頻序列進行編碼的裝置中執行時會執行上文所提及的 一種或一種以上方法。
所述計算機可讀程序代碼可以計算機可讀指令的形式存儲在存儲器上。在所述情 況下，處理器(例如DSP)可執行存儲在存儲器中的指令以實施本文所說明的一種或 一種以上技術。在某些情況下，所述技術可由調用各種硬體組件(例如，運動估計器) 的DSP執行以加速編碼過程。在其它情況下，所述視頻編碼器可實施為微處理器、一 個或一個以上專用集成電路(ASIC)、 一個或一個以上現場可編程門陣列(FPGA) 或某些其它硬體-軟體組合。這些及其它實施例歸屬於以上權利要求書的範圍內。
權利要求
1、一種經配置以處理視頻塊的設備，其包含解碼器，其可操作以合成未經濾波的重構視頻單元，其中視頻單元是視頻塊及視頻幀中的至少一者；偽影濾波器，其可操作以接收所述未經濾波的重構視頻單元，且其產生經濾波的重構視頻單元，其中視頻單元是視頻視頻塊或幀中的至少一者；存儲器緩衝器，其可操作以存儲所述經濾波的重構視頻單元或所述未經濾波的重構視頻單元；及偽影評價器，其可操作以更新所述存儲器緩衝器。
2、 如權利要求1所述的設備，其中所述偽影評價器包含至少一個偽影度量產生 器及決策邏輯塊。
3、 如權利要求2所述的設備，其中所述至少一個偽影度量產生器中的任何偽影 度量產生器經配置以接收所述經濾波視頻單元或所述未經濾波的重構視頻單元。
4、 如權利要求3所述的設備，其中所述至少一個偽影度量產生器進一步經配置 以接收所述原始視頻單元。
5、 如權利要求4所述的設備，其中所述至少一個偽影度量產生器中的任何偽影 度量產生器包含產生非原始參考(NR)偽影度量或完全原始參考(FR)偽影度量。
6、 如權利要求5所述的設備，其中來自所述至少一個偽影度量產生器的第一偽 影度量產生器及來自所述至少一個偽影度量產生器的第二偽影度量產生器耦合到第一 決策邏輯塊或第二決策邏輯塊。
7、 如權利要求6所述的設備，其中所述第一決策邏輯塊經配置以接收所述經濾 波的重構視頻單元及所述未經濾波的重構視頻單元，且進一步經配置以將第一 NR偽 影度量與第二 NR偽影度量相比較或將第一 FR偽影度量與第二 FR偽影度量相比較， 且基於任一比較決定輸出所述經濾波的重構視頻單元或所述未經濾波的重構視頻單 元。
8、 如權利要求6所述的設備，其中所述第二決策邏輯塊經配置以接收所述經濾 波的重構視頻單元及所述未經濾波的重構視頻單元，且進一步經配置以將第一組NR 偽影度量與第一組NR偽影度量相比較或將第一組FR偽影度量與第二組FR偽影度量 相比較，且基於任一比較決定輸出所述經濾波的重構視頻單元或所述未經濾波的重構 視頻單元。
9、 如權利要求7所述的設備，其中所述輸出被發送到重放裝置、移動裝置或計 算機環路內的存儲器緩衝器。
10、 如權利要求8所述的設備，其中所述輸出被發送到重放裝置、移動裝置或計 算機環路內的存儲器緩衝器。
11、 一種偽影評價器裝置，其包含產生裝置，其用於從以下單元中產生至少一個偽影度量未經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及原始視頻單元，其中視頻單元是視 頻塊與幀中的至少一者；產生裝置，其用於從以下單元中產生至少一個偽影度量經濾波的重構視頻單元， 其中視頻單元是視頻塊與幀中的至少一者；及所述原始視頻單元； 比較裝置，其用於將第一偽影度量與第二偽影度量相比較；及 決定裝置，其用於基於所述比較裝置來決定輸出。
12、 如權利要求11所述的偽影評價器裝置，其中所述輸出耦合到圖像/視頻編碼 器的環路內存儲器緩衝器。
13、 如權利要求12所述的裝置，其中所述第一偽影度量及所述第二偽影度量是 非原始參考(NR)偽影度量或完全原始參考(FR)偽影度量。
14、 如權利要求13所述的裝置，其中所述輸出是所述經濾波的重構視頻單元或 所述未經濾波視頻單元。
15、 一種偽影評價器裝置，其包含產生裝置，其用於從以下單元中產生至少一個偽影度量未經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及原始視頻單元，其中視頻單元是視 頻塊與幀中的至少一者；產生裝置，其用於從以下單元中產生至少一個偽影度量經濾波的重構視頻單元， 其中視頻單元是視頻塊與幀中的至少一者；及所述原始視頻單元；第一比較裝置，其用於第一偽影度量與第一偽影閾值的第一比較； 第二比較裝置，其用於第二偽影度量與第二偽影閾值的第二比較； 第三比較裝置，其用於第三偽影度量與第三偽影閾值的第三比較； 第四比較裝置，其用於第四偽影度量與第四偽影閾值的第四比較；及 決定裝置，其用於基於所述比較裝置的各種組合來決定輸出。
16、 如權利要求15所述的偽影評價器裝置，其中所述輸出耦合到圖像/視頻編碼 器的環路內存儲器緩衝器。
17、 如權利要求16所述的裝置，其中所述第一、所述第二、所述第三或所述第 四偽影度量是非原始參考(NR)偽影度量或完全原始參考(FR)偽影度量。
18、 如權利要求17所述的裝置，其中所述輸出是所述經濾波的重構視頻單元或 所述未經濾波的重構視頻單元。
19、 一種計算機可讀媒體，其經配置以存儲一組指令，其中所述指令是可執行處 理視頻塊，所述計算機可讀媒體包含計算機可讀程序代碼裝置，其用於從以下單元中產生至少一個偽影度量未經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及原始視頻單元，其 中視頻單元是視頻塊與幀中的至少一者； 計算機可讀程序代碼裝置，其用於從以下單元中產生至少一個偽影度量經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及所述原始視頻單元； 計算機可讀程序代碼裝置，其用於將第一偽影度量與第二偽影度量相比較；計算機可讀程序代碼裝置，其用於基於所述比較裝置來決定所述輸出；及 計算機可讀程序代碼裝置，其用於用基於所述決定裝置的輸出更新環路內存儲器 緩衝器。
20、 如權利要求19所述的計算機可讀媒體，其中所述用於產生至少一個偽影度 量的裝置是非原始參考(NR)偽影度量或完全原始參考(FR)偽影度量。
21、 如權利要求20所述的計算機可讀媒體，其中所述用於決定用於更新環路內 存儲器緩衝器的裝置的裝置進一步包含用所述經濾波的重構視頻單元或所述未經濾波 的重構視頻單元更新所述存儲器緩衝器。
22、 一種計算機可讀媒體，其經配置以處理視頻塊，其包含計算機可讀程序代碼裝置，其用於從以下單元中產生至少一個偽影度量未經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及原始視頻單元，其中視頻單元是視頻塊與幀中的至少一者；計算機可讀程序代碼裝置，其用於從經濾波的重構視頻單元及所述原始視頻單元 中產生至少一個偽影度量；計算機可讀程序代碼裝置，其用於第一偽影度量與第一偽影閾值的第一比較； 計算機可讀程序代碼裝置，其用於第二偽影度量與第二偽影閾值的第二比較；計算機可讀程序代碼裝置，其用於第三偽影度量與第三偽影閾值的第三比較； 計算機可讀程序代碼裝置，其用於第四偽影度量與第四偽影閾值的第四比較； 計算機可讀程序代碼裝置，其用於基於所述用於比較的裝置的各種組合來決定所 述輸出；及計算機可讀程序代碼裝置，其用於用基於所述用於決定的裝置的所述輸出更新環 路內存儲器緩衝器。
23、 如權利要求22所述的計算機可讀媒體，其中所述用於產生至少一個偽影度 量的裝置是非(原始)參考(NR)偽影度量或完全(原始)參考(FR)偽影度量。
24、 如權利要求23所述的計算機可讀媒體，其中所述用於決定用於更新環路內 存儲器緩衝器的裝置的裝置進一步包含用所述經濾波的重構視頻單元或所述未經濾波 的重構視頻單元更新所述存儲器緩衝器。
25、 一種偽影評價方法，其包含輸入原始視頻單元，其中視頻單元是視頻塊與幀中的至少一者；輸入未經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者； 輸入經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者； 從所述原始視頻單元及所述未經濾波的重構視頻單元中產生至少一個偽影度量；及 從所述原始視頻單元及所述經濾波的重構視頻單元中產生至少一個偽影度量。
26、 如權利要求25所述的方法，其中從所述原始視頻單元及所述未經濾波的重 構視頻單元中產生的所述偽影度量中的任一者及從所述原始視頻單元及所述經濾波的重構視頻塊中產生的所述偽影度量中的任一者測量成塊或模糊的量。
27、 如權利要求26所述的方法，其進一步包含將從所述原始視頻單元及所述未經濾波的重構視頻單元中產生的所述偽影度量 中的任一者與從所述原始視頻單元及所述經濾波的重構視頻單元中產生的所述偽影度 量中的任一者相比較；基於所述比較決定輸出所述未經濾波的重構視頻單元還是所述經濾波的重構視頻塊；及如果需要，基於所述比較進行重新編碼。
28、 如權利要求27所述的方法，其進一步包含進行從所述原始視頻單元及所述未經濾波的重構視頻單元中產生的所述偽影度 量中的任一者與第一偽影閾值的第一比較；如果所述第一比較中所使用的所述偽影度量中的任一者小於所述第一偽影閾值， 那麼進行從所述原始視頻單元及所述未經濾波的重構視頻單元中產生的所述偽影度量中的任一者與第二偽影閾值的第二比較；如果所述第一比較中所使用的所述偽影度量中的任一者小於所述第一偽影閾值 且所述第二比較中所使用的所述偽影度量中的任一者小於所述第二偽影閾值，那麼進行從所述原始視頻單元及所述未經濾波的重構視頻單元中產生的所述偽影度量中的任 一者與第三偽影閾值的第三比較；如果所述第三比較中所使用的所述偽影度量中的任一者小於所述第三偽影閾值， 那麼進行從所述原始視頻單元及所述經濾波的重構視頻單元中產生的所述偽影度量中 的任一者與第四偽影閾值的第四比較；基於所述第一及第二比較來決定輸出所述經濾波的重構視頻單元；基於所述第三及第四比較來決定輸出所述未經濾波的重構視頻單元；及如果需要，基於所述第三或第四比較進行重新編碼。
29、 如權利要求27所述的方法，其中所述經濾波的重構視頻單元或所述未經濾 波的重構視頻單元存儲在正作為涉及紋理編碼器的編碼過程的部分在環路內使用的存 儲器緩衝器中。
30、 如權利要求29所述的方法，其中所述經濾波的重構視頻單元或所述未經濾 波的重構視頻單元存儲在正作為涉及紋理編碼器的編碼過程的部分在環路內使用的存 儲器緩衝器中。
31、 一種在圖像/視頻編碼器中的方法，其包含用偽影評價器的輸出更新存儲器緩衝器，其中在環路內使用所述偽影評價器；及 用作為所述偽影評價器的部分的決策邏輯塊作出決策，所述偽影評價器使用第一組偽影度量及第二組偽影度量來進行比較，且基於所述比較所述偽影評 價器輸出經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者；或未 經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者。
32、 如權利要求31所述的方法，其中所述存儲器緩衝器存儲所述經濾波的重構 視頻單元或所述未經濾波的重構視頻單元。
33、 如權利要求32所述的方法，其中所述第一組度量基於所述原始視頻單元及 所述未經濾波的重構視頻單元。
34、 如權利要求33所述的方法，其中所述第二組度量基於所述原始視頻單元及 所述經濾波的重構視頻單元。
35、 如權利要求32所述的方法，其中所述第一組度量基於所述未經濾波的重構 視頻單元。
36、 如權利要求33所述的方法，其中所述第二組度量基於所述經濾波的重構視 頻單元。
37、 一種測量偽影的方法，其包含通過以下偽影度量實施方案使用未經濾波的重構視頻單元，其中視頻單元是視 頻塊與幀中的至少一者；或經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者 formula see original document page 6y表示未經濾波的重構視頻單元或經濾波的重構視頻單元； PKS是像素的平方峰值；Ws是基於空間因素影響所述未經濾波的重構視頻單元的加權； Wp是基於感知因素影響所述未經濾波的重構視頻單元的加權； WT是基於時間因素影響所述未經濾波的重構視頻單元的加權；且F (y)是y的函數。
38、 如權利要求37所述的方法，其中如果F (y)是範數—因數(MSDS (y))， 那麼ASiV/ (y)是DSM (y);且範數_因數涉及取絕對值或平方。
39、 如權利要求38所述的方法，其中所述偽影的所述測量進一步包含通過值 Ws、 Wp或WT的組合加重或去加重成塊偽影。
40、 一種測量偽影的方法，其包含通過以下偽影度量實施方案結合原始視頻單元使用未經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者；或經濾波的重構視頻單元，其中視頻單元是視頻塊與幀中的至少一者formula see original document page 7，其中y表示未經濾波的重構視頻單元或經濾波的重構視頻單元；X表示所述原始視頻單元，其中視頻單元是視頻塊與幀中的至少一者；PKS是像素的平方峰值；Ws是基於空間因素影響所述經濾波的重構視頻單元的加權； Wp是基於感知因素影響所述經濾波的重構視頻單元的加權； WT是基於時間因素影響所述經濾波的重構視頻單元的加權；且 F (x，y)是x與y的函數。
41、 如權利要求40所述的方法，其中如果F (x，y)是MSDS—誤差(x， y)，那 麼ASMR (x，y)是DSNR (x,y);MSDS—誤差(x,y)=範數_因數(MSDS (x) -MSDS (y)); MSDS (x)是(x)的差異的均方斜率； MSDS (y)是(y)的差異的均方斜率；且 範數一因數涉及取絕對值或平方。
42、 如權利要求41所述的方法，其中所述偽影的所述測量進一步包含通過值Ws、Wp或WT的組合加重或去加重成塊偽影。
全文摘要
在採用偽影評價器的圖像/視頻編碼及解碼系統中，一種用以處理視頻塊的方法及/或設備包含解碼器，其可操作以合成未經濾波的重構視頻塊或幀；及偽影濾波器，其可操作以接收所述未經濾波的重構視頻塊或幀，所述偽影濾波器產生經濾波的重構視頻塊或幀。存儲器緩衝器可操作以存儲所述經濾波的重構視頻塊或幀或所述未經濾波的重構視頻塊或幀，且偽影評價器可操作以在評價並確定所述經濾波視頻塊或幀或所述未經濾波視頻塊或幀中的哪一者產生更好的圖像/視頻質量之後更新存儲器緩衝器。
文檔編號H04N7/26GK101390401SQ200780006957
公開日2009年3月18日 申請日期2007年3月1日 優先權日2006年3月1日
發明者哈立德·希勒米·厄勒-馬列, 張錢仲, 蘇海勒·賈利勒 申請人:高通股份有限公司