具有降低清晰度預測漂移的後處理的視頻解碼系統和方法
2023-05-31 23:20:11 2
專利名稱：具有降低清晰度預測漂移的後處理的視頻解碼系統和方法
技術領域：
本發明一般地涉及具有降低複雜度的系統的視頻解碼器，更具體地說，涉及用於降低因降低複雜度所引起的視頻清晰度的脈動的後處理系統和方法。
隨著對細節豐富的視頻處理應用的要求不斷提高，管理與這樣的應用相關聯的計算資源已經成為一個越來越大的難題。管理視頻資源的系統的一個例子是降低複雜度的解碼系統。在這種系統中，可以用在環路內的處理技術顯著地降低解碼器的複雜度。例如，設計得很好的離散餘弦變換(DCT)掩蔽可以簡化逆DCT(IDCT)過程，提供適度降低的視頻質量以及降低解碼的複雜度。
此外，嵌入的規模調整(resizing)，一種在解碼環路內引入縮放(scaling)功能的方案，通過降低解析度的IDCT和運動補償達到了降低複雜度和節約存儲器的效果。當前的降低複雜度系統可以使CPU周期減少百分之三十，同時對於大多數普通的場景序列又可提供令人滿意的視頻質量。
如所周知，降低複雜度的代價是在解碼環路內引入了解碼誤差。特別是，誤差將通過運動補償傳播，直到下個幀內編碼幀即「I」幀。結果，視頻質量通常在一個畫面組(GOP)內逐漸降低，導致預測漂移。
由於大多數情況下通常降低的是清晰度，因此典型的預測漂移就觀眾所看到的來說是視頻清晰度的脈動，即周期性地出現一些逐漸模糊的畫面後接著有一個清晰的畫面。雖然有些技術有助於減小預測漂移，諸如對那些有助於預測的畫面提供保護的與幀類型相關的處理，但是這些技術不能消除漂移問題。只要在預測通路內有誤差，就會有預測漂移。
因此，需要有各種改善的技術，以便更好地在複雜度降低解決解碼系統內的預測漂移。
本發明考慮了上面提到的這些問題和其他一些問題，提供了一種用於複雜度降低了的解碼器的後處理系統和方法，它們有意地使一個視頻序列內的一些畫面變模糊，以便在幀間實現平滑的質量過渡。在第一方面，本發明提供了一種圖像處理系統，這種圖像處理系統包括一個具有一個複雜度降低系統的解碼器；以及一個用於處理解碼器的輸出的後處理系統，所述後處理系統包括一個有意使一個畫面組(GOP)內的一組幀變模糊以便在幀間實現平滑的視覺過渡的濾波器。
在第二方面，本發明提供了一種用於在一個複雜度降低了的視頻序列內消除預測漂移的方法，這種方法包括下列步驟確定可用的後處理資源量；確定在視頻序列內按照可用資源能處理的幀數；在視頻序列內選擇一組要處理的幀；以及對該組所選幀進行濾波，其中所述濾波使該組所選幀變模糊，以便實現幀間平滑的視覺過渡。
在第三方面，本發明提供了一種用於在一個複雜度降低了的視頻序列內消除預測漂移的後處理系統，這種後處理系統包括一個控制器，用來接收可用的後處理資源量和確定視頻序列內按照可用資源能處理的幀數；一個幀選擇器，用來在視頻序列內選擇一組要處理的幀；以及一個濾波器，用來對該組幀進行濾波，其中所述濾波使所選幀變模糊，以實現幀間平滑的視覺過渡。
從以下結合附圖對本發明的各個方面的詳細說明中可以更為清楚地看到本發明的這些及其他一些特徵。在這些附圖中
圖1示出了按照本發明設計的複雜度可調的解碼器系統；圖2示出了按照本發明設計的具有後處理系統的MPEG解碼系統；以及圖3示出了按照本發明設計的幀清晰度方案。
現在來看這些附圖，圖1示出了能提供複雜度降低的MPEG解碼系統10。解碼系統10包括一個嵌入的複雜度調整系統12，它能減小對輸入比特流14解碼所需的計算複雜度。應該理解，解碼系統10隻是示範性的，也可以採用其他類型的基於DCT/運動估計的解碼系統(例如，H.26x系列的解碼器)和/或複雜度降低系統(例如，適度退化系統)。
如以上所指出的那樣，眾所周知，減小複雜度的代價是解碼環路內引入了解碼器誤差而導致預測漂移。本發明對這個問題的解決並不是試圖防止出現預測漂移，而是提供一個後處理系統，使得具有預測漂移的已解碼的序列對於觀眾主觀上看起來顯得好一些。
由於人類視覺系統對相鄰幀之間的視頻質量突變很敏感，一個模糊畫面與下一個清晰畫面之間的反差通常會引起比該模糊畫面本身更大的視覺煩擾。本發明通過有意地使緊接一個模糊畫面的一個或多個清晰畫面變模糊來解決這個問題，達到平滑的幀間和GOP間質量過渡。
參考圖2，所示的圖像處理系統21具有MPEG解碼器10和後處理系統20。後處理系統20包括一個接收來自MPEG解碼器10的幀和塊信息40和可用的後處理資源38的控制器24；一個接收來自MPEG解碼器10的視頻28和來自控制器24的數據的幀選擇器26；以及一個接收來自幀選擇器26的所選擇的幀32和來自控制器24的數據的低通濾波器22。後處理系統20的輸出是給顯示器的視頻序列36，它包括經低通濾波器22濾波的所選中的幀32和不經低通濾波器22的非選中的幀34。低通濾波器22從一些畫面中消除了一些高頻成分，以便有意使畫面變模糊。
控制器24具有兩個主要作用。第一，由於後處理系統20需要計算資源，控制器24負責將後處理系統20的計算複雜度保持在所分配的資源預算所允許的範圍內。也就是說，控制器24必須確定在一段給定的時間內能處理多少幀而不超過可用的後處理資源量38。一個達到這個目的的示範方法如下。假設低通濾波器22的濾波器複雜度與畫面尺寸「p」和濾波器長度「f」成正比，控制器24可以按下式計算出在資源預算「r」內它可以處理的幀數NN＝r/(p*f*k)，其中k為一個表示每個像素每個濾波器係數所需的計算資源的常數。因此(p*f*k)表示了對一個幀進行濾波所需的平均複雜度。
因此，例如，如果可用資源為1百萬周/秒，畫面尺寸為10,000個像素，濾波器長度為4，而k選為1；於是系統每秒可以處理25幀。一旦計算出來，控制器24就可以將這信息傳送給幀選擇器26和/或低通濾波器22。
除了確定要處理的幀數之外，控制器24還必須確定低通濾波器22的截止頻率。截止頻率應該選擇得低到足以使清晰畫面變模糊，但要高到足以不使已經由解碼處理變模糊的畫面更模糊。在一個示範的實施例中，截止頻率作如下選擇。
已經認識到，在帶有嵌入的規模調整的MPEG解碼中，清晰度損失的主要來源是由於根據解析度降低了的基準幀進行內插。基準圖像越清晰，內插所遭受的清晰度損失越大。此外，一個GOP內的基準幀越多，在這個GOP結束處的積累的清晰度損失也越大。因此，所希望的截止頻率C可以估計為C＝C0-(S*Nr)，其中C0為常數，S為GOP內第一個I幀的清晰度測度，而Nr為GOP內基準幀的幀數。因此，隨著第一個I幀的清晰度和/或基準幀的幀數的增大，截止頻率就越低。
為了實現上式，可以配置一個用來度量初始I幀的清晰度的系統。在一個示範實施例中，清晰度可以通過檢查一個DCT塊的非零係數來測量。例如，清晰度「S」可以包括覆蓋了一個DCT塊內各非零係數的最大「非零矩形」的平均長度和寬度。這種實現方式下面將結合圖3詳細進行說明。
圖3示出了一個示範性的8×8的DCT塊30，它包括一些零係數(白色的)和非零係數(黑色的)。可以覆蓋每個非零係數的最小矩形是一個6×8矩形31(以粗線示出)，即寬度W＝8，高度H＝6。假設幀內有1000個這樣的DCT塊，從而可以得到1000個「W」值和1000個「H」值(每個塊一個W值和一個H值)。然後，可以分別計算出這1000個W值的平均值(即，W′)和這1000個H值的平均值(即，H′)，從而得到這個幀的一個平均非零矩形(例如，W′＝7.32×H′＝6.04)。於是可以用這個平均非零矩形來度量這個幀的清晰度。因此，對於一個給定的幀，可以得到用來度量清晰度的每個方向的截止頻率(即，水平方向用W′，而垂直方向用H′)。類似，在濾波器設計階段，將一個濾波器設計成用水平截止頻率進行水平濾波而將一個濾波器設定成用垂直截止頻率進行垂直濾波。
注意，對於包括嵌入的規模調整的MPEG解碼，DCT塊將具有降低了的解析度(例如，降低為4×4)。在這種規模調整的情況下，清晰度S將包括在解析度降低了的DCT塊之內的平均非零矩形。
幀選擇器26選擇需要變模糊的N個幀。由於圖像清晰度通常在接近一個GOP的結束處降低，因此幀選擇器26可以設計成選擇一個GOP內的前N個幀。所選幀傳送給低通濾波器22，低通濾波器22將這些幀變模糊後轉發給顯示器36。未選擇的那些幀(即，未選幀34)從低通濾波器22旁路，不經濾波而直接顯示。
低通濾波器22可以用任何已知方式實現。例如，給定了所希望的截止頻率C，低通濾波器22可以動態地產生，也可以從一個預先計算好的查找表中得出。已知的一些濾波器設計方法，諸如三次樣條(cubicspline)和Kaiser窗設計，都可用來產生濾波器係數。低通濾波操作可以用一個包括通用媒體用的媒體處理器的硬體協處理器來執行。如果得不到這樣的協處理器，濾波可以用媒體處理器的CPU內核實現。可以理解，在這裡所說明的系統、功能、機制、方法和模塊可以用硬體、軟體或硬體和軟體的組合實現。它們可以由任何類型的計算機系統或其他適合於實現在這裡所說明的方法的設備來實現。一種典型的硬體和軟體的組合可以是一個配有電腦程式的通用計算機，這個電腦程式在裝入並執行時控制這個計算機系統使其執行在這裡所揭示的方法。或者，也可以使用一個含有實現本發明的一個或多個操作任務的專用硬體的專用計算機。本發明也可以體現為一種電腦程式產品，這種電腦程式產品包括使在這裡所揭示的方法和功能得以實現的所有功能部件，這種電腦程式產品在裝入一個計算機系統後能實現這些方法和功能。電腦程式、軟體程序、程序、程序產品或軟體在這裡意味著以任何語言、代碼或符號對一系列用來使一個具有信息處理能力的系統直接或者在(a)變換為另一種語言、代碼或符號和/或(b)以不同的物質形式再現後執行的指令的任何表示。
以上對本發明的優選實施例的說明的目的是用來例示和說明本發明。這些實施例並不是窮舉性的或要將本發明局限於就是所揭示的確切的形式，根據以上原理顯然許多變型都是可行的。對於熟悉該技術的人員來說是顯而易見的這樣一些變型，都應列入如所附權利要求書所給出的本發明的專利保護範圍。
權利要求
1.一種圖像處理系統，所述圖像處理系統包括一個具有一個複雜度降低系統的解碼器；以及一個用於處理解碼器的輸出的後處理系統，所述後處理系統包括一個有意使一個畫面組(GOP)內的一組幀變模糊以便在幀間實現平滑的視覺過渡的濾波器。
2.權利要求1的圖像處理系統，其中所述複雜度降低系統包括一個適度的退化系統。
3.權利要求1的圖像處理系統，其中所述複雜度降低系統包括一個嵌入的規模調整系統。
4.權利要求1的圖像處理系統，其中所述後處理系統還包括一個控制器，用來將後處理系統的複雜度保持在資源預算的範圍內和用於計算濾波器的截止頻率；以及一個幀選擇器，用來選擇GOP內的該組要由濾波器變模糊的幀。
5.權利要求4的圖像處理系統，其中所述控制器按照下式計算出對於給定的資源限制r所能處理的幀數NN＝r/(p*f*k)其中p為畫面尺寸，f為濾波器長度，而k為一個表示每個像素每個過濾係數所需的計算資源的常數。
6.權利要求4的圖像處理系統，其中所述控制器用式C＝C0-(S*Nr)估計截止頻率C，其中C0為常數，S為該GOP內第一I幀的清晰度測度，而Nr為該GOP內基準幀的幀數。
7.權利要求5的圖像處理系統，其中所述幀選擇器所選的要被變模糊的該組幀包括該GOP內前N個幀。
8.權利要求4的圖像處理系統，其中所述濾波器是動態產生的。
9.權利要求4的圖像處理系統，其中所述濾波器包括一個預先計算好的查找表。
10.一種用於在一個複雜度降低了的視頻序列內消除預測漂移的方法，所述方法包括下列步驟確定可用的後處理資源量；確定視頻序列內按照可用資源能處理的幀數；在視頻序列內選擇一組要處理的幀；以及對該組所選幀進行濾波，其中所述濾波使該組幀變模糊，以便實現幀間平滑的視覺過渡。
11.權利要求10的方法，所述方法還包括在濾波操作前計算用於視頻序列的濾波器的截止頻率的步驟。
12.權利要求11的方法，其中截止頻率C用式C＝C0-(S*Nr)計算，其中C0為常數，S為該GOP內第一I幀的清晰度測度，而Nr為GOP內基準幀的幀數。
13.權利要求12的方法，其中所述清晰度S是根據在該GOP內第一I幀的多個DCT塊中的每個DCT塊內的非零離散餘弦變換(DCT)係數的安排計算的。
14.權利要求10的方法，其中在給定資源限制r下能處理的視頻幀的幀數N按下式計算N＝r/(p*f*k)其中p為畫面尺寸，f為濾波器長度，而k為一個表示每個像素每個濾波器係數所需的計算資源的常數。
15.權利要求14的方法，其中所述被選擇來要變模糊的幀包括視頻序列內的前N個幀。
16.一種用於在一個複雜度降低了的視頻序列內消除預測漂移的後處理系統，所述後處理系統包括一個控制器，用來接收可用的後處理資源量和確定視頻序列內按照可用資源能處理的幀數；一個幀選擇器，用來在視頻序列內選擇一組要處理的幀；以及一個濾波器，用來對該組幀進行濾波，其中所述濾波使該組幀變模糊，以實現幀間平滑的視覺過渡。
17.權利要求16的後處理系統，其中所述控制器計算用於視頻序列的濾波器的截止頻率。
18.權利要求17的後處理系統，其中所述截止頻率C用式C＝C0-(S*Nr)計算，其中C0為常數，S為該GOP內第一I幀的清晰度測度，而Nr為該GOP內基準幀的幀數。
19.權利要求18的後處理系統，其中所述清晰度S是根據在該GOP內第一I幀的多個DCT塊中的每個DCT塊內的非零離散餘弦變換(DCT)係數的安排計算的。
20.權利要求16的後處理系統，其中在給定資源限制r下能處理的視頻幀的幀數N按式N＝r/(p*f*k)計算，其中p為畫面尺寸，f為濾波器長度，而k為一個表示每個像素每個濾波器係數所需的計算資源的常數。
21.權利要求20的後處理系統，其中被所述幀選擇器所選擇來要變模糊的幀包括視頻序列內的前N個幀。
全文摘要
一種圖像處理系統，該系統包括一個具有一個複雜度降低系統的解碼器；以及一個處理解碼器的輸出的後處理系統，其中所述後處理系統包括一個有意使一個畫面組(GOP)內的一些幀變模糊以實現幀間平滑的視覺過渡的濾波器。
文檔編號H04N7/26GK1659886SQ03812894
公開日2005年8月24日 申請日期2003年5月19日 優先權日2002年6月4日
發明者Z·尊, Y·陳 申請人:皇家飛利浦電子股份有限公司