根據先前的圖像增強來增強視頻圖像的製作方法
2023-10-10 13:04:24 2
專利名稱：根據先前的圖像增強來增強視頻圖像的製作方法
技術領域：
本發明涉及視頻圖像處理領域，更具體地涉及增強視頻流的後續圖像，在所述視頻流中使用預測和運動估計來根據前幀編碼幀。
背景技術：
本領域技術人員可以參閱描述增強視頻圖像的US6259472和US5862254。在此全文引入以供參考。
發明內容
本發明中，一種包含基於已編碼幀的視頻信息的視頻流被接收。該視頻流包括已編碼第一幀和已編碼第二幀。第二幀的編碼依賴第一幀的編碼。更具體地，第二幀的編碼包括指示第二幀區域與第一幀對應區域之間的位置差異的運動向量，該運動向量定義第二幀區域與第一幀區域之間的對應關係。
第一幀被解碼，並且使用基於區域的分析確定已解碼第一幀的視頻增強的再映射策略。已解碼第一幀的區域根據為第一幀所確定的視頻增強再映射策略被再映射，以便增強第一幀。
第二幀的運動向量從視頻流中被恢復，並且第二幀被解碼。隨後使用第一幀區域的基於區域的視頻增強再映射策略來再映射對應於第一幀區域的第二幀區域，以便增強第二幀。
對後續幀再用前幀的視頻增強再映射策略極大地降低了提供視頻增強所要求的處理。
本發明的另一方面中，依賴第二幀區域與第一幀對應區域之間的相似性是否滿足相似性準則來選擇第二幀的一個或多個區域。根據第一幀的基於區域的視頻增強再映射策略的第二幀區域的再映射僅對第二幀的所選擇區域執行。
將前幀的視頻增強再映射策略的再用僅限定在與前幀充分相似的後續幀的區域，這增加了後續幀被增強的可能性。
一種使用本發明解碼器的機頂盒在最小附加硬體成本情況下提供增強的視頻圖像。在視頻盤播放機上使用本發明的解碼器可在相同視覺質量情況下允許視頻盤上圖像組的更高壓縮比。使用本發明解碼器的電視機能夠播放更高質量的視頻圖像，或者能夠使用更高壓縮比的視頻信號同時提供與低壓縮比信號相同的質量。
從以下參考附圖的詳細說明，本發明的附加方面和優點對本領域技術人員來說將變得顯而易見。
圖1說明本發明的基於區域增強後續視頻圖像的示例方法。
圖2示出本發明的用於提供基於區域增強的後續視頻圖像的示例解碼器的部分。
圖3示出使用圖2解碼器的示例機頂盒的部分。
圖4說明使用圖2解碼器的示例DVD播放器的部分。
圖5示出使用圖2解碼器的示例電視機的部分。
在下面的
中，不同圖中的相同的標號指示相似的設備。方便起見，此類設備將只關於它們最先出現的圖進行詳述。
具體實施例方式
圖1示出本發明方法的特定實施例100。在102，視頻流被接收。該流包括圖像組(GOP)的編碼信息，GOP中的第一圖像為幀內編碼幀(I幀)，並且GOP中的後續幀為非I幀。後續非I幀的解碼依賴I幀的編碼。視頻流可為例如數據包的MPEG II流，此情況下非I幀可為例如預測幀(P幀)和/或雙向幀(B幀)。但是，其它任何類型的基於GOP的視頻流，只要其包括根據前幀編碼的後續幀，都可被使用。在104，I幀被解碼。I幀的解碼是本領域內眾所周知的。
在106，用於再映射亮度值以便調整對比度的再映射策略被確定，用以增強已解碼I幀。再映射策略可使用基於區域的亮度分析。使用此分析為已解碼幀的區域確定再映射策略的方法是眾所周知的，本領域的技術人員可參考公開此亮度值再映射的US6259472和US5862254。在108，已解碼I幀的亮度值根據所確定的再映射策略而被再映射。
在108，如本領域內眾所周知的，後續非I幀的運動向量從視頻流中被恢復。通常，運動向量為I幀區域與依賴該I幀編碼的非I幀的對應區域之間的位置差異。區域可以是相似亮度的區域或相似紋理的區域，或者幀之間的任何其它預定義的相似性可被用來定義區域。
在110，如本領域內眾所周知的，後續非I幀的DC係數從視頻流中被恢復。通常，DC係數為運動估計之後I幀的圖像塊的值與非I幀的對應圖像塊的預定值之間的差異。運動估計通常為依賴解碼期間運動向量的區域的再映射。
在112，非I幀區域中的亮度值依賴I幀對應區域的再映射策略而被再映射，以便調整對比度來增強該非I幀。區域之間的對應關係根據運動向量而被確定。
如果後續非I幀的區域更相似於I幀(其為解碼該非I幀所依賴的I幀)的對應區域，則使用為再映射對應的I幀區域的亮度值而開發的再映射策略來再映射該非I幀區域的亮度值更可能增強該非I幀。另一方面，如果非I幀區域顯著不同於I幀的對應區域，則使用I幀對應區域的亮度值的再映射策略來再映射非I幀區域的亮度值就不大可能增強該非I幀，並且實際上甚至可能降低該非I幀的質量。
使用用於再映射I幀的策略為已增強對比度來再映射後續幀極大地降低了對比度增強所要求的開銷。通常用於改進I幀質量的任何基於區域的視頻處理都能夠以類似方式被應用到後續非I幀的對應區域。
非I幀的亮度值的再映射還依賴於該非I幀的區域塊的DC係數，該非I幀的解碼依賴此DC係數。通常，區域的DC係數的較小值指示在運動補償後該區域很可能相似於I幀中的對應區域。因此，當其確定的DC係數相對較高時，則I幀的亮度值的再映射策略不被用來再映射非I幀的亮度值。這可以通過使用可以是預定常值或為每個區域計算的可變值的DC係數閥值，並且接著僅當DC係數值低於閥值時才使用I幀的再映射策略來再映射區域的亮度值來確定。本領域的技術人員能夠輕鬆地確定幀中區域的標準預定DC係數閥值、或一種計算幀中每個區域DC係數閥值的方法，其可以被用來增強所述幀。有用的DC係數閥值可以例如通過比較在其中應用了不同閥值或閥值算法的幀的簡單試算和誤差處理而被確定。
此外，非I幀的亮度值的再映射還可能依賴於運動向量的特性。如前面討論的，運動向量被用來在一個被稱為運動補償的過程中識別對應於I幀區域的後續非I幀的區域。但是，除了它們在運動補償中的應用，運動向量的特性還被用來確定非I幀區域相似於I幀對應區域的可能性。
每個運動向量具有一個數值和一個方向。相鄰區域的運動向量之間的關係包括數值差異和被稱為正交性的方向差異。通常，對於非I幀，一個區域的運動向量的較小數值、區域及其相鄰區域運動向量數值之間小的差異、以及區域及其相鄰區域運動向量方向之間的小的差異中的每一種都指示該區域更可能相似於對應的I幀區域。
通常，一個非I幀區域的運動向量的較小值指示這一區域可能更相似於其解碼所依賴的I幀中的對應區域。當確定運動向量值相對較高時，則I幀的亮度值的再映射策略不被用來再映射非I幀的亮度值。這可以通過使用運動向量值的閥值來確定，該閥值可以是預定常值或為每個區域計算的可變值。因此，I幀的再映射策略僅被用來再映射那些其相應運動向量值低於該閥值的區域的亮度值。再次，本領域的技術人員能夠輕鬆地確定可被用來增強所述非I幀的、非I幀中區域的標準預定運動向量值閥值或一種計算非I幀中區域的運動向量值閥值的方法。有用的運動向量值閥值可以例如通過比較在其中應用了不同閥值或閥值計算方法的非I幀的簡單試算和誤差處理而被確定。
同樣，非I幀的區域與其在該非I幀中的相鄰區域之間的運動向量值的一致性指示該區域更可能相似於解碼該非I幀所依賴的I幀中的對應區域。當確定相鄰區域的運動向量與本區域的運動向量值顯著不一致或者不相似時，則I幀的亮度值的再映射策略不被用來再映射非I幀的亮度值。這一確定能夠例如通過確定這些區域運動向量值與相鄰區域運動向量值之間的平均差異，並且隨後比較該數值平均差異與數值一致性閥值來完成。數值一致性閥值可以是預定常值或為每個區域計算的可變值。因此，只有當運動向量值的平均差異低於數值一致性閥值時，I幀的再映射策略被用來再映射區域的亮度值。類似地，數值差異的平方、或數值差異的其它組合、或其它眾所周知的統計方法都能被用來確定數值一致性。再次，本領域的技術人員能夠輕鬆地確定可被用來增強所述非I幀的、幀中區域的標準預定數值一致性閥值或一種計算非I幀中區域的數值一致性閥值的方法。有用的數值一致性閥值可以例如通過比較在其中應用了不同相應數值一致性閥值或閥值計算方法的不同非I幀的簡單試算和誤差處理而被確定。
同樣，非I幀中的一個區域與其相鄰區域之間的運動向量方向的一致性指示該非I幀區域更可能相似於其解碼所依賴的I幀中的對應區域。當確定相鄰區域的運動向量方向與本區域的運動向量方向顯著不一致或不相似時，則用於該區域的I幀區域的亮度值的再映射策略不被用來再映射非I幀區域的亮度值。這可以例如通過確定這些區域的運動向量方向與相鄰區域運動向量方向之間的平均差異，並且隨後比較這些方向平均差異與方向一致性閥值而被確定。方向一致性閥值可以是預定常值或為每個區域計算的可變值。因此，只有當運動向量的值中的平均差異低於方向一致性閥值時，I幀的再映射策略被用來再映射該區域的亮度值。類似地，方向差異的平方、或方向差異的其它組合、或其它眾所周知的統計方法都能被使用。再次，本領域的技術人員能夠輕鬆地確定可被用來增強所述非I幀的、方向一致性閥值的預定值或一種為幀中每個區域計算此閥值的方法。有用的方向一致性閥值或計算此閥值的方法能夠例如通過比較在其中應用了不同閥值或閥值計算方法的幀的簡單試算和誤差處理而被輕鬆地確定。
多種相似性指示可被用來確定是否將I幀的再映射策略應用到依賴該I幀而被解碼的後續非I幀。本領域的技術人員將了解如何開發結合多種相似性指示的功能來確定是否將I幀的再映射策略應用到非I幀。例如，只有當所有的相似性指示都滿足相應的閥值要求時，他們才可以使用I幀的對比度再映射策略。換句話說或此外，他們可以確定相似性指示與它們的相應閥值之間的差異或相對差異，並且僅在該差異或相對差異(或差異或相對差異的平方)的總和低於另一個閥值時將I幀的對比度再映射策略應用到非I幀。
本領域的技術人員將了解如何將這一過程應用到像依賴於前非I幀解碼的後續非I幀這樣的幀之間更複雜的相關性，前非I幀的解碼依賴於I幀。例如，他們僅可以將I幀的對比度增強再映射策略應用到此類後續非I幀。換句話說，例如，他們能夠為前非I幀開發可被應用到後續非I幀的第二種對比度增強再映射策略。
非I幀的解碼可能依賴於多個其它幀。本領域技術人員將了解如何開發一種將多個幀的對比度增強再映射策略應用到非I幀的功能。
圖2說明本發明的視頻解碼器120的基本部件。
包括圖像組(GOP)的數據包的視頻流在輸入端122被接收，該GOP中的第一圖像為I幀並且GOP中後續圖像為非I幀。如上所述視頻流可為MPEG流。
解碼單元124解碼GOP的幀。該解碼單元將已解碼I幀提供給緩衝器126、處理單元128。
處理器128使用基於區域的亮度分析來確定一種策略而再映射亮度值，以便改變對比度從而增強I幀圖像，並且處理器使用該再映射策略來再映射緩衝器126中I幀的亮度值。隨後，緩衝器將對比度增強的I幀經求和單元130傳給輸出端132。
解碼單元為GOP的後續非I幀恢復DC係數和運動向量，並且將它們應用到緩衝器126和處理器128。處理器128根據運動向量再映射初始I幀和對比度已增強的I幀。
解碼單元將I幀與後續非I幀之間的解碼差異提供給求和單元130。依賴一種選擇準則，對每個區域，緩衝器126將運動向量再映射的I幀或運動向量再映射的對比度已增強I幀提供給求和單元130。求和單元將解碼差異與再映射增強I幀結合在一起來產生已解碼的後續非I幀。
這個特殊例子中對區域的選擇準則如下DC＜T1；並且MVV＜T2；並且MVS＜T3；並且MVO＜T4；並且a1(DC-T1)2+a2(MVV-T2)2+a3(MVS-T3)2+a4(MVO-T4)2＜T5其中，DC為區域的DC係數值；MVV為區域運動向量值；MVS為運動向量值與該區域之上、之下區域以及每一側的區域的運動向量值之間的平均差異；以及MVO為該區域的運動向量同與其毗連的區域的運動向量之間的正交性；T1-T5為預定閥值；以及a1-a4為常數。常數和閥值根據觀察者的比較結果而以統計方式選擇，用以持續地增強結果圖像。
圖3示出本發明的機頂盒140。調諧器142從輸入端144處提供的多個不同視頻節目的多個流中選擇一個視頻節目的視頻流。圖2中的視頻解碼器120解碼該視頻節目，並且將解碼的節目提供給輸出端146，後者能夠指向例如電視機的視頻顯示器。
圖4說明本發明的DVD播放器150。該視頻播放器具有用於旋轉視頻盤154的電機152。雷射器156產生射線束158。伺服系統160控制光學系統162的位置，以便以射線束的聚焦光點掃描視頻盤的信息層。信息層影響該射線束，並且將該射線束反射或傳輸到射線探測器164，以便在該射線被信息層影響後對其進行探測。處理器166控制伺服系統和電機，並且根據所述探測來產生包括圖像組(GOP)的已編碼信息的視頻流。隨後，圖中的視頻解碼器解碼該視頻流並且將該已解碼視頻流提供到輸出端168，以連接顯示器。
處理器166可以與圖2解碼器中的處理器128相同，或者可以為如圖示所提供的一種附加處理器。
圖5示出本發明的電視機200。調諧器142從提供到輸入端144的相應視頻節目的多個視頻流中選擇一個待播放的視頻節目的視頻流。圖2的解碼器120解碼所選擇的視頻節目，並且將其提供給顯示器206。電視機可以具有圖4的DVD播放器部件，以便使用該DVD部件播放所存儲的視頻節目(或錄製的節目)。
以上僅關於特殊示例性實施例對本發明進行描述。本領域的技術人員將了解如何在本發明的範圍內修改這些示例性實施例。本發明的範圍僅由附加的權利要求限制。
權利要求
1.一種方法，其包括接收包含基於已編碼幀的視頻信息的的視頻流，其包括已編碼第一幀和已編碼第二幀，第二幀的編碼依賴第一幀的編碼，第二幀的編碼包括指示第二幀的區域與第一幀對應區域之間的位置差異的運動向量，該運動向量定義第二幀的區域與第一幀對應區域之間的對應關係；解碼第一幀；使用基於區域的分析為已解碼第一幀的視頻增強確定一種再映射策略；根據已確定的第一幀的視頻增強再映射策略來再映射已解碼第一幀的區域，以便增強該第一幀；從視頻流中恢復第二幀的運動向量；解碼第二幀；使用第一幀的視頻增強再映射策略來再映射對應於第一幀區域的第二幀區域，以便增強第二幀。
2.根據權利要求1的方法，其中第一幀為I幀，並且第二幀為後續的非I幀。
3.根據權利要求2的方法，其中視頻流為數據包的MPEG流；以及非I幀為P幀或B幀。
4.根據權利要求1的方法，其中第一幀的視頻增強再映射策略包括再映射亮度值，以便調整對比度來增強第一幀。
5.根據權利要求1的方法，其中使用重建環來執行第二幀的解碼；以及第二幀的視頻增強再映射完全在重建環中完成，由此運動向量不必被存儲。
6.根據權利要求1的方法，其中該方法還包括根據第二幀的區域與第一幀的對應區域之間的相似性是否滿足相似性準則來選擇第二幀的一個或多個區域，該相似性準則包括第一幀與第二幀的區域之間的對應關係之外的相似性測量；以及僅對第二幀的被選擇區域執行根據第一幀的視頻增強再映射策略而對第二幀的區域進行的再映射。
7.根據權利要求1的方法，其中該方法還包括從視頻流中恢復第二幀的DC係數值，DC係數值是運動補償之後在圖像塊的預定值中的第一幀和第二幀之間的差異，運動補償是依賴解碼期間的運動向量而進行的區域再映射；以及該方法還包括根據區域的DC係數值是否滿足相似準則來選擇第二幀的區域；以及僅對第二幀的所選擇區域執行根據第一幀的視頻增強再映射策略而對第二幀的區域進行的再映射。
8.根據權利要求7的方法，其中根據第一幀的視頻增強再映射策略來再映射的第二幀的區域的選擇依賴於第二幀的區域的塊的DC係數值與預定或計算的DC係數閥值之間的關係；
9.根據權利要求1的方法，其中該方法還包括根據區域的運動向量的相應值來選擇第二幀的區域；以及僅對第二幀的所選擇區域執行根據第一幀的視頻增強再映射策略而對第二幀的區域進行的再映射。
10.根據權利要求1的方法，其中該方法還包括根據區域是否滿足基於區域的運動向量特性與相應區域的相鄰區域的運動向量特性之間的相似性的相似準則來選擇第二幀的區域；以及僅對第二幀的所選擇區域執行根據第一幀的視頻增強再映射策略而對第二幀的區域所進行的再映射。
11.根據權利要求10的方法，其中滿足相似性準則所依賴的運動向量特性包括區域的運動向量值與其相鄰區域運動向量之間的相似性。
12.根據權利要求10的方法，其中滿足相似性準則所依賴的運動向量特性包括區域運動向量值與其相鄰區域運動向量之間的正交性。
13.根據權利要求1的方法，其中第一幀為I幀，並且第二幀為後續的非I幀；視頻流為數據包的MPEG流，並且非I幀為P幀或B幀；第一幀的視頻增強再映射策略包括再映射亮度值，以便調整對比度來增強第一幀；該方法還包括根據第二幀的區域與第一幀的對應區域之間的相似性是否滿足相似性準則來選擇第二幀的一個或多個區域，僅對第二幀的所選擇區域執行根據第一幀的視頻增強再映射策略而對第二幀的區域所進行的再映射；該方法還包括從視頻流中恢復第二幀的DC係數值，DC係數值是運動補償之後在圖像塊的預定值中的第一幀和第二幀之間的差異，運動補償是根據解碼期間的運動向量而進行的區域再映射；並且相似性準則的滿足依賴於DC係數值；相似性準則的滿足依賴於區域同相應區域的相鄰區域的運動向量的特性的比較；滿足相似性準則所依賴的運動向量特性包括區域的運動向量值與其相鄰區域運動向量之間的相似性；滿足相似性準則所依賴的運動向量特性包括區域的運動向量值與相鄰區域運動向量之間的正交性。
14.一種視頻解碼器，其包括輸入端，用於接收包含基於已編碼幀的視頻信息的、包括已編碼第一幀和已編碼第二幀的視頻流，第二幀的編碼依賴於第一幀的編碼，第二幀的編碼包括指示第二幀的區域與第一幀對應區域之間位置差異的運動向量，該運動向量限定了第二幀的區域與第一幀對應區域之間的對應關係；解碼單元，用於解碼所述幀，該解碼單元為第二幀恢復運動向量；處理裝置，用於使用一種基於區域的分析來確定已解碼第一幀的視頻增強再映射策略，並且用於使用該再映射策略來再映射第一幀，並且用於根據第一幀對應區域的再映射策略來再映射第二幀的一個或多個區域。
15.根據權利要求14的解碼器，其中解碼器還包括緩衝器；解碼單元解碼第一幀並且將第一幀存儲到緩衝器中；處理裝置根據視頻增強再映射策略來再映射所存儲的第一幀，並且傳送已增強的第一幀；解碼器還包括組合器；解碼單元解碼第二幀以確定第一幀與第二幀之間的差異，並且將該差異傳送給組合器；處理器再次根據第二幀的運動向量來再映射第一幀的亮度值，並且將再次再映射的第一幀傳送到組合器；組合器將再次再映射的第一幀同第一幀與第二幀之間的差異進行組合以產生增強後的已解碼第二幀。
16.根據權利要求14的解碼器，其中處理裝置根據第二幀的區域與第一幀的對應區域之間的相似性是否滿足相似性準則來選擇第二幀的一個或多個區域；以及處理裝置根據第一幀的視頻增強再映射策略僅對第二幀的所選擇區域進行第二幀的區域的再映射。
17.根據權利要求14的解碼器，其中處理裝置操縱解碼單元。
18.一種機頂盒，其包括調諧器，用於從多個視頻節目的多個視頻流中選擇一個待播放的視頻節目的視頻流；根據權利要求14的視頻解碼器，用於解碼所選擇的視頻流；以及輸出端，用於將解碼的節目提供到視頻顯示器。
19.一種視頻盤播放器，其包括電機，用於旋轉該盤；雷射器，用於產生射線束；光學系統，用於使用射線束掃描視頻盤的信息層，該信息層影響射線束；伺服系統，用於定位光學系統；射線探測器，用於在射線束被信息層影響後對其進行探測；處理器裝置，控制伺服系統和電機，並且根據所述探測來產生包括圖像組(GOP)的編碼信息的視頻流；以及根據權利要求13的視頻解碼器。
20.一種電視機，其包括調諧器，用於從多個視頻節目的多個視頻流中選擇一個待播放的視頻節目的視頻流；根據權利要求14的解碼器，用於解碼所選擇的視頻流；以及視頻顯示器，用於顯示所選擇的視頻節目的已解碼幀。
21.一種方法，包括接收包含圖像組(GOP)的已編碼信息的視頻流，GOP中的第一圖像為I幀，並且GOP中的後續圖像為非I幀；解碼I幀；使用基於區域的亮度分析來確定亮度值的再映射策略，以便改變對比度來增強已解碼I幀；根據所確定的再映射策略來再映射已解碼I幀的亮度值；從視頻流中恢復後續的非I幀的運動向量，該運動向量為I幀區域與非I幀對應區域的位置差異；解碼後續的非I幀；確定對應區域之間的相似性是否滿足相似性準則；根據非I幀的區域與I幀的對應區域之間的相似性是否滿足相似性準則來選擇非I幀的一個或多個區域；根據I幀的對應區域的再映射策略來再映射非I幀的所選擇區域的亮度值，以便改變對比度來增強非I幀。
全文摘要
包含基於已編碼幀的視頻信息的視頻流包括第一幀和第二幀。第二幀的編碼依賴於第一幀的編碼。編碼包括指示第二幀的區域與第一幀對應區域之間的位置差異的運動向量，該運動向量限定了第二幀區域與第一幀區域之間的對應關係。第一幀被解碼，並且使用基於區域的分析來確定已解碼第一幀的視頻增強再映射策略。根據所確定的第一幀的視頻增強再映射策略來再映射已解碼第一幀的區域，以便增強第一幀。第二幀的運動向量被從視頻流中恢復，並且第二幀被解碼。
文檔編號G06T5/00GK1729482SQ200380107115
公開日2006年2月1日 申請日期2003年12月12日 優先權日2002年12月20日
發明者R·C·-T·沈 申請人:皇家飛利浦電子股份有限公司