用於幀間編碼序列的差錯消隱技術的製作方法

2023-09-22 20:24:55

專利名稱:用於幀間編碼序列的差錯消隱技術的製作方法
技術領域：
本發明涉及一種對編碼圖像中的差錯進行消隱的技術。
背景技術：
在許多例子中，視頻流經過壓縮(編碼)以便於存儲和傳輸。目前存在多種編碼方案，包括諸如被提議的ISO/ITU H.2.64編碼技術這樣的基於塊的方案。這種編碼視頻流常常因為信道差錯和/或網絡擁塞而在傳輸期間發生數據丟失或變得損壞。在解碼時，數據的丟失/損壞自我表示為產生圖像偽像(artifact)的缺失/損壞像素值。要減少這類偽像，解碼器將通過根據同一圖像的其他宏塊(macroblock)或根據其他圖像來估值，以「消隱」這類缺失/損壞像素值。短語「差錯消隱」(error concealment)有點用詞不當，因為解碼器實際上未將缺失/損壞像素值隱藏。
空間消隱依靠空間域中臨近區域間的相似性試圖根據同一圖像中其他區域的像素值來得到(估計)缺失/損壞像素值。時間消隱試圖從具有時間冗餘的其他圖像得到缺失/損壞像素值。通常，差錯消隱後的圖像將接近原始圖像。然而，利用差錯消隱後的圖像作為參考將傳播差錯。現代實時應用對差錯消隱有兩條硬性約束·時間約束(time constraint)，將消隱的計算限於一時間窗口，該時間窗口限定了差錯檢測與損壞幀的顯示之間的間隔；以及·因果約束(causal constraint)，迫使基於先前所傳輸的信息對圖像進行消隱，而不管與消隱潛在相關的位流中的輸入信息。
兩條約束都嚴重限制了消隱算法的性能並增加了差錯傳播。
差錯傳播的問題取決於將消隱後圖像用於顯示還是後續參考而不同。當消隱後的圖像是可顯示的圖像且不被用作參考時，消隱的不精確決不損害其他幀間編碼(inter-coded)圖像的質量。然而，對結果的需求是實時的。當消隱後的圖像被用作參考圖像時，差錯常常因為它們的時間暫留(time persistence)而傳播並變得可見。然而，實時約束將不會限制與從消隱後圖像得到參考圖像相關的算法的複雜性。減少差錯傳播通常被稱為容錯問題。以編碼效率和增加時延為代價，最普通的容錯技術要求在傳輸流中包含冗餘位並利用反饋信道來重發丟失或損壞的分組。
對於不支持時間和因果約束的應用，為了在解碼器處校正傳輸差錯，差錯消隱算法變得必要。在這種環境下，差錯傳播將取決於對參考圖像進行消隱的質量。迄今為止，防止差錯傳播需要避免使用先前所消隱的塊作為參考。然而，取決於損壞圖像將充當參考還是僅需用於顯示，這種技術未解決差錯傳播的問題。
因此，需要一種提高差錯消隱質量同時克服上述缺點的技術。

發明內容簡要的，根據本發明的優選實施例，提供了一種用於對編碼圖像中的差錯進行消隱的方法。所述方法由首先識別所述編碼圖像是否具有差錯開始。如果是的話，則利用用於顯示的第一消隱技術對所述圖像進行消隱。對被識別為具有差錯的所述圖像進行判定，以確定該圖像是否將充當參考圖像。如果是的話，則利用第二消隱技術對所述圖像進行消隱。
圖1圖示了根據本發明的用於執行差錯消隱的解碼器的示意性框圖；圖2以流程圖的形式圖示了根據本發明的第一優選實施例的一種用於對可顯示和被存儲(參考)的圖像進行消隱的方法的步驟；圖3以流程圖的形式圖示了根據本發明的第二優選實施例的一種用於對可顯示和被存儲的圖像進行消隱的方法的步驟；圖4圖示了一組圖像，其說明了時間遞歸的消隱如何可以提高幀間預測的質量；以及圖5以流程圖的形式圖示了根據本發明的第三優選實施例的一種用於對可顯示和被存儲的圖像進行消隱的方法的步驟。
具體實施方式圖1圖示了用於對編碼圖像進行解碼的解碼裝置10的示意性框圖。解碼裝置10包括熵解碼器11，熵解碼器11產生解碼後視頻流，以輸入到尺度和反變換(scaling and inverse transformation)塊12。根據輸入的編碼視頻流，熵解碼器11產生一組運動向量、產生對幀間預測(inter-prediction)模式的指定，以及產生對一個或多個參考圖像的選擇，以輸入到運動補償塊14，所述運動補償塊14利用存儲在參考圖像存儲器16中的先前所存儲的一個或多個參考圖像來執行運動補償。加法塊18將由運動補償塊14產生的經運動補償的圖像與來自尺寸和逆變換塊12的圖像相加。去塊(deblocking)過濾器20對由加法塊18輸出的圖像進行去塊，以產生用於顯示的解碼後圖像。因為稍後可能被用作參考圖像，所以由去塊過濾器20輸出的解碼後圖像也被存儲在參考圖像存儲器16中。
被輸入解碼裝置10的所有編碼圖像終究被顯示，但是它們之中只有一些被用於參考。當由熵解碼器11接收到的輸入視頻流是利用H.264壓縮標準壓縮的時，每個經編碼圖像的NAL頭中的nal_ref_idc域將指示出圖像是否將充當參考圖像。熵解碼器11將利用這種信息來決定具體圖像是否將充當參考圖像。如果nal_ref_idc等於零，則圖像將不充當參考。如果nal_ref_idc不等於0，則圖像可充當參考圖像。
圖2、3和5各自以流程圖的形式圖示了根據本發明的用於執行差錯消隱的替代方法。如在下文中更詳細描述的，圖2、3和5中圖示的差錯消隱方法利用了一種用於顯示圖像的技術，以及一種用於那些被選擇為參考圖像的圖像的不同技術。利用專用於顯示圖像的差錯消隱技術提供了實時約束下的最佳視覺質量，而利用專用於參考圖像的差錯消隱技術允許更精確地恢復丟失的數據。因為所有編碼圖像都要被顯示，所以對這種圖像可以利用專用於顯示的技術來進行消隱，而只有對那些被選擇為參考圖像的圖像才利用專用於參考圖像的技術來進行消隱。圖2圖示了根據本發明的第一消隱方法，其中通過第一技術對顯示圖像進行差錯消隱，並且通過結合(例如連結(chaining))第一技術與第二消隱技術來對參考圖像進行差錯消隱。圖2的消隱方法從執行初始化步驟(步驟100)開始，在該初始化步驟期間參數通過各種過程被初始化。接著，進行步驟102，在步驟102期間輸入宏塊被檢查以檢測差錯是否以缺失或損壞像素值的形式存在。當找到包含差錯的宏塊時，在步驟104期間利用第一消隱技術進行差錯消隱，以產生用於顯示的消隱後圖像106。在步驟108期間，然後確定在步驟104期間被消隱的宏塊是否表示將充當參考圖像的圖像的一部分。如果是的話，則先前在步驟104期間被消隱的圖像106在步驟109期間經由第二消隱技術進行進一步消隱，以產生為後續參考而被存儲的消隱後圖像。如果在步驟108期間執行的判定發現由輸入宏塊部分地表示的圖像將不充當參考圖像，則處理在步驟112期間結束。
圖2中圖示的消隱過程利用在步驟104期間進行消隱後得到的圖像106作為在步驟109期間進行的消隱的輸入。這樣，步驟109期間執行的消隱被「連結到」步驟104期間執行的消隱。圖2的方法提供了一種對消隱後圖像106的實時顯示的簡單且快速的解決方案，所述消隱後圖像106隨後被進一步消隱以產生對所存儲的參考圖像的更好預測。
在步驟104和109期間執行的消隱技術的選擇將取決於想要實現時間還是空間差錯消隱。例如，對於時間差錯消隱，在步驟104期間執行的差錯消隱將通過在減少了的數目的運動向量中搜索最佳匹配來填入缺失/損壞區域，而在步驟109期間執行的消隱擴大了搜索區域或被測試的位移(displacement)的數目。對於空間差錯消隱可以實現相似的方法。在這種環境下，在步驟104期間執行的差錯消隱將僅測試被使用最多的幀內預測(intra-prediction)模式，而在步驟109期間執行的消隱對剩餘的模式進行匹配以改善重構數據的質量。
圖3圖示了根據本發明的第二消隱方法，其中通過對顯示圖像和被存儲(參考)的圖像並行使用不同的差錯消隱技術來對包含差錯的宏塊進行消隱。因為為了獲得最佳主觀視覺質量而執行的差錯消隱技術不總是提供用於後來圖像的幀間預測的最佳參考圖像，因此利用兩種不同的消隱策略有明顯的好處。
圖3的消隱方法從執行初始化步驟(步驟200)開始，在初始化步驟期間參數通過各種過程被初始化。接著，進行步驟202，在步驟202期間輸入宏塊被檢查以檢測差錯。當找到包含差錯的宏塊時，在步驟204期間利用第一消隱技術進行差錯消隱，以產生用於顯示的消隱後圖像206。在步驟208期間，然後確定同一輸入宏塊是否表示將充當參考圖像的圖像的一部分。如果是的話，則在步驟209期間利用第二消隱技術對輸入宏塊進行消隱，以產生為後續參考而被存儲的差錯消隱後的圖像210。如果在步驟208期間執行的判定發現與輸入宏塊相關的圖像將不充當參考圖像，則處理在步驟212期間結束。
圖3中圖示的消隱過程並行利用不同的消隱技術。例如，在大缺失區域的情況下，通過消隱整幅圖像同時丟棄正確接收到的宏塊以避免變換處的可見偽像，顯示圖像將看起來感覺更好。然而，利用消隱後圖像作為參考對幀間編碼宏塊進行的預測需要精確的數據重構，而在宏塊邊緣處創建的偽像不太重要或完全不重要。在這種環境下，利用專用於顯示圖像的消隱技術將提高顯示質量，而利用專用於參考圖像的消隱技術將減少幀間預測的差錯傳播。
雖然先前的示例說明了對顯示和參考圖像具有不同消隱策略的好處，但利用具有不同複雜性的消隱技術也有好處。至於對先前所傳輸數據的使用，實時約束和因果約束主要影響對可顯示圖像的消隱，而較少影響對所存儲的用於參考的圖像的消隱。注意當對所存儲的用於參考的圖像進行處理時，執行消隱的時間窗口擴展到當所存儲的圖像被用作參考時的時間，其通常長於用於顯示的時間。
如在下文中更詳細描述的，利用了後來傳輸圖像的遞歸差錯消隱可以提高先前所解碼的圖像的質量。要說明這種技術的優勢，為了討論目的而假定存在將帶來如圖4中圖示的圖像序列的差錯，所述圖像序列具有I1P2P3B4B5B6B7B8B9的解碼順序，而顯示順序是I1B5B4B6P2B8B7B9P3。如果在圖像P2中發現損壞宏塊，則在該圖像的解碼期間實時應用於這種宏塊的差錯消隱將需要依賴於來自圖像I1的信息。然而，因為圖像P2在顯示中第五個出現而非第二個出現，所以差錯消隱通過利用來自即將到來的圖像(例如像P3這樣的圖像)的信息可以改善預測結果。如果在B幀上發現損壞塊，則該技術只有當顯示不緊接著解碼後發生才會有用。
圖5圖示了一種消隱方法，該方法利用時間遞歸技術來提高先前利用圖2或3的方法進行消隱的圖像的質量。圖5的方法從執行初始化步驟(步驟300)開始，在該初始化步驟期間參數通過各種過程被初始化。在步驟302期間，對包含在輸入宏塊304中的圖像進行解碼，從而產生經解碼的圖像308。在步驟310的執行期間，進行差錯檢測。當在步驟312期間發現差錯時，在步驟312期間確定是否在當前圖像中消隱該錯誤。如果是的話，則在步驟314期間進行差錯消隱，產生消隱後圖像316。如果不期望進行差錯消隱，則進行步驟318並且判定是否要改善任何先前圖像的差錯消隱。如果是的話，則在步驟320期間利用先前所消隱的圖像322作為消隱過程的輸入來對該先前圖像的差錯消隱進行更新。在步驟320或步驟318之後，如果沒有必要對任何先前圖像的消隱進行改善，則過程在步驟324期間結束。注意可以隨著時間遞歸地執行步驟318和320，以不斷地改善差錯消隱。
前面描述了一種通過利用用於顯示和參考圖像的不同消隱技術來改善幀間編碼序列的質量的技術。
權利要求
1.一種用於在解碼時對編碼圖像中的差錯進行消隱的方法，包括以下步驟識別所述圖像是否具有差錯並且如果是的話，則利用用於顯示的第一消隱技術對所述圖像進行消隱；確定具有所述差錯的圖像是否將充當參考圖像，並且如果是的話，則利用第二消隱技術對所述圖像進行消隱。
2.根據權利要求
1所述的方法，其中，所述利用第二消隱技術對圖像進行消隱的步驟增強了所述第一消隱技術所實現的消隱。
3.根據權利要求
2所述的方法，其中，隨著時間遞歸地執行所述第二消隱技術，以提高先前所解碼的圖像的質量。
4.根據權利要求
1所述的方法，其中，隨著時間遞歸地執行所述第二消隱技術，以提高先前所解碼的圖像的質量。
5.根據權利要求
1所述的方法，其中，所述第一和第二消隱技術被並行執行。
6.根據權利要求
1所述的方法，其中所述第一和第二消隱技術各自實現了時間消隱。
7.根據權利要求
1所述的方法，其中所述第一和第二消隱技術各自實現了空間消隱。
8.根據權利要求
6所述的方法，其中，所述利用第一消隱技術對圖像進行消隱的步驟還包括在圖像解碼期間得到的一組減少了的運動向量中搜索最佳匹配的步驟。
9.根據權利要求
8所述的方法，其中，所述利用第二消隱技術對圖像進行消隱的步驟還包括擴大搜索區域以在一組增加了的運動向量中進行搜索的步驟。
10.根據權利要求
7所述的方法，其中，所述利用第一消隱技術對圖像進行消隱的步驟還包括只對在圖像解碼期間得到的一組使用最多的幀內預測模式進行測試的步驟。
11.根據權利要求
11所述的方法，其中，所述利用第二消隱技術對圖像進行消隱的步驟還包括對所有未經測試的幀內預測模式進行匹配的步驟。
12.一種對正被解碼的編碼圖像中的差錯進行消隱的方法，包括以下步驟識別所述圖像是否具有差錯並且如果是的話，確定具有差錯的圖像是否將充當參考圖像，並且如果是的話，則利用專用於參考圖像的技術對所述圖像進行消隱，並且利用專用於顯示圖像的技術對不充當參考圖像的圖像進行消隱。
13.根據權利要求
12所述的方法，其中所述第一和第二消隱技術各自實現了時間消隱。
14.根據權利要求
12所述的方法，其中所述第一和第二消隱技術各自實現了空間消隱。
15.根據權利要求
13所述的方法，其中，所述利用第一消隱技術對圖像進行消隱的步驟還包括在圖像解碼期間得到的一組減少了的運動向量中搜索最佳匹配的步驟。
16.根據權利要求
15所述的方法，其中，所述利用第二消隱技術對圖像進行消隱的步驟還包括擴大搜索區域以在一組增加了的運動向量中進行搜索的步驟。
17.根據權利要求
14所述的方法，其中，所述利用第一消隱技術對圖像進行消隱的步驟還包括只對在圖像解碼期間指定的一組使用最多的幀內預測模式進行測試的步驟。
18.根據權利要求
17所述的方法，其中，所述利用第二消隱技術對圖像進行消隱的步驟還包括對所有未經測試的幀內預測模式進行匹配的步驟。
19.一種用於在圖像解碼期間對編碼圖像中的差錯進行消隱的方法，包括以下步驟檢測所述圖像中是否存在差錯，確定是否要基於檢測到的差錯來執行差錯消隱，並且如果是的話，則利用第一消隱技術執行差錯消隱；確定對所述圖像的差錯消隱是否可被改善，並且如果是的話，則利用至少一個先前所消隱的圖像來更新對所述圖像的差錯消隱。
20.一種在解碼時對編碼圖像中的差錯進行消隱的方法，包括以下步驟識別所述圖像是否具有差錯並且如果是的話，則確定具有所述差錯的圖像是否將充當參考圖像，並且如果是的話，則利用專用於參考圖像的消隱技術對所述圖像進行消隱。
專利摘要
本發明公開了一種對編碼圖像中的差錯進行消隱的技術。對被顯示的編碼圖像和被存儲作為參考圖像的編碼圖像使用不同的差錯消隱技術，這提高了差錯消隱的質量。為實時使用而優化的消隱技術將為被顯示的圖像提供最佳的視覺質量，而為恢復丟失數據而優化的消隱技術提高了所存儲的參考圖像的質量。
文檔編號H04N7/68GK1993997SQ200480043710
公開日2007年7月4日 申請日期2004年7月29日
發明者克裡斯蒂娜·古米拉, 吉爾·麥克唐納·伯恩斯 申請人:湯姆遜許可證公司導出引文BiBTeX, EndNote, RefMan