使用視頻縮影對圖像進行降噪的方法和裝置與流程
2023-04-23 20:46:11 1
本公開涉及對視頻圖像進行降噪的方法和裝置，更具體地，涉及使用基於源視頻圖像的視頻縮影對視頻圖像進行降噪的方法和裝置。
背景技術：
本部分旨在向讀者介紹技術的各個方面，這可能與在下面描述和/或要求保護的本發明的各個方面有關。相信該討論有助於向讀者提供背景信息以便更好地理解本發明的各個方面。因此，應當理解到，這些陳述從這個角度來閱讀，而不是作為對現有技術的承認。
基於碎片(patch-based)的方法已經顯著地提高了降噪方法的性能。具體地，由buades等人的標題為「anon-localalgorithmforimagedenoising」的文章(發表於cvpr2005會議記錄)中所提出的非局部均值(nonlocalmean，nlm)以及由dabov等人在標題為「imagedenoisingbysparse3dtransform-domaincollaborativefiltering」的文章(發表於transactiononimageprocessing，第16卷，第8號，第2080-2095頁，2007年8月)中提出的塊匹配3d(blockmatching3d，bm3d)是現在的參考方法。
關於這兩種方法，通過首先在有噪聲的圖像/視頻之中找到碎片(patch)的k個最近近鄰(k-nn)碎片，對該碎片進行降噪。nlm方法使用取決於k-nn與當前碎片之間的距離的權重來組合k-nn。bm3d是兩步驟方法。在第一步驟中，bm3d將k-nn堆疊在3d分組中，然後對分組應用3d變換。然後，使用硬閾值處理(hardthresholding)對該分組中的碎片進行濾波，並且在逆變換之後獲得經降噪的估計。對於每個像素，能夠獲得若干估計，所述若干估計最終被平均。在第二步驟中，在從第一步驟獲得的經降噪的估計中找出新的k-nn。形成兩個3d分組，分別包含來自第一經降噪估計的k-nn以及有噪聲的圖像/視頻中的對應碎片。然後，對兩個分組應用3d變換。使用維納(wiener)濾波器對包含有噪聲的碎片的、經3d變換的分組進行濾波，其中使用包含第一經降噪估計的、經3d變換的分組作為諭示(oracle)。在逆變換之後獲得最終的估計。這些方法是「盲目的(blind)」算法，因為它們應用於有噪聲的圖像/視頻而不使用來自源信號的任何先驗知識。如本文中所應用的術語「源信號」指在編碼/解碼操作(例如hevc編碼)之前、在傳送以及由電視接收器解碼之前的原始視頻圖像信號。
替代地，設計有基於縮影表示的基於碎片的降噪方法。圖像的縮影是包含圖像的紋理和結構性質的本質的緊縮表示。縮影法針對通過利用圖像內的重複內容來減少圖像中的冗餘信息(紋理)。縮影原理最先由hoppe等人在發表於acmsiggraph2008會議記錄的標題為「factoringrepeatedcontentwithinandamongimages」的文章(acmtransactionongraphics，第27卷，第3號，第1-10頁，2008年)中公開。圖1例示hoppe的方法。從圖像y，確定紋理縮影e和變換映射ф，使得y的所有圖像塊能夠從e的匹配碎片來重構。匹配碎片也稱作經變換的碎片。與塊相反，碎片屬於像素網格。一旦在圖像y中確定自相似性，hoppe的方法就確定冗餘的紋理碎片以構造縮影圖，所有縮影圖的聯合構成紋理縮影e。每個縮影圖表示圖像中的重複區域。縮影圖的構造由圖初始化步驟繼之以若干圖擴展步驟來構成。變換映射ф是保持跟蹤圖像y的每個塊與紋理縮影e的紋理碎片之間的對應的分配映射。在本文獻中，變換映射也稱作矢量映射或者分配映射。通過紋理縮影e和變換映射ф，能夠重構圖像y』，其內容與圖像y的內容非常相似。在下文中，術語視頻縮影可以指紋理縮影e和變換映射ф，或者在適當的情況下僅僅指紋理縮影e。
當前的基於碎片的降噪方法如在cheung等人的標題為「videoepitomes」的文章(發表於internationaljournalofcomputervision，第76卷，第141-152頁，2008年)中那樣地對來自縮影的碎片進行平均，或者如在aharon等人的標題為「sparseandredundantmodelingofimagecontentusingimage-signaturedictionary」的文章(發表於siamjournalonimagingsciences，第228-247頁，2008年7月)中那樣地使用稀疏表示來組合碎片。在這些方法中，縮影是直接從有噪聲的圖像/視頻中提取出的。期望提高使用視頻縮影的降噪方法的性能。
技術實現要素：
根據本原理，描述對圖像進行降噪的方法和裝置，具體地，使用基於源視頻圖像的視頻縮影對圖像進行降噪的方法和裝置。從圖像的較高質量版本即源版本提取視頻縮影得到較高質量的視頻縮影，這改進降噪處理。如在本文中所使用的術語「高質量視頻」或者「較高質量視頻」指比已經經過編碼或壓縮處理的隨後的或者另外的版本的視頻包含更少的視頻偽像和失真的視頻圖像。
根據本原理，提供處理視頻中的圖像的方法，其包括：對圖像的編碼版本進行解碼，以產生圖像的解碼版本；以及使用圖像的解碼版本和作為與圖像相關聯的紋理縮影的視頻圖像縮影，來生成圖像的降噪版本，其中，視頻圖像縮影是從圖像的源版本提取出的，其中，所述生成包括：使用位於視頻圖像縮影中與多個最近近鄰碎片中的至少一個相對應的對應碎片，對當前碎片進行降噪。
根據本原理，提供處理視頻的圖像的裝置，其包括：通信接口，被配置為存取圖像的編碼版本，並且生成圖像的解碼版本以及作為與圖像相關聯的紋理縮影的視頻圖像縮影，其中，視頻圖像縮影是從圖像的源版本提取出的；處理器，耦合到通信接口，並且被配置為使用視頻的解碼版本和視頻圖像縮影來生成包括經解碼的圖像的降噪版本的用於顯示的輸出，並且其中，圖像縮影和處理器被配置為通過使用位於視頻圖像縮影中與多個最近近鄰碎片中的至少一個相對應的對應碎片對當前碎片進行降噪，來生成經解碼的圖像的降噪版本。
根據本原理，提供處理視頻的圖像的裝置，其包括：通信接口，被配置為存取圖像；以及處理器，耦合到通信接口，並且被配置為生成圖像的編碼版本，並且在編碼之前從圖像的源版本提取視頻縮影，並且生成包括圖像的編碼版本、視頻縮影以及指示在比特流中存在視頻縮影的標記的比特流。在實施例中，還使用與經編碼的圖像相同或者不同的編碼方法對視頻縮影進行編碼。
在實施例中，縮影是紋理縮影，並且所述生成步驟包括：確定要在對經解碼的圖像中的當前碎片進行降噪時所使用的k個最近近鄰碎片；存取位於視頻縮影中對應於所確定的k個最近近鄰碎片的對應碎片；以及使用位於視頻縮影中的對應碎片，對當前碎片進行降噪。
在實施例中，所述降噪包括：使用視頻圖像縮影來執行降噪的非局部均值方法。
在實施例中，所述降噪包括：通過估計噪聲級別作為圖像縮影碎片與對應的有噪聲的碎片之間的均方誤差，來設置濾波參數，其中將濾波參數設置為所估計的噪聲級別與預先定義的用戶參數的乘積。
在實施例中，所述降噪包括：使用硬閾值處理步驟和維納濾波步驟。在實施例中，硬閾值處理包括：通過對有噪聲的碎片和它們的對應的圖像縮影碎片的分組執行3d變換、確定經變換的碎片之間的閾值處理規則、用當前碎片替代有噪聲的碎片的分組中的碎片、將閾值處理規則應用於包括當前碎片的有噪聲的碎片的分組並且執行逆變換以生成當前碎片的第一降噪版本，來自適應地選取閾值。在實施例中，使用當前碎片的第一降噪版本作為維納濾波步驟的諭示。
在實施例中，經由在通信信道上所接收的比特流來存取視頻圖像縮影和圖像的編碼版本，並且其中，對視頻圖像縮影進行編碼，並且比特流包括指示視頻圖像縮影與圖像的編碼版本一起被包括的標記。
附圖說明
通過參考結合附圖進行的對示例性實施例的以下描述，本原理的上述特徵和其他特徵以及獲得它們的方式將變得更加明顯，並且將更好地理解本原理，附圖中：
圖1是從圖像y構造縮影以及使用包括變換映射ф和縮影e的因子化表示(factoredrepresentation)來重構圖像y』的圖示示例；
圖2是根據本原理的降噪的圖示示例；
圖3是根據本原理的使用經適配的nlm的基於縮影的降噪的圖示示例；
圖4是根據本原理的使用bm3d的基於縮影的降噪的硬閾值處理的圖示示例；
圖5是根據本原理的使用bm3d的基於縮影的降噪的維納濾波的圖示示例；
圖6是從視頻的關鍵幀提取的縮影的圖示示例；
圖7是例示可縮放壓縮方案中的縮影的編碼的圖示示例；
圖8例示描繪示例性系統的框圖，其中可以實現本原理的示例性實施例的各個方面；
圖9例示描繪可以與一種或多種實現方式一起使用的視頻處理系統的示例的框圖；以及
圖10例示描繪可以與一種或多種實現方式一起使用的視頻處理系統的另一個示例的框圖。
在本文中所闡述的描述例示實現本原理的各個方面的示例性實施例。這樣的示例不應以任何方式被解釋為限制權利要求的範圍。
具體實施方式
本原理涉及使用視頻縮影進行降噪的方法和裝置。具體地，根據本原理的實施例在降噪處理期間使用從源視頻圖像提取的視頻縮影，以提高解碼器處的降噪性能。提取視頻縮影能夠是在編碼之前對視頻中的圖像的預處理的一部分。源視頻圖像是執行任何編碼或者壓縮之前並且通常在例如傳送給接收器設備之前的圖像，因此，源視頻圖像通常比圖像的經編碼並且隨後解碼的版本具有更高的質量，並且因此，所提取的視頻縮影也將比從先前已經被編碼和解碼的圖像中提取的視頻縮影具有更高的質量級別。根據本原理的實施例與現有技術的方法相反，在現有技術方法中，將從有噪聲的經解碼的圖像所提取的縮影用於降噪。
在圖2中示出根據本原理的降噪的圖示例示。傳統的編碼/解碼方案在下方的方框202中示出，其中視頻圖像x使用諸如hevc或者vp9這樣的特定編碼方案進行編碼206，然後經由傳送信道傳送到接收器。編碼通常去除圖像信號中的冗餘，並且涉及三個主要步驟：預測、變換和編碼。解碼器接收經編碼的信號，並且執行通常對應於編碼步驟的逆的各種解碼操作208，以生成輸出圖像y。根據本原理的實施例如由所提出的改進所指示的那樣地將降噪方案添加到傳統的編碼/解碼方案204。根據本原理，縮影e從高質量源圖像x中提取210，並且隨後被編碼212，以便與經編碼的圖像一起傳送。在解碼器側，經編碼的縮影e被解碼214，並且應用於經解碼的圖像y，以提供經降噪的圖像如在所述實施例中從源圖像所提取的高質量縮影的內含物可以通過比特流中的標記或者高級語法元素用信號通知，例如，使用經壓縮的視頻比特流的首部欄位中的一比特標記。這檔的信號通知向解碼器通知這樣的縮影可用於降噪操作。
用於從圖像構造縮影的先前方法是已知的並且可以結合所述實施例使用。例如，一種適合的方法在alain等人的「methodandapparatusforconstructinganepitomefromanimage」(us2015/0215629，公開於2015年7月30日，通過引用將其併入本文)中描述。如在本文中所描述的那樣，該方法生成紋理縮影e和變換映射ф。如果想要從縮影中重構圖像，則變換映射是必要的。本原理針對使用視頻縮影進行降噪，而未必定用於重構圖像，因此，即使在比特流中包括變換映射，本原理也僅需要使用紋理縮影e。
在圖6中示出從視頻的關鍵幀提取縮影。這裡，將關鍵幀定義為圖片組(gop)的第一幀。在定義關鍵幀時，可以使用其他準則，例如，關鍵幀可以由用戶在配置文件中定義。該示例中的gop包括8個幀，並且根據本原理，可以使用來自周圍幀的縮影對該gop內的任何幀進行降噪。例如，縮影ei從gopi的i幀生成，然後連同縮影ei+1一起被用於對gopi的b幀進行降噪。然而，顯然，從不同幀所提取的縮影的其他布置或組合可以應用於不同的幀或者幀的組合以提供降噪。
為了執行降噪，考慮n×n個重疊碎片。為了限制複雜性，並非所有的重疊碎片均被處理，但是替代地定義兩個被處理的碎片之間的在行和列兩者中的步進s。重疊區域中的像素屬於若干碎片，並且因此在降噪處理結束時具有若干經降噪的估計。對這些估計進行平均，以便獲得最終的經降噪的值。該方法包括下面的步驟：1)在與縮影碎片並置(co-locate)的有噪聲的碎片之中搜索當前碎片的k-nn；2)學習有噪聲的k-nn碎片與縮影中的對應高質量碎片之間的降噪規則；以及3)對當前碎片應用先前所學習到的降噪規則，以獲得經降噪的碎片。下面進一步描述若干「降噪規則」。
基於縮影的nlm
現在描述使用nlm的降噪方法。假設y是將要降噪的當前碎片。將y的k-nn標註為yi，i＝1…k。來自縮影的對應高質量碎片標記為xi，i＝1…k。根據y以及它的k-nn，計算一組權重wi，i＝1…k。經降噪的估計碎片作為k個高質量碎片的線性組合而獲得：
在圖3中例示對當前碎片318進行降噪的方法。當前碎片318是位於有噪聲的圖像中並且希望進行降噪的任意碎片。在步驟320中，例如使用全搜索塊匹配(blockmatching，bm)算法，在與縮影並置的有噪聲的碎片之中找到k-nn。替代地，可以使用近似最近近鄰(approximatenearestneighbors，ann)搜索算法，諸如在barnes等人的標題為「thegeneralizedpatchmatchcorrespondencealgorithm」的文章(發表於lecturenotesincomputerscience，卷6313lncs，頁29-4.，2010年)中提出的廣義碎片匹配算法。這裡，有噪聲的圖像302對應於降噪操作之前的經解碼的圖像。有噪聲的圖像302中與從中提取縮影的高質量圖像306的位置相對應的位置由標號308和310指定並且對應於區域332和334。碎片312、314和316位於有噪聲的圖像的縮影位置308和310內，並且它們的位置對應於高質量縮影332和334的碎片336、338和340。在步驟330中，學習權重以根據有噪聲的k-nn碎片322、324和326來近似當前碎片328。為了計算權重，適配nlm算法並且使用取決於y與其k-nn(即碎片322、324和326)之間的距離的指數權重。標記其中，di代表y與其nnyi之間的距離，並且n2代表碎片中的像素的數量，然後，權重計算為：
其中，σnlm是用作濾波的程度的參數。在原始的nlm算法中，σnlm取決於噪聲級別σn、根據經驗來設置。在本實施例中，提出自動地適配該參數的方法。噪聲級別σn被估計為高質量縮影碎片與對應的有噪聲的碎片之間的均方誤差。然後能夠設置σnlm＝α*σn，其中α是預先定義的用戶參數。在步驟344中，使用等式1來組合對應的k-nn高質量碎片(336、338和340)以得出經降噪的碎片342。
基於縮影的bm3d
在另一個實施例中，提出使用基於bm3d的方法，如在原始bm3d中那樣，其包括兩個步驟：對經3d變換的碎片分組所執行的硬閾值處理步驟和維納濾波步驟。然而，本原理能夠一般性地應用於基於變換係數的硬閾值處理或維納濾波的任何方法。
硬閾值處理
該步驟的一方面是選取閾值。在原始的方法中並且對於相似的算法，通常手動地和/或根據經驗來設置閾值。該參數通常根據噪聲級別來設置。如果閾值太大，則許多係數被去除並且太多信息可能丟失。這裡提出用以選取閾值的自適應算法。
選取閾值的步驟在圖4中例示。在步驟400中，對於當前碎片440，例如使用bm算法，在與高質量縮影416和424中的碎片420、422和424並置的有噪聲的圖像碎片之中找到k-nn碎片432、434和436。該步驟與先前的實施例的步驟320相似。在步驟402中，k-nn以及來自縮影的它們的對應的高質量碎片420、422和424堆疊在3d分組中，分別表示為gx和在步驟404中，然後對兩個分組應用3d變換tht。從兩個經變換的分組，能夠在步驟406中獲得二元3d掩碼mτ形式的降噪規則，計算如下：
其中，ξ指3d矩陣中的索引。為了對與元素440相對應的當前碎片y進行降噪，在步驟408中，用碎片y自身替換gy中y的最近nn，以獲得3d分組，標記為gy′。然後在步驟410中，能夠將變換tht應用於gy′，繼之以閾值處理規則mτ，並且最終在步驟412中，應用逆變換以獲得經降噪的分組
其中，「·」表示元素與元素(element-by-element)的乘法。然後，在gy′中y的相同位置處，從提取第一步驟經降噪的碎片
維納濾波
bm3d算法的第二步驟在於3d變換分組的維納濾波，其中，將硬閾值處理的前一步驟時所獲得的第一經降噪的估計用作諭示。最佳的維納濾波依賴於源信號的知識，因此，在原始的bm3d算法中，源信號替換為在硬閾值處理步驟之後所獲得的第一經降噪的估計，並且表示為諭示。在本實施例中，提出通過使用來自縮影的高質量碎片作為維納濾波的諭示，來適合該步驟。該步驟針對在前一步驟時所獲得的經降噪的估計來執行，而不直接針對有噪幀來執行。該實施例的步驟在圖5中例示。
在步驟502中，首先，例如使用bm算法，在來自兩個最近的關鍵幀的、與縮影碎片522、524和526並置的第一估計碎片之中搜索當前碎片的k-nn碎片536、538和540。在步驟504中，k-nn碎片536、538和540以及來自縮影518和520的它們的對應的高質量碎片522、524和526堆疊在3d分組中，標記為和這些分組分別不同於前一步驟的分組和因為k-nn不同。還計算包含對應的噪聲碎片的第三3d分組：
然後在步驟506中，對兩個分組應用3d變換twien。然後在步驟508中，能夠計算維納濾波器係數：
為了對與元素542相對應的當前碎片進行降噪，在步驟510中，用碎片自身替換中的最近nn，以獲得3d分組，標記為在步驟512中，然後能夠將變換twien應用到繼之以維納濾波，並且最終在步驟514中，應用逆變換以獲得經降噪的分組
然後，在中的相同位置處，從提取最終的經降的噪碎片
根據本原理，可以使用從高質量源圖像生成的一個或多個縮影來執行降噪，其中縮影的數量和形狀可以根據提取方法和圖像本身而不同。另外，可以使用已知的編碼方法對所提取的縮影進行編碼，以便連同經編碼的視頻圖像一起傳送。編碼方法可以與用於視頻圖像自身的編碼方法相同或者不同。例如，圖7示出使用可縮放壓縮方案(例如，shvc)對縮影進行編碼。在圖7中，原始圖像的編碼視為基礎層，而所提取的縮影視為增強層，其中，例如，縮影ei是從gopi的i幀提取出的，縮影ei+1是從gopi+1的第一個b幀提取出的，以此類推。以此方式對源圖像以及所提取的縮影進行編碼允許本原理容易結合現有壓縮標準中的可縮放視頻擴展一起使用。
圖8例示示例性系統的框圖，其中可以實現本原理的示例性實施例的各個方面。系統800可以實施為包括在下面描述各個組件的設備，並且被配置為執行上面描述的處理。這樣的設備的示例包括但不局限於個人計算機、膝上型計算機、智慧型電話、平板計算機、數字多媒體機頂盒、數位電視接收器、個人視頻記錄系統、連接的家用電器以及伺服器。如圖8中所示，並且如由本領域那些技術人員所知道的那樣，系統800可以通信地耦合到其他類似的系統，並且經由通信信道耦合到顯示器，以實現上面描述的示例性視頻系統。
系統800可以包括：至少一個處理器810，被配置為執行加載到其中用於實現如上面所討論的各種處理的指令。處理器810可以包括嵌入式存儲器、輸入輸出接口以及如本領域中已知的各種其他電路。系統800還可以包括至少一個存儲器820(例如，易失性存儲設備、非易失性存儲設備)。系統800還可以包括：存儲設備840，其可以包括非易失儲存器，包括但不局限於eeprom、rom、prom、ram、dram、sram、閃速存儲器、磁碟驅動器和/或光碟驅動器。作為非限制性示例，存儲設備840可以包括內部存儲設備、附加存儲設備和/或網絡可存取的存儲設備。系統800還可以包括：編碼器/解碼器模塊830，被配置為處理數據以提供經編碼的視頻或者經解碼的視頻。
編碼器/解碼器模塊830表示可以包括在設備中以執行編碼和/或解碼功能的模塊。如已知的那樣，設備可以包括編碼和解碼模塊中的一個或二者。另外，如本領域那些技術人員已知的那樣，編碼器/解碼器模塊830可以實現為系統800的單獨元件，或者可以合併在處理器810中，作為硬體和軟體的組合。編碼器/解碼器模塊830可以例如從通信信道接收數據，或者從布置在設備800上的攝相機接收將要壓縮的原始視頻數據。本原理的方面(包括從高質量源圖像提取縮影以及對所接收的縮影進行解碼)可以作為編碼器/解碼器830之前或者之內的預處理操作來實現。
要加載到處理器810上以執行在上文所描述的各種處理的程序代碼可以存儲在存儲設備840中，並且隨後被加載到存儲器820上以便由處理器810執行。根據本原理的示例性實施例，處理器810、存儲器820、存儲設備840以及編碼器/解碼器模塊830中的一個或多個可以在上文所討論的處理的執行期間存儲各種項目中的一個或多個，包括但不局限於hdr視頻、比特流、等式、公式、矩陣、變量、操作和操作邏輯。
系統800還可以包括使得能夠經由通信信道860與其他設備通信的通信接口850。通信接口850可以包括但不局限於：收發器，被配置為從通信信道860傳送和接收數據。通信接口可以包括但不局限於數據機或者網卡，並且通信信道可以以有線和/或無線介質來實現。系統800的各種組件可以使用各種適當的連接方式來連接或者通信地耦合在一起，連接方式包括但不局限於內部總線、電線以及印刷電路板。
根據本原理的示例性實施例可以由處理器810實現的計算機軟體或者由硬體或者由硬體和軟體的組合來執行。作為非限制性示例，根據本原理的示例性實施例可以由一個或多個集成電路來實現。存儲器820可以是適合於技術環境的任何類型，並且作為非限制性示例，可以使用諸如光學存儲設備、磁性存儲設備、基於半導體的存儲設備、固定儲存器以及可移動儲存器這樣的任何適當的數據存儲技術來實現。處理器810可以是適合於技術環境的任何類型，並且作為非限制性示例，可以包括微處理器、通用計算機、專用計算機以及基於多核架構的處理器中的一個或多個。
參考圖9，示出數據傳送系統900，可以對其應用上面所描述的特徵和原理。數據傳送系統900可以是例如頭端或者傳送系統，用於使用諸如衛星、纜線、電話線或者地面廣播等各種介質中的任何一種來傳送信號。數據傳送系統900也可以用來提供用於存儲的信號。傳送可以通過網際網路或者某個其他網絡提供。數據傳送系統900能夠生成並且傳遞例如視頻內容和其他內容。
數據傳送系統900從處理器901接收經處理的數據以及其他信息。在一種實現方式中，處理器901執行前向變換。處理器901還可以將指示例如視頻的格式的元數據提供給900。根據本原理，處理器901還可以在編碼器902之前執行預處理。預處理可以包括如在上文所討論的視頻縮影的提取。
根據各種實施例，數據傳送系統或者裝置900包括編碼器902和傳送器904，傳送器904能夠傳送經編碼的信號和視頻縮影。編碼器902從處理器901接收數據信息。編碼器902生成經編碼的信號。
編碼器902可以包括子模塊，包括例如用於接收各種信息片段並且將它們裝配成結構化的格式以便存儲或傳送的裝配單元。各種信息片段可以包括例如已編碼或未編碼的視頻以及已編碼和未編碼的元素。如上所述，編碼器902可以使用相同或者不同的編碼技術對視頻縮影和視頻圖像進行編碼以用於隨後的傳送。替代地，視頻縮影可以由處理器從視頻中提取並且可以在編碼器902之前被編碼。在一些實現方式中，編碼器902包括處理器901並且因此執行處理器901的操作。
傳送器904從編碼器902接收經編碼的信號，並且在一個或多個輸出信號中傳送經編碼的信號。傳送器904可以例如被適配為傳送具有表示經編碼的圖片和/或其有關信息的一個或多個比特流的程序信號。典型的傳送器執行諸如例如提供誤差校正編碼、交錯信號中的數據、使信號中的能量隨機化以及使用調製器906將信號調製到一個或多個載波上中的一個或多個這樣的功能。傳送器904可以包括天線(未示出)，或者與天線對接。另外，傳送器904的實現方式可以被限制到調製器906。
數據傳送系統900也通信地耦合到存儲單元908。在一種實現方式中，存儲單元908耦合到編碼器902，並且存儲來自編碼器902的、包括視頻縮影、經編碼的比特流。在另一種實現方式中，存儲單元908耦合到傳送器904，並且存儲來自傳送器904的比特流。來自傳送器904的比特流可以包括例如已經由傳送器904進一步處理的包括視頻縮影的一個或多個經編碼的比特流。在不同的實現方式中，存儲單元908是標準dvd、藍光碟、硬碟驅動器或者某個其他存儲設備中的一個或多個。
參照圖10，示出數據接收系統1000，可以對其應用上面描述的特徵和原理。數據接收系統1000可以被配置為通過諸如存儲設備、衛星、纜線、電話線或者地面廣播這樣的各種介質來接收信號。信號可以通過網際網路或者某個其他網絡來接收。
數據接收系統1000可以是例如蜂窩式電話、計算機、機頂盒、電視機或者接收經編碼的視頻並且提供例如經解碼的視頻信號以便顯示(例如顯示給用戶)、用於處理或者用於存儲的其他設備。因此，數據接收系統1000可以將其輸出提供給例如電視機的屏幕、計算機監視器、計算機(用於存儲、處理或者顯示)或者某個其他存儲、處理或顯示設備。
數據接收系統1000能夠接收並且處理數據信息。數據接收系統或者裝置1000包括：接收器1002，用於接收經編碼的信號，諸如例如在本申請的實現方式中所描述的信號。接收器1002可以接收例如提供比特流的信號或者從圖9的數據傳送系統1000輸出的信號。
接收器1002可以例如被適配為接收具有表示經編碼圖片的包括視頻縮影的多個比特流的程序信號。典型的接收器執行諸如例如接收經調製和經編碼的數據信號、使用解調器1004對來自一個或多個載波的數據信號進行解調、對信號中的能量去隨機化、對信號中的數據進行去交錯以及對信號進行誤差校正解碼中的一個或多個這樣的功能。接收器1002可以包括天線(未示出)，或者與天線對接。接收器1002的實現方式可以被限制到解調器1004。
數據接收系統1000包括解碼器1006。接收器1002將所接收的信號提供給解碼器1006。由接收器1002提供給解碼器1006的信號可以包括一個或多個經編碼的比特流。解碼器1006輸出經解碼的信號，諸如例如包括視頻信息的經解碼的視頻信號。根據本原理，解碼器1006可以包括：預處理器，其分離並且處理比特流中的經編碼的視頻縮影和經編碼的視頻圖像。可以使用與經編碼的視頻圖像相同或者不同的解碼處理，對經編碼的視頻縮影進行解碼。
數據接收系統或者裝置1000還通信地耦合到存儲單元1007。在一種實現方式中，存儲單元1007耦合到接收器1002，並且接收器1002存取來自存儲單元1007的比特流。在另一種實現方式中，存儲單元1007耦合到解碼器1006，並且解碼器1006存取來自存儲單元1007的比特流。在不同的實現方式中，從存儲設備1007存取的比特流包括一個或多個經編碼的比特流。在不同的實現方式中，存儲單元1007是標準dvd、藍光碟、硬碟驅動器或者某個其他存儲設備中的一個或多個。
在一種實現方式中，來自解碼器1006的輸出數據提供給處理器1008。在一種實現方式中，處理器1008是被配置用於執行後處理的處理器。後處理器可以包括例如在上文中所討論的降噪操作。在一些實現方式中，解碼器1006包括處理器1008並且因此執行處理器1008的操作。在其他實現方式中，處理器1008是諸如例如機頂盒或者電視機這樣的下遊設備的一部分。
在本文中所描述的實現方式可以實現為例如方法或處理、裝置、軟體程序、數據流或者信號。即使僅在單一形式的實現方式的背景下進行了討論(例如，僅作為方法進行了討論)，所討論的特徵的實現方式也可以以其他形式(例如，裝置或程序)來實現。裝置可以實現為例如適當的硬體、軟體和固件。例如，方法可以在諸如例如處理器這樣的裝置中實現，處理器一般指處理設備，包括例如計算機、微處理器、集成電路或者可編程邏輯設備。處理器也包括通信設備，諸如例如計算機、蜂窩式電話、可攜式/個人數字助理(「pda」)以及便於終端用戶之間的信息通信的其他設備。
所提及的本原理的「一個實施例」或者「實施例」或者「一種實現方式」或者「實現方式」以及它們的其他變型是指結合實施例所描述的具體特徵、結構、特性等包括在本原理的至少一個實施例中。因此，在說明書各處出現的短語「在一個實施例中」或者「在實施例中」或者「在一種實現方式中」或者「在實現方式中」以及任何其他變型未必全部指相同的實施例。
另外，本申請或者其權利要求書可能涉及「確定」各條信息。確定信息可以包括例如估計信息、計算信息、預測信息或者從存儲器檢索信息中的一個或多個。
而且，本申請或者其權利要求書可能涉及「存取」各條信息。存取信息可以包括例如接收信息、檢索信息(例如，從存儲器)、存儲信息、處理信息、傳送信息、移動信息、複製信息、擦除信息、計算信息、確定信息、預測信息或者估計信息中的一個或多個。
另外，本申請或者其權利要求書可能涉及「接收」各條信息。接收與「存取」一樣，目的在於作為廣泛的術語。接收信息可以包括例如存取信息或者檢索信息(例如，從存儲器)中的一個或多個。而且，「接收」通過以各種方式包含在諸如例如存儲信息、處理信息、傳送信息、移動信息、複製信息、擦除信息、計算信息、確定信息、預測信息或者估計信息這樣的操作期間。
對於本領域技術人員將顯而易見的是，實現方式可以產生各種信號，信號被格式化以攜帶可以例如被存儲或傳送的信息。信息可以包括例如用於執行方法的指令或者由所描述的實現方式之一所產生的數據。例如，信號可以被格式化以攜帶所描述的實施例的比特流。這樣的信號可以被格式化成例如電磁波(例如，使用頻譜的射頻部分)或者基帶信號。格式化可以包括例如對數據流進行編碼以及使用經編碼的數據流來調製載波。信號所攜帶的信息可以是例如模擬或者數字信息。如已知的那樣，信號可以通過各種不同的有線或者無線鏈路來傳送。信號可以存儲在處理器可讀介質上。