在有損耗傳輸環境中提供增強的差錯恢復的映射及圖象到塊的裝置及方法

2023-06-12 08:26:16

專利名稱：在有損耗傳輸環境中提供增強的差錯恢復的映射及圖象到塊的裝置及方法
背景技術：
1．有關申請本申請是1998年1月30日提交的題為「Source Coding toProvide for Robust Error Recovery During Transmission Losses(在傳輸損耗時提供增強的差錯恢復的信源編碼)」的美國專利申請系列號No.09/016，083的繼續申請，而它是1998年1月2日提交的題為「Image-to-Block Mapping to Provide for Robust ErrorRecovery During Transmission Losses(在傳輸損耗時提供增強的差錯恢復的圖象-到-塊映射)」的申請系列號No.09/002，547、1998年1月2日提交的題為「Source Coding to Provide for Robust ErrorRecovery During Transmission Losses(在傳輸損耗時提供增強的差錯恢復的信源編碼)」的申請系列號No.09/002，470、以及1998年1月2日提交的題為「Multiple Block Based Recovery Method toProvide for Robust Error Recovery During Transmission Losses(在傳輸損耗時提供增強的差錯恢復的基於多塊恢復方法)」的申請系列號No.09/002，553的部分繼續申請；它們是1997年10月23日提交的題為「Image-to-B1ock Mapping to Provide for Robust ErrorRecovery During Transmission Losses(在傳輸損耗時提供增強的差錯恢復的圖象-到-塊映射)」的申請系列號No.08/965，632、1997年10月23日提交的題為「Source Coding to Provide for RobustError Recovery During Transmission Losses(在傳輸損耗時提供增強的差錯恢復的信源編碼)」的申請系列號No.08/957，555、以及1997年10月23日提交的題為「Multiple Block Based RecoveryMethod to Provide for Robust Error Recovery DuringTransmission Losses(在傳輸損耗時提供增強的差錯恢復的基於多塊恢復方法)」的申請系列號No.08/956，870的部分繼續。1998年1月30日提交的申請系列號No.09/016，083、1998年1月2日提交的申請系列號No.09/002，547、1998年1月2日提交的申請系列號No.09/002，470、1998年1月2日提交的申請系列號No.09/002，553、1997年10月23日提交的申請系列號No.08/956，632、1997年10月23日提交的申請系列號No.08/957，555、以及1997年10月23日提交的申請系列號No.08/956，870都在這裡結合參照。
2．發明領域本發明涉及提供對由於信號傳輸過程中出現數據損耗而帶來的差錯的增強的恢復。
3．技術背景有很多技術用於重構由於信號傳輸過程中出現的隨機差錯而造成的丟失數據。但是，這些技術不能處理連續數據包的丟失。數據包的連續丟失在本領域中描述為突發錯誤。突發錯誤導致對最終用戶非常明顯的重構信號質量下降。此外，用於促進高速通信的壓縮方法使突發錯誤所引起的信號下降變得更嚴重，因此使重構信號變得更差。影響發送及/或存儲信號的突發錯誤損耗的例子在其中壓縮方法起了重要作用的高清晰度電視(「HDTV」)信號以及移動電信應用中可以看到。
HDTV的出現將電視系統引入比目前National TelevisionSystems Committee(「NTSC」國家電視系統委員會)所建議的標準更高的解析度。所建議的HDTV信號主要是數字的。因此，當彩色電視信號轉換為數字使用時，亮度和色度信號使用八比特數位化是常見的。彩色電視的數字傳輸要求每秒216兆比特的標稱比特率。HDTV的傳輸速率要更高些，它標稱地要求大約每秒1200兆比特。這種高傳輸速率大大超過當前無線標準所支持的帶寬。因此，要求有效的壓縮方法。
壓縮方法也在移動電信應用中起著重要作用。通常，數據分組在移動電信應用的遠程終端之間傳遞。移動通信中有限數目的傳輸信道要求分組傳輸之前具有有效的壓縮方法。多種壓縮方法被用於促進高傳輸速率。
自適應動態範圍編碼(「ADRC」)和離散餘弦變換(「DCT」)編碼提供了本領域已知的圖象壓縮技術。兩種技術都利用了圖象內的局部相關性實現高壓縮比。但是，有效的壓縮算法導致更嚴重的差錯傳播，因為當隨後解碼時編碼信號中的錯誤更顯著。這種錯誤繁殖導致對用戶非常明顯的視頻圖象質量下降。
發明概要本發明描述了對信號信源編碼的方法。具體而言，對包括多個信號單元的信號進行處理。每個信號單元被編碼構成比特流。給定比特流內的比特被分散到不同比特流中。因此，描述分段單元組成的參數分散到不同比特流中。分散步驟導致錯誤分散到多級中。因此，當分散步驟由解碼器逆向執行時，突發傳輸錯誤變成分散的局部損耗組．也描述了另一種用於多級混洗(shuffling)處理的方法。信號被定義為多級的，其中每個級別包括多個幀、多個象素、以及多個比特。在一個實施例中，混洗出現在每一級和級之間。多級混洗使突發錯誤損耗分散到多級中，因此有利於出現損耗的圖象區域的圖象重構。
附圖的簡要描述本領域技術人員根據如下詳細描述將明確本發明的目的、特性和優點，其中

圖1一般性說明了信號編碼、傳輸及解碼過程。
圖2說明了分組結構的一個實施例。
圖3是一個流程圖，說明根據本發明概念的編碼過程的一個實施例。
圖4是一個流程圖，說明根據本發明概念的解碼過程的一個實施例。
圖5說明根據本發明概念的圖象-到-塊映射的一個實施例。
圖5a說明圖象-到-塊映射中使用的混洗模式的一個實施例。
圖6說明示範的互補和互鎖塊結構。
圖7a、7b、7c和7d說明幀組合內Y塊的混洗模式的一個實施例。
圖8說明緩存器0的累計DR分布的一個實施例。
圖8a說明根據本發明概念的部分混洗處理的一個實施例。
圖9說明根據本發明概念的緩存器內YUV塊混洗處理的一個實施例。
圖10說明根據本發明概念的組內VL數據混洗處理的一個實施例。
圖11說明根據本發明概念的3-塊組合內的Q碼級聯的一個實施例。
圖11a說明根據本發明概念的包括運動塊在內的幀對的Q碼級聯的一個實施例。
圖12說明1/6突發錯誤損耗引起的象素數據差錯的一個實施例。
圖12a說明根據本發明概念的對Q碼進行混洗和分布Q碼比特的一個實施例。
圖12b說明重新分布Q碼的1/6突發錯誤損耗所引起的象素數據差錯的一個實施例。
圖12c說明重新指定Q碼的1/6突發錯誤損耗所引起的象素數據差錯的一個實施例。
圖13說明根據本發明概念的MIN混洗的一個實施例。
圖13a說明在一個幀對中運動標誌混洗和固定長度數據損耗的一個實施例。
圖14說明取模混洗的一個實施例。
圖14a說明與取模混洗有關的取模混洗結果和固定長度數據損耗的一個實施例。
圖14b說明與取模混洗有關的取模混洗結果和固定長度數據損耗的另一個實施例。
圖14c說明與取模混洗有關的取模混洗結果和固定長度數據損耗的又一個實施例。
圖15說明幀組合中可變長度數據緩存的一個實施例。
圖16說明了根據本發明概念的段間VL-數據混洗的一個實施例。
圖17是一般性說明本發明的數據恢復處理的一個實施例的流圖。
圖18是本發明的Q比特和運動標誌恢復過程一個實施例的流圖。
圖19是說明候選解碼一個實施例的表。
圖20a、20b、20c、20d說明圖18的Q比特和運動標誌恢復過程中所用的測量的實施例。
圖21說明用於圖18的Q比特和運動標誌恢復過程的確定誤差平方概率函數的表的一個實施例。
圖22說明根據本發明概念的Q比特、運動標誌以及輔助信息恢復過程的一個實施例。
圖23說明雙向Q比特和運動標誌恢復過程的一個實施例中後同步信號的使用。
圖24a、24b和24c說明評價候選解碼的另一個實施例。
圖25根據本發明一個實施例的概念說明平滑措施的使用。
圖26a、26b、26c、26d和26e說明評價候選解碼過程的另一個實施例。
圖27a說明評價候選解碼的另一個過程，圖27b說明確定權重值的一個實施例。
詳細描述本發明提供了一種編碼及安排信號流以便提供增強的差錯恢復的方法。在下面的描述中，為了說明起見，提出了很多細節，以便提供對本發明的完整理解。但是，對於本領域技術人員很顯然的是，這些特定的細節是實施本發明所不必要的。另一方面，眾所周知的電氣結構和電路用框圖的形式表示，這樣就不會不必要地使本發明變得不清晰。
信號處理方法及結構是從信號是視頻信號這樣一個實施例的角度來描述的。但是，這裡描述的方法及裝置是希望應用於各種類型的信號的，包括聲音信號或其它數字數據比特流，其中每個信號由多個信號單元組成。此外，這裡描述的處理實施例使用自適應動態範圍編碼(「ADRC」)過程來壓縮數據；但是也可以使用各種編碼技術和算法。對於ADRC的更詳細討論，可以參見「Adpative Dynamic RangeCoding Scheme for Future HDTV Digital VTR(未來HDTV數字錄象機的自適應動態範圍編碼方案)」，Kondo，Fujimori及Nakaya，Fourth International Workshop on HDTV and Beyond，1991年9月4日-6日，都靈，義大利。
在上述文章中，解釋了三種不同類型的ADRC。它們都是根據下式實現的非邊緣匹配ADRCDR=MAX-MIN+1q=[(x-MIN+0.5)2QDR]]]>x=[(q+0.5)DR2Q+MIN]]]>邊緣匹配ADRCDR=MAX-MINq=[(x-MIN)(2Q-1)DR+0.5]]]>x=[qDR2Q-1+MIN+0.5]]]>多級ADRCDR=MAX-MIN+1q=[(x-Min+0.5)2QDR]]]>x=[(q+0.5)DR2Q+MIN]]]>這裡MAX』是在q=2Q-1情況下x』的平均值；MIN』是在q=0情況下x』的平均值；而且DR＇=MAX＇-MIN＇q=[(x-MIN)(2Q-1)DR+0.5]]]>x=[qDR2Q-1+MIN+0.5]]]>這裡MAX代表一個塊的最高級別，MIN代表一塊的最低級別，x代表每個抽樣的信號電平，Q代表量化比特數，q代表量化碼(編碼數據)，x』代表每個抽樣的解碼級別，方括號[]代表方括號內的值上進行的截短運算。
信號解碼、傳輸以及隨後的解碼過程一般性地在圖1中說明。信號100是輸入編碼器110的數據流。編碼器110遵循自適應動態範圍編碼(「ADRC」)壓縮算法並沿著傳輸介質135產生分組1、…、N。解碼器120從傳輸介質135接收分組1、…、N，並產生信號130。信號130是信號100的重構。
編碼器110和解碼器120可以用各種方式實現以便執行這裡描述的功能。在一個實施例中，編碼器110及/或解碼器120作為存儲在介質中並由通用或專門配置的計算機系統執行的軟體來實現，計算機系統通常包括中央處理單元、存儲器以及一個或多個輸入/輸出設備及協處理器。或者，編碼器110及/或解碼器120可以作為執行這裡所述功能的邏輯來實現。此外，編碼器110及/或解碼器120可以作為硬體、軟體或固件的組合來實現。
在本實施例中，信號100是由視頻幀序列組成的彩色視頻圖象，每個幀包括代表隔行掃描視頻系統中圖象的信息。每個幀由兩個場組成，一個場包含圖象偶數行的數據，另一個場包含圖象奇數行。數據包括描述圖象中相應位置的彩色成分的象素值。例如，在本發明中，彩色成分由亮度信號Y以及色差信號U及V組成。顯然，本發明的過程可以用於隔行掃描視頻信號以外的其它信號。此外，顯然本發明不限於Y、U、V彩色空間中的實現，而是可以用於其它彩色空間中表示的圖象。
返回參考圖1，編碼器110將Y、U及V信號分開，並分別根據ADRC算法獨立地處理每組信號。為了使討論簡單，下面的敘述描述了Y信號的處理，但是編碼步驟要對U和V信號重複。
在本實施例中，編碼器110將信號100的跨越兩個連續幀的Y信號組成三維塊(「3D」)，這裡稱為一個幀對。對於一個實施例，3D塊由來自給定幀對上的同一局部區域的兩個2D塊的組合而產生，其中二維2D塊通過幀內或場內的局部象素組合而產生。希望這裡描述的過程可以用於不同的塊結構。信號組合將在下面圖象-到-塊映射部分中進一步描述。
繼續本實施例，對於給定的3D塊，編碼器110計算構成3D塊的2D塊之間的象素值中是否存在變化。如果值中確實有變化，就設置運動標誌。正如本領域已知的，當每個幀對內有局部的圖象重複時，運動標誌的使用使編碼器110減少了量化碼的數目。編碼器110也檢測3D塊內的最大象素強度值(「MAX」)和最小象素強度值(「MIN」)。利用值MAX和MIN，編碼器110計算給定3D數據塊的動態範圍(「DR」)。對於一個實施例，在非邊緣匹配ADRC情況下DR=MAX-MIN+1。對於邊緣匹配ADRC，DR=MAX-MIN。在另一個實施例中，編碼器110逐幀對代表一串視頻幀的幀流信號編碼。在另一個實施例中，編碼器110逐場地對代表一串視頻域的域流信號編碼。因此，不使用運動標誌，而是將2D塊用於計算MIN、MAX和DR值。
在本實施例中，編碼器110針對一個門限表(未表示)參考被計算的DR，以便確定用於編碼DR所對應的塊內象素的量化比特(「Q比特」)數。對象素編碼產生量化碼(「Q碼」)。Q碼是用於存儲或傳輸的相對壓縮的圖象數據。
在一個實施例中，Q比特選擇是從3D塊的DR中得到的。因此，給定3D塊內的所有象素使用相同Q比特來編碼，以得到一個3D編碼塊。3D編碼塊的Q碼、MIN、運動標誌以及DR的集合稱為3D ADRC塊。或者，對2D塊編碼，並且給定2D塊的Q碼、MIN以及DR的集合產生2D ADRC塊。
可以實現多個門限表，在一個實施例中，門限表由一行DR門限值組成。Q比特對應於用來對門限表一行內兩個相鄰DR之間的一套DR值進行編碼的量化比特數。在另一個實施例中，門限表包括多行，行的選擇根據所需的傳輸速率。門限表中的每一行用門限索引來標識。門限選擇的一個實施例的詳細描述在下面討論部分緩存時描述。ADRC編碼及緩存的進一步描述在轉讓給本發明受讓人的題為「HighEfficiency Coding Apparatus(高效編碼裝置)」的美國專利No.4，722，003以及同樣題為「High Efficiency Coding Apparatus(高效編碼裝置)」的美國專利No.4，845，560中揭示。
由此Q碼被稱為可變長度數據(「VL-數據」)。此外，DR、MIN和運動標誌稱為塊屬性。塊屬性以及門限索引組成了固定長度數據(「FL-數據」)。此外，考慮到上面的討論，術語塊屬性描述了與信號單元的成分有關的參數，其中信號單元包括多個成分。在另一個實施例中，FL-數據分組括Q比特碼。其好處是Q比特信息不必在解碼過程中從DR得到。因此，如果DR信息丟失或損壞，Q比特信息還可以從Q比特碼中確定。此外，如果Q比特碼丟失或損壞，Q比特信息可以從DR得到。因此，降低了恢復DR和Q比特的要求。
要求將Q比特碼包括在內的缺點是每個ADRC塊要發送附加的比特。但是，在一個實施例中，用於組合ADRC塊的Q比特碼被根據例如加法或級聯這樣的功能而合併。例如，如果ADRC塊被組成三組，並且如果每個ADRC塊的Q比特值分別為3、3和4，則編碼為FL-數據的總和值是11。因此，代表總和所需的比特數少於代表每個單獨值所需的比特數，而且組中沒有損壞的Q比特值可以用於確定Q比特值而不必執行下面描述的那種Q比特恢復處理。
也考慮了其它實施例。例如，運動標誌數據也可以被編碼。可以產生帶有Q比特和運動標誌數據的標誌並將其用於去查找碼錶。編碼的配置和功能可以根據應用而變。
幀、塊屬性以及VL-數據描述了視頻信號內的各種成分。這些成分的邊界、位置及數量依賴於視頻信號的傳輸及壓縮特性。在本實施例中，這些成分在視頻信號比特流中可變而且被混洗，以便確保傳輸損耗時增強的差錯恢復。
為了說明起見，以下描述規定1/6連續分組傳輸損耗容限，遵循視頻信號的ADRC編碼和混洗。因此，以下的成分定義和劃分被用於一個實施例中。也考慮了其它實施例。一個數據集合包括一個視頻數據的一部分或其它類型的數據信號。因此，在一個實施例中，一個幀集合是包括一個或多個連續幀的一類數據集合。一個分段包括一個能夠存儲1/6部分的Q碼以及被包括在幀集合中的塊屬性的存儲器。此外，緩存器包括一個能夠存儲1/60部分的Q碼以及被包括在幀集合中的塊屬性的存儲器。數據混洗通過交換分段內及/或緩存器內的成分來進行。此後，存儲在分段內的數據用於產生供傳輸的數據分組。因此，在如下描述中，如果分段丟失，所有從分段中產生的分組都在傳輸中丟失。類似地，如果一部分分段丟失，那麼從分段中產生的相應數目的分組在傳輸中丟失。
儘管，以下描述提到了用ADRC編碼的數據有1/6連續的分組損耗，但是考慮這裡描述的方法和裝置可用於被運用到各種編碼/解碼方案中的1/n連續的分組損耗容限的設計。
圖2說明了用於在點對點連接以及網絡中傳輸數據的分組結構200的一個實施例。分組結構200由編碼器110產生並通過傳輸介質135發送。對於一個實施例，分組結構200包括5位元組字頭信息、8個DR比特、8個MIN比特、一個運動標誌比特、5個門限索引比特以及354比特Q碼。這裡描述的分組結構是說明性的，而且以便可以用於異步轉移模式(「ATM」)網絡中的傳輸。但是，本發明不限於所描述的分組結構，而且可以使用各種網絡中所用的各種分組結構。
正如前面注意到的，傳輸介質(例如，媒介)135沒有被認為能夠提供無差錯傳輸，因此分組可能會丟失或損壞。正如前面注意到的，存在檢測這種丟失或損壞的常規方法，但是實際上一般會出現圖象惡化。因此本發明的系統及方法教導了從這種丟失或損壞中增強恢復的信源編碼。在整個如下討論中假設，突發損耗(即，幾個連續分組的丟失)是最可能的錯誤形式，但是一些隨機分組損耗也可能出現。
為了確保從一個或多個連續數據分組損耗中增強的恢復，本發明的系統及方法提供了多級混洗。具體而言，包括在所傳輸的分組中的FL-數據和VL-數據包含空間和時間分離的數據位置上的數據。對數據混洗確保任何突發錯誤被分散並有利於差錯恢復。正如下面所描述的，混洗使塊屬性和Q比特值得以恢復。
數據編碼/解碼圖3是說明編碼器110所執行的編碼過程一個實施例的流圖。圖3還描述了用於防止圖象惡化並有利於增強的差錯恢復的混洗過程的概述。
在圖3的步驟1中，一個也被稱為顯示成分的輸入幀集合被抽取，以便降低傳輸要求。Y信號被水平抽取到原有寬度的3/4，U和V信號每個被抽取到原有高度的1/2以及原有寬度的1/2。這樣得到3∶1∶0的視頻格式，每個幀對中有3960個Y塊、660個U塊以及660個V塊。正如前面注意到的，討論將描述Y信號的處理；但是該處理可用於U及V信號。在步驟2，兩個Y幀圖象被映射到3D塊。在步驟3，3D塊被混洗。在步驟4，使用ADRC緩存和編碼。在步驟5，編碼的Y、U及V塊在緩存器內混洗。
在步驟6，一組編碼3D塊的VL-數據以及它們相應的塊屬性被混洗。在步驟7，FL一數據在不同分段上混洗。在步驟8，執行後同步信號填充，其中緩存器末尾的可變空間被填充了預定的比特流。在步驟9，VL-數據在不同分段上混洗。
為了說明起見，以下混洗描述提供了在編碼之前和之後處理象素數據的方法。對於另一個實施例，獨立的數據值通過硬體被混洗/去混洗。具體而言，硬體將塊值地址映射到不同的地址，以便實現混洗/去混洗處理。但是，地址映射對於與數據相關的值是不可能的，因為混洗必須遵守數據的處理。下面描述的組內VL-數據混洗包括與數據相關的值。此外，為了說明起見，以下的混洗描述出現在不連續的數據集合上。但是，對於另一個實施例，信號基於多種數據級別-從比特到象素到幀—而定義。混洗對於信號中定義的每個級別都是可能的並且跨越不同的信號數據級別。
圖4是說明解碼器120所執行的解碼處理的一個實施例的流圖。優選地，轉換和去混洗處理是圖3所代表的逆過程。圖4還以Q比特、運動標誌、DR、MIN以及象素數據的不同組合描述了所發明的差錯恢復過程。在下面以不同實施例的不同Q比特、運動標誌、DR、MIN以及象素恢復的不同組合來描述差錯恢復過程。
從圖象到塊的映射在本實施例中，單幀一般包括5280個2D塊，每個2D塊包括64個象素。因此，一個幀對包括5280個3D塊，因為來自第一幀的一個2D塊和來自後一幀的2D塊合起來構成一個3D塊。
為了分別將幀或數據幀集合分成2D塊或3D塊，就要進行圖象-到-塊映射。此外，圖象-到-塊映射包括使用互補及/或互鎖模式劃分幀中的象素，以便促進傳輸損耗過程中增強的差錯恢復。但是，為了提高給定DR值不太大的概率，每個2D塊從局部區域中的象素構造。
圖5說明一個圖象的示範16象素分段的圖象-到-塊映射處理的一個實施例。圖象500包括構成單幀局部區域的16象素。圖象500中的每個象素由一個強度值代表。例如，圖象頂部左邊的象素具有等於100的強度值，而圖象低部右邊的象素強度值為10。
在一個實施例中，來自圖象500不同區域的象素用於產生2D塊510、520、530和540。2D塊510、520、530和540被編碼、混洗(如下所述)並發送。發送之後，2D塊510、520、530和540被重新合併並用於構成圖象550。圖象550是圖象500的重構。
為了確保在可能的傳輸損耗下精確地代表圖象500，圖5是一種用於重構圖象550的互鎖互補塊結構，它的一個實施例在圖5中表示。具體而言，用於產生2D塊510、520、530和540的象素選擇可以確保在重構圖象550時，互補及/或互鎖模式用於重新合併塊。因此，當特定的2D塊屬性在傳輸中丟失時，圖象550的連續分段在重構過程中不會失真。例如，如圖5所示，2D塊540的DR在數據傳輸過程中丟失了。但是，在圖象550的重構過程中，解碼器利用鄰塊的多個相鄰象素就可以恢復2D塊540丟失的DR。此外，正如後面將要描述的，互補模式與混洗的結合增加了相鄰象素數目，優選地使得來源於其它塊的相鄰象素數最大化，顯著地改善了DR和MIN恢復。
圖5a說明了在圖象-到-塊映射處理的一個實施例中用於構成2D塊的混洗模式的一個實施例。基於象素交替，圖象被分成兩個子圖象，即子圖象560和子圖象570。在子圖象560中構成一個矩形，從而描述2D塊的邊界。為了討論，2D塊被編號為0、2、4、7、9、11、12、14、16、19、21和23。瓦塊(tile)565說明了子圖象560內2D塊的象素分布。
在子圖象570中，2D塊指派被水平移了8個象素，垂直移了4個象素。這樣當子圖象560和570在重構過程中合併時，導致環繞2D塊指派和重疊的包封。2D塊被編號為1、3、5、6、8、10、13、15、17、18、20和22。瓦塊575說明子圖象570內2D塊的象素分布。瓦塊575是瓦塊565的互補結構。因此，當特定的塊屬性在傳輸過程中丟失時，塊屬性可以從相鄰象素中恢復，因為丟失的2D塊仍存在。此外，存在具有類似塊屬性集合的重疊2D象素塊。因此，在圖象的重構過程中，解碼器有來自相鄰2D塊的多個相鄰象素，丟失的塊屬性可以從其中恢復。
圖6說明其它的互補及互鎖2D塊結構。其它結構也是可以使用的。類似於圖5，圖6中說明的這些2D塊結構，無論給定2D塊是否傳輸丟失，都確保提供周圍的2D塊。但是，在象素到隨後的2D塊映射過程中，模式610a、610b和610d使用水平及/或垂直移動。水平移動描述了在開始新的2D塊邊界之前在水平方向上將瓦塊結構移動預定數目的象素。垂直移動描述了在開始新的2D塊邊界之前在垂直方向上將方塊結構移動預定數目的象素．在應用中，可以只使用水平移動，也可以只使用垂直移動，或者可以使用水平和垂直移動的結合。
模式610a描述了用於圖象-到-塊映射的螺旋形模式。螺旋形模式遵循水平移動，在圖象-到-塊映射過程中產生隨後的2D塊。模式610b和610d說明了互補模式，其中象素選擇被水平和垂直移動，從而在圖象-到-塊映射過程中產生隨後的2D塊。此外，模式610b和610d說明了2D塊之間象素選擇的交替偏移。模式610c說明使用不規則象素抽樣來產生用於圖象-到-塊映射的2D塊。因此，圖象-到-塊映射遵守任意映射結構，只要象素被映射到2D塊僅一次。
圖5、圖5a和圖6描述了用於產生2D塊的圖象-到-塊映射。顯然，該處理可以用於3D塊。如上所述，3D塊的產生遵守與2D塊相同的邊界定義，但是邊界劃分延伸到隨後的幀上，從而產生了3D塊。具體而言，3D塊是通過收集用於定義第一幀中2D塊的象素與來自隨後幀中2D塊的象素而產生的。在一個實施例中，來自第一幀的2D塊與來自隨後幀的2D塊中的象素都是來自完全相同的位置。
幀集合內塊混洗給定圖象的象素值在局部區域密切相關。但是，在同一圖象的另一個區域，象素值可能有很不同的值。因此，在編碼之後，一部分圖象中空間接近的2D或3D塊的DR和MIN值具有類似值，而另一部分圖象中塊的DR和MIN值可能非常不同。因此，當緩存器順序填充了來自圖象中空間接近的2D或3D塊的編碼數據時，會出現不成比例的緩存器空間利用。幀集合內塊混洗在ADRC編碼之前出現，並包括對在圖象-到-塊映射處理過程中產生的2D或3D塊進行混洗。這個混洗過程確保在隨後的ADRC編碼過程中均衡的緩存器使用。
圖7a-7d說明對3D Y塊混洗的一個實施例。圖7a-7d中的3D Y塊通過將上述圖象-到-塊映射處理應用於只包含Y信號的幀對而產生。3D Y塊的混洗確保用於存儲編碼幀對的緩存器包含來自幀對不同部分的3D Y塊。這樣導致ADRC編碼過程中相類似的DR分散。每個緩存器內類似的DR分散導致一致的緩存器利用。
圖7a-7d也說明了使用物理上不連貫的3D塊進行3D塊混洗，以便確保連續分組的傳輸損耗產生的損壞的塊屬性被分散到圖象上，而不是在圖象的局部區域。
塊混洗的設計在出現小、中或大的突發分組損耗時都能廣泛地分散塊屬性。在本實施例中，小量突發損耗被認為是幾個分組丟失；中等損耗是一個緩存器中可以存儲的數據量的丟失；而大量損耗是一個分段中可以存儲的數據量的丟失。在3D塊混洗過程中，每個三相鄰塊組從圖象中相對較遠的部分選出。因此，在隨後的組內VL-數據混洗過程(後面將詳細描述)中，每個組由具有不同統計特性的3D塊構成。將塊屬性損耗分散，可得到增強的差錯恢復，因為未損壞的3D塊周圍環繞損壞的3D塊，未損壞的3D塊可以用於恢復丟失的數據。
圖7a說明一個包含水平方向上的66個3D Y塊、垂直方向上的60個3D Y塊的幀對。3D Y塊被分配到分段0-5。如所說明的，3D Y塊的指定按照2乘3列分段，這樣，來自每個分段的一個3D Y塊關聯於一個分段。因此，如果不進行進一步的混洗而且出現了第一個880分組的突發損耗，與分段0關聯的所有塊屬性都會丟失。儘管如此，正如後面所描述的，進行FL-數據混洗會進一步地分散塊屬性損耗。
圖7b說明用於進入分段0的編號為「0」的3D Y塊的掃描順序。圖7a的每個「0」3D Y塊編號為0、1、2、3、…、659，表示它們在被輸入分段0的流中的位置。使用塊編號來分配分段指定，其餘的3DY塊輸入到分段1-5，因此導致一個幀對在多個分段上混洗。
圖7c說明包括一個分段的660個3D Y塊。編號為0-65的3D Y塊輸入到緩存器0。類似地，與編號的3D Y塊相鄰的3D Y塊輸入到緩存器1。該過程重複，直到填滿緩存器2-9。因此，在數據傳輸過程中一個緩存器的損壞導致來自圖象不同部分的3D Y塊的丟失。
圖7d說明「0」3D Y塊在一個緩存器中的最後順序。3D Y塊0、1和2佔據緩存器的前三個位置。該過程對緩存器的其餘部分重複。因此，三個3D Y塊在數據傳輸過程中的丟失導致圖象內相距很遠的3D Y塊的丟失。
圖7a-d說明了幀集合的3D Y塊的3D塊分散的一個實施例。但是，在另一個實施例中，提供了3D U塊和3D V塊的3D塊屬性．3D U塊通過將上述的圖象-到-塊映射處理提供給只包含U信號的幀集合而產生。類似地，3D V塊通過將圖象-到-塊映射處理提供給只包含V信號的幀集合而產生。3D U塊和3D V塊遵循上述的3D Y塊分布。但是，如前所述，3D U決和3D V塊數量各相對3D Y塊有1∶6的比例。
圖7a-d用於說明Y信號的幀集合內塊混洗的一個實施例，通過這樣的操作，高達1/6傳輸過程中分組損耗的突發錯誤可以容忍而且進一步保證了均衡的緩存器利用。本領域技術人員會理解的是分段、緩存器以及ADRC塊指定可以改變，以便確保對付1/n的突發錯誤損耗並修改緩存器利用。
部分緩存如圖3所示，ADRC編碼和緩存過程在步驟4出現。根據編碼技術，圖象-到-塊映射處理過程中產生的2D或3D塊被編碼，從而產生2D或3D ADRC塊。一個3D ADRC塊包含Q碼、MIN值、運動標誌以及DR。類似地，一個2D ADRC塊包含Q碼、MIN以及DR。但是2D ADRC塊不包括運動標誌，因為編碼在單幀或單個域上執行。
多種緩存技術可以在現有技術中找到(例如，見High EfficiencyCoding Apparatus(高效編碼裝置)，美國專利4，845，560，Kondo等，以及High Efficiency Coding Apparatus(高效編碼裝置)，美國專利4，722，003，Kondo)。這兩項高效編碼裝置專利都在這裡結合參照。
下面提到的部分緩存處理描述了確定用於ADRC編碼的編碼比特的創造性方法。具體而言，部分緩存描述了從門限表中選擇門限值的方法，該門限表設計為在遠程終端之間提供恆定的傳輸率同時限制了差錯傳播。在另一個實施例中，門限表被進一步設計為提供最大的緩存器利用。在一個實施例中，緩存器是存儲來自給定幀集合的1/60部分編碼數據的存儲器。門限值用於確定前面描述的圖象-到-塊映射處理所產生的2D或3D塊中象素編碼所用的Q比特數。
門限表包括多行門限值，也稱為門限集合，門限表中的每一行用門限索引來編排。在一個實施例中，門限表按照如下方式組織產生較大數量Q碼比特的門限集合處於門限表的較高行。因此，對於具有可用的預定比特數的給定緩存器來說，編碼器110在門限表中向下移動直到遇到產生小於預定比特數的門限集合。這個恰當的門限值用於對緩存器中的象素數據編碼。
在一個實施例中，希望不超過30Mbps的傳輸速率。所希望的傳輸速率導致有31，152比特用於任何給定緩存器中的VL-數據存儲。因此，對於每個緩存器，計算累積的DR分布並從門限表中選出門限集合，以便將3D或2D塊中的象素編碼為VL-數據。
圖8說明緩存器0中所選的門限值和DR分布的一個實施例。圖8的縱軸包括累積的DR分布。例如，值「b」等於其DR大於或等於L3的3D或2D塊數。橫軸包括可能的DR值。在一個實施例中，DR值的範圍從0到255。門限值L4、L3、L2和L1描述了用於確定緩存器編碼的門限集合。
在一個實施例中，存儲在緩存器0中的所有塊使用門限值L4、L3、L2和L1來進行編碼。因此，DR值大於L4的塊，其象素值使用4比特編碼。類似地，屬於那些DR值在L3和L4之間的塊的所有象素用3比特來編碼。屬於那些DR值在L2和L3之間的塊的所有象素用2比特來編碼。屬於那些DR值在L1和L2之間的塊的所有象素用1比特來編碼。最後，屬於那些DR值小於L1的塊的所有象素用0比特來編碼。L4、L3、L2和L1的選擇使得用於對緩存器0中的所有塊編碼的總比特數儘可能地接近31，152比特的極限，而不超過31，152極限。
圖8a說明在一個實施例中使用部分緩存。幀800被編碼並存儲在緩存器0-59中。假設傳輸錯誤阻止了差錯恢復，幀800的解碼過程就會停止直到對丟失數據進行了差錯恢復。但是，部分緩存限制了緩存器內的差錯傳播，因此允許對其餘緩存器解碼。在一個實施例中，傳輸錯誤阻止了緩存器0中塊80的Q比特和運動標誌恢復。部分緩存限制了差錯傳播到緩存器0中的其餘塊。因為緩存器0的結尾和緩存器1的開始由於固定緩存器長度而已知，差錯傳播限制到緩存器0。因此，解碼器120可以沒有延遲地開始緩存器1內的塊處理。此外，不同門限集合用於對不同緩存器編碼，使編碼器110最大化/控制一個給定緩存器內包含的Q碼比特數，從而允許較高的壓縮比。此外，部分緩存處理提供了恆定的傳輸率，因為緩存器0-59由固定長度組成。
在一個實施例中，緩存器的可變空間不完全用Q碼比特填充，因為存在有限數目的門限集合。因此，固定長度緩存器中的其餘比特填充了被稱為後同步信號的預定的比特流圖形。正如隨後將要描述的那樣，後同步信號允許雙向數據恢復，因為後同步信號描述了緩存器末尾之前VL-數據的結尾。
緩存器內YUV塊混洗Y、U和V信號各具有獨特的統計特性。為了改善Q比特和運動標誌恢復處理(下面描述的)，Y、U和V信號在緩存器內復接。因此，傳輸損耗對特定信號基本上沒有影響。
圖9說明了緩存器內YUV塊混洗處理的一個實施例，其中YUVADRC塊分別從Y、U和V信號中得到。緩存器900說明了幀集合內塊混洗之後的ADRC塊指定。緩存器900包括66個Y-ADRC塊，其後接著11個U-ADRC塊，其後再接著11個V-ADRC塊。緩存器910表示了緩存器內YUV塊混洗之後YUV ADRC塊的組織。如所示，三個Y-ADRC塊後面接著一個U-ADRC塊或三個Y-ADRC塊，其後面又接著一個V-ADRC塊。緩存器內YUV塊混洗減少了緩存器內相鄰塊比特流之間的相似性。具有不同信號(即，YUV比或其它色度空間)的緩存器內YUV塊混洗的另一個實施例按照最初的圖象格式也是可能的。
組內VL-數據混洗組內VL-數據混洗包括三個處理步驟。這三個處理步驟包括Q碼級聯、Q碼重指定以及隨機化級聯的Q碼。圖10說明組內VL-數據混洗的一個實施例，其中三個處理步驟連續應用於緩存器中存儲的Q碼。在另一個實施例中，處理步驟的子集應用於組內VL-數據混洗。每個處理步驟獨立地協助傳輸過程中數據丟失的差錯恢復。因此，對每個處理步驟獨立描述。差錯恢復的詳細描述在下面數據恢復的討論中提供。
1．Q碼級聯Q碼級聯保證ADRC塊組一起解碼。組解碼有利於差錯恢復，因為在下面詳述的數據恢復處理過程中附加信息可從相鄰塊提供。對於一個實施例，Q碼級聯獨立地應用於存儲在緩存器中的每個三ADRC塊組。在另一個實施例中，組包括來自不同緩存器的ADRC塊。在三個ADRC塊上的Q碼的級聯被描述為產生一個級聯的ADRC瓦塊。圖11和圖11a表示了一個產生級聯的ADRC瓦塊的實施例。
圖11說明從2D ADRC塊中產生級聯的ADRC瓦塊的一個實施例。具體而言，對2D ADRC塊0、1和2中所包括的每個Q碼(q0-q63)執行級聯，從而產生級聯ADRC瓦塊A的64個Q碼。例如，2D ADRC塊0的第一Q碼q0，0(第0個量化值)級聯到2D ADRC塊1的第一個Q碼q0，1。兩個級聯的Q碼再級聯到2D ADRC塊2的第一個Q碼q0，2，因此產生級聯的ADRC瓦塊A的Q0。處理一直重複到產生Q63。或者，在級聯的ADRC瓦塊A中產生的Qi由下式描述Qi=[qi，0，qi，1，qi，2]i=0，1，2…63。
此外，與級聯的ADRC瓦塊A中的每個Qi關聯，有相應數目的N比特代表產生單個Qi的級聯比特總數。
圖11a說明從包括運動塊的幀對中產生級聯的ADRC瓦塊的一個實施例。運動塊是具有設置的運動標誌的3D ADRC塊。當前面描述的圖象-到-塊映射處理所產生的兩個2D塊結構內的預定數目象素在第一幀和後續幀之間改變其值時，就設置運動標誌。在另一個實施例中，當第一幀和後續幀的2D塊之間每個象素改變的最大值超過預定值時，就設置運動標誌。相反，非運動(即靜止)塊包括一個未設運動標誌的3D ADRC塊。當第一幀和後續幀的兩個2D塊內的預定象素數的值沒有改變時，運動標誌保持不設置。在另一個實施例中，當第一幀和後續幀之間每個象素改變的最大值不超過預定值時，運動標誌保持不設置。
運動塊包括來自第一幀中編碼的2D塊以及後續幀中編碼的2D塊的Q碼。對應於單個編碼的2D塊的Q碼集合被稱為ADRC瓦塊。因此，一個運動塊產生兩個ADRC瓦塊。但是由於沒有運動，一個靜止塊只需包括運動塊一半數目的Q碼，因此只產生一個ADRC瓦塊。在本實施例中，靜止塊的Q碼通過在第一幀的2D塊和後續幀中相應2D塊之間對相應的象素值進行平均而產生。每個平均的象素值隨後被編碼，產生構成單個ADRC瓦塊的Q碼集合。因此，運動塊1110和1130產生ADRC瓦塊0、1、3和4。靜止塊1120產生ADRC瓦塊2。
圖11a中級聯ADRC瓦塊的產生可以把ADRC瓦塊0-4的Q碼級聯到級聯的ADRC瓦塊B。具體而言，對ADRC瓦塊0、1、2、3和4中包括的每個Q碼(q0-q63)進行級聯，從而產生級聯的ADRC瓦塊B的64個Q碼。或者，每個Q碼(Qi)在級聯的ADRC瓦塊B中的產生由以下數學公式來進行描述Qi=[qi，0，qi，2，qi，3，qi，4]i=0，1，2…632．Q碼重指定Q碼重指定可以確保傳輸損耗所引起的比特錯誤被局限在空間分離的象素內。具體而言，在Q碼重指定過程中，Q碼被重新分布，而且重新分布的Q碼比特被混洗。因此，Q碼重指定有利於差錯恢復，因為未損壞的象素環繞每個損壞的象素。此外，因為象素損壞均勻地分布在ADRC塊上，所以有助於DR和MIN恢復，DR和MIN恢復在下面的數據恢復討論中詳述。
圖12說明在1/6突發錯誤損耗的傳輸損耗過程中象素破壞的一個實施例。具體而言，2D ADRC塊1210、1220和1230中的每一個包括使用3比特編碼的64個象素。因此，2D ADRC塊的每個象素(p0到P63)用3比特來代表。2D ADRC塊1210表示了當每6比特的第一比特丟失時的比特損耗模式，用加黑的方塊表示，類似地，當每6比特的第二比特或第四比特丟失時的比特損耗模式分別在2D ADRC塊1220和1230中表示。圖12說明沒有Q碼重指定時，對於1/6突發錯誤損耗，2D ADRC塊1210、1220和1230所有象素的一半被破壞。
對於一個實施例，Q碼重指定被獨立應用於緩存器中存儲的每個級聯的ADRC瓦塊，因此確保了在去混洗時比特錯誤被局限在空間分離的象素內。在另一個實施例中，Q碼重指定被應用於緩存器中所存儲的每個ADRC塊。
圖12a說明從級聯的ADRC瓦塊產生混洗的Q碼比特流的Q碼重指定的一個實施例。表122和表132說明Q碼重分布。比特流130和140說明了Q碼比特的混洗過程。
表122表示用於級聯的ADRC瓦塊A的級聯的Q碼。Q0是第一個級聯的Q碼，Q63是最後一個級聯的Q碼。表132說明Q碼的重分布。對於一個實施例，Q0，Q6，Q12，Q18， Q24，Q30，Q36，Q42，Q48，Q54和Q60被包括在第一集合、分區0中。按照表132，後面11個級聯的Q碼被包括在分區1中。這些步驟對分區2-5重複。一個分區的邊界由表132中的垂直線描述。將級聯Q碼向6個分區的這種空間分離指定確保了1/6突發錯誤損耗將導致分散到一組連續象素上的比特損耗模式。
圖12b說明重新分布Q碼的1/6突發錯誤損耗所產生的比特模式損耗的一個實施例。具體而言，2D ADRC塊1215、1225和1235中每個包括用3比特編碼的64個象素。因此，每個2D ADRC塊的每個象素(p0到P63)用3比特代表。在2D ADRC塊1215、1225和1235中用加黑的方塊表示的比特損耗模式被局限在一組連續的象素上。因此，對於給定的分段損耗，每個2D ADRC塊1215、1225和1235內只有11個連續象素被破壞。在另一個實施例中，Q碼到分區的指定包括來自不同運動塊的Q碼，因此提供到6個分段的空間和時間分離的Q碼指定。這樣就產生了在1/6突發錯誤損耗時附加的未損壞的空間-時間象素，並進一步促進了更增強的差錯恢復。
參考圖12a，表132中重分布的Q碼比特在所產生的比特流上被混洗，這樣，比特流中的相鄰比特來自相鄰的分區。表132中所有分區的Q碼比特被級聯成比特流130。對於給定的分區，比特流130中的相鄰比特被分散到所產生的比特流140中的每個第6個位置上。因此，比特流140中號碼0到5的比特包括來自每個分區中第一Q碼的第一比特。類似地，比特流140中號碼6到11的比特包括來自每個分區中第一Q碼的第二比特。該處理對所有Q碼比特重複。因此，1/6突發差錯損耗將產生空間分離的象素損耗。
圖12c說明了重指定(即，重分布並混洗)的Q碼的1/6突發錯誤損耗所造成的比特模式損耗的一個實施例。具體來說，2D ADRC塊1217、1227以及1237每個包括64個用三比特編碼的象素。因此，每個2D ADRC塊的每個象素P0到P63，可用三比特代表。在2D ADRC塊1217、1227和1237中，用黑方塊表示的比特損耗模式在空間分離的象素上分布，因此有利於象素差錯恢復。
3．Q碼比特的隨機化利用屏蔽密鑰來使Q碼比特隨機化，從而有助於解碼器恢復丟失和損壞的數據。具體而言，在編碼過程中，將密鑰(用KEY標誌)用於屏蔽Q碼比特流。因此，解碼器必須識別KEY的正確值，以便解除對Q碼比特流的屏蔽。
在一個實施例中，KEY用於屏蔽三個ADRC塊的Q碼重指定所產生的Q碼比特流。正如前面所描述的，ADRC塊包括FL-數據和Q碼。屏蔽密鑰的每個密鑰元素(「di」)由FL-數據值和相應ADRC塊所關聯的量化比特(「qi」)數的組合來產生。在一個實施例中，運動標誌和Q比特用於定義一個密鑰。因此，在這個實施例中，密鑰元素值從下面數學公式產生di=5·mi+qi，這裡i=0，1，2而且qi=0，1，2，3，4變量mi等於運動標誌。因此，當相應的ADRC決是靜止塊時，mi等於0，當相應的ADRC塊是運動塊時，mi等於1。此外，變量qi代表用於對相應ADRC塊編碼的量化比特。因此，對於四比特ADRC編碼技術，qi具有的值為0、1、2、3或4。在一個實施例中，一組三個ADRC塊的KEY根據下式用三個密鑰元素(「di」)定義KEY=d0+10·d1+100·d2因此，在運動標誌或Q比特數據的恢復過程中，根據用於產生屏蔽密鑰的值重新生成可能的密鑰值。重生成的密鑰值用於對所接收的導致產生候選解碼的Q碼比特流解除屏蔽。重生成密鑰值以及特定候選解碼技術選擇的詳細描述在下面討論數據恢復時提供。
在另一個實施例中，屏蔽密鑰從各種元素中產生。因此，給解碼器提供與一個元素有關的特定信息，而不必在傳輸介質上發送該元素。在一個實施例中，與ADRC塊對應的DR或MIN值用於產生屏蔽密鑰，以便屏蔽代表ADRC塊的比特流。
圖10-12說明在傳輸過程中容限達1/6分組數據損耗的組內VL-數據混洗。本領域技術人員將會理解的是，總分區數以及比特劃分可以改變，以保證對付1/n突發錯誤損耗。
分段內FL-數據混洗分段內FL-數據混洗描述了在不同分段上重新排列塊屬性。重新排列塊屬性提供了數據丟失的分散。具體而言，當來自一個分段的FL-數據在傳輸過程中丟失時，DR值、MIN值以及運動標誌值的丟失不屬於同一塊。圖13和14說明了分段內FL-數據混洗的一個實施例。
圖13說明分段0到5的內容。對於一個實施例，每個分段包括880個DR、880個MIN、880個運動標誌以及對應於660個Y塊、110個U塊以及110個V塊的VL-數據。正如圖MIN混洗1300中所示，分段0的MIN值移動到分段2，分段2的MIN值移動到分段4，分段4的MIN值移動到分段0。此外，分段1的MIN值移動到分段3，分段3的MIN值移動到分段5，分段5的運動標誌值移動到分段1。
圖13a說明運動標誌混洗。如所示，在圖運動標誌混洗1305中，分段0的運動標誌值移到分段4，分段2的運動標誌值移到分段0，分段4的運動標誌值移到分段2。此外，分段1的運動標誌值移到分段5，分段3的運動標誌值移到分段1，分段5的運動標誌值移到分段3。損耗模式1310說明了分段0在傳輸中丟失後的FL-數據損耗。
對於特定的塊屬性，圖13和圖13a說明了在分段之間對特定塊屬性的所有情況的混洗。例如，在圖13中，來自分段0的880個MIN值全體與分段2的880個MIN值互換。類似地，在圖13a中，分段0的880個運動標誌全體與分段4中的880個運動標誌互換。在連續分組的傳輸丟失過程中，這種全體性的塊屬性混洗導致一個塊組的特定塊屬性的不均勻地丟失。在一個實施例中，一個塊組包括三個ADRC塊。
圖14說明了用於DR、MIN以及運動標誌的模三混洗過程的一個實施例。模三混洗描述在三個不同分段中的三個塊(即，一個塊組)上共享的混洗模式。混洗模式對於三個不同分段內的所有塊組重複。但是，不同混洗模式被用於不同的決屬性。因此，模三混洗過程將塊屬性分散到所有三個分段中。具體而言，對於給定的塊組，模三混洗確保在分段傳輸丟失過程中特定塊屬性只有一次丟失。因此，在下面描述的數據恢復過程中，就產生了恢復塊內數據丟失的，數日減少的候選解碼。
如DR取模混洗1410所示，一個分段存儲880個DR值。因此，DR值編號為0-879，根據給定的DR值所取自的塊而定。在模三混洗中，三個分段的FL-數據內容被混洗。0-2的計數用於識別為取模混洗而標識的三個分段中的每個DR值。因此，屬於編號0、3、6、9…塊的DR屬於計數0。類似地，屬於編號1、4、7、10…塊的DR屬於計數1，屬於編號2、5、8、11．．塊的DR屬於計數2。因此，對於給定的計數，與該計數關聯的DR值在分段0、2和4上混洗。類似地，與同一計數關聯的DR值在分段1、3和5上混洗。
在DR取模混洗1410中，屬於計數0的DR值不混洗。屬於計數1的DR值混洗。具體而言，分段A中的計數1 DR值移動到分段B，分段B中的計數1 DR值移動到分段C，分段C中的計數1 DR值移動到分段A。
屬於計數2的DR值也被混洗。具體而言，分段A中的計數2 DR值移動到分段C，分段B中的計數2 DR值移動到分段A，分段C中計數2 DR值移動到分段B。
MIN取模混洗1420說明了MIN值的模三塊屬性混洗過程的一個實施例．一個分段包括880個MIN值。在MIN取模混洗1420中，在DR取模混洗1410中用於計數1和計數2的混洗模式移到計數0和計數1。具體而言，DR取模混洗1410中用於計數1的混洗模式被應用於計數0。DR取模混洗1410中用於計數2的混洗模式被應用於計數1，屬於計數2的MIN值不混洗。
運動標誌取模混洗1430說明了運動標誌值的模三塊屬性混洗過程的一個實施例。一個分段包括880個運動標誌值。在運動標誌取模混洗1430中，在DR取模混洗1410中用於計數1和計數2的混洗模式分別移到計數2和計數0。具體而言，DR取模混洗1410中用於計數2的混洗模式被應用於計數0。DR取模混洗1410中用於計數1的混洗模式被應用於計數2，屬於計數1的運動標誌值不混洗。
圖14a說明取模混洗1410、1420和1430的取模混洗結果。取模混洗結果1416表示屬於分段0的塊的每個屬性的目標。在這個例子中，分段0對應於圖14的分段A。這個目標根據圖14的取模混洗1410、1420和1430而規定。圖14a也說明了在傳輸過程中分段0丟失後塊屬性損耗的分散。具體而言，損耗模式1415表示在隨後的去混洗被應用於最初用取模混洗1410、1420和1430進行混洗的接收數據上之後，DR、運動標誌以及MIN值在6個分段上的丟失。如圖14a所示，塊屬性丟失周期性地分散在分段0、2和4上，而分段1、3和5沒有塊屬性丟失。此外，空間損耗模式1417說明了在傳輸過程中分段0丟失之後損壞的FL-數據的去混洗空間分布。空間損耗模式1417表示隨後的去混洗被應用於接收數據之後的DR、運動標誌以及MIN值的丟失。在空間損耗模式1417中，損壞的塊被未損壞的塊環繞，損壞的塊屬性可以用周圍未損壞的塊來恢復。
圖14和圖14a說明了模三混洗模式以及傳輸過程中分段丟失之後塊屬性丟失的分散。在另一個實施例中，計數變量或分段號可變以便改變丟失塊屬性的分布。圖14b說明了取模混洗結果1421和損耗模式1420。類似地，圖14c說明了取模混洗結果1426以及損耗模式1425。損耗模式1420和損耗模式1425說明了塊屬性丟失在6個分段上的分布，與前面描述的三個分段不同。
應該考慮到在另外的實施例中，將會分散各種塊屬性組合以便進行混洗處理。
分段內VL-數據混洗在分段內VL-數據混洗過程中，在預定數目的分段(例如，6個分段)之間的比特被設計為在高達1/6分組傳輸損耗過程中，可確保空間分開和周期性的VL-數據丟失。圖15和16說明了分段內VL-數據混洗處理的一個實施例。
在本實施例中，需要接近於30Mbps的傳輸率。因此，所需的傳輸速率導致60個緩存器每個中的VL-數據有31，152比特。其餘空間被緩存器中包括的88個塊的FL-數據所用。圖15包括傳輸率接近30Mbps的一個幀集合內VL-數據緩存器的組織。如前面所描述的，部分緩存用於使每個緩存器內可用VL-數據空間的使用最大化，而且未使用的VL-數據空間用後同步信號填充。
圖16說明保證空間分開和周期性的VL-數據損耗的混洗過程的一個實施例。第一行說明來自圖15的60個緩存器的VL-數據重新組織成1，869，120比特的級聯流。第二行說明每個第6比特組成新的比特流。因此，當解碼器後來將該過程逆轉時，高達1/6被傳輸數據的突發損耗被轉換為周期性損耗，其中至少5個未損壞的比特將每組兩個損壞比特分開。
第三行說明將流2的每個10比特組成新比特流，即流3。組的邊界也由分段中的比特數定義。每節10個比特的流2分組保證1/60數據損耗在每組2個損壞比特之間產生59個未損壞的比特。這樣當88個連續數據分組丟失時提供空間分開和周期性的VL-數據丟失。
第四行說明將流3的每個11比特組成流4。組的邊界也由分段中的比特數定義。每節11個比特的流3分組保證1/660數據損耗在損壞比特之間產生659個未損壞的比特，從而當8個連續分組傳輸丟失時產生空間分開和周期性的VL-數據丟失。
流4內的每個31，152比特組連續重存儲在緩存器0-59中，第一比特組存儲在緩存器0中，最後比特組存儲在緩存器59中。
本領域技術人員會理解的是，圖16的分組要求是可變的，以便在高達1/n傳輸損耗時保證空間分開和周期性的VL-數據丟失容限。
傳輸前面描述的混洗過程產生帶有混合了FL-數據和VL-數據的緩存器。對於一個實施例，按照分組結構200，分組從每個緩存器中產生並在傳輸介質135上發送。
數據恢復正如前面所注意的，用於數據比特流編碼的本發明方法能夠進行由於數據分組丟失而通常出現的增強的數據恢復。解碼過程的概述已經在圖4中表示。
參考圖4，分組中接收的數據通過多級去混洗過程(步驟425、430、435以及440)來處理，其中通過分組接收的不同級別或不同部分的比特流被去混洗以便恢復數據。根據本領域已知的概念(例如，Kondo，Fujimori，Nakaya，「Adaptive Dynamic Coding Scheme forFuture HDTV Digital VTR(未來HDTV數字錄象機的自適應動態編碼方案)」，Fourth International Workshop on HDTV and Beyond，1991年9月4-6日，義大利，都靈)，ADRC解碼在步驟445應用於數據。
然後進行幀集合內的塊去混洗，隨後執行塊-到-圖象映射，即步驟450、455。步驟425、430、435、440、445、450和455是前面執行的對數據編碼的處理步驟的逆處理，這裡就不再詳細討論。但是，應該注意的是在一個實施例中，步驟425、430和440所代表的去混洗級別是與數據無關的。例如，所執行的去混洗處理通過地址映射或表查找來預定或規定。由於去混洗步驟425、430和440是與數據內容無關的，由於(例如)分組丟失造成的數據損耗不會防止去混洗步驟的執行。類似地，步驟450和455是與數據無關的。但是組內VL-數據去混洗處理是與數據內容相關的。更具體地說，組內VL-數據去混洗處理用於確定組中的塊的量化碼。因此在步驟435，如果分組丟失了，受影響的組就不能被處理。
在進行了去混洗、解碼和映射之後(步驟425、430、435、440、445、450和455)，執行恢復處理，以便恢復處於丟失分組中的Q比特和運動標誌值。Q比特值通常由於DR丟失(由丟失分組造成)而丟失。當Q比特或運動標誌值未知時，象素的Q碼比特不能從數據比特流中確定。如果Q比特或運動標誌值的確定不恰當，那麼這個錯誤將作為隨後塊的起點而傳播，因為緩存器中的數據將被錯誤地識別。
圖17描述了恢復Q比特和運動標誌值的一般過程。這個特定實施例描述了使用多數據塊恢復Q比特和運動標誌值的過程；但是，應該考慮到特定的塊數不受這裡的討論所限制，而且可以是一塊或多塊。參考圖17，基於步驟1705中比特流的出錯檢測，基於規定參數的候選解碼針對所檢測的三個塊而產生。在步驟1715，每個候選解碼在它是精確解碼過程的機率上記分，在步驟1720，使用具有最佳記分的候選解碼，該解碼識別能夠進行隨後的受影響塊的象素解碼的Q比特和運動標誌值。
返回參考圖4的解碼過程，一旦最佳解碼被選出，由於丟失分組造成丟失的任何DR或MIN值在步驟465被恢復。本領域技術人員已知的各種恢復處理都可以用於恢復DR和MIN，包括相鄰塊值的最小二乘或平均。作為一個例子，見Kondo，Fujimori，Nakaya的「AdaptiveDynamic Coding Scheme for Future HDTV Digital VTR(未來HDTV數字錄象機的自適應動態編碼方案)」，Fourth InternationalWorkshop on HDTV and Beyond，1991年9月4-6日，義大利，都靈。在本實施例中，本發明的圖象-到-塊映射過程以及由此產生的數據結構增加了相鄰塊的數目，因此提供附加數據並有利於更精確的DR或MIN恢復。具體而言，在一個實施例中，DR和MIN如下恢復DR=mi(yi-MIN)qiiiqi2]]>這裡DR』對應於恢復的DR，qi是ADRC塊的第i值，而且qi∈{0，1，…，2Q-1}；對於邊緣匹配ADRC，m=2Q-1，對於非邊緣匹配ADRC，m=2Q；yi是相鄰塊象素的解碼值，Q是Q比特值；而且MIN=i(yi-DRmqi)N]]>這裡MIN』對應於恢復的MIN，N是用於求和的項數(例如，當i=0-31時N=32)。在另一個實施例中，如果同一塊的DR和MIN同時損壞，根據下式恢復DR和MINDR=m[Niqiyi-iqiiyiNiqi2-[iqi]2]]>MIN=i(yi-DRmqi)N]]>在步驟470，ADRC解碼應用於在Q比特和運動標誌恢復之前沒有解碼的那些塊，並在步驟475執行象素恢復處理，以便恢復由於丟失分組或隨機錯誤而可能出現的任何錯誤象素數據。此外在步驟480執行3∶1∶0-＞4∶2∶2的返迴轉換，以便將圖象置於所選的顯示格式。
圖18說明了本發明的解碼過程中Q比特和運動標誌恢復處理的一個特定實施例。在這個特定實施例中，處理的輸入是相鄰塊信息、將要處理的三個塊的塊屬性以及象素數據。也要輸入表示丟失數據位置的錯誤標誌。錯誤標誌可以用本領域技術人員已知的各種方式來產生，而且這裡將不會進一步討論，只是說明標誌表示哪些比特是損壞或丟失的分組所發送的。
在步驟1805，產生候選解碼。候選解碼可以用各種方式產生。例如，儘管處理負擔可能相當大，但是候選解碼可以包括所有可能的解碼。或者，候選解碼可以基於預定的參數產生，以便減少待評估的候選解碼數。
在本實施例中，候選解碼基於對前面描述的組內VL-數據混洗處理的比特流進行隨機化所用的可能的密鑰值來確定。此外，應該注意候選解碼還受等待解碼的比特長度以及對剩下多少塊的了解所限制。例如，正如將要討論的，如果處理最後一塊，通常該塊的解碼長度是已知的。
繼續本例，圖19說明了本發明的可能情況，其中值x表示未知值(可能由於分組丟失)。將進一步舉例來解釋。mi定義為第i塊的運動標誌，qi是第i塊的量化比特數，ni是第i塊的可能候選數，di是前面在組內VL-數據混洗中描述的第i塊的密鑰元素值。第i塊在每個組內定義。在本例中，每個組內的塊數是三。三塊組的密鑰按d0+10·d1+100·d2而產生。假設在第一塊中運動標誌未知，量化比特數是2，則m0等於x，q0等於2。根據上面描述的式子產生密鑰元素，di=5·mi+qi，d0的可能數字集合由{2和7}組成。因此，可能值(n0)數是2。假設第二塊具有運動標誌值1以及一個量化比特，d1的值是5·1+1=6而且n1=1。第三塊具有運動標誌值1以及未知數目的量化比特。因此，數字d2包括由(6，7，8，9}組成的集合而且n2=4。因此，這個組可能的候選數M是2·1·4=8，而且用於產生候選解碼的密鑰在662、667、762、767、862、867、962、967中變化。這個處理優選地用於受數據丟失影響的每個組。
返回參考圖17，在步驟1715，一旦根據密鑰數據已經對數據解碼，就評估所產生的候選解碼或在它是正確的數據解碼的機率上記分。在步驟1720，具有最佳分的候選解碼被選擇使用。
各種技術可以用於對候選解碼記分。例如，記分數可以從特定候選解碼中塊的象素與圖象其它象素一致程度的分析中得到。優選地，記分數基於表示錯誤(例如誤差平方和相關)的準則中得到。例如，對於相關，假設相鄰象素在某種程度上緊密相關是相當有把握的。因此，一個很大或很小的相關表示候選解碼是不是正確解碼。
正如圖18所示，分析了四種不同的準則，以選擇最佳候選解碼。但是，考慮可以分析一、二、三或更多種不同的準則以便選擇最佳的候選解碼。
參考圖18，本實施例利用四個子記分準則，它們最後合併成最後記分數。具體而言，在步驟1815產生誤差平方測量，步驟1820確定水平相關，步驟1825確定垂直相關，在步驟1830測量時間活動性(根據M個候選、N個塊以及2幀/數據塊，每個是M乘2N矩陣)。儘管使用了水平和垂直相關，但是應該認識到包括對角線相關在內的各種相關測量都可以檢查。在步驟1835、1840、1845、1850，對每個準則產生置信度測量，以便對所產生的測量歸一化，並在步驟1855、1860、1865和1870產生每個不同準則的概率函數。這些概率函數然後通過(例如)將概率值相乘產生一個記分數來進行合併，例如圖18所示的步驟1875中的似然函數。候選解碼的記分數隨後與所有候選解碼記分數比較，以便確定最可能的候選者。
應該認識到可以使用各種技術評估候選解碼並對每個候選產生「記分數」。例如，置信度測量是用來歸一化準則的一種方式。此外，除了下面描述的以外，各種置信度測量都可使用。類似地，將基於每個準則的概率值相乘產生總似然函數只是合併所檢查的各種準則的一種方式。
編碼過程有利於確定最佳候選解碼，因為不是最可能候選的候選解碼一般有比較差的記分數，而最可能候選的解碼會有比較好的記分數。具體而言，前面在組內VL-數據混洗過程中描述的Q碼隨機化過程在這方面有幫助。
圖20a、20b、20c和20d提供了對圖18的步驟1815、1820、1825以及1830處執行不同測量以便對特定候選解碼產生記分和總分的說明。圖20a說明評價候選解碼的象素xi與它的解碼的相鄰yi，j比較的誤差平方，其中下標「i，j」對應於「i」的相鄰地址。優選去掉一些最大項，以便消除由於峰值(這是由於圖象的合理邊緣而出現的項)帶來的任何影響。優選地，三個(xi-yi，j)2最大項被丟棄，以便去掉可能出現的峰值。圖20b說明了時間活動性準則。這僅當是或假設是運動塊才有用。時間活動性準則假設候選解碼越好，塊間差別越小。因此候選解碼越差，塊間差別越大。空間相關假設更可能的候選解碼導致很重的相關，因為真實圖象易於以很慢的一致方式改變。圖20c所示的水平相關處理以及圖20d說明的垂直相關處理利用了這個假設。
圖18中步驟1835、1840、1845以及1850的置信度測量提供了對前面步驟(步驟1815、1820、1825以及1830)所確定的準則歸一化的處理。例如，在一個實施例中，誤差平方的置信度測量在間隔
取值，並且如果誤差相等則置信度等於0，如果一個誤差是0則置信度等於1。其它歸一化測量或方法也可考慮。
類似地，空間相關的置信度測量為最大值(Y，0)-最小值(X，0)這裡Y是最佳相關值，X是當前候選解碼的相關。時間活動置信度測量根據下式確定置信度=(a-b)/(a+b)這裡a=max(X，M_TH)，b=max(Y，M_TH)，其中M_TH是候選塊的運動門限，Y是最佳測量值，即最小的時間活動性，而且X等於時間活動性的當前候選測量。
在圖18中步驟1855、1860、1865以及1870，為每個不同的準則產生概率函數。可使用各種方法產生概率測度。例如，可以規定置信度測量的記分數。如果置信度測量大於預定值，例如0.8，基分就降低10；如果是在0.5和0.8之間，基分就降低5。圖21所示的實施例中，有一個表用於產生誤差平方測度準則的概率函數。該表包括基於經驗確定的任意存儲的數據，包括置信度和誤差平方測度以及已知的候選解碼。更具體地說，該表可以通過使用未損壞數據並假設DR被破壞或丟失而產生。然後產生正確和非正確解碼的密鑰以及置信度測量。該表反映了正確與非正確解碼的概率比。使用這個表，針對特定的誤差平方值(行)以及置信度值(列)，可以確定概率。例如，因此可以看到，對於置信度測量為0的各種誤差平方測度，大約有40％到50％候選正確的概率。如果置信度不為0，而是很小，則概率下降很大。類似的概率表可以基於相應的經驗確定的準則測度和置信度測度針對相關及時間測量而產生。
所產生的概率被認為是在本實施例中產生「記分數」的數據，正如前面注意到的，其它對候選解碼記分的技術也可以使用。在步驟1875，不同的概率合併成似然函數Li=j·Pi，j』這裡j是概率函數Pi，j的倍數函數，Pi，j是塊j、候選i的概率函數。因此選擇能使函數Li最大的候選。
返回參考圖18，恢復某些在丟失分組中發送的塊屬性可能是必要的。因此，在步驟1810，DR和MIN值在必要情況下恢復。可以使用各種技術，從預設值、平均、誤差平方函數到更複雜的技術，包括如下文獻中討論的那些Kondo、Fujimori和Nakaya的「AdaptiveDynamic Range Coding Scheme for Future HDTV Digital VTR(未來HDTV數字錄象機的自適應動態範圍編碼方案)」以及Kondo、Fujimori、Nakaya和Uchida的「A New Concealment Method forDigital VCR(數字錄象機的新隱蔽方法)」，IEEE Visual SingalProcessing and Communications，1993年9月20-22日，澳大利亞，墨爾本。所恢復的值用於產生候選解碼，如上所述。
或者，DR和MIN值在Q比特確定過程中確定。在圖22中說明了這種情況。具體而言，如上面注意到的，在本實施例中運動標誌和量化比特數用於編碼過程並在隨後用於恢復過程以縮減可能的候選解碼的數目。如前面注意到的，其它信息也可以用於對數據編碼。因此，DR值及/或MIN值也可以用於對數據編碼。或者DR的一部分比特用於編碼(例如，DR的兩個最低有效比特)。儘管DR數據被編碼，可能的候選解碼數隨著變量的增加而大大增加了。參考圖22，因此產生了K·M個候選解碼，這裡K是未知數據的候選值數，例如如果DR1、DR2和DR3之和的兩比特被編碼(DR1、DR2和DR3代表組中塊的DR值)，那麼K=4。DR和MIN因此用提供的輔助信息恢復，例如被編碼的DR1、DR2和DR3之和的兩比特。這樣以附加開銷為代價改善了檢查較大數目的候選解碼的候選選擇過程。
應該注意的是，通常被解碼的塊越鄰近，Q比特和運動標誌的恢復過程越好。此外，在一些實施例中，該處理被提供給緩存器內的每個隨後的塊；如果所有的或一些FL-數據可用，候選解碼數就會減少，假定該塊所有FL-數據都可用，候選解碼可能減到1個。但是，希望Q比特和運動標誌恢復過程全部避免，因為該處理是比較耗時的。此外，希望使用儘可能多的信息進行Q比特和運動標誌恢復。在一個實施例中，從緩存器的開始處理各塊，直到到達一個具有丟失Q比特/運動標誌信息的塊。這被定義為前向Q比特和運動標誌恢復。在另一個實施例中，參考緩存器的末尾來確定緩存器最後塊的結尾位置，並從緩存器的末尾恢復數據直到到達具有丟失Q比特/運動標誌數據的塊。這被定義為後向Q比特和運動標誌恢復。
正如前面注意到的，由於VL-數據的長度，塊在長度上可變；因此需要確定構成塊的VL-數據的比特數以便正確地定位隨後塊在緩存器中的位置。在編碼過程中，預定的而且優選為容易識別模式的後同步信號被放入緩存器，以便填充未用的比特位置.在解碼過程中，後同步信號將處於該塊和緩存器末尾之間。由於該模式是容易識別的一種，通過檢查比特模式使系統能夠定位後同步信號的開始，並因此定位緩存器中最後一塊的結尾。這個信息可以按兩種方式使用。如果最後一塊包含損壞的Q比特/運動標誌數據而且最後一塊的開始是已知的(例如，前面的塊已經被成功解碼)，那麼緊接著的前面一塊的結尾與後同步信號的開始之間的差對應於該塊的長度。這個信息可以用於計算該塊的Q比特及/或運動標誌。後同步信號的開始位置也可以用於執行從最後一塊開始並進行到緩存器開始的Q比特和運動標誌恢復。因此，Q比特和運動標誌恢復處理可以雙向實現。
圖23說明了後同步信號在雙向Q比特和運動標誌恢復過程中的使用。參考圖23，緩存器2300包括N組VL-數據塊的FL-數據2303。每組由多個塊(例如，3塊)組成。在本例中，前兩組2305、2310被解碼，第三組215不能立即被解碼，因為DR/運動標誌數據損壞了。在這裡，需要Q比特/運動標誌恢復過程以便恢復損壞的數據。不是繼續在前向處理這些組，該處理參考通過查找後同步信號模式220而確定的緩存器結尾。確定了後同步信號的開始，由此得知最後塊組的結尾。由於DR/運動標誌數據表示了VL-數據的長度，最後一塊的VL數據開始(因此也是緊接著前一塊的結尾)就可以被確定了。因此，可以對這些塊解碼，例如塊225、230、235，直到到達損壞數據的塊240。然後，使用上述Q比特/運動標誌恢復處理恢復損壞的215、240以及受阻的塊250。
應該注意雙向處理不限於一系列向前和向後處理；處理可以在任一方向或雙向上進行。此外，在一些實施例中，可能希望與改善效率並行地進行這種處理。最後，注意未損壞的受阻塊可以通過直接訪問Q比特/運動標誌信息、而不執行上述Q比特/運動標誌恢復過程而恢復。
正如前面注意到的，各種記分技術可以用於確定最佳候選解碼以便選用來進行解碼。在另一個實施例中，評估使用每種候選解碼的圖象平滑度。在一個實施例中，進行拉普拉斯測量。拉普拉斯測量測出二階圖象表面性質，例如表面曲率。對於線性圖象表面，即平滑表面，拉普拉斯測量產生接近於0的值。
該處理將參照圖24a、24b和24c來解釋。圖24a說明拉普拉斯內核的一個實施例。注意，也可以使用其它實施例。內核「L」代表一個3×3區域。為了測量圖象區域的平滑度，圖象的3×3子區域(圖24b)與內核卷積，而且卷積值被平均。區域和子區域的大小(以及有關的內核大小)可以根據應用而變。
該處理的一個實施例參考圖24c描述。這個實施例使用一個內核和3×3的子區域尺寸以及8×8的區域尺寸，其中各個元素用i，j來標識。在步驟2460，候選解碼值x[i][j]被歸一化。例如，可以根據下式對這些值歸一化xij=xiji,j(xij-Xmean)2,0i,j8]]>這裡，Xmean=i,jxij64,0i,j8]]>在步驟2465，根據下式歸一化值被用於計算表示平滑度的塊的拉普拉斯值Lxl[i][j]m=-1ln=-1lL[m][n]x[i+m][j+n],0i,j8]]>Lx=i,j|l[i][j]|64]]>塊拉普拉斯值越接近0，圖象部分越平滑。因此，記分數可以基於塊拉普拉斯值來測量，具有最小拉普拉斯值的解碼是正確的解碼。
拉普拉斯評估也可以使用候選編碼值q[i][j]來實現。其基本過程與圖24c的候選解碼值情況相同。這個實施例使用一個內核和3×3的子區域尺寸以及8×8的區域尺寸，其各個元素用索引i，j標識。在步驟2460，候選解碼值q[i][j]被歸一化。例如，可以根據下式對這些值歸一化q[i][j]=q[i][j]i,j(q[i][j]-Qmean)2,0i,j8]]>這裡，Qmean=i,jq[i][j]640i,j8]]>在步驟2465，根據下式歸一化值被用於計算表示平滑度的塊的拉普拉斯值Lql[i][j]=m=-1ln=-1lL[m][n]q[i+m][j+n],0i,j8]]>Lq=i,j|l[i][j]|36]]>塊拉普拉斯值越接近0，圖象部分越平滑。因此，分數可以基於塊拉普拉斯值來測量，具有最小拉普拉斯值的解碼是正確的解碼。
同時也要注意其它變化。在另一些實施例中，可以使用較高階的圖象表面性質作為平滑度測量。在那些情況下，會使用較高階的內核。例如，四階塊拉普拉斯測量可以使用四階內核來進行。級聯使用二階拉普拉斯計算可以實現四階內核。
還要注意的是，評估過程取決於圖象是否比預定水平具有更大的活動性或運動。如果被評估的圖象部分具有比預定水平大的運動，那麼優選地基於場而不是基於幀進行測量。參考圖25對其進行解釋。圖25解釋了使用平滑度測量的處理；但是注意這個處理可以使用各種類型的測量來實現。
圖象區域的幀2505由場0和場1組成。如果沒有在步驟2510檢測到運動，平滑度測量就通過在步驟2515計算每幀內塊的塊拉普拉斯值來計算。如果檢測到超過預定水平的較大運動，塊拉普拉斯測量就在每個場上進行(步驟2520、2525)，在步驟2530合併(例如，平均)兩個測量，從而產生平滑度測度。
運動可以用各種方式檢測/測量。在一個實施例中，評估場間的改變程度，如果它超過預定門限就檢測到運動。
運動檢測以及產生恢復值的幀信息和場信息的使用(通常取代丟失或損壞的值)，都可以提供給要求產生恢復值的任一部分處理。例如，運動檢測和產生恢復值的幀信息及場信息的選擇性使用可以提供給DR/MIN恢復、象素恢復以及Q比特及運動標誌恢復處理。因此，基於所檢測的運動水平，恢復處理將基於場或基於幀利用現有信息。此外，這個處理可以與加權值的使用結合，加權值基於特定方向(例如，水平或垂直)上的相關水平來選擇。
在Q比特和運動標誌恢復處理的另一個實施例中，基於塊內和塊間測量來評估候選解碼。在如下討論中，術語「塊」指幀或場的一部分。塊內測量可評估候選解碼的圖象部分，例如圖象部分的平滑度。塊間測量可測出候選解碼與相鄰圖象部分一致的程度。圖26a和26b說明組合的塊間及塊內評估。具體而言，圖26a表示一個可接受的候選解碼，因為塊間和塊內測量均良好，而圖26b中塊間測量較差，即使塊內測量相當好。
塊內測量的例子包括上述的平滑度測量。塊間測量的例子包括前面所述的誤差平方測量。另一種塊間測量是候選ADRC塊上一致的邊界象素與邊界象素總數的比。
針對圖26c、26d和26e解釋ADRC編碼的8×8塊的塊間和塊內評估的一個例子。圖26d說明由產生候選解碼值x的q值組成的編碼值2650、以及由y值組成的相鄰的解碼數據2655的數據的圖象部分(塊)。正如圖26c的流程圖所提出的，在步驟2605計算塊內測量以便產生一個測度，例如塊拉普拉斯Lx。在步驟2610，計算塊間測量Sx以便產生相鄰塊之間一致性的一個測度。在步驟2615，產生組合測度Mx。組合測度提供用於選擇候選解碼的信息。
在本實施例中，作為處於候選解碼的每個邊界象素有效範圍內的相鄰數據數來計算Sx(見圖26e)。作為一個實施例，圖26e是說明有效範圍的圖，表示每個所觀察的量化值qi的有效範圍。因此LQDR＜UQ，這裡LQ、UQ分別代表對應於量化比特數=Q的DR的下界和上界。優選Sx根據下式歸一化Sx=Sx/邊界象素數。
在本實施例中，合併的測度Mx根據下式計算Mx=Sx+(1-Lx)。或者，合併的測度可以被加權，從此使用下式Mx=w·Sx+(1-w)·(1-Lx)，這裡w是加權值，通常是由經驗確定的加權值。
用於確定已經丟失/損壞的DR和MIN值的其它實施例也可考慮。例如，前面描述的公式可以被修改以便以更高精度恢復DR和MIN值。在另一個實施例中，使用中值技術。在中值技術的一個實施例中，MIN值作為所有MINi值的中值恢復，如下計算MINi=yi-qi·s這裡qi代表編碼的象素值，yi代表相鄰qi的解碼象素。對於邊緣匹配ADRC，s=DR/(2Q-1)。對於非邊緣匹配ADRC，s=DR/2Q，這裡Q代表每個象素的量化比特數(Q比特值)。
所用的值可以是時間鄰近或空間鄰近的。yi值可以是相鄰幀/場或相同場中的相鄰象素的解碼值。yi值可以是相鄰幀/場或相同場中與qi相同位置的象素解碼值。
此外，任何DR及/或MIN恢復技術都可以與限幅處理結合以便改善恢復精度和防止數據在恢復過程中溢出。限幅處理將被恢復數據限制到預定值範圍；因此範圍外的那些值被限制到最接近範圍邊緣。在一個實施例中，限幅處理將值限制到範圍[LQ，UQ]中，這裡LQ，UQ分別代表量化比特數=Q個量化比特所代表的象素值範圍的上界和下界，並進一步將值限制到MIN+DR Num，這裡Num代表最大象素值；在本實施例中Num為225。在本實施例中，在可用的情況下，UQ+1=LQ+1。
可以將準則合併成單個式子，得到DR的無限制的恢復值(val』)，最後限幅的恢復值(val)從下式得到val=max(min(val，min(UQ，255-MIN))，LQ)這裡min和max分別代表最小和最大函數。
在另一個實施例中，用於產生恢復的DR及/或MIN的邊界象素yi可以被過濾以便只使用其中呈現最佳相關的那些，因此更好地恢復DR和MIN。那些不滿足準則的邊界象素不使用。在一個實施例中，如果存在一個DR值使LQDR＜UQ而且原始象素yi可能已經編碼為qi，邊界象素yi被認為對DR計算有效。因此，如果滿足下式則象素有效(yi-MIN)mmax(qi-0.5,0)LQ]]>(yi-MIN)mmin(qi-0.5,m)UQ]]>這裡m代表最大量化級別=2Q-1。DR恢復值(val』)可以根據下式計算val=mi(yi-MIN)qiiqi2]]>然後該值可以被限幅到有效範圍。因此這個過程迫使DR恢復值進入門限表定義的有效區域內部，降低了其真正DR處於門限表邊界附近的點的精度。
已經注意到由於量化噪聲，靜止ADRC塊的DR逐幀輕微變化。如果這個變化跨過ADRC編碼邊界，而且如果DR在幾個連續幀上恢復，那麼具有有效象素選擇的DR恢復值在每個交叉點易於超過目標，導致顯示中可覺察的閃爍現象。在嘗試減少這種現象出現的努力中，一個實施例修改了有效象素選擇過程，以便放寬上界和下界，從而允許越到相鄰有效區域中的邊界象素。通過包括僅在邊界外的點，恢復值將更容易採取靠近上界或下界的值。放寬的邊界L』Q以及U』Q通過放寬常數r計算。在一個實施例中，r被設置為0.5值。其它值也可以使用L'Q=rLQ-1+(1-r)LQU'Q=(1-r)UQ+rUQ+1上面的討論提出了當這些值已經損壞或丟失時恢復DR和MIN的多種方式。通過檢查數據之間的時間和/或空間相關、並因此對相應的計算恢復值加權，可以實現進一步的提高。更具體地，如果在特定方向或時間上存在很大相關，例如水平相關，那麼很可能圖象特性在具有很強相關的方向上平滑地持續下去，因此使用高相關數據的恢復值通常產生較好的估計。為了利用這一點，邊界數據被分解為相應的方向(例如，垂直、水平、場-到-場)並根據相關測量加權，以產生最終恢復值。
該過程的一個實施例參考圖27a來進行描述。在步驟2710，待恢復的DR或MIN值的恢復值在一個方向上產生，在步驟2715，在另一個方向上產生恢復值。例如，如果處理是空間自適應的，那麼沿著水平邊界的邊界象素用於產生第一恢復值，「hest(命令)」，沿著垂直邊界的邊界象素用於產生第二恢復值，「vest(上衣)」。或者，如果處理是時間自適應的，那麼相鄰場之間的邊界象素用於產生第一恢復值，相鄰幀之間的邊界象素用於產生第二恢復值。
在步驟2720，根據表示每個方向中相關程度的相關計算來對恢復值加權。在步驟2725，加權的第一和第二恢復值被合併，以產生合併恢復值。應該注意該處理不限於只在兩個方向上產生加權恢復值；很顯然被加權並合併的恢復值數可以根據應用而變。各種已知技術可以用於產生表示特定方向上相關程度的相關值。此外，考慮到相關程度，有各種準則可以用於選擇加權因子。通常，如果一個相關比另一個強，合併恢復值應該主要基於相應的恢復值。在一個實施例中，合併恢復值如下計算val={(1-)hest+vest:hcvchest+(1-)vest:hcvc}]]>這裡hc代表水平相關，vc代表垂直相關，hest代表僅基於左及右邊界信息的DR恢復值，vest代表僅基於上及下邊界信息的DR恢復值，α代表加權值。加權值可以用各種方式確定。圖27b說明了作為水平相關和垂直相關之差的函數來確定加權值的一個實施例。更具體來說，α被選為(|hc-vc|)={1-0.25e-8(|hc-vc|-0.35):|hc-vc|0.350.5+0.25e-8(0.35-|hc-vc|):|hc-vc|0.35}]]>正如上面注意到的，自適應相關處理用於DR和MIN恢復。但是優選地MIN恢復被限幅以便保證MIN+DR 255，因此可以使用函數val=max(min(val』，255-MIN)，0)。此外，正如上面注意到的，可以評估時間相關並用於對恢復值加權。此外，可以進行時間和空間相關的合併。例如，可作為時間恢復值在場間產生一個恢復值。另一個恢復值作為空間恢復值在一個場內產生。最後的恢復值作為時間和空間相關的合併的合併值來計算。相關合併可以被運動量取代。其它變量也可以考慮。該方法也可以用於聲音數據。
在另一個實施例中，使用對最小二乘技術的低複雜性修改。使用這個實施例，減少了由於恢復DR值而形成的閃爍。為了如下討論，QV代表一串來自其DR被恢復的、具有一組點qi的圖象分段或ADRC塊的編碼值，Y是一串從QV中各點的垂直或水平相鄰點取得的解碼值，這裡yi代表qi的垂直或水平相鄰點。由於每個點qi可能有多達4個解碼的相鄰點，一個象素或點可能引起多達四個(qi，yi)配對。因此DR的非限制最小二乘估計(DRuls)是(DR)uls=2Qi(yi-MIN)(0.5+qi)i(0.5+qi)2]]>這裡Q是量化比特數，MIN是作為塊屬性傳輸的最小值。上式假設非邊緣匹配ADRC；對於邊緣匹配ADRC，2Q被2Q-1代替，(0.5+qi)被qi代替。
優選地對非限制最小二乘估計進行限幅，以便保證與門限表和編碼過程中實施的式子MIN+DR 255的一致性(通常，對於非邊緣匹配ADRC，允許的DR值在1-256範圍內)。因此最小二乘估計被限幅(DRlsc)為(DR)lsc=max(min(UB，DRuls)，LB)這裡UB代表上界，LB代表下界，min和max分別代表最小和最大函數。
在另一個實施例中，估計可以通過選擇最適於DR估計的象素來提高，以便計算DR估計。例如，相比出現高活動性的那些區域，圖象的平坦區提供較適於DR估計的象素。具體而言，邊緣中的尖銳邊緣可能降低估計的精度。下面實施例為選擇用於計算DR估計的象素提供了計算量較輕的方法。
在一個實施例中，計算最小二乘估計(DRlse)，例如Druls或DRlac。使用這個估計，編碼值QV的列表被轉換成候選解碼值X，其中xi是從qi得到的X成員。xi值是使用DR的第一估計構成的已恢復解碼值。xi值根據下式定義邊緣匹配ADRCxi=MIN+(0.5+qiDRise2Q-1)]]>非邊緣匹配ADRCxi=MIN+((qi+0.5)DRlse2Q)]]>假設DRlsc是真正DR的合理估計，那麼xi離yi比較近的任何地方可以被判決為低活動性區並因此是一個希望的匹配。新X和Y列表則可以通過只考慮xi和yI相接近地方的匹配而構成，並重新計算最小二乘估計以產生更新的估計。
用於確定「接近」的準則可以用各種方式來確定。在一個實施例中，使用誤差函數的ADRC編碼。這種方法的需求是因為它計算起來不昂貴。對於該處理，定義了由點ei=|yi-xi|組成的列表E。定義emin和emax分別作為列表中的最小和最大值，則eDR=emax-emin。編碼誤差值則可定義為gi=(ei-emin)nl/eDR這裡nl代表以類似於上述ADRC處理的方式重新量化ei的量化級別平數。
因此，新列表X和Y通過只選擇那些gi小於一些門限的匹配而產生。如果新列表足夠長，這些列表可用於產生精確的最小二乘估計DRrls。gi的門限和在精確確定最小二乘估計之前所需的匹配數優選地由經驗確定。例如，在一個實施例中，對於包括8×8×2個水平二次抽樣塊的處理以及nl為10，只使用與gi=0對應的匹配，而且僅當新列表包含至少30個匹配時才對估計進行精確地確定。
在另一個實施例中，DR估計可以通過限幅潛在的DR值並重新計算DR估計來改善。具體而言，在一個實施例中列表D由成員di組成，該成員di包含使xi等於yi的DR值。更精確地di=2Q(yi-MIN)/(0.5+qi)改善可以通過對每個di限幅而看到。即，di』=max(min(UB，di)，LB)其中將DRcls計算為di』的平均值。限幅方法(DRcls)可以與其它DR估計(例如加權平均中的DRlsc)合併，以便產生最後DR值。例如，根據下式確定加權平均DRestDRest=w1(DRcls)+w2(DRlse)權重w1和w2優選地通過檢查所得的估計以及從特定加權中產生的圖象來經驗性地確定。在一個實施例中，w1=0.22513，w2=0.80739。
本發明已經結合優選實施例進行了描述。對於本領域技術人員來說，根據前面的描述很多替換、修改、變化以及使用都是顯而易見的。
權利要求
1．產生圖象的數據塊的方法，所述方法包括如下步驟將所述圖象分成局部區560；並將象素的局部區指定到所述塊565；所述指定按照互鎖模式，以使得來自其它塊的執行象素數最大化，這樣，傳輸損耗使來自相鄰塊的象素提供重構塊結構數據的信息。
2．權利要求1中提出的方法，其中所述指定還按照移位模式。
3．權利要求1中提出的方法，其中所述指定按照互補互鎖模式。
4．處理圖象的塊結構，所述塊結構包括來自圖象局部區的象素組，所述組根據互鎖模式來組織。
5．權利要求4中提出的塊結構，其中互鎖模式是互補互鎖模式。
6．處理數字圖象的塊結構，所述塊結構包括圖象局部區的象素組，所述象素組的組織構成互補塊結構。
7．權利要求6中提出的塊結構，其中塊結構還映射到從初始位置移動過來的圖象上。
8．權利要求6中提出的塊結構，其中所述組的組織構成互補互鎖塊結構。
9．產生圖象的數據塊的方法，所述方法包括如下步驟將所述圖象分成局部區560；並將象素的局部區指定到所述塊565；所述指定按照一個互補模式，使得來自其它塊的執行象素數最大化，這樣，傳輸損耗使來自相鄰塊的象素提供重構塊結構數據的信息。
10．權利要求9中提出的方法，其中該指定按照互補互鎖模式。
11．權利要求9中提出的方法，其中該指定按照移位模式。
12．一種處理器，該處理器被配置為產生圖象的數據塊，所述處理器被配置為將所述圖象分成局部區並將象素的局部區指定到所述塊；所述指定按照互鎖模式，使得來自其它塊的執行象素數最大化，這樣，傳輸損耗使來自相鄰塊的象素提供重構塊結構數據的信息。
13．權利要求12中提出的處理器，其中該指定還按照移位模式。
14．權利要求12中提出的處理器，其中該指定按照互補互鎖模式。
15．一種處理器，該處理器被配置為產生圖象的數據塊，所述處理器被配置為將所述圖象分成局部區並將象素的局部區指定到所述塊；所述指定按照互補模式，使得來自其它塊的執行象素數最大化，這樣，傳輸損耗使來自相鄰塊的象素提供重構塊結構數據的信息。
16．權利要求15中提出的處理器，其中該指定按照互補互鎖模式。
17．權利要求15中提出的處理器，其中該指定按照移位模式。
18．一種計算機可讀介質，包含可執行指令，當它在處理系統中被執行時可使系統產生圖象的數據塊，處理系統執行的步驟包括將所述圖象分成局部區；並將象素的局部區指定到所述塊，所述指定按照互鎖模式，使得來自其它塊的執行象素數最大化，這樣，傳輸損耗使來自相鄰塊的象素提供重構塊結構數據的信息。
19．權利要求18中提出的計算機可讀介質，其中該指定還按照移位模式。
20．權利要求18中提出的計算機可讀介質，其中該指定按照互補互鎖模式。
21．一種計算機可讀介質，包含可執行指令，當它在處理系統中被執行時可使系統產生圖象的數據塊，處理系統執行的步驟包括將所述圖象分成局部區；並將象素的局部區指定到所述塊，所述指定按照互補模式，使得來自其它塊的執行象素數最大化，這樣，傳輸損耗使來自相鄰塊的象素提供重構塊結構數據的信息。
22．權利要求21中提出的計算機可讀介質，其中該指定按照互補互鎖模式。
23．權利要求21中提出的計算機可讀介質，其中該指定還按照移位模式。
24．產生圖象的數據塊的裝置，包括將所述圖象分成局部區的裝置；以及將局部區或象素指定到所述塊的裝置；所述指定按照互鎖模式，使得來自其它塊的執行象素數最大化，這樣，傳輸損耗使來自相鄰塊的象素提供重構塊結構數據的信息。
25．權利要求24中提出的裝置，其中該指定還按照移位模式。
26．權利要求24中提出的裝置，其中該指定按照互補互鎖模式。
27．產生圖象的數據塊的裝置，所述裝置包括將所述圖象分成局部區的裝置；以及將局部區或象素指定到所述塊的裝置；所述指定按照互補模式，使得來自其它塊的執行象素數最大化，這樣，傳輸損耗使來自相鄰塊的象素提供重構塊結構數據的信息。
28．權利要求27中提出的裝置，其中該指定按照互補互鎖模式。
29．權利要求27中提出的裝置，其中該指定按照移位模式。
全文摘要
描述了產生圖象的數據塊的方法及裝置。圖象被分成局部區560。對於每個局部區,按照互補模式將象素指定到塊565。互補模式的設計使大多數象素與來自其它塊的象素相鄰。相鄰象素提供對於重構由於突發錯誤而丟失的數據有用的信息。在一個實施例中,這用於在可能有損耗的通信信道上傳輸視頻信號。
文檔編號H04N5/44GK1283365SQ98812585
公開日2001年2月7日 申請日期1998年10月23日 優先權日1997年10月23日
發明者T·康多, J·J·卡裡格, Y·福吉莫裡, S·戈薩爾 申請人:索尼電子有限公司