數字多媒體信道切換的製作方法

2023-07-25 15:48:21

專利名稱：數字多媒體信道切換的製作方法
技術領域：
本發明涉及數字多媒體，且更特定來說，涉及用於在數字多媒體內容的信道之間進 行切換的技術。
背景技術：
用於廣播數字多媒體的不同技術已經開發且經優化以由移動無線裝置接收。此些技 術包含僅前向鏈路(FLO)、數字多媒體廣播(DMB)和數字視頻廣播-手持式(DVB-H)。 數字多媒體廣播通常依賴於一個或一個以上數字多媒體編碼標準，例如移動圖片專家組 (MPEG) -1、 MPEG-2、 MPEG-4、國際電信聯盟(ITU) H.263或ITU H.264。 ITU H.264 標準對應於MPEG-4第IO部分，標題為"高級視頻解碼"。這些解碼標準通過以壓縮方 式對數據進行編碼而大體上支持多媒體序列的傳輸效率。
若干廣播技術將內容作為一系列物理或邏輯信道傳遞，從而提供類似於常規電視的 內容選擇體驗。每一物理或邏輯信道載運對音頻/視頻流、音頻/視頻剪輯或其它信息內 容進行編碼的數字數據。為了切換信道，移動裝置從選定信道獲取例如呈一個或一個以 上包或幀的形式的數字數據，且對數據進行解碼以將內容呈現給用戶。選擇和呈現信道 中的延長的延遲是不合意的，且破壞用戶習慣的"信道衝浪"體驗。因此，信道切換時 間的減少是廣播中的顯著問題。

發明內容
在本發明的某些方面中， 一種用於處理多媒體數據的方法包括對多媒體數據幀進 行幀間解碼，其中所述經幀間解碼幀包含多個像素塊；以及對包括在所述經幀間解碼幀 中解碼的所述多媒體數據的至少一部分的信道切換幀進行幀內解碼，其中所述信道切換 幀經解碼以排除所述經幀間解碼幀的所述多個像素塊中可使用空間錯誤隱藏算法以所 需保真度重構的一者或一者以上。
在某些方面中， 一種用於處理多媒體數據的設備包括編碼模塊，所述編碼模塊對多 媒體數據幀進行幀間解碼。所述經幀間解碼幀包含多個像素塊。所述編碼模塊還對包括 在所述經幀間解碼幀中解碼的所述多媒體數據的至少一部分的信道切換幀進行幀內譯 碼。所述信道切換幀經解碼以排除所述經幀間解碼幀的可使用空間錯誤隱藏算法以所需 保真度重構的一個或一個以上像素塊。在某些方面中， 一種用於處理多媒體數據的設備包括用於對多媒體數據幀進行幀間 解碼的裝置，其中所述經幀間解碼幀包含多個像素塊。所述設備進一步包括用於對包括 在所述經幀間解碼幀中解碼的所述多媒體數據的至少一部分的信道切換幀進行幀內譯 碼的裝置。所述信道切換幀經解碼以排除所述經幀間解碼幀的所述多個像素塊中可使用 空間錯誤隱藏算法以所需保真度重構的一者或一者以上。
在某些方面中， 一種用於處理多媒體數據的電腦程式產品包括上面具有指令的計 算機可讀媒體，所述指令包括用於對多媒體數據幀進行幀間解碼的代碼，其中所述經幀 間解碼幀包含多個像素塊；以及用於對包括在所述經幀間解碼幀中解碼的所述多媒體數 據的至少一部分的信道切換幀進行幀內解碼的代碼，其中所述信道切換幀經解碼以排除 所述經幀間解碼幀的所述多個像素塊中可使用空間錯誤隱藏算法以所需保真度重構的 一者或一者以上。
在某些方面中， 一種用於處理多媒體數據的方法包括獲得與第一信道相關聯的多個 經解碼多媒體數據幀，其中所述多個經解碼幀包含經幀間解碼幀和信道切換幀，所述信 道切換幀包括對應於在所述經幀間解碼幀中解碼的所述多媒體數據的至少 一部分的經 幀內解碼多媒體數據。而且所述方法包括響應於事件，對所述信道切換幀的對應於所述 經幀內解碼多媒體數據的像素塊進行解碼。所述方法還包括使用至少一個空間錯誤隱藏
算法重構所述信道切換幀內未解碼的一個或一個以上像素塊。
在某些方面中， -種用於處理多媒體數據的設備包括選擇性解碼模塊，其獲得與 第 一 信道相關聯的多個經解碼多媒體數據幀，其中所述多個經解碼幀包含經幀間解碼幀 和信道切換幀，所述信道切換幀包括對應於在所述經幀間解碼幀中解碼的所述多媒體數 據的至少一部分的經幀內解碼多媒體數據，且響應於事件，對對應於所述經幀內解碼多 媒體數據的所述信道切換幀進行解碼。所述設備還包含空間錯誤隱藏模塊，其使用至少 一個空間錯誤隱藏算法重構所述信道切換幀的部分內未解碼的一個或一個以上像素塊。
在某些方面中， 一種用於處理多媒體數據的設備包括用於獲得與第一信道相關聯 的多個經解碼多媒體數據幀的裝置，其中所述多個經解碼幀包含經幀間解碼幀和信道切 換幀，所述信道切換幀包括對應於在所述經幀間解碼幀中解碼的所述多媒體數據的至少 一部分的經幀內解碼多媒體數據；用於響應於事件對所述信道切換幀的對應於所述經幀 內解碼多媒體數據的像素塊進行解碼的裝置；以及用於使用至少 一 個空間錯誤隱藏算法 重構所述信道切換幀內未解碼的一個或一個以上像素塊的裝置。
在某些方面中， 一種用於處理多媒體數據的電腦程式產品包括上面具有指令的計 算機可讀媒體，所述指令包括用於獲得與第一信道相關聯的多個經解碼多媒體數據幀
16的代碼，其中所述多個經解碼幀包含經幀間解碼幀和信道切換幀，所述信道切換幀包括 對應於在所述經幀間解碼幀中解碼的所述多媒體數據的至少 一 部分的經幀內解碼多媒 體數據。所述指令進一步包括用於響應於事件對所述信道切換幀的對應於所述經幀內譯 碼多媒體數據的像素塊進行解碼的代碼；以及用於使用至少 一 個空間錯誤隱藏算法重構 所述信道切換幀內未解碼的一個或一個以上像素塊的代碼。
一個或一個以上實例的細節陳述於附圖和以下描述中。從描述內容和圖式以及從權 利要求書將明白其它特徵、目的和優點。


圖1是說明採用本文所述的信道切換技術的視頻編碼與解碼系統的框圖。 圖2是說明使ffl本發明的技術解碼的經編碼多媒體序列的示範性部分的圖。 圖3是說明使用本發明的技術編碼的經編碼多媒體序列的示範性部分的圖。 圖4是更詳細說明示範性編碼模塊的框圖。 圖5是更詳細說明示範性選擇性解碼模塊的框圖。
圖6是說明根據本發明的技術對多媒體數據序列進行編碼的編碼模塊的示範性操作 的流程圖。
圖7是說明根據本發明的技術對經編碼多媒體數據序列進行解碼的選擇性解碼模塊 的示範性操作的流程圖。
圖8說明根據木發明的技術編碼的示範性信道切換幀。
圖9說明根據本發明的技術聯合對應經幀間解碼幀編碼的另一示範性信道切換幀。
具體實施例方式
本發明涉及數字多媒體，且更特定來說，涉及用於對用於在數字多媒體內容的信道 之間進行切換的信道切換幀(CSF)進行解碼的技術。特定來說，編碼裝置可對信道切 換幀進行解碼以排除可在解碼裝置處使用一個或一個以上空間錯誤隱藏(SEC)算法充 分重構的一個或一個以上像素塊(本文稱為"塊")。舉例來說，編碼裝置可對信道切換 幀進行解碼以排除可以所需保真度(即，以大於或等於閾值的保真度)重構的一個或一 個以上塊。排除信道切換幀的可使用空間錯誤隱藏以所需保真度重構的…個或一個以上 塊減少了對信道切換幀進行解碼所必需的帶寬量，因此允許對可用帶寬的更有效的利 用。
在一些方面中，編碼裝置可能知道由解碼裝置使用的特定空間錯誤隱藏算法，且確 定是否可使用解碼裝置的空間錯誤隱藏算法以所需保真度重構塊。編碼裝置可例如基於
17例如絕對差和(SAD)、平方差和(SSD)、變換差和(STD)、峰值信噪比(PSNR)或 塊的編碼-解碼版本與經由SEC產生的塊的版本之間的其它測量值等指標來確定重構的 充分性，例如保真度。作為一個實例，編碼裝置可確定當可用大於或等於30dB的PSNR 重構塊時可以所需保真度重構塊。
或者，編碼裝置可能不知道由解碼裝置支持的特定空間錯誤隱藏算法，且通過分析 與塊相關聯的信息以確定塊是否可經充分內插而確定哪些塊可由解碼裝置充分重構。編 碼裝置可確定是否可使用相同幀內的信息(且特定來說，可從鄰近塊獲得的信息)對塊 充分內插。是否可對塊充分內插的評估可例如基於信號平穩度或方向評價，因此使評價 與特定SEC算法去耦。在一些實施例中，例如編碼裝置可使用塊分類技術來確定塊的復 雜性。編碼裝置可確定是否存在任何方向結構且在塊內存在方向結構時將塊分類為能夠 充分內插。
圖1是說明採用本文描述的信道切換技術的視頻編碼與解碼系統10的框圖。編碼 與解碼系統10包含編碼裝置12和解碼裝置14，其由傳輸信道16連接。編碼裝置12對 一個或一個以上數字多媒體數據序列進行編碼，且經由傳輸信道16將經編碼序列傳輸 到解碼裝置14以供解碼，且可能呈現給解碼裝置14的用戶。傳輸信道16可包括任何 有線或無線媒體，或其組合。
編碼裝置12可形成用於廣播一個或一個以上多媒體數據信道的廣播網絡組件的部 分。由此，每 一經編碼序列可對應於--多媒體數據信道。作為實例，編碼裝置12可形 成無線基站、伺服器或用於向無線裝置廣播一個或一個以上經編碼多媒體數據信道的任 何基礎結構節點的部分。在此情況下，編碼裝置12可將經編碼數據傳輸到多個無線裝 置，例如解碼裝置14。然而，圖1中出於簡明起見而說明單個解碼裝置14。
解碼裝置14可包括接收由編碼裝置12傳輸的經編碼多媒體數據且對視頻數據進行 解碼以呈現給用戶的用戶裝置。藉助於實例，解碼裝置14可實施為以下裝置的部分 數位電視、無線通信裝置、遊戲裝置、可攜式數字助理(PDA)、膝上型計算機或桌上 型計算機、數位音樂和視頻裝置(例如以商標"iPod"出售的那些裝置)，或例如蜂窩式、 衛星或基於陸地的無線電話等無線電電話，或為視頻串流、視頻電話或兩者而裝備的其 它無線移動終端。解碼裝置14可與移動或固定裝置相關聯。在廣播應用中，編碼裝置 12可將經編碼視頻傳輸到與多個用戶相關聯的多個解碼裝置14。
在一些方面中，對於雙向通信應用，編碼與解碼系統10可根據會話起始協議(SIP)、 國際電信聯盟標準化部門(HTJ-T) H.323標準、ITU-T H.324標準或其它標準而支持視 頻電話或視頻串流。對丁-單向或雙向通信，編碼裝置12可根據例如移動圖片專家組(MPEG) -2、 MPEG-4、 ITU-T H.263或ITU-T H.264等視頻壓縮標準而產生經編碼多媒 體數據，所述ITU-T H.264對應於MPEG-4第10部分高級視頻解碼(AVC)。雖然在圖 1中未圖示，但編碼裝置12和解碼裝置14可分別與音頻編碼器和解碼器集成，且包含 適當的多路復用器-多路分用器(MUX-DEMUX)模塊或其它硬體、固件或軟體以處置 共同數據序列或單獨數據序列中的音頻和視頻兩者的編碼。如果適用，MUX-DEMUX 模塊可符合ITUH.223多路復用器協議，或例如用戶數據報協議(UDP)等其它協議。
在一些方面中，本發明預期應用於增強H.264視頻解碼以用於使用僅前向鏈路 (FLO)空中接口規範在陸地移動多媒體多播(TM3)系統中傳遞實時多媒體服務，所述 規範為2006年8月公開為技術標準TIA-1099的"用於陸地移動多媒體多播的僅前向鏈 路空中接口規範(Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)" ( "FLO規範")。然而，本發明中描述的信道切換技術不限於任 何特定類型的廣播、多播或點對點系統。
如圖1中說明，編碼裝置12包含編碼模塊18和發射器20。編碼模塊18接收包含 一個或一個以上數據幀的一個或一個以上輸入多媒體序列，且選擇性地對所接收多媒體 序列的幀進行編碼。編碼模塊18從一個或一個以上源(圖1未圖示)接收輸入的多媒 體序列。在一些方面中，編碼模塊18可例如經由衛星從一個或一個以上視頻內容提供 者接收輸入的多媒體序列。作為另一實例，編碼模塊18可從集成在編碼裝置12內或耦 合到編碼裝置12的圖像俘獲裝置(圖1未圖示)接收多媒體序列。或者，編碼模塊18 可從編碼裝置12內或耦合到編碼裝置12的存儲器或檔案(圖1未圖示)接收多媒體序 列。多媒體序列可包括待解碼且作為廣播或按需要傳輸的現場實時或準實時視頻、音頻 或視頻和音頻序列，或可包括待解碼且作為廣播或按需要傳輸的預先記錄和存儲的視 頻、音頻或視頻和音頻流。在一些方面中，多媒體序列的至少一部分可為計算機產生的， 例如在遊戲的情況下。雖然將本發明的技術描述為對多媒體數據執行，但除了多媒體以 外類似的技術可用於處理語音通信和數據通信。
在任一情況下，編碼模塊18對多個經解碼幀進行編碼且經由發射器20將所述幀傳 輸到解碼裝置14。編碼模塊18可使用一個或一個以上解碼技術對輸入的多媒體序列的 幀進行編碼。舉例來說，編碼模塊18可使用幀內解碼技術對一個或一個以上幀進行編 碼。使用幀內解碼技術編碼的幀是在不參考其它幀的情況下而被解碼，且常稱為幀內 ("I")幀。編碼模塊18也可使用幀間解碼技術對一個或一個以上幀進行編碼。使用幀間 解碼技術編碼的幀是參考一個或一個以上其它幀而被解碼。經幀間解碼的幀可包含一個 或一個以上預測("P")幀、雙向("B")幀或其組合。P幀是參考至少一個時間上在前
19的幀而被編碼，而B幀是參考至少一個時間上在前的幀和至少一個時間上未來的幀而被 編碼。
編碼模塊18可進--.步經配置以將幀分割為多個塊，且單獨對每 "塊進行編碼。作 為實例，編碼模塊18可將幀分割為多個16X16塊。常稱為"宏塊"的一些塊包括子分 割塊(本文稱為"子塊")的分組。作為實例，16X16宏塊可包括四個8X8子塊，或其 它子分割塊。舉例來說，H.264標準準許對具有多種不同大小的塊進行編碼，例如16X 16、 16X8、 8X16、 8X8、 4X4、 8X4和4X8。此外，通過擴展，具有任何大小的子塊 可包含在宏塊內，例如2X16、 16X2、 2X2、 4X16、 8X2等等。因此，編碼模塊18 可經配置以將幀劃分為若干塊，且將每一像素塊編碼為經幀內解碼塊或經幀間解碼塊， 其每一者可大體上稱為塊。在一些方面中，編碼模塊18可使用不同的解碼技術對單個 經幀間解碼幀內的塊進行編碼。換句話說，編碼模塊18可使用幀內解碼技術對數據幀 中的一些塊進行編碼，且使用幀間解碼技術對同一數據幀中的其它塊進行編碼，使得幀 可包含P (或B)塊和I塊兩者。因此，如本文使用的術語經幀間解碼幀是指其中塊的 至少 一 部分是使用幀問解碼技術解碼的任何幀。
另外，編碼模塊18對一個或一個以上信道切換幀進行編碼且傳輸所述幀以增強解 碼裝置14的信道切換能力。如本文使用，術語"信道切換幀"指經幀內解碼的數據幀， 其包含對應的經幀間解碼數據幀的多媒體數據的至少一部分。換句話說，可將信道切換 幀視為對應的經幀間解碼數據幀的多媒體數據的至少一部分的第二經解碼版本。以此方 式，信道切換幀與經幀間解碼幀中的對應一者共同定位，且在一些情況下可經解碼來取 代對應的經幀間解碼幀，如下文將詳細描述。在操作中，當需要信道切換時，解碼裝置 14存取信道切換幀而不是共同定位的經幀間解碼幀，以更快地產生與選定信道相關聯的 視頻。然而在一些方面中，對應的經幀間解碼幀的一部分可與信道切換幀一起被解碼。
編碼模塊18根據本文描述的技術對信道切換幀進行幀內解碼。更具體來說，編碼 模塊18對信道切換幀進行幀內解碼以排除信道切換幀的一個或一個以上塊以更有效地 利用可用帶寬。代替於對信道切換幀中的所有塊進行幀內解碼，編碼模塊18跳過對幀 中的選定塊的編碼，藉此減少信道切換幀中的經編碼信息的量。特定來說，編碼模塊18 對信道切換幀進行編碼以排除信道切換幀的一個或一個以上塊，所述塊可在解碼裝置14 處使用一個或- 個以上空間錯誤隱藏算法以所需保真度重構。換句話說，編碼模塊18 識別在跳過的情況下仍可由解碼器裝置14使用來自同一幀內的鄰近塊的信息進行重構 的塊，且從信道切換幀中省略那些塊。以此方式，編碼模塊18減少對信道切換幀進行 解碼所必需的帶寬的量。在一些方面中，編碼模塊18可能知道由解碼裝置14使用的特定空間錯誤隱藏算法， 且確定是否可使用解碼裝置14的空間錯誤隱藏算法以所需保真度重構塊。編碼模塊18 可例如基於塊的編碼-解碼版本與經由SEC產生的塊的版本之間的比較來確定經重構塊 的保真度，例如保真度。可用作經重構塊的保真度的指標的度量的實例包含SAD、 SSD、 STD、 PSNR或其它差度量或接近人類視覺感知的度量。作為一個實例，編碼模塊18可 確定當可用大於或等於30 dB的PSNR重構塊時可以所需保真度重構塊。
或者，編碼模塊18可能不知道由解碼裝置14支持的特定空間錯誤隱藏算法，且通 過分析與塊相關聯的信息以確定是否可由解碼裝置對塊充分內插而確定哪些塊可由解 碼裝置14以所需保真度重構。編碼模塊18可確定是否可使用鄰近塊內的信息對塊充分 內插。是否可對塊充分內插的評估可例如基於信號平穩度或方向評價。在一些實施例中， 例如編碼模塊18可使用塊分類技術來確定塊的複雜性。編碼模塊可確定是否存在任何 方向結構且在塊內存在方向結構時將塊分類為能夠充分內插。
另外，編碼模塊18可經配置以對信道切換幀的至少--部分進行編碼以排除對應於 對應經幀間解碼幀中存在的經幀內解碼塊的塊。換句話說，編碼模塊8不對信道切換 幀中對應於對應經幀間解碼幀中的經幀內解碼塊的塊進行解碼。或者，編碼模塊18可 以降低的質量對信道切換幀的對應於對應經幀間解碼幀的經幀內解碼塊的塊的 一 部分 進行編碼，而不是完全跳過對這些塊的編碼。這還減少了由編碼模塊18用以對信道切 換幀進行解碼的帶寬的量。編碼模塊18可利用額外帶寬來增強信道切換幀或其它經譯 碼幀中解碼的塊的質量，或簡單地減少由信道切換幀消耗的帶寬。
編碼裝置12經由發射器20傳輸經解碼數據幀。編碼裝置12可傳輸信道切換幀和 其它經解碼數據幀作為帶內通信。或者，編碼裝置12可傳輸信道切換幀作為帶外通信， 且傳輸其它經解碼數據幀作為帶內通信。舉例來說，編碼裝置12可在補充增強信息(SEI) 消息內嵌入信道切換幀。在-^些方面屮，編碼裝置12可利用可縮放解碼且在基礎層中 傳輸信道切換幀以增加解碼裝置14進行接收的概率。或者，編碼裝置12可在增強層中 傳輸信道切換幀(例如)以平衡基礎層和增強層的帶寬。發射器20可包含適當的調製 解調器和驅動電路以經由傳輸信道16傳輸經編碼多媒體。對於無線應用，發射器26包 含RF電路以傳輸載運經編碼多媒體數據的無線數據。
解碼裝置14經由接收器22接收經編碼數據。類似於發射器20,接收器22可包含 適當的數據機和驅動電路以經由傳輸信道16接收經編碼多媒體，且可包含RF電路 以在無線應用中接收載運經編碼多媒體數據的無線數據。在一些實例中，編碼裝置12 和解碼裝置14各自可包含互補的發射與接收電路，使得每一者可充當用於經由傳輸信
21道16傳輸的經編碼多媒體和其它信息的源裝置和接收裝置兩者。在此情況下，編碼裝 置12和解碼裝置14兩者可發射和接收多媒體序列且因此參與雙向通信。換句話說，可 將多媒體編碼裝置10的所說明組件集成為編碼器/解碼器(CODEC)的部分。
選擇性解碼模塊24選擇性地對經由接收器22接收的經解碼數據幀進行解碼。起初， 選擇性解碼模塊24正常地對經編碼數據序列進行解碼。換句話說，選擇性解碼模塊24 對經編碼序列的經幀間和經幀內解碼幀進行解碼，如同序列內不存在經編碼的信道切換 幀。然而，選擇性解碼模塊24響應於檢測到事件而取代用於信道的對應經幀間解碼幀 而對一個或一個以上信道切換幀進行解碼。所述事件可例如為檢測到切換信道的請求或 檢測到使幀難以以所需保真度解碼的經解碼數據損壞錯誤。舉例來說，響應於信道切換 請求，選擇性解碼模塊24對用於新信道的一個或一個以上信道切換幀進行解碼而不是 對對應的經幀間解碼幀進行解碼。因為信道切換幀包括經幀內解碼的數據塊，所以其是 可獨立解碼的，S卩，其不參考任何其它經解碼幀。因此，信道切換幀約束了切換瞬態期 間的時間相依性，以確保經解碼幀不出現來自先前信道和新信道的內容混合的失真。信 道切換幀也可用於除了信道切換以外的目的。舉例來說，解碼裝置4可對信道切換幀 而不是對應的經幀間解碼幀進行解碼以停止錯誤傳播，實現再同步或準許快進或快退。 在此意義上，信道切換幀可充當隨機存取幀以支持多個功能，所述功能包含但不一定限 於信道切換。
在編碼模塊18對信道切換幀進行編碼以排除對應於相應經幀間解碼幀的經幀內譯 碼塊的塊的情況下，選擇性解碼模塊24可用經幀間解碼幀的對應於信道切換幀的經排 除塊的經幀內解碼塊來擴充信道切換幀的部分的經幀內解碼塊。因此，選擇性解碼模塊 24可使用經幀內解碼信道切換幀的一部分和經幀間解碼幀的一部分來產生經解碼幀，其 中所述部分對應於信道切換幀的經排除的塊。又，對應的經幀間解碼幀可在時間上與經 幀內解碼的信道切換幀相關，且載運對應於信道切換幀的經幀內解碼內容的經幀間解碼 信息。經幀間解碼幀一般將在觀看信道的穩定狀態的過程中被解碼。然而，當解碼裝置 14恰好切換到所述信道時，經幀內解碼的信道切換幀被單獨解碼或聯合來自對應經幀間 解碼幀的經幀內解碼塊而被解碼，如上文所述。
而且，在編碼模塊18以降低的質量或位速率對信道切換幀的對應於相應經幀間譯 碼幀的經幀內解碼塊的塊進行編碼的情況下，選擇性解碼模塊24可對信道切換幀的降 低質量的經幀內解碼塊進行解碼，且使用對應經幀間解碼幀的對應經幀內解碼塊來增強 那些塊的質量。因此在此情況下，如上述情況中，選擇性解碼模塊24可依賴於來自信 道切換幀和對應於信道切換幀的經幀間解碼幀兩者的經幀內解碼塊。選擇性解碼模塊24使用一個或一個以上空間錯誤隱藏算法重構信道切換幀的一個 或一個以上塊。特定來說，選擇性解碼模塊24重構由於可在解碼裝置14處以所需保真 度重構塊的確定而被編碼模塊18跳過的那些塊。解碼裝置14可基於信道切換幀的部分 的一個或一個以上經解碼塊而重構跳過的塊。因此，解碼裝置14基於來自同一幀內的 鄰近塊的信息而不是使用來自先前和/或後續幀的塊的信息來重構跳過的像素塊。信道切 換幀的經解碼塊可在某些情況下包含在信道切換幀中解碼的經幀內解碼塊以及對應經 幀間解碼幀的用以擴充信道切換幀的經幀內解碼塊的經幀內解碼塊的組合。因此，信道
切換幀的經解碼塊可視為包含在信道切換幀內解碼的經幀內解碼塊以及用以擴充信道 切換幀的塊的任何經解碼塊。
選擇性解碼模塊24組合信道切換幀的經解碼經幀內解碼塊與經重構的塊以產生經 解碼數據幀。而且，在信道切換幀的經幀內解碼塊由對應經幀間解碼幀的經幀內解碼塊 擴充的情況下，選擇性解碼模塊24可另外組合對應經幀間解碼幀的經解碼經幀內解碼 塊以及信道切換幀的經幀內解碼塊和經重構塊，以產生經解碼數據幀。解碼裝置14可 進一步經由顯示器(未圖示)向用戶呈現經解碼數據幀，所述顯示器可集成在解碼裝置 14內，或作為經由有線或無線連接耦合到解碼裝置14的離散裝置而提供。
在選擇性解碼模塊24對信道切換幀進行解碼之後，選擇性解碼模塊24對在信道切 換幀之後的一個或一個以上經幀間解碼幀進行解碼，而不參考在信道切換幀之前的任何 經解碼幀。換句話說，後續經幀間解碼幀對信道切換幀之前的任何幀的所有前向相依性 被移除，以進一步防止由於先前信道和當前信道的內容的混合而引起的失真。
在一些方面中，編碼裝置12可對一段時期內接收的多媒體序列的部分進行編碼、 組合和傳輸。作為實例，編碼裝置12可基於每秒對所接收的多媒體序列操作。特定來 說，編碼裝置12可對多個輸入的多媒體序列的一秒數據片段進行編碼，組合經編碼的 一秒數據片段以形成數據超幀，且經由發射器20在傳輸信道i6上傳輸超幀。如本文使 用，術語"超幀"是指在一段時期或窗口 (例如一秒時期或窗口)內收集的數據片段群 組。在此情況下，編碼裝置12可將超幀中的信道切換幀與其它經解碼幀進行組合。在 某些方面中，編碼裝置12可包含用於每一超幀中的每一信道的信道切換幀，例如每秒 對信道切換幀進行編碼和傳輸。所述技術還可用於對其它數據片段進行編碼、組合和傳 輸，例如針對在可能是或可能不是固定時期的不同時期內接收的數據片段，或針對個別 的數據幀或數據幀集合。換句話說，可界定超幀以覆蓋比一秒期大或小的時間間隔，或 甚至可變的時間間隔。請注意，在本發明中，特定大塊的多媒體數據(例如，類似於超 幀的概念)指具有特定大小和/或持續時間的任何大塊的多媒體數據，其中所述特定大小
23和/或持續時間是至少部分基於用於傳遞多媒體數據的系統的物理層和/或MAC層特性 和/或參數。請注意，可靜態和/或動態指派地所述特定大小和/或持續時間。
上述技術可經個別地實施，或此些技術中的兩者或兩者以上或所有此些技術可--起 實施於編碼裝置12和/或解碼裝置14中。編碼裝置12和解碼裝置14中的組件是適用於 實施本文所述技術的那些組件的示範。然而，編碼裝置12和解碼裝置14可在需要時包 含許多其它組件。舉例來說，編碼裝置12可包含多個編碼模塊，其各自接收一個或一 個以上多媒體數據序列，且根據本文的技術對相應多媒體數據序列進行編碼。在此情況 下，編碼裝置12可進--步包含至少-個多路復用器以組合數據片段以用於傳輸。另外， 編碼裝置12和解碼裝置14可包含適當的調製、解調、頻率轉換、濾波和放大器組件以 用於傳輸和接收經編碼視頻，在適用時包含射頻(RF)無線組件和天線。然而為了便於 說明，圖1中未展示此些組件。
編碼裝置12和解碼裝置14中的組件可實施為一個或一個以上處理器、數位訊號處 理器、專用集成電路(ASIC)、現場可編程門陣列(FPGA)、離散邏輯、軟體、硬體、 固件或其任何組合。期望將不同特徵描述為模塊以突出編碼裝置12和解碼裝置4的不 同功能方面，且不一定暗示此些模塊一定由單獨的硬體或軟體組件實現。而是，與一個 或一個以上模塊相關聯的功能性可集成在共同或單獨的硬體或軟體組件內。因此，本發 明不應限於編碼裝置12和解碼裝置14的實例。
圖2是說明使用本發明的技術解碼的經編碼多媒體序列30A和30B (統稱為"經編 碼序列30")的部分的圖。經編碼序列30A對應於第一信道(標記為"CH. 1")且經編 碼序列30B對應於第二信道(標記為"CH. 2")。作為實例，經編碼序列30A可對應於 ESPN而經編碼序列30B可對應於CNN。雖然圖2中說明的實例說明用於僅兩個信道的 經編碼序列，但本發明的技術適用於用於任何數目信道的任何數目的經編碼序列，包含 來自 一個信道的.-個經編碼序列。
每一經編碼序列30包含多個經解碼幀。經解碼幀表示由各種幀間解碼或幀內解碼 技術編碼的相應輸入幀的經壓縮版本。經編碼序列30包含經幀間解碼幀32A-32X (統 稱為"經幀間解碼幀32")、經幀內解碼幀34A和34B (統稱為"經幀內解碼幀34")和 信道切換幀(CSF) 36A-36D (統稱為"信道切換幀36")中的相應者。經幀間解碼幀 32是其相應輸入幀的參考一個或一個以上其它幀的經幀間解碼版本。如圖2中說明，經 幀間解碼幀32可包含P幀、B幀或其組合。如上所述，可將經幀間解碼幀32分割為多 個塊，其第 一 子組是使用幀間解碼技術解碼的且其第二子組是使用幀內解碼技術解碼
的。舉例來說，經編碼序列30A的經幀間解碼幀32C (即，P2)可包含經幀內解碼的一
24個或一個以上塊以及使用預測解碼(即，幀間解碼)解碼的塊。另一方面，經幀內解碼 的幀34是相應輸入幀的在不參考其它幀的情況下解碼的經幀內解碼版本。經幀內解碼 幀34可例如在視頻序列的開始或在場景改變時發生。
經編碼序列30還包含一個或一個以上信道切換幀36。如上所述，信道切換幀36包 括對應於經幀間解碼幀3 2中的 一 者的 一 個或 一 個以上像素塊的經幀內解碼多媒體數據。 換句話說，信道切換幀36是在經幀間解碼幀32中的對應一者中解碼的多媒體數據的至 少一部分的第二版本。在圖2說明的實例中，信道切換幀36A包括在對應經幀間解碼幀 32E中解碼的多媒體數據的至少- 部分的經幀內解碼版本。同樣，信道切換幀36B、 36C 和36D分別是在對應經幀間解碼幀32K、32M和32S中解碼的多媒體數據的至少一部分 的經幀內解碼版本。如圖2所示，在視頻序列內的信道切換幀36的時間位置對應於同 一視頻序列中的經幀間解碼幀32的時間位置的意義上，信道切換幀36可在時間上與經 幀間解碼幀32中的對應一者共同定位。
根據本發明的技術，信道切換幀36中的至少一者經解碼以排除可使用空間錯誤隱 藏算法以所需保真度重構的一個或一個以上塊。特定來說，編碼裝置12 (圖1)識別信 道切換幀36的可由解碼裝置14 (圖1)使用一個或一個以上空間錯誤隱藏算法以所需 保真度重構的一個或一個以上塊。編碼裝置12對信道切換幀36進行編碼以排除所識別 塊的至少一部分。對信道切換幀36進行編碼以排除可使用空間錯誤隱藏重構的塊可減 少對信道切換幀36進行解碼所必需的帶寬的量。編碼裝置12可使用額外帶寬來增強在 信道切換幀36或經解碼幀中的其它幀中解碼的塊的質量，或簡單地減少用以對信道切 換幀32進行解碼的帶寬的量。
為了進一步減少用以對信道切換幀36進行解碼的帶寬的量，編碼裝置12可經配置 以對信道切換幀36進行解碼以排除對應於對應經幀間解碼幀32的經幀內解碼塊的塊。 作為實例，如果經幀間解碼幀32E包含一個或一個以上經幀內解碼塊，那麼編碼裝置12 可對信道切換幀36A進行解碼以排除經幀間解碼幀32E的經幀內解碼塊的至少一部分。
在解碼側，解碼裝置14接收經編碼序列30且對經編碼序列30進行解碼，如下文 所述。為了說明目的，假定解碼裝置當前被設置於信道1 (CH1)且因此對經編碼序列 30A進行解碼。解碼裝置14對經編碼序列30A進行解碼，如同在致使解碼裝置14對信 道切換幀36中的一者而不是經幀間解碼幀32中的對應一者進行解碼的事件發生之前沒 有接收到任何信道切換幀36。所述事件可例如為例如從CH 1到CH 2切換信道的請求。 在此情況下，解碼裝置14對信道切換幀36而不是經幀間解碼幀32中的對應一者進行 解碼，以用於初始獲取新信道的內容。或者，除了對信道切換幀進行解碼以外，解碼裝置14可對對應經幀間解碼幀的一部分進行解碼(例如)以補充信道切換幀36的解碼日 期。這允許解碼裝置14從信道切換幀36再現新信道的內容，而不是等待經幀內解碼幀 34或僅對經幀間解碼幀32中的一者進行解碼，其將產生以來自先前信道和新信道的內 容混合而失真的經解碼幀。作為實例，如果解碼裝置14在經幀間解碼幀32F處接收到 從信道1 (CH1)切換到信道2 (CH2)的請求，那麼解碼裝置將識別切換請求，且響 應於請求而對信道切換幀36D進行解碼。如上所述，解碼裝置14可另外對經幀間解碼 幀32S的一部分進行解碼。舉例來說，除了信道切換幀34D以外，解碼裝置14可另外 對經幀間解碼幀32S的經幀內解碼塊的至少一部分進行解碼。以此方式，解碼裝置14 響應於事件而對信道切換幀36D進行解碼。
信道切換幀36可用於除了信道切換以外的目的，例如停止錯誤傳播、實現再同步 或準許快進和快退。特定來說，致使解碼裝置14對信道切換幀36中的一者而不是經幀 間解碼幀32中的對應一者進行解碼的事件可為對超過隱藏能力的經解碼數據損壞錯誤 的檢測。換句話說，經解碼數據損壞錯誤導致使用錯誤隱藏重構的塊具有低於所需保真 度的保真度。舉例來說，可能在傳輸期間通過網絡引入錯誤。此些錯誤可阻礙或致使不 可能對經幀間解碼幀32進行解碼。在此情況下，解碼裝置14對信道切換幀36中的一 者進行解碼以停止錯誤傳播。如上所述，解碼裝置14可僅對信道切換幀36進行解碼， 或可除了信道切換幀36以外還對經幀間解碼幀32中的對應者的一部分進行解碼。舉例 來說，如果解碼裝置14檢測到在幀32A-32D中任一者的解碼期間較大程度的經解碼數 據損壞，那麼解碼裝置14可對信道切換幀36A進行解碼以停止錯誤在整個序列中的傳 播。在不對信道切換幀36A進行解碼的情況下，錯誤可在整個序列中傳播，直到遇到經 幀內解碼幀為止，例如直到幀內幀34A為止。以此方式，可將解碼裝置14視為使用信 道切換幀36進行幀內刷新以致使被錯誤接收的參考數據破壞的現有多媒體序列的再同 步。
解碼裝置14進一步重構信道切換幀36的未使用一個或一個以上空間錯誤隱藏算法 解碼的一個或一個以上塊。特定來說，解碼裝置14基於信道切換幀36的一個或一個以 上經解碼塊，使用空間錯誤隱藏來重構塊。在一些方面中，解碼裝置14以經幀間解碼 幀32中的對應一者的經幀內解碼塊來擴充信道切換幀36的經幀內解碼塊。因此，可將 信道切換幀36視為包含經幀內解碼塊的組合，其中一些經幀內解碼塊可在經幀間解碼 幀32中的對應一者內解碼。在此情況下，解碼裝置14可使用信道切換幀36和經幀間 解碼幀32的對應一者的經幀內解碼塊來重構未曾在所述幀的任一者中解碼的塊。
而且，解碼裝置14對在信道切換幀36之後的經幀間解碼幀32進行解碼，而不參考在信道切換幀36之前的任何經解碼幀。返回參看上文的信道切換實例，解碼裝置14 對經幀間解碼幀32U進行解碼，而不參考在信道切換幀36D之前的任何經解碼幀。如 果例如經幀間解碼幀32U參考了幀32Q和32S，那麼解碼裝置14對經幀間解碼幀32U 進行解碼而不參考幀32Q。換句話說，後續經幀間解碼幀32對信道切換幀36之前的任 何幀的所有前向相依性被移除，以進一步防止由於先前信道和當前信道的內容的混合而 引起的失真。為此，編碼裝置12可經配置以對在經解碼信道切換幀之後的幀進行解碼， 而不參考在信道切換幀之前的任何經解碼幀。或者，解碼裝置14可經配置以通過不參 考在信道切換幀之前的經解碼幀而不遵守此些相依性(如果其存在)，因此在對信道切 換幀36中的一者進行解碼時移除此些相依性。
僅為示範性目的而說明經編碼序列30。可使用各種選擇經編碼序列30內的信道切 換幀位置的方法。而且，經編碼序列30可包含信道切換幀36之間的更多或更少經幀間 解碼幀32的不同布置。圖2中說明的實例將信道切換幀36描繪為包括整個幀，而不具
有被確定為能夠在解碼裝置處經由空間錯誤隱藏重構的塊。然而，應注意，本發明的技 術可用於其中信道切換幀的僅一部分(例如，切片)被解碼為對應的經幀間解碼幀的數
據的第二版本的其它實例中。稍後描述此些技術。
圖3是說明使用本發明的技術編碼的經編碼多媒體序列40A和40B (統稱為"經編 碼多媒體序列40")的部分的圖。經編碼多媒體序列40大體上符合圖2的經編碼多媒體 序列30，但信道切換幀46A-46C經解碼以包含對應經幀間解碼幀的數據的僅--部分。 更具體來說，信道切換幀46A-46C對經幀間解碼幀42中的對應一者的多媒體數據的僅 一切片的第二版本進行解碼。
在圖3說明的實例中，信道切換幀46A-46C包括經幀間解碼幀42中的對應一者的 經解碼切片。換句話說，信道切換幀46A-46C僅對相應經幀間解碼幀的陰影部分進行譯 碼。舉例來說，信道切換幀46A對對應經幀間解碼幀42A的僅一相應切片的第二版本 進行解碼。同樣，信道切換幀46B和46C的部分分別對對應經幀間解碼幀42G和42M 的僅相應切片的第二版本進行解碼。根據本發明的技術，編碼裝置12可對信道切換幀 進行編碼以排除切片的可由解碼裝置14使用一個或一個以上空間錯誤隱藏算法以所需 保真度重構的一個或一個以上塊。
在解碼側，解碼裝置14響應於例如信道切換請求、解碼錯誤或數據丟失等事件而 對信道切換幀46進行解碼。然而，因為信道切換幀46A-46C中的每一者僅對對應經幀 間解碼幀的切片進行解碼，所以解碼裝置14可對信道切換幀46A-46C中的每一者進行 解碼以初始獲取新信道的內容或執行強制幀內刷新。特定來說，對信道切換幀46A的解
27碼導致新信道的內容的部分獲取。對信道切換幀46B的解碼導致新信道的內容的另一部 分的獲取，且對信道切換幀46C的解碼導致新信道的內容的另一部分的進一步獲取。在 對所有信道切換幀46A-46C進行解碼之後，獲得新信道的整個內容。
雖然當信道切換幀僅對對應經幀間解碼幀32的多媒體數據的一部分(例如，切片) 進行解碼時，解碼裝置14花費較多時間來初始獲取新信道的內容或幀內刷新現有信道， 但對信道切換幀進行解碼所需的位數目小於對包含對應經幀間解碼幀的整個內容的信 道切換幀進行解碼所需的位數目。因此，僅包括對應經幀間解碼幀的數據切片的幀內譯 碼信道切換可更好地適於特定的編碼和解碼系統。
圖3說明的實例僅用於示範性目的。可使用對經編碼序列40內的信道切換幀46進 行解碼的各種方法。舉例來說，信道切換幀46的經解碼部分可包括不同類型的切片， 例如棋盤切片或其它切片布置。而且，信道切換幀46的經解碼部分除了切片以外還可 包括解碼單位。舉例來說，解碼單位可包括形成小於切片的解碼單位的塊群組。或者， 解碼單位可包括形成大於一個多媒體數據切片的解碼犖.位的像素群組。
圖4是更詳細說明編碼模塊50的框圖。編碼模塊50可例如代表圖1的編碼裝置12 的編碼模塊18。編碼模塊50包含幀處理模塊52、信道切換幀(CSF)控制模塊54、幀 內解碼模塊56和幀間解碼模塊58。 CSF控制模塊54進一步包含空間錯誤隱藏(SEC) 近似模塊60和經幀間解碼幀分析模塊62。
幀處理模塊52從--個或--個以上源接收一個或--個以上多媒體序列的多媒體數據 輸入幀，且處理所接收的多媒體序列的幀。特定來說，幀處理模塊52分析多媒體序列 的傳入幀且基於對傳入幀的分析而確定是編碼還是跳過傳入幀。在一些方面中，編碼裝 置12可使用幀跳過以降低的幀速率對多媒體序列中含有的信息進行編碼，以節省傳輸 信道16上的帶寬。而且，對於將編碼的傳入幀，幀處理模塊52還可經配置以確定是將 幀編碼為I幀、P幀還是B幀。
幀處理模塊52可進一步經配置以將幀分割為多個塊且確定是編碼還是單獨跳過每 一塊。另外，對於待編碼的塊，幀處理模塊52可經配置以確定將塊編碼為經幀內解碼 塊還是經幀間解碼塊。幀處理模塊52可例如基於幀或像素塊的內容且可能一個或一個 以上鄰近幀或幀內的一個或一個以上鄰近塊的內容，作出是編碼還是跳過所述幀和/或像 素塊以及如何對所述幀和/或像素塊進行編碼的確定。
幀內解碼模塊56使用幀內解碼將由幀處理模塊52選擇的幀或塊解碼為經幀內解碼 的幀或塊。如上所述，幀內解碼模塊56對為幀內解碼選擇的信息進行解碼而不參考其 它時間上定位的幀。在一些方面中，幀內解碼模塊56可使用空間預測來利用同一時間
28幀內的其它塊中的冗餘。幀間解碼模塊58將由幀處理模塊52選擇的幀或塊解碼為經幀間解碼的幀或塊。幀間解碼模塊58可例如使用例如運動估計和運動補償等預測技術參考一個或 個以上時間上定位的幀對數據幀進行編碼。對於將以解碼為經幀間解碼塊的第 一 塊子組和解碼為經幀內解碼塊的第二塊子組解碼的經幀間解碼的數據幀，待幀內解碼的塊是使用幀內解碼模塊56來解碼的且待幀間解碼的塊是使用幀間解碼模塊58來解碼的，且隨後經組合以形成經幀間解碼幀。
CSF控制模塊54控制一個或一個以上信道切換幀的至少一部分的編碼以增強解碼裝置14 (圖1)的信道切換能力。信道切換幀可對對應經幀間解碼數據幀的一個或一個以上數據切片或其它解碼數據單位進行解碼。如上所述，信道切換幀包含一個或一個以上經幀內解碼塊，其包含對應經幀間解碼數據幀(例如，並置的經幀間解碼幀)的多媒體數據。換句話說，信道切換幀包括在對應經幀間解碼幀中解碼的多媒體數據的第二版本。CSF控制模塊54可致使幀內解碼模塊56每特定時間單位對信道切換幀進行一次幀內解碼。作為實例，CSF控制模塊54可致使幀內解碼模塊56每秒對信道切換幀進行-^次幀內解碼(例如，每超幀一次)。或者，CSF控制模塊54可基於不一致方式(例如基於不一致信號相依模式)致使對信道切換幀進行幀內解碼。
根據本發明的技術，CSF控制模塊54識別信道切換幀的可在解碼裝置14處使用--個或一個以上空間錯誤隱藏(SEC)算法以所需保真度重構的一個或一個以上塊，且幀內解碼模塊56對信道切換幀進行解碼以排除所識別的塊，即跳過對所識別的塊的解碼。在一些方面中，SEC近似模塊60針對信道切換幀的塊中的一者或一者以上，使用一個或一個以上空間錯誤隱藏算法產生塊的一版本。SEC近似模塊60可例如使用己知由解碼裝置14實施的一個或一個以上空間錯誤隱藏算法而產生塊的經空間隱藏版本。SEC近似模塊6 0評價信道切換幀的所述 一 個或 一 個以上經空間隱藏塊以確定使用空間錯誤隱藏算法的重構是否足夠。舉例來說，SEC近似模塊60可計算所述多個經重構塊中的每一者與信道切換幀的部分的所述多個像素塊中的對應一者之間的差度量。SEC近似模塊60將具有小於或等於閾值的對應差度量的塊識別為可以至少一個空間錯誤隱藏算法重構的塊。SEC近似模塊60可例如計算絕對差和(SAD)、平方差和(SSD)、絕對變換差和(SATD)以及平方變換差和(SSTD)以量化由SEC算法再生的塊與原始塊之間的差或由SEC算法再生的塊與原始塊的經解碼和解碼版本之間的差。
在其它方面中，SEC近似模塊60可能不知道由解碼裝置14支持的空間錯誤隱藏算法。在此情況下，SEC近似模塊60可基於是否可對塊充分內插而評價是否可使用未知的空間錯誤隱藏算法重構一個或一個以上塊。如上所述，SEC近似模塊60可確定是否可使用相同幀內的信息(且特定來說，可從鄰近塊獲得的信息)對塊充分內插。是否可對塊充分內插的評估可例如基於信號平穩度或方向評價，因此使評價與特定SEC算法去耦。舉例來說，SEC近似模塊60可分析塊的像素數據中的方向結構，且將具有一致方向結構的塊識別為可用至少一個空間錯誤隱藏算法以所需保真度重構的塊。
另外，為了進一步減少用以對信道切換幀進行解碼的帶寬的量，經幀間解碼幀分析模塊6 2可分析對應於信道切換幀的經幀間解碼幀以識別對應經幀間解碼幀的經幀內解碼塊。在一些方面中，幀內解碼模塊56可經配置以對信道切換幀進行編碼以排除塊中的對應於對應經幀間解碼幀的經幀內解碼塊的 一者或者以上。解碼裝置14可隨後用對應於信道切換幀的經幀間解碼幀的經幀內解碼塊來擴充信道切換幀的經幀內解碼塊。在其它方面中，幀內解碼模塊56可經配置而以降低的質量或位速率對信道切換幀的對應於對應經幀間解碼幀的經幀內解碼塊的塊進行編碼，而不是完全跳過這些塊。解碼模塊14可對信道切換幀的降低質量的經幀內解碼塊進行解碼，且使用對應經幀間解碼幀的對應經幀內解碼幀增強所述塊的質量。CSF控制模塊54將針對被識別為待跳過的塊的塊的跳過命令發送到幀內解碼模塊56。
編碼模塊50中的組件是適用於實施本文所述技術的那些組件的示範。然而，編碼模塊50可在需要時包含許多其它組件。編碼模塊50中的組件可實施為一個或一個以上處理器、數位訊號處理器、專用集成電路(ASIC)、現場可編程門陣列(FPGA)、離散邏輯、軟體、硬體、固件或其任何組合。期望將不同特徵描述為模塊以突出編碼模塊50的不同功能方面，且不一定喑示此些模塊一定由單獨的硬體或軟體組件實現。而是，與一個或一個以上模塊相關聯的功能性可集成在共同或單獨的硬體或軟體組件內。
圖5是更詳細說明示範性選擇性解碼模塊70的框圖。選擇性解碼模塊70可代表圖1的解碼裝置14的選擇性解碼模塊24。選擇性解碼模塊70包含解碼模塊72、空間錯誤隱藏(SEC)模塊74和幀處理模塊76。
解碼模塊72接收經編碼幀序列且選擇性地對序列的幀進行解碼。經編碼幀序列包含多個經幀間和/或幀內解碼的幀以及 一 個或 一 個以上信道切換幀的對應於經幀間解碼幀的相應者的至少一部分。解碼模塊72對經編碼幀序列進行解碼，如同在致使解碼模塊72對信道切換幀中的一者的部分而不是經幀間解碼幀中的對應一者進行解碼的事件發生之前沒有接收到任何信道切換幀。在-些方面中，所述事件可為切換信道的請求。
響應於所述請求，解碼模塊72對信道切換幀的與新信道相關聯的部分而不是經幀間解碼幀的對應一者進行解碼，以初始獲取新信道的內容。對信道切換幀的部分進行解碼可提供若干優點。首先，其準許從信道切換幀再現新信道的內容，而不是等待可能在
30充足時間量中也接收不到的經幀內解碼幀。其次，其準許對不依賴於先前幀的內容的對幀的解碼，其在信道切換的情況下將導致以來自先前信道和新信道的內容混合而失真的經解碼幀。
或者，所述事件可為檢測到一個或一個以上幀的損壞，其是在傳輸期間引入錯誤或在經由網絡傳輸期間數據丟失的結果。在此情況下，解碼模塊72對一個或一個以上信道切換幀的部分而不是經幀間解碼幀的對應一者進行解碼，以減少錯誤傳播。以此方式，可將解碼模塊72視為使用一個或一個以上信道切換幀的部分來強制幀內刷新，以致使被錯誤接收的或丟失的參考數據破壞的現有多媒體序列的再同步。
解碼模塊7 2可進 一 步對經幀間解碼幀的對應於信道切換幀的部分的經幀內解碼塊進行解碼，以補充信道切換幀的經解碼部分。在一些方面中，解碼模塊72可用對應於信道切換幀的經幀間解碼幀的經幀內解碼塊來擴充信道切換幀的部分的經幀內解碼塊。以此方式，解碼模塊72對CSF和對應於CSF的經幀間解碼幀的一個或一個以上經幀內解碼塊兩者進行解碼，且將對應經幀間解碼幀的經幀內解碼塊視為如同其是信道切換幀的部分一樣。在其它方面中，解碼模塊72可使用對應經幀間解碼幀的對應經幀內解碼幀來增強信道切換幀的部分的經幀內解碼塊的質量。
SEC模塊74使用一個或一個以上空間錯誤隱藏算法重構信道切換幀的一個或一個以上塊。特定來說，SEC模塊74重構由於可在解碼裝置14處以所需保真度重構塊的確定而被編碼模塊18跳過的塊。SEC模塊74可基於信道切換幀的部分的--個或'個以上經解碼塊而重構跳過的塊，所述經解碼塊可包含在信道切換幀的部分中解碼的經幀內解碼塊以及對應經幀間解碼幀的用以擴充信道切換幀的部分的經幀內解碼塊的經幀內解碼塊。
幀處理模塊76組合由解碼模塊72解碼的信道切換幀的經幀內解碼塊與由SEC模塊74重構的塊以產生經解碼數據幀。又，信道切換幀的經解碼塊可包含在信道切換幀的部分中解碼的經幀內解碼塊以及對應經幀間解碼幀的用以擴充信道切換幀的部分的經幀內解碼塊的經幀內解碼塊。由幀處理模塊76產生的數據幀可經由顯示器呈現給用戶，所述顯示器集成在解碼裝置14內，或作為經由有線或無線連接耦合到解碼裝置14的離散裝置而提供。
選擇性解碼模塊70中的組件是適用於實施本文所述技術的那些組件的示範。然而，選擇性解碼模塊70可在需要時包含許多其它組件。選擇性解碼模塊70中的組件可實施為一個或一個以上處理器、數位訊號處理器、專用集成電路(ASIC)、現場可編程門陣列(FPGA)、離散邏輯、軟體、硬體、固件或其任何組合。期望將不同特徵描述為模塊以突出選擇性解碼模塊70的不同功能方面，且不一定暗示此些模塊一定由單獨的硬體或軟體組件實現。而是，與一個或一個以上模塊相關聯的功能性可集成在共同或單獨的硬體或軟體組件內。
圖6是說明根據本發明的技術對多媒體數據序列進行編碼的編碼模塊的示範性操作的流程圖。起初，幀處理模塊52 (圖4)接收包含多媒體數據輸入幀的多媒體序列(80)。編碼裝置12 (圖1)將幀內幀編碼為多媒體序列的第一幀(82)。特定來說，幀內解碼模塊56 (圖4)使用幀內解碼技術對多媒體序列的第一幀進行幀內解碼。編碼裝置12對多媒體序列的下一幀進行幀間解碼(84)。可將數據幀分割為多個塊，且編碼裝置12可使用幀間解碼模塊58 (圖4)對下一幀的所有塊進行幀間解碼。或者，可經由幀間解碼模塊58對第一塊子組進行幀間解碼，且可使用幀內解碼模塊56對第二塊子組進行幀內解碼。
CSF控制模塊54 (圖4)確定信道切換幀(CSF)間隔是否己到期(86)。如上所述，編碼裝置12可經配置以基於周期性基礎(例如，每秒-一次)編碼和傳輸信道切換幀。在此情況下，CSF控制模塊54可跟蹤自從上一信道切換幀被發送以來的時間量。當信道切換幀間隔尚未到期時，編碼裝置12對另一經幀間解碼幀進行編碼(84)。在一些情況下，如在當需要幀內刷新或場景改變時的情況中，編碼裝置12可將下一幀編碼為經幀內解碼幀。
當信道切換幀間隔已到期時，SEC近似模塊60識別經幀間解碼幀的可在解碼裝置14處使用一個或一個以上空間錯誤隱藏算法以所需保真度重構的一個或一個以上塊(90)。如果SEC近似模塊60知道解碼裝置14所使用的空間錯誤隱藏算法，那麼SEC近似模塊60就可使用解碼裝置14的一個或一個以上空間錯誤隱藏算法產生塊的經空間隱藏版本。SEC近似模塊60可計算多個經重構塊中的每一者與對應經幀間解碼幀的多個塊像素中的對應--者之間的差度量。基於此，SEC近似模塊60可將具有小於或等於閾值的對應差度量的塊識別為可以至少 一 個空間錯誤隱藏算法重構的塊。如果S E C近似模塊60不知道由解碼裝置14支持的空間錯誤隱藏算法，那麼SEC近似模塊60可基於可對塊充分內插的可能性而評價是否將使用空間錯誤隱藏以所需保真度重構一個或一個以上塊。是否可對塊充分內插的評估可例如基於信號平穩度或方向性評價。
另外，經幀間解碼幀分析模塊62也可識別對應於在對應經幀間解碼幀中解碼的經幀內解碼塊的塊(92)。編碼模塊18對信道切換幀的至少一部分進行編碼以排除所識別的塊中的一者或一者以上(94)。特定來說，編碼模塊18對無法容易使用空間錯誤隱藏再生的像素塊進行幀內解碼。然而編碼模塊跳過對可 用空間錯誤隱藏以所需保真度重構的像素塊的幀內解碼。以此方式，編碼模塊18對信道切換幀進行編碼以排除被識別為能夠使用空間錯誤隱藏算法重構的塊中的至少一者。在一些方面中，編碼模塊18可另外對信道切換幀的部分進行編碼以排除信道切換幀的對應於對應經幀間解碼幀的經幀內解碼塊的塊中的至少一者。或者，編碼模塊18可以降低的質量或位速率對信道切換幀的部分的對應於對應經幀間解碼幀的經幀內解碼塊的塊進行編碼，而不是完全跳過那些塊。
在對信道切換幀進行編碼之後，編碼模塊18對後續的經幀間解碼幀進行編碼(84)。編碼模塊18可對後續的經幀間解碼幀進行編碼以使得所述經幀間解碼幀不具有對信道切換幀之前的幀的任何前向參考。而是編碼模塊18可參考信道切換幀或對應於信道切換幀的經幀間解碼幀來對後續的經幀間解碼幀進行編碼。
圖7是說明根據本發明的技術對經編碼多媒體數據序列進行解碼的選擇性解碼模塊(例如圖1的選擇性解碼模塊24)的示範性操作的流程圖。選擇性解碼模塊24從第一信道選擇經編碼幀(100)且對選定幀進行解碼(102)。選擇性解碼模塊24確定經解碼幀中是否存在顯著損壞(104)。解碼模塊24可在塊是以小於所需保真度的保真度被重構時確定損壞是顯著的。所述損壞可例如是在傳輸期間引入錯誤或在經由網絡傳輸數據期間數據丟失的結果。取決於基礎的傳輸機制，可基於不同度量確定顯著損壞。在某些方面中，選擇性解碼模塊24維持一個或一個以上計數器，其指示當前經編碼視頻幀的被損壞(即，不可恢復)的物理層包(PLP)的數目。在其它方面中，網絡抽象層單元(NALU)標頭的一位(例如，"Forbidden—ZeroJBit")可將NALU標記為沒有載運位錯誤(如果其為0)，或標記為被位錯誤損壞(如果其被設置為l)。選擇性解碼模塊24可將當前視頻幀的被損壞(即，Forbidden Zero Bit的數目被設置為1)的經解碼數據的量與作為顯著損壞的指示符的閾值進行比較。所述閾值可取決於幀解碼類型，例如選擇性解碼模塊24可允許B幀為100%被損壞而不採取CSF的下一實例以用於錯誤處置目的，同時用作用於其它幀的時間參考的幀可具有30%的閾值。
當選擇性解碼模塊24確定經解碼幀中存在顯著損壞時，選擇性解碼模塊24獲得用於第一信道的信道切換幀(106)。舉例來說，選擇性解碼模塊24可獲得與後續經幀間解碼幀中的一者對應的信道切換幀。選擇性解碼模塊24對用於第一信道的信道切換幀的部分進行解碼(108)。以此方式，選擇性解碼模塊24對信道切換幀的部分而不是對應經幀間解碼幀進行解碼。
當選擇性解碼模塊24確定經解碼幀中不存在顯著損壞時，選擇性解碼模塊24確定是否存在針對信道切換的請求(110)。當不存在針對信道切換的請求時，選擇性解碼模
33塊24選擇下一經編碼幀且對選定幀進行解碼(100)。當選擇性解碼模塊24確定存在針 對信道切換的請求時，選擇性解碼模塊24獲得用於第二信道的信道切換幀(112)。更 具體來說，選擇性解碼模塊24獲得用於第二信道的與後續經幀間解碼幀中的一者對應 的信道切換幀。選擇性解碼模塊24對用於第二信道的信道切換幀而不是對應經幀間譯 碼幀進行解碼(116)。
在對信道切換幀進行解碼之後，選擇性解碼模塊24可進一步對對應於信道切換幀 的部分的經幀間解碼幀的經幀內解碼塊進行解碼以補充信道切換幀的經解碼部分 (118)。在一些方面中，選擇性解碼模塊24可用對應於信道切換幀的經幀間解碼幀的經 幀內解碼塊來擴充信道切換幀的經幀內解碼塊。以此方式，選擇性解碼模塊24將對應 經幀間解碼幀的經幀內解碼塊視為如同其是信道切換幀的部分一樣。在其它方面中，選
擇性解碼模塊24可使用對應經幀間解碼幀的對應經幀內解碼幀來增強信道切換幀的經 幀內解碼塊的質量。
選擇性解碼模塊24使用一個或--個以上空間錯誤隱藏算法來重構信道切換幀的一 個或一個以上塊(120)。特定來說，選擇性解碼模塊24重構由於可在解碼裝置14處重 構塊的確定而被編碼模塊18跳過的塊。選擇性解碼模塊24可基於信道切換幀的一個或 一個以上經解碼塊而重構跳過的塊，所述經解碼塊可包含在信道切換幀中解碼的經幀內 解碼塊以及對應經幀間解碼幀的用以擴充信道切換幀的經幀內解碼塊的經幀內解碼塊。
圖8說明根據本發明的技術編碼的示範性信道切換幀120。特定來說，信道切換幀 120經解碼以排除可使用一個或一個以上空間錯誤隱藏算法從信道切換幀120的一個或 一個以上經解碼塊以所需保真度重構的一個或一個以上塊。在圖8中說明的實例中，信 道切換幀120經解碼以排除陰影塊122A-22F。在圖8的實例中，信道切換幀120包括 8X8塊的像素塊。然而，所述技術適用於具有其它大小的信道切換幀。而且，雖然圖8 的信道切換幀120包括整個幀，但所述技術可應用於對包括對應經幀間解碼幀的切片的 經幀內解碼版本的信道切換幀進行解碼。舉例來說，信道切換幀可經解碼以包括經幀間 解碼幀的切片，所述切片僅包含塊的前兩行(即，行0和1)，其經幀內解碼以排除陰影 塊122A和122B。
圖9說明根據本發明的技術聯合對應經幀間解碼幀132而編碼的另一示範性信道切 換幀130。類似於圖8的信道切換幀120，信道切換幀130經解碼以排除可使用--個或 一個以上空間錯誤隱藏算法從經解碼塊中的一者或一者以上重構的一個或一個以上塊。 然而，信道切換幀130還經解碼以排除對應於對應經幀間解碼幀132的經幀內解碼塊的 塊(即，圖9中標記為"I"的塊)。圖9的信道切換幀130包括8X8塊的像素塊。然而，
34所述技術適用於具有其它大小的信道切換幀。而且，所述技術可應用於對包括對應經幀 間解碼幀的切片的經幀內解碼版本的信道切換幀進行解碼。舉例來說，信道切換幀可經 解碼以包括經幀間解碼幀的切片，所述切片包含塊的第2-5行，其經幀內解碼以排除陰 影塊134C-134F以及交叉影線塊136A-136D。
基於本文所述的教示，應明白，本文揭示的方面可獨立於任何其它方面而實施，且 這些方面中的兩者或兩者以上可以各種方式組合。本文描述的技術可以硬體、軟體、固 件或其任何組合實施。如果以硬體實施，那麼可使用數字硬體、模擬硬體或其組合來實 現所述技術。如果以軟體實施，那麼可至少部分通過包含上面存儲有一個或-個以上指 令或代碼的計算機可讀媒體的電腦程式產品來實現所述技術。
以實例而非限制的方式，此計算機可讀媒體可包括RAM，例如同步動態隨機存取 存儲器(SDRAM),只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、 ROM、 電可檫除可編程只讀存儲器(EEPROM)、可擦除可編程只讀存儲器(EPROM)、快閃 存儲器、CD — ROM或其它光碟存儲裝置、磁碟存儲裝置或其它磁性存儲裝置，或可用 於載運或存儲呈指令或數據結構形式的所需程序代碼且可由計算機存取的任何其它有 形媒體。
與電腦程式產品的計算機可讀媒體相關聯的指令或代碼可由計算機執行，例如由 一個或一個以上處理器執行，所述處理器例如為一個或一個以上數位訊號處理器(DSP)、
通用微處理器、ASIC、 FPGA或其它等效集成或離散邏輯電路。
已描述若干方面和實例。然而，對這些實例的各種修改是可能的，且本文呈現的原
理同樣可應用於其它方面。這些和其它方面處於所附權利要求書的範圍內。
權利要求
1.一種用於處理多媒體數據的方法，所述方法包括對多媒體數據幀進行幀間解碼，其中所述經幀間解碼幀包含多個像素塊；以及對包括在所述經幀間解碼幀中解碼的所述多媒體數據的至少一部分的信道切換幀進行幀內解碼，其中所述信道切換幀經解碼以排除所述經幀間解碼幀的可使用空間錯誤隱藏算法以所需保真度重構的所述多個像素塊中的一者或一者以上。
2. 根據權利要求1所述的方法，其中對所述信道切換幀進行幀內解碼包括對所述信道 切換幀進行幀內解碼以包含在所述經幀間解碼幀中解碼的所述多媒體數據的一個 或一個以上切片。
3. 根據權利要求1所述的方法，其進一步包括分析所述多個像素塊中的-一者或一者以 上以識別可使用所述空間錯誤隱藏算法以所述所需保真度重構的所述經排除的像 素塊。
4. 根據權利要求3所述的方法，其中分析所述多個像素塊中的一者或一者以上包括應用所述空間錯誤隱藏算法以重構所述多個像素塊中的一者或一者以上； 計算所述多個經重構像素塊中的每-^者與所述經幀間解碼幀的所述多個像素塊中的對應一者之間的差度量；以及將具有小於或等於閾值的對應差度量的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需保真度重構的所述經排除的像素塊。
5. 根據權利要求4所述的方法，其中計算所述差度量包括計算絕對差和(SAD)、平 方差和(SSD)、絕對變換差和(SATD)以及平方變換差和(SSTD)中的 者。
6. 根據權利要求4所述的方法，其中應用所述空間錯誤隱藏算法包括應用由對應解碼 模塊使用的至少一個空間錯誤隱藏算法。
7. 根據權利要求3所述的方法，其中分析所述多個像素塊中的一者或一者以上進一步 包括分析與所述多個像素塊中的一者或--者以上相關聯的信息以確定是否可使用所 述空間錯誤隱藏算法以所述所需保真度重構所述像素塊；以及將可使用一個或一個以上鄰近像素塊進行充分內插的像素塊識別為可使用所述 空間錯誤隱藏算法以所述所需保真度重構的所述經排除的像素塊。
8. 根據權利要求7所述的方法，其中分析與所述多個像素塊中的一者或一者以上相關聯的信息包括確定所述像素塊的像素數據中的方向結構；以及將具有一致方向結構的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需 保真度重構的所述經排除的像素塊。
9. 根據權利要求1所述的方法，其中對所述多媒體數據幀進行幀間解碼包括使用時間預測解碼對所述經幀間解碼幀 的第一所述像素塊子組進行幀間解碼，且對所述經幀間解碼幀的第二所述像素塊子 組進行幀內解碼；以及對所述信道切換幀進行幀內解碼包括對所述信道切換幀進行幀內解碼以包含對 應於所述經幀間解碼幀的所述第一所述像素塊子組的所述像素塊中的一者或一者 以上的所述多媒體數據，而不對對應於所述經幀間解碼幀的所述第二所述像素塊子 組的所述像素塊中的一者或一者以上的所述多媒體數據進行解碼。
10. 根據權利要求1所述的方法，其中對所述多媒體數據幀進行幀間解碼包括使用時間預測解碼對所述經幀間解碼幀 的第 一 所述像素塊子組進行幀間解碼，且對所述經幀間解碼幀的第二所述像素塊子 組進行幀內解碼；以及對所述信道切換幀進行幀內解碼包括相對於由所述信道切換幀包含的對應於對 應經幀間解碼幀的所述第一所述像素塊子組的所述像素塊中的一者或一者以上的 所述多媒體數據，以降低的質量對對應於所述經幀間解碼幀的所述第二所述像素塊 子組的所述像素塊中的一者或一者以上的所述多媒體數據進行幀內解碼。
11. 根據權利要求1所述的方法，其中所述經幀間解碼幀和所述信道切換幀包括第一經 幀間解碼幀和第 一 信道切換幀，所述方法進 一 步包括對第二多媒體數據幀進行幀間解碼；以及對包括在第二經幀間解碼幀中解碼的所述多媒體數據的至少 一 部分的第二信道 切換幀進行幀內解碼，其中所述第二信道切換幀經解碼以排除所述第二經幀間解碼 幀的可使用所述空間錯誤隱藏算法以所述所需保真度重構的一個或一個以上像素 塊。
12. 根據權利要求11所述的方法，其中所述第一信道切換幀對在所述第一經幀間解碼 幀中解碼的所述多媒體數據的第 切片進行解碼，且所述第二信道切換幀對在所述 第二經幀間解碼幀中解碼的所述多媒體數據的第二切片進行解碼。
13. —種用於處理多媒體數據的設備，所述設備包括編碼模塊，所述編碼模塊對多媒體數據幀進行幀間解碼，其中所述經幀間解碼幀包含多個像素塊，以及對包括在所述經幀間解碼幀中解碼的所述多媒體數據的至少一部分的信道切換 幀進行幀內解碼，其中所述信道切換幀經解碼以排除所述經幀間解碼幀的可使用空 間錯誤隱藏算法以所需保真度重構的一個或一個以上像素塊。
14. 根據權利要求13所述的設備，其中所述編碼模塊對所述信道切換幀進行幀內解碼 以包含在所述經幀間解碼幀中解碼的所述多媒體數據的切片。
15. 根據權利要求13所述的設備，其中所述編碼模塊分析所述多個像素塊中的一者或 一者以上以識別可使用所述空間錯誤隱藏算法以所述所需保真度重構的所述經排 除的像素塊。
16. 根據權利要求15所述的設備，其中所述編碼模塊應用所述空間錯誤隱藏算法以重構所述多個像素塊中的一者或一者以上； 計算所述多個經重構像素塊中的每一者與所述經幀間解碼幀的所述多個像素塊 中的對應一者之間的差度量；以及將具有小於或等於閾值的對應差度量的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需保真度重構的所述經排除的像素塊。
17. 根據權利要求16所述的設備，其中所述編碼模塊計算絕對差和(SAD)、平方差和 (SSD)、絕對變換差和(SATD)以及平方變換差和(SSTD)中的一者。
18. 根據權利要求16所述的設備，其中所述編碼模塊應用所述空間錯誤隱藏算法包括 應用由對應解碼模塊使用的至少-個空間錯誤隱藏算法。
19. 根據權利要求15所述的設備，其中所述編碼模塊分析與所述多個像素塊中的一者或一者以上相關聯的信息以確定是否可使用所 述空間錯誤隱藏算法以所述所需保真度重構所述像素塊；以及將可充分內插的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需保真度 重構的所述經排除的像素塊。
20. 根據權利要求19所述的設備，其中編碼模塊-分析與所述多個像素塊中的一者或一者以上相關聯的信息包括確定所述像素塊的像素數據中的方向結構；以及將具有一致方向結構的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需保真度重構的所述經排除的像素塊。
21. 根據權利要求13所述的設備，其中所述編碼模塊使用時間預測解碼對所述經幀間解碼幀的第 一 所述像素塊子組進行幀間解碼； 對所述經幀間解碼幀的第二所述像素塊子組進行幀內解碼；以及對所述信道切換幀進行幀內解碼以包含對應於所述經幀間解碼幀的所述第 一 所 述像素塊子組的所述像素塊中的一者或一者以上的所述多媒體數據，而不對對應於 所述經幀間解碼幀的所述第二所述像素塊子組的所述像素塊中的 者或一者以上 的所述多媒體數據進行解碼。
22. 根據權利要求13所述的設備，其中所述編碼模塊使用時間預測解碼對所述經幀間解碼幀的第一所述像素塊子組進行幀間解碼； 對所述經幀間解碼幀的第二所述像素塊子組進行幀內解碼；以及 相對於由所述信道切換幀包含的對應於對應經幀間解碼幀的所述第 一 所述像素 塊子組的所述像素塊中的一者或一者以上的所述多媒體數據，以降低的質量對對應 於所述經幀間解碼幀的所述第二所述像素塊子組的所述像素塊中的一者或一者以 上的所述多媒體數據進行幀內解碼。
23. 根據權利要求13所述的設備，其中所述經幀間解碼幀和所述信道切換幀包括第- 經幀間解碼幀和第 一 信道切換幀且所述編碼模塊對第二多媒體數據幀進行幀間解碼，且對包括在第二經幀間解碼幀 中解碼的所述多媒體數據的至少一部分的第二信道切換幀進行幀內解碼，其中所述 第二信道切換幀經解碼以排除所述第二經幀間解碼幀的可使用所述空間錯誤隱藏 算法以所述所需保真度重構的-個或個以上像素塊。
24. 根據權利要求13所述的設備，其中所述編碼模塊對所述第 一 信道切換幀進行幀內解碼以包括在所述第 一 經幀間解碼幀中解碼的 所述多媒體數據的第一切片；以及對所述第二信道切換幀進行幀內解碼以包括在所述第二經幀間解碼幀中解碼的 所述多媒體數據的第二切片。
25. —種用於處理多媒體數據的設備，所述設備包括用於對多媒體數據幀進行幀間解碼的裝置，其中所述經幀間解碼幀包含多個像素 塊；以及用於對包括在所述經幀間解碼幀中解碼的所述多媒體數據的至少 一 部分的信道 切換幀進行幀內解碼的裝置，其中所述信道切換幀經解碼以排除所述經幀間解碼幀 的可使用空間錯誤隱藏算法以所需保真度重構的所述多個像素塊中的一者或一者 以上。
26. 根據權利要求25所述的設備，其中所述幀內解碼裝置對所述信道切換幀進行幀內解碼以包含在所述經幀間解碼幀中解碼的所述多媒體數據的一個或一個以上切片。
27. 根據權利要求25所述的設備，其進一步包括用於分析所述多個像素塊中的一者或 一者以上以識別可使用所述空間錯誤隱藏算法以所述所需保真度重構的所述經排 除的像素塊的裝置。
28. 根據權利要求27所述的設備，其中所述分析裝置包含用於應用所述空間錯誤隱藏算法以重構所述多個像素塊中的一者或一者以上的 裝置；用於計算所述多個經重構像素塊中的每一者與所述經幀間解碼幀的所述多個像 素塊中的對應一者之間的差度量的裝置；以及用於將具有小於或等於閾值的對應差度量的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需保真度重構的所述經排除的像素塊的裝置。
29. 根據權利要求28所述的設備，其中所述分析裝置計算絕對差和(SAD)、平方差和 (SSD)、絕對變換差和(SATD)以及平方變換差和(SSTD) '1'的-一者。
30. 根據權利要求28所述的設備，其中所述分析裝置應用由對應解碼模塊使用的至少 一個空間錯誤隱藏算法。
31. 根據權利要求27所述的設備，其中所述分析裝置包含用於分析與所述多個像素塊中的一者或一者以上相關聯的信息以確定是否可使 用所述空間錯誤隱藏算法以所述所需保真度重構所述像素塊的裝置；以及用於將可充分內插的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需保 真度重構的所述經排除的像素塊的裝置。
32. 根據權利要求31所述的設備，其中所述分析裝置包含用於確定所述像素塊的像素數據中的方向結構的裝置；以及 用於將具有一致方向結構的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需保真度重構的所述經排除的像素塊的裝置。
33. 根據權利要求25所述的設備，其中所述幀間解碼裝置使用時間預測解碼對所述經幀間解碼幀的第 一 所述像素塊子 組進行幀間解碼；且所述幀內解碼裝置對所述經幀間解碼幀的第二所述像素塊子組進行幀內解碼，且 對所述信道切換幀進行幀內解碼以包含對應於所述經幀間解碼幀的所述第 一 所述 像素塊子組的所述像素塊中的一者或一者以上的所述多媒體數據，而不對對應於所 述經幀間解碼幀的所述第二所述像素塊子組的所述像素塊中的一者或一者以上的所述多媒體數據進行解碼。
34. 根據權利要求25所述的設備，其中所述幀間解碼裝置使用時間預測解碼對所述經幀間解碼幀的第--所述像素塊子 組進行幀間解碼；且所述幀內解碼裝置對所述經幀間解碼幀的第二所述像素塊子組進行幀內解碼，且 針對所述信道切換幀，相對於由所述信道切換幀包含的對應於對應經幀間解碼幀的 所述第一所述像素塊子組的所述像素塊中的一者或一者以上的所述多媒體數據，以 降低的質量對對應於所述經幀間解碼幀的所述第二所述像素塊子組的所述像素塊 中的一者或一者以上的所述多媒體數據進行幀內解碼。
35. 根據權利要求25所述的設備，其中所述經幀間解碼幀和所述信道切換幀包括第一 經幀間解碼幀和第一信道切換幀，且進一步其中所述幀間解碼裝置對第二多媒體數據幀進行幀間解碼；且所述幀內解碼裝置對包括在第二經幀間解碼幀中解碼的所述多媒體數據的至少 一部分的第二信道切換幀進行幀內解碼，其中所述第二信道切換幀經解碼以排除所 述第二經幀間解碼幀的可使用所述空間錯誤隱藏算法以所述所需保真度重構的一 個或一個以上像素塊。
36. 根據權利要求35所述的設備，其中所述第一信道切換幀對在所述第一經幀間解碼 幀中解碼的所述多媒體數據的第 一 切片進行解碼，且所述第二信道切換幀對在所述 第二經幀間解碼幀中解碼的所述多媒體數據的第二切片進行解碼。
37. —種用於處理多媒體數據的電腦程式產品，其包括上面具有指令的計算機可讀媒 體，所述指令包括用於對多媒體數據幀進行幀間解碼的代碼，其中所述經幀間解碼幀包含多個像素 塊；以及用於對包括在所述經幀間解碼幀中解碼的所述多媒體數據的至少 一 部分的信道 切換幀進行幀內解碼的代碼，其中所述信道切換幀經解碼以排除所述經幀間解碼幀 的所述多個像素塊中可使用空間錯誤隱藏算法以所需保真度重構的一者或一者以 上。
38. 根據權利要求37所述的電腦程式產品，其中用於對所述信道切換幀進行幀內譯 碼的代碼包括用於對所述信道切換幀進行幀內解碼以包含在所述經幀間解碼幀中 解碼的所述多媒體數據的切片的代碼。
39. 根據權利要求37所述的電腦程式產品，其進一步包括用於分析所述多個像素塊中的一者或一者以上以識別可使用所述空間錯誤隱藏算法以所述所需保真度重構 的所述經排除的像素塊的代碼。
40. 根據權利要求39所述的電腦程式產品，其中所述用於分析所述多個像素塊中的 一者或一者以上的代碼包括用於應用所述空間錯誤隱藏算法以重構所述多個像素塊中的一者或一者以上的 代碼；用於計算所述多個經重構像素塊中的每一者與所述經幀間解碼幀的所述多個像 素塊中的對應一者之間的差度量的代碼；以及用於將具有小於或等於閾值的對應差度量的像素塊識別為可使用所述空間錯誤 隱藏算法以所述所需保真度重構的所述經排除的像素塊的代碼。
41. 根據權利要求40所述的電腦程式產品，其中所述用於計算所述差度量的代碼包 括用於計算絕對差和(SAD)、平方差和(SSD)、絕對變換差和(SATD)以及平 方變換差和(SSTD)中的 一者的代碼。
42. 根據權利要求40所述的電腦程式產品，其中所述用於應用所述至少一個空間錯 誤隱藏算法的代碼包括用於應用由對應解碼模塊使用的至少一個空間錯誤隱藏算 法的代碼。
43. 根據權利要求39所述的電腦程式產品，其中所述用於分析所述多個像素塊中的 一者或--者以上的代碼進一步包括用於分析與所述多個像素塊中的一者或一者以上相關聯的信息以確定是否可使 用所述空間錯誤隱藏算法以所述所需保真度重構所述像素塊的代碼；以及用於將可充分內插的像素塊識別為可使用所述空間錯誤隱藏算法以所述所需保 真度重構的所述經排除的像素塊的代碼。
44. 根據權利要求43所述的電腦程式產品，其中所述用於分析與所述多個像素塊中的一者或一者以上相關聯的信息的代碼包括 用於確定所述像素塊的像素數據中的方向結構的代碼；且所述用於識別的代碼包括用於將具有一致方向結構的像素塊識別為可使用所述 空間錯誤隱藏算法以所述所需保真度重構的所述經排除的像素塊的代碼。
45. 根據權利要求37所述的電腦程式產品，其中用於對所述 一 個或 一 個以上幀進行幀間解碼的代碼包括用於使用時間預測解碼 對所述經幀間解碼幀的第 一 所述像素塊子組進行幀間解碼的代碼和用於對所述經 幀間解碼幀的第二所述像素塊子組進行幀內解碼的代碼；且用於對所述信道切換幀的部分進行幀內解碼的代碼包括用於對所述信道切換幀 進行幀內解碼以包含對應於所述經幀間解碼幀的所述第一所述像素塊子組的所述 像素塊中的一者或一者以上的所述多媒體數據而不對對應於所述經幀間解碼幀的 所述第二所述像素塊子組的所述像素塊中的一者或一者以上的所述多媒體數據進 行解碼的代碼。
46. 根據權利要求37所述的電腦程式產品，其中所述用於對所述一個或一個以上幀進行幀間解碼的代碼包括用於使用時間預測 解碼對所述經幀間解碼幀的第 一所述像素塊子組進行幀間解碼的代碼和用於對所 述經幀間解碼幀的第二所述像素塊子組進行幀內解碼的代碼；且所述用於對所述信道切換幀的所述部分進行幀內解碼的代碼包括用於相對於由 所述信道切換幀包含的對應於對應經幀間解碼幀的所述第 一 所述像素塊子組的所 述像素塊中的一者或一者以上的所述多媒體數據以降低的質量對對應於所述經幀 間解碼幀的所述第二所述像素塊子組的所述像素塊中的一者或一者以上的所述多 媒體數據進行幀內解碼的代碼。
47. 根據權利要求37所述的電腦程式產品，其中所述經幀間解碼幀和所述信道切換 幀包括第 一 經幀間解碼幀和第 一 信道切換幀，且進 一 步包括用於對第二多媒體數據幀進行幀間解碼的代碼；以及用於對包括在第二經幀間解碼幀中解碼的所述多媒體數據的至少一部分的第二 信道切換幀進行幀內解碼的代碼，其中所述第二信道切換幀經解碼以排除所述第二 經幀間解碼幀的可使用所述空間錯誤隱藏算法以所述所需保真度重構的一個或一 個以上像素塊。
48. 根據權利要求47所述的電腦程式產品，其中所述第一信道切換幀對在所述第一 經幀間解碼幀中解碼的所述多媒體數據的第 一 切片進行解碼，且所述第二信道切換 幀對在所述第二經幀間解碼幀中解碼的所述多媒體數據的第二切片進行解碼。
49. 一種用於處理多媒體數據的方法，所述方法包括獲得與第一信道相關聯的多個經解碼多媒體數據幀，其中所述多個經解碼幀包含經幀間解碼幀和信道切換幀，所述信道切換幀包括對應於在所述經幀間解碼幀中譯 碼的所述多媒體數據的至少 一部分的經幀內解碼多媒體數據響應於事件，對所述信道切換幀的對應於所述經幀內解碼多媒體數據的像素塊進 行解碼；以及使用至少一個空間錯誤隱藏算法重構所述信道切換幀內未解碼的一個或一個以上像素塊。
50. 根據權利要求49所述的方法，其進一步包括接收從第二信道切換到所述第一信道的請求； 從所述第二信道切換到所述第一信道；以及響應於所述請求，對所述第一信道的所述信道切換幀的所述像素塊進行解碼。
51. 根據權利要求49所述的方法，其進一步包括-對所述經幀間解碼幀進行解碼；檢測所述經幀間解碼幀的所述經解碼數據和所述經解碼數據屮的--者內的損壞，所述損壞導致所述經重構像素塊具有小於所需保真度的保真度；以及響應於檢測到所述損壞，對所述第一信道的所述信道切換幀的像素塊進行解碼。
52. 根據權利要求49所述的方法，其中所述經幀間解碼幀包括經幀間解碼的第一像素塊子組和經幀內解碼的第二像素塊子組，所述方法進一步包括對所述經幀間解碼幀的所述第二塊子組的所述經幀內解碼像素塊中的 一 者或--者以上進行解碼；以及組合所述經幀間解碼幀的所述經解碼經幀內解碼像素塊、所述信道切換幀的所述 經解碼像素塊以及所述信道切換幀的所述經重構像素塊以產生經解碼數據幀。
53. 根據權利要求52所述的方法，其中重構所述信道切換幀內未解碼的所述一個或一個以上像素塊包括基於所述信道切換幀的所述經解碼像素塊和所述經幀間解碼幀的所述經解碼經幀內解碼像素塊中的至少 一 者，使用所述空間錯誤隱藏算法重構所 述信道切換幀內未解碼和所述經幀間解碼幀中未幀內解碼的像素塊。
54. 根據權利要求49所述的方法，其中所述經幀間解碼幀包括經幀間解碼的第一像素塊子組和經幀內解碼的第二像素塊子組，所述方法進一步包括對所述經幀間解碼幀的所述第二塊子組的所述經幀內解碼像素塊中的 一 者或 一 者以上進行解碼，以增 加所述信道切換幀的對應像素塊的質量。
55. 根據權利要求49所述的方法，其中所述多個經解碼幀包含在所述信道切換幀之後 的至少 一 個經幀間解碼幀，且進 一 步包括對在所述信道切換幀之後的所述經幀間譯 碼幀進行解碼，而不參考在所述信道切換幀之前的任何經解碼幀。
56. 根據權利要求49所述的方法，其中所述信道切換幀包括第一信道切換幀，所述方 法進一步包括接收第二信道切換幀。
57. —種用於處理多媒體數據的設備，所述設備包括選擇性解碼模塊，其獲得與第一信道相關聯的多個經解碼多媒體數據幀，其中所述多個經解碼幀包含經幀間解碼幀和信道切換幀，所述信道切換幀包括對應於在所 述經幀間解碼幀中解碼的所述多媒體數據的至少一部分的經幀內解碼多媒體數據， 且響應於事件，對對應於所述經幀內解碼多媒體數據的所述信道切換幀進行解碼； 以及 空間錯誤隱藏模塊，其使用至少一個空間錯誤隱藏算法重構所述信道切換幀的部 分內未解碼的一個或一個以上像素塊。
58. 根據權利要求57所述的設備，其中所述選擇性解碼模塊接收從第二信道切換到 所述第一信道的請求；從所述第二信道切換到所述第--信道；以及響應於所述請求， 對所述第一信道的所述信道切換幀的所述像素塊進行解碼。
59. 根據權利要求57所述的設備，其中所述選擇性解碼模塊對所述經幀間解碼幀進 行解碼；檢測所述經幀間解碼幀的所述經解碼數據和所述經解碼數據中的 一 者內的 損壞，所述損壞導致所述經重構像素塊具有小於所需保真度的保真度；以及響應於 檢測到所述損壞，對所述第一信道的所述信道切換幀的像素塊進行解碼。
60. 根據權利要求57所述的設備，其中所述經幀間解碼幀包括經幀間解碼的第 一 像素塊子組和經幀內解碼的第二像素 塊子組；且所述選擇性解碼模塊對所述經幀間解碼幀的所述第二塊子組的所述經幀內解碼 像素塊屮的一者或一者以上進行解碼，且組合所述經幀間解碼幀的所述經解碼經幀 內解碼像素塊、所述信道切換幀的所述經解碼像素塊以及所述信道切換幀的所述經 重構像素塊以產生經解碼數據幀。
61. 根據權利要求60所述的設備，其中所述空間錯誤隱藏模塊基於所述信道切換幀的 所述經解碼像素塊和所述經幀間解碼幀的所述經解碼經幀內解碼像素塊中的至少 一者，使用所述空間錯誤隱藏算法重構所述信道切換幀內未解碼和所述經幀間解碼 幀中未幀內解碼的像素塊。
62. 根據權利要求57所述的設備，其中-所述經幀間解碼幀包括經幀間解碼的第 一 像素塊子組和經幀內解碼的第二像素 塊子組，所述選擇性解碼模塊對所述經幀間解碼幀的所述第二塊子組的所述經幀內解碼 像素塊中的一者或一者以上進行解碼，以增加所述信道切換幀的對應像素塊的質
63. 根據權利要求57所述的設備，其中所述多個經解碼幀包含在所述信道切換幀之後的至少一個經幀間解碼幀，且所述選擇性解碼模塊對在所述信道切換幀之後的所述 至少一個經幀間解碼幀進行解碼，而不參考在所述信道切換幀之前的任何所述經譯 碼幀。
64. 根據權利要求57所述的設備，其中所述信道切換幀包括第一信道切換幀，且所述 多個經解碼幀包含第二信道切換幀。
65. —種用於處理多媒體數據的設備，所述設備包括用於獲得與第一信道相關聯的多個經解碼多媒體數據幀的裝置，其中所述多個經 解碼幀包含經幀間解碼幀和信道切換幀，所述信道切換幀包括對應於在所述經幀間 解碼幀中解碼的所述多媒體數據的至少一部分的經幀內解碼多媒體數據；用於響應於事件對所述信道切換幀的對應於所述經幀內解碼多媒體數據的像素 塊進行解碼的裝置；以及用於使用至少一個空間錯誤隱藏算法重構所述信道切換幀內未解碼的一個或一 個以上像素塊的裝置。
66. 根據權利要求65所述的設備，其進一步包括用於接收從第二信道切換到所述第一信道的請求的裝置； 用於從所述第二信道切換到所述第--信道的裝置；且其中所述解碼裝置響應於所述請求對所述第一信道的所述信道切換幀的所述像 素塊進行解碼。
67. 根據權利要求65所述的設備，其中所述解碼裝置對所述經幀間解碼幀進行解碼； 檢測所述經幀間解碼幀的所述經解碼數據和所述經解碼數據中的一者內的損壞，所 述損壞導致所述經重構像素塊具有小於所需保真度的保真度；以及響應於檢測到所 述損壞，對所述第一信道的所述信道切換幀的像素塊進行解碼。
68. 根據權利要求65所述的設備，其中所述經幀間解碼幀包括經幀間解碼的第一像素 塊子組和經幀內解碼的第二像素塊子組，所述解碼裝置對所述經幀間解碼幀的所述 第二塊子組的所述經幀內解碼像素塊中的一者或一者以上進行解碼，且組合所述經 幀間解碼幀的所述經解碼經幀內解碼像素塊、所述信道切換幀的所述經解碼像素塊以及所述信道切換幀的所述經重構像素塊以產生經解碼數據幀。
69. 根據權利要求68所述的設備，其中所述重構裝置基於所述信道切換幀的所述經解 碼像素塊和所述經幀間解碼幀的所述經解碼經幀內解碼像素塊中的至少一者，使用 所述空間錯誤隱藏算法重構所述信道切換幀內未解碼和所述經幀間解碼幀中未幀 內解碼的像素塊。
70. 根據權利要求65所述的設備，其中所述經幀間解碼幀包括經幀間解碼的第一像素 塊子組和經幀內解碼的第二像素塊子組，所述解碼裝置對所述經幀間解碼幀的所述 第二塊子組的所述經幀內解碼像素塊中的-一者或一者以上進行解碼，以增加所述信 道切換幀的對應像素塊的質量。
71. 根據權利要求65所述的設備，其中所述多個經解碼幀包含在所述信道切換幀之後 的至少一個經幀間解碼幀，且其中所述解碼裝置對在所述信道切換幀之後的所述經 幀間解碼幀進行解碼，而不參考在所述信道切換幀之前的任何經解碼幀。
72. 根據權利要求65所述的設備，其中所述信道切換幀包括第一信道切換幀，所述獲 得裝置獲得第二信道切換幀。
73. —種用於處理多媒體數據的電腦程式產品，其包括上面具有指令的計算機可讀媒 體，所述指令包括用於獲得與第一信道相關聯的多個經解碼多媒體數據幀的代碼，其中所述多個經 解碼幀包含經幀間解碼幀和信道切換幀，所述信道切換幀包括對應於在所述經幀間 解碼幀中解碼的所述多媒體數據的至少 一 部分的經幀內解碼多媒體數據；用於響應於事件對所述信道切換幀的對應於所述經幀內解碼多媒體數據的像素 塊進行解碼的代碼；以及用於使用至少一個空間錯誤隱藏算法重構所述信道切換幀內未解碼的一個或一 個以上像素塊的代碼。
74. 根據權利要求73所述的電腦程式產品，其中所述指令進一步包括用於接收從第二信道切換到所述第一信道的請求的代碼； 用於從所述第二信道切換到所述第一信道的代碼；以及用於響應於所述請求對所述第一信道的所述信道切換幀的所述像素塊進行解碼 的代碼。
75. 根據權利要求73所述的電腦程式產品，其中所述指令進一步包括用於對所述經幀間解碼幀進行解碼的代碼；用於檢測所述經幀間解碼幀的所述經解碼數據和所述經解碼數據中的 一 者內的 損壞的代碼，所述損壞導致所述經重構像素塊具有小於所需保真度的保真度；以及用於響應於檢測到所述損壞對所述第 一 信道的所述信道切換幀的像素塊進行解 碼的代碼。
76. 根據權利要求73所述的電腦程式產品，其中所述經幀間解碼幀包括經幀間解碼 的第一像素塊子組和經幀內解碼的第二像素塊子組，所述指令進一步包括用於對所述經幀間解碼幀的所述第二塊子組的所述經幀內解碼像素塊中的一者 或一者以上進行解碼的代碼；以及用於組合所述經幀間解碼幀的所述經解碼經幀內解碼像素塊、所述信道切換幀的 所述經解碼像素塊以及所述信道切換幀的所述經重構像素塊以產生經解碼數據幀 的代碼。
77. 根據權利要求76所述的電腦程式產品，其中所述用於重構所述信道切換幀內未 解碼的所述一個或一個以上像素塊的代碼包括用於基於所述信道切換幀的所述經 解碼像素塊和所述經幀間解碼幀的所述經解碼經幀內解碼像素塊屮的至少一者，使 用所述空間錯誤隱藏算法重構所述信道切換幀內未解碼和所述經幀間解碼幀中未 幀內解碼的像素塊的代碼。
78. 根據權利要求73所述的電腦程式產品，其中所述經幀間解碼幀包括經幀間解碼 的第一像素塊子組和經幀內解碼的第一.像素塊子組，所述指令進一步包括用於對 所述經幀間解碼幀的所述第二塊子組的所述經幀內解碼像素塊中的-.者或--者以 上進行解碼以增加所述信道切換幀的對應像素塊的質量的代碼。
79. 根據權利要求73所述的電腦程式產品，其中所述多個經解碼幀包含在所述信道 切換幀之後的至少 一 個經幀間解碼幀，且所述指令進 一 步包括用於對在所述信道切 換幀之後的所述經幀間解碼幀進行解碼而不參考在所述信道切換幀之前的任何經 解碼幀的代碼。
80. 根據權利要求73所述的電腦程式產品，其中所述信道切換幀包括第一信道切換 幀，且所述電腦程式產品進 一 步包括致使所述計算機接收第二信道切換幀的指 令。
全文摘要
本發明涉及用於對用於在數字多媒體內容的信道之間切換的信道切換幀進行解碼的技術。特定來說，編碼裝置可對信道切換幀進行解碼以排除可在解碼裝置處使用一個或一個以上空間錯誤隱藏算法以所需保真度重構的一個或一個以上像素塊。排除所述信道切換幀的可以合意的保真度重構的所述一個或一個以上像素塊減少了對所述信道切換幀的部分進行解碼所必需的帶寬的量，因此允許可用帶寬的更有效的利用。
文檔編號H04N7/24GK101663892SQ200780052820
公開日2010年3月3日 申請日期2007年5月7日 優先權日2007年5月4日
發明者哈米特·羅哈吉, 塞伊富拉·哈利特·奧古茲 申請人:高通股份有限公司