使用隨機域模型改進圖片和視頻壓縮以及幀速率上轉換的方法和設備的製作方法

2023-04-24 00:54:11 2

專利名稱：使用隨機域模型改進圖片和視頻壓縮以及幀速率上轉換的方法和設備的製作方法
技術領域：
本發明涉及圖片和視頻壓縮。更明確地說，本發明涉及使用隨機域模型來改進圖片 和視頻壓縮以及幀速率上轉換的方法和設備。
背景技術：
數字產品和服務(例如，數位相機、數字錄像機、衛星廣播數位電視(DTV)服務 和視頻流)正變得日益普及。由於數字數據/信息存儲容量和共享的傳輸帶寬存在限制， 出現了對壓縮數字圖片和視頻幀的較大需要以便高效地存儲且傳輸數字圖片和視頻幀。 出於這些原因，已經研發出許多針對數字圖片和數字視頻信號的編碼和解碼的標準。舉 例來說，國際電信聯盟(ITU)己經公布了針對數字視頻編碼的H,261、 H.262、 H.263和 H.264標準。而且，國際標準組織(ISO)通過其專家研究組運動圖像專家組(Motkm Picture Experts Group,)已經公布了針對數字視頻編碼的標準MPEG-l、 MPEG-2和MPEG-4的 與視頻壓縮有關的部分。舉例來說，MPEG-2視頻目前是用於經由衛星、地面或電纜傳 輸鏈路的數位電視廣播的標準編碼技術。在數字圖片壓縮的領域中，在ISO與ITU之間 聯合建立的聯合照片專家群(Joint Photographic Experts Group, JPEG)已經公布了JPEG 和JPEG 2000標準。
這些標準規定經編碼的數字視頻信號的語法和如何解碼這些信號以用於演示或回 放。然而，這些標準允許各種的不同技術(例如，算法或壓縮工具)以靈活的方式用於 將數字視頻信號從未經壓縮格式變換成經壓縮或經編碼的格式。因此，目前可使用許多不同的數字視頻信號編碼器。這些數字視頻信號編碼器能夠在質量等級變化的情況下實 現變化程度的壓縮。由當代標準提供且由當前編碼器使用的壓縮技術最適合於非無紋理 對象和圖像的壓縮。
然而，圖片和視頻幀通常包含在許多標度上顯示出大量細節的有紋理的可視對象和 區域。這些對象的實例包含草、花、葉、水等。結合在照明條件的微小變化和/或少量的 運動(即，位置變化)，儘管所述對象的較高等級的效果保持不變，但其精確的細節改變。 可將這些對象中的每一者稱為紋理，可將紋理視為隨機(可能是周期性的)二維像素域 (例如，圖片或視頻幀的一部分)，其展示較小空間鄰域(例如，幾個像素內)中亮度(Y) 和/或顏色(U，V)方面的快速變化。上述壓縮算法在壓縮紋理方面的效率不是非常高。
由於這些原因以及其它原因，需要用於高效地壓縮包含紋理的可視對象和區域的方 法和系統。

發明內容
一種處理多媒體數據的方法包括將數據分段為多個分區，將所述多個分區中的每一 者指配給包括第一種類和第二種類的多個種類中的一者，使用算法來對指配給所述第一 種類的所述多個分區進行編碼，且使用紋理模型來對指配給所述第二種類的所述多個分 區進行編碼。
一種用於處理多媒體數據的設備包括分段模塊，其經配置以將數據分段為多個分 區；指配模塊，其經配置以將所述多個分區中的每一者指配給包括第一種類和第二種類 的多個種類中的一者；以及編碼器，其經配置以使用算法來對指配給所述第一種類的所
述多個分區進行編碼，且使用紋理模型來對指配給所述第二種類的所述多個分區進行編 碼。
一種處理多媒體數據的方法包括使用算法來對屬於第一種類的多個第一分區進行解 碼，使用紋理模型來對屬於第二種類的多個第二分區進行解碼，以及使用邊界信息、所 述多個第一分區和所述多個第二分區來創建多媒體數據。
一種用於處理多媒體數據的設備包括解碼器，其經配置以使用算法來對屬於第一 種類的多個第一分區進行解碼，且使用紋理模型來對屬於第二種類的多個第二分區進行 解碼；以及產生模塊，其經配置以使用邊界信息、所述多個第一分區和所述多個第二分 區來創建多媒體數據。


當結合附圖考慮時，從下文所陳述的具體實施方式
將更明白本發明的特徵、目標和優勢。
圖1是根據本發明實施例的用於傳輸和接收圖片和視頻幀的系統的框圖2是根據本發明實施例的用於傳輸和接收圖片和視頻幀的系統的框圖3是說明根據本發明實施例的對圖片和視頻幀進行編碼的方法的流程圖4A、圖4B和圖4C是根據本發明如果幹實施例的用於定義馬爾可夫隨機域
(Markov Random Fields)的8連接鄰域、4連接鄰域和間接鄰域的實例；
圖5是說明根據本發明如果幹實施例的MRF模型的四種不同實現的圖片，其中每個
實現包含一個不同的鄰域定義；
圖6是說明根據本發明實施例的對圖片和視頻幀進行解碼的方法的流程圖； 圖7是根據本發明實施例的用於處理多媒體數據的設備的框圖8是根據本發明實施例的用於處理多媒體數據的設備的框圖； 圖9是說明用於處理多媒體數據的設備的裝置的示範性組件的框圖；以及
圖io是說明用於處理多媒體數據的設備的裝置的示範性組件的框圖。
具體實施例方式
現將參看圖式來描述實施實施本發明的多個特徵的實施例的方法和系統。提供圖式 和相關描述以便說明本發明的實施例而非限制本發明的範圍。本說明書中所提到的"一 個實施例"或"一實施例"意在指示結合所述實施例而描述的特定特徵、結構或特性包 含在本發明的至少一實施例中。本說明書中多處出現的詞組"在一個實施例中"或"一 實施例"未必都指代同一實施例。在全部圖式中，重複使用參考數字來指示所參考元件 之間的對應。此外，每個參考數字的第一數位指示所述元件首次出現的圖。
圖1是用於傳輸和接收視頻數據(例如，圖片和視頻幀)的系統100的框圖。還可 使用系統100來對圖片和視頻幀進行編碼(例如，壓縮)和解碼(例如，解壓縮)。系統 100可包含伺服器102、裝置104和將伺服器102連接到裝置104的通信信道106。系統 IOO是用以說明下文所描述的用於對圖片和視頻幀進行編碼和解碼的方法的示範性系統。 可以硬體、軟體及其組合的形式來實施系統100。所屬領域的技術人員將了解，可使用 其它系統來代替系統100，同時仍維持本發明的精神和範圍。
伺服器102可包含處理器108、存儲器110、編碼器112和I/O裝置114 (例如，收 發器)。伺服器102可包含一個或一個以上處理器108、 一個或一個以上存儲器110、 一 個或一個以上編碼器112和一個或一個以上I/O設備114 (例如，收發器)。處理器108 和/或編碼器112可經配置以接收圖片和呈一連串視頻幀形式的視頻數據。處理器108和/或編碼器U2可將所述圖片和所述一連串視頻幀傳輸到存儲器110,以便存儲且/或可壓 縮所述圖片和所述一連串視頻幀。存儲器110還可存儲由處理器108和/或編碼器112使 用的計算機指令，以便控制伺服器102的運作和功能。使用從存儲器110接收的計算機 指令，編碼器112可經配置以執行所述一連串視頻幀的並行和串行處理(例如，壓縮)。 可如下文的方法中所描述那樣實施所述計算機指令。 一旦對所述一連串幀進行編碼，就 可將經編碼的數據發送到I/O裝置114,以便經由通信信道106傳輸到裝置104。
裝置104可包含處理器116、存儲器118、解碼器120、 I/O設備122 (例如，收發器) 和顯示裝置或屏幕124。裝置104可包含一個或一個以上處理器116、 一個或一個以上存 儲器118、 一個或一個以上解碼器120、 一個或一個以上I/O裝置122 (例如，收發器) 和一個或一個以上顯示裝置或屏幕124。裝置104可以是計算機、數字錄像機、手持式 裝置(例如，手機、黑莓(Blackberry)等)、機頂盒、電視機以及能夠接收、處理(例 如，解壓縮)和/或顯示一連串視頻幀的其它裝置。1/0裝置122接收經編碼的數據，且 將經編碼的數據發送到存儲器118和/或發送到解碼器120以進行解壓縮。解碼器120經 配置以使用經編碼的數據來再現所述圖片和/或所述一連串視頻幀。 一旦經解碼，所述圖 片和/或所述一連串視頻幀就可存儲在存儲器118中。使用從存儲器118檢索到的計算機 指令，解碼器120可經配置以執行經編碼數據的並行和串行處理(例如，解壓縮)，以再 現所述圖片和/或所述一連串視頻幀。可如下文的方法中所描述那樣實施所述計算機指 令。處理器116可經配置以從存儲器118和/或解碼器120接收所述圖片和/或所述一連串 視頻幀，且在顯示裝置124上顯示所述圖片和/或所述一連串視頻幀。存儲器118還可存 儲由處理器116和/或解碼器120使用的計算機指令，以便控制裝置104的運作和功能。
可使用通信信道106來在伺服器102與裝置104之間傳輸經編碼的數據。通信信道 106可以是有線網絡和/或無線網絡。舉例來說，通信信道106可包含網際網路、同軸電纜、 光纖線路、衛星鏈路、地面鏈路、無線鏈路以及能夠傳播信號的其它媒體。
圖2是用於傳輸和接收圖片和視頻幀的系統200的框圖。還可使用系統200來對圖 片和視頻幀進行編碼(例如，壓縮)和解碼(例如，解壓縮)。系統200可包含接收模塊 202、分段模塊204、指配模塊206、第一編碼模塊208、第二編碼模塊210和傳輸模塊 212。圖2所示的模塊可以是圖1所示裝置中的一者或一者以上的一部分。舉例來說，接 收模塊202和傳輸模塊212可以是I/O設備114和122的一部分。而且，分段模塊204、 指配模塊206、第一編碼模塊208和第二編碼模塊210可以是編碼器112的一部分。系統 200是用以說明下文描述的用於對圖片和視頻幀進行編碼和解碼的方法的示範性系統。可以硬體、軟體及其組合的形式來實施系統200。所屬領域的技術人員將了解，可使用 其它系統來代替系統200，同時仍維持本發明的精神和範圍。
圖3是說明對多媒體數據(例如，音頻、視頻、圖像等)進行編碼的方法300的流 程圖。視頻大體由許多個視頻幀組成，且每個圖片和視頻幀由許多個像素組成。每個像 素可由許多個位(例如，24個位)表示，其中(例如)8個位表示紅色分量，8個位表 示綠色分量且8個位表示藍色分量。用來表示每個圖片和/或視頻幀的像素的數目視所述 圖片和/或視頻幀的解析度(例如，高清晰度)而定。用來表示每個像素的位的數目視所 述圖片或視頻幀的保真度(例如，髙保真度)而定。用來表示一個或一個以上圖片或視 頻幀的位的完整集合可被稱為源數據位。出於本發明的目的，術語"視頻幀"可用來描 述圖片和/或視頻的幀。
編碼器U2接收源數據位(步驟302)，並使源數據從第一色彩空間(例如，RGB) 轉換到第二色彩空間(例如，YUV或YCbCr)(步驟304)。色彩空間大體由三個顏色分 量組成。此項技術中存在用以執行從第一色彩空間到第二色彩空間的轉換的若干色彩空 間、色彩空間轉換算法和矩陣。色彩空間轉換矩陣的實例是
formula see original document page 15從第一色彩空間到第二色彩空間的轉換允許源數據位呈較好的形式以供壓縮。
編碼器112可分析源數據以確定相鄰視頻幀之間存在相似性還是冗餘性(步驟306)。 編碼器112通常針對相似性或冗餘性而將視頻幀(有時被稱為中間視頻幀)與其先前的 和隨後的視頻幀進行比較。舉例來說，針對相似性可將幀3與幀2和幀4進行比較。視 相似性、冗餘性和/或解碼器120的能力而定，編碼器112可對源數據位執行幀速率上轉 換(FRUC)或編碼器輔助的幀速率上轉換(EA-FRUC)處理。
編碼器U2可計算或產生相似性值(S)，以確定相鄰幀之間的相似性。可使用(例 如)源數據的像素的Y分量來計算所述相似性值。所述相似性值可表示為S (Y2， Y3， Y4)，
其中Y2是屬於先前幀的像素(亮度/光度)值的矩陣，Y3是屬於中間或目標幀的像素(亮 度/光度)值的矩陣，且Y4是屬於隨後幀的像素(亮度/光度)值的矩陣。產生相似性值 的方法的一個實例是使用絕對差值和(SAD)算法。產生相似性值的方法的另一實例是 使用經運動補償的SAD (MCSAD)算法。相似性量度S(.)可將一個以上先前幀(例如{...， Y-,, Y。，Y,，Y2P考慮在內，且同樣 可將一個以上隨後幀(例如(Y4,Y5，Y6， ...})考慮在內。所述多幀分析(尤其在因果方向 上)更符合現有工藝水平的視頻壓縮技術，且可改進時間分段性能和準確度。
相似性量度S(.)可將色彩空間維度(視頻信號相對於其而表示)中的一者或一者以 上或全部考慮在內。所述多維度分析可改進時間分段性能和準確度。
相似性量度S(.)可返回值為標量或向量的相似性測量。值為向量的相似性測量可具 有多個標量分量。舉例來說，在一個實施例中，這些標量分量中的每一者可反映不同幀 對之間的相似性值，幀對中的一者通常是當前幀(中間或目標幀)，且另一者是來自先前 鄰域的列表或隨後鄰域的列表的幀。在一個實施例中，值為向量的相似性測量的多個標 量分量可反映相對於不同色彩空間維度而計算出的相似性值。
可由編碼器112處理相似性量度值序列。編碼器112可將值序列輸入到分析模塊中。 所述分析模塊可以是處理器108和/或編碼器112的一部分。所述分析模塊一般可利用具 有時變大小的非因果窗口來處理所提供的相似性量度值的子集或全部，從而針對每個幀 作出(1)時間分段決策，例如是否場景改變/鏡頭邊界，或(2)編碼模式決策，例如規 則編碼，或編碼器輔助的幀內插(EA—FRUC)，或跳過(僅解碼器幀內插，FRUC),或 (3)時間分段決策和編碼模式決策兩者。
分析模塊可利用感知模型(人類視覺系統模型)。分析模塊還可使用遞歸分析技術， 意味著系統具有其中當前狀態是到達分析模塊的先前輸入的歷史的函數的存儲器。分析 模塊還可使用迭代分析技術，意味著每個新幀的決策未必是最終的，而是可基於對相似 性量度演變的新的或經更新的理解稍後再次進行再訪和更新。分析模塊還可對輸入到其 中的相似性量度值應用濾波或其它映射。在一個實施例中，分析模塊可將相似性量度值 映射到一些不相似性測量。
在一個實施例中，編碼器112可將相似性值與一個或一個以上闞值進行比較(步驟 308)。如果相似性值小於第一閾值(Tl)，那麼相鄰幀是不相似的(轉到步驟310)。使 用上述實例，幀3與幀2或幀4或幀2和幀4兩者是不相似的。如果相似性值等於或大 於第一閾值(Tl)且小於第二閾值(T2)，那麼相鄰幀是相似的(轉到步驟312)。使用 上述實例，幀3與幀2和幀4是相似的。如果相似性值等於或大於所述第二閾值(T2)， 那麼柑鄰幀是非常相似的(轉到步驟314)。使用上述實例，幀3與幀2和幀4是非常相 似的。編碼器112記住視頻幀的排序或序列的一種方式是在每個視頻幀上放置時間戳或 幀編號。在一個實施例中，編碼器U2可對相似性量度值的序列(向量)使用靜態或動態(自 適應)概率模型，以將分析任務制定為形式假設測試問題。這允許針對時間分段或編碼 模式作出最佳(在統計意義上)決策。編碼器112所利用的分析模塊相對於其決策輸出 的性質，可基於多值(模糊)邏輯原理而不是共用布爾邏輯(common Boolean logic)。 這允許複雜(在時間和空間上)視頻幀動態特性的更高保真度的信息保存和更準確的表 示。
在步驟310，編碼器112使幀計數器遞增1，以移動到下一個幀。使用上述實例，中 間幀變成幀4。
在步驟312,編碼器112執行EA-FRUC。對於EA-FRUC，編碼器112知道解碼器 120處所運行的幀內插算法。當相鄰視頻幀是相似的時，編碼器112針對目標幀(即，中 間幀)產生輔助信息或者從目標幀檢索輔助信息，而不是發送來自相鄰視頻幀的重複數 據(步驟312)。所述輔助信息增強了解碼器120所執行的內插過程的質量且/或降低了所 述內插過程的計算複雜性。有了所述輔助信息，編碼器112無需發送用於整個目標幀的 數據，而是需要將所述輔助信息發送到解碼器120以便重構目標幀。因此，輔助信息允 許解碼器120用最少的數據(即，使用輔助信息)來重新創建目標視頻幀。
在步驟314時，編碼器112執行FRUC觸發幀丟棄操作。FRUC允許裝置104處部 分或整個視頻幀的內插。當相鄰視頻幀非常相似時，編碼器112廢除或移除目標幀使其 不能被發送到解碼器120，而不是發送來自相鄰視頻幀的重複/冗餘數據(步驟314)。FRUC 可用於不同目的，例如通過完全避免傳輸用於視頻幀的選定子集的任何數據(當這是可 行的時)來增加壓縮效率，或當用於視頻幀的擴展部分或用於整個視頻幀的經壓縮數據 由於信道損害而丟失時的錯誤消除。在任一種情況下，裝置104使用其本地資源和來自 其它已接收到的幀的可用信息，來內插(部分地或完全地)缺失的視頻幀。有了FRUC， 裝置104接收不到用於待內插的視頻幀的擴充/輔助數據。通常對所有的視頻幀執行針對 EA-FRUC和FRUC的分類處理(步驟310和步驟316)。
編碼器112基於一個或一個以上像素域屬性(例如， 一個或一個以上彩色信道)或 變換域屬性(例如，基於預界定的次能帶中的DC係數值和AC係數功率的區塊分類)， 對視頻幀執行場景分析，以在時間上或空間上對所述視頻幀進行分段，且識別所述視頻 幀上的可被準確地描述為紋理的區域(步驟318)。如果第二色彩空間(步驟304)是YUV, 那麼一個彩色信道優選為Y。編碼器112可基於至少一個彩色信道(即，色彩空間分量) 來將源數據分段成若干分區或區域。每個分區或區域可具有任意、隨機或特定大小(例如，nxn像素或mxn像素，其中m和n是整數)，或任意、隨機或特定形狀(例如，雲 狀或正方形形狀)。每個分區或區域可具有不同的任意、隨機或特定大小和/或形狀。
編碼器112可採用特徵向量，其包含源數據的變換域屬性，例如8x8像素區塊的從 離散餘弦變換(DCT)得出的DC係數值，以及預界定的次能帶內，即從同一8x8像素 塊的同一(DCT)變換得出的AC係數的預界定子集內的總信號功率。這些次能帶可(例 如)對應於純水平頻率(即，垂直邊緣)、純垂直頻率(即，水平邊緣、傾斜邊緣)和更 多類似紋理的空間頻率圖案。編碼器可計算/產生源數據中的每個8x8像素區塊的特徵向 量，且在特徵空間中使用數據群集算法來將每個8x8像素區塊分類成許多分區或區域中 的一者。
可使用若干不同分段算法(例如，空間的和/或時間的)來對源數據進行分段。可針 對圖片和視頻幀使用空間分段，且還可針對視頻幀使用時間分段。如果針對視頻幀使用 空間分段和時間分段兩者，那麼通常在時間分段之前執行空間分段，因為空間分段的結 果可用作時間分段的提示。
空間分段涉及將圖片或視頻幀劃分成許多分區。在空間分段中， 一個分區不會與另 一個分區重疊；然而，所有分區的聯合覆蓋整個圖片或視頻幀。在一個實施例中，分段 涉及將圖片和視頻幀劃分成許多具有任意形狀和大小的分區。此項技術中存在將圖片或 視頻幀劃分成許多具有任意形狀和大小的分區的若干空間分段算法，例如C. Pantofaru和 M. Hebert的"A Comparison of Image Segmentation Algorithms"(卡內基'梅隆大學，機器 人學研究院，第CMU-RI-TR-05-40號技術報告，2005年9月)中所描述的那些空間分段 算法。而且，區域生長是一種已知的空間分段算法。在另一實施例中，分段可涉及將圖 片或視頻幀劃分成許多具有正方形形狀但具有任意大小的分區。舉例來說，圖像處理技 術中眾所周知的四叉樹分區算法是實現上述目的的一種方法。
時間分段涉及使一個或一個以上視頻幀相關聯或分組在一起。可使用若干不同時間 分段算法(例如，場景改變檢測和鏡頭邊界檢測)來在時間上對視頻幀進行分段。場景 改變檢測涉及將作為同一場景的部分的所有視頻幀分組在一起。 一旦所述場景(例如， 包含特定賽事的視頻幀)改變，視頻幀的下一分組(即，下一場景)就開始。鏡頭邊界 檢測涉及將作為同一鏡頭的部分的視頻幀分組在一起。 一旦鏡頭(例如，包含特定人物 的視頻幀)改變，視頻幀的下一分組(即，下一鏡頭)就開始。環境確定場景，且內容 確定鏡頭。
可利用分段方案(例如，基於三維隨機域/紋理模型的那些方案)來同時實現空間分段和時間分段兩者。
支持對具有正方形或矩形形狀且均勻大小的分區進行編碼的壓縮算法通常利用區塊 變換編碼工具(例如，8x8離散餘弦變換(DCT)算法)和基於區塊的經運動補償的時 間預測(MCTP)算法(例如，MPEG-4視頻壓縮算法)。對於可視數據的空間壓縮來說， 8x8 DCT算法的使用已經普及。8x8 DCT算法可展示為近似卡亨南-洛維變換 (Karhunen-Logve Transform, KLT),對於緩慢變化(例如，低細節)可視數據來說，KLT 在均方差意義上是最佳線性變換；然而，對於圖片或視頻幀的涉及紋理的區域來說，KLT 並非十分有效。可將紋理描述為在多個標度/解析度上顯示出大量細節/變化的可視對象。 以宏區塊大小(例如，16x16)使用MCTP算法對於剛性體或經歷平移運動的對象來說是 有效的。然而，對於非剛性體(變形體)或經歷非平移運動的對象(例如，運動中的紋 理，例如草、花地或帶葉的樹枝)來說這些算法是不夠的，因為其變形和非平移運動使 得難以從一個幀到另一個幀地對特徵進行匹配。而且，紋理細節和邊界通常並不以矩形 形狀形成。因此，這些壓縮工具是普及的，但在壓縮紋理方面不是十分有效。
在編碼器112將源數據分段成許多分區之後，將所述分區中的每一者分類成許多種 類中的一種(步驟320)。在一個實施例中，種類的數目是2，其包含第一種類，例如混 合(即，基於變換編碼和MCTP的)編碼種類，和第二種類，例如紋理編碼種類。所述 分類可基於每個特定分區是否包含紋理。如果分區不包含紋理，那麼將所述分區分類成 第一種類。如果分區包含紋理，那麼將分區分類成第二種類。區分包含紋理的分區與不 包含紋理的分區的一個理由是因為某些算法通過使用經參數化模型而在壓縮紋理方面有 效，且某些算法在壓縮紋理方面並不有效。舉例來說，紋理模型化算法在壓縮紋理方面 有效，而通用視頻或圖片壓縮算法在壓縮紋理方面並不有效，但在壓縮非紋理對象或圖 像方面有效(步驟322和步驟324)。因此，使用同一算法來壓縮所有分區是低效且不實 際的。通過基於分區中是否存在紋理對每一分區進行分類來實現較好的總體壓縮。
可使用若干不同方法來確定特定分區是否包含紋理。一種示範性方法涉及編碼器112 將壓縮算法(例如，混合編碼算法)應用於所述分區的每一者，以確定所述分區的壓縮 是否產生所需的質量和位速率操作點。即，如果(a)位速率小於位速率閾值，且(b) 質量大於質量閾值，那麼將所述分區分類成第一種類。如果不滿足(a)或(b)中的任 一者，那麼將所述分區分類成第二種類。
在另一實施例中，如果並不滿足(a)或(b)中的任一者，那麼針對分區的原始細 節的"相關性"而對所述分區的內容進行估計。由於所述"相關性"分析，如果所述分區(儘管其更適於被認為是紋理)被推斷為在其原始細節中傳達有意義的信息(即，"相 關的")，那麼將所述分區分類成第一種類。否則，如果所述分區被推斷為不在其原始細 節中傳達有意義的信息(即，"不相關的")，那麼將其分類成第二種類。
位速率閾值是例如源格式(即，幀大小和幀速率)、應用類型、分區或幀的內容以及 分區的(相對)大小的多個因數的函數。在一個實施例中，所述位速率閾值針對每個分 區或幀可以是不同的。幀大小取決於圖像的空間解析度，即每行多少個像素和一個幀中 存在多少個像素行。舉例來說，圖像可為標準清晰度(SD，例如，720x486)、高清晰度 (HD，例如，1920x1080)、視頻圖形陣列(VGA，例如，640x480)、四分之一 VGA (QVGA, 例如，320x240)等。應用類型可以是廣播電視、用於移動裝置的流式視頻、通過網際網路 的流式視頻等。分區或幀的內容是所述分區或幀中的可視數據的複雜性的決定因素。
可相對於主觀質量量度或客觀質量量度來界定質量閾值。
主觀質量量度是對可通過不同的心理視覺測試而確定的感知質量的測量。可將主觀 質量閥值設置為(例如)關於1到5 (典型解釋為l:"非常討厭"/"差"，2:"討厭"
/ "不良"，3:"有點討厭"/ "中"，4:"可察覺但並不討厭"/ "良"，5;"察覺不到"/
"優")的感知質量標度，平均意見得分(MOS)為4.0。
可使用許多不同方法來導出客觀質量量度。 一種獲得客觀質量量度的方法是確定用
於特定分區或幀的信道中的一者(例如，Y信道)的峰值信噪比(PSNR)。 orig(i，j)表示 原始圖像數據(即，第i列和第j行處的原始像素值)，且comp(i，j)表示經壓縮的圖像數 據(即，第i列和第j行處壓縮後的像素值)。可使用以下等式來確定PSNR。
f纖y "01ogu
255
1 (c， ,
行lfcc列數《S"^(")'
=1 i=l
.(!'，J))2
接著，可將質量閾值設置為(例如)33dB。在此實例中，如果質量(即，PSNRY) 大於33dB,則經壓縮的圖像具有令人滿意/良好的質量。
其它客觀量度可以是基於參考的、基於減少的參考的或結合確定性或統計性測量值 的無參考量，這些測量值以與所使用的相似性量度有關且影響所述相似性量度的模糊度、 塊效應、振蕩和其它失真的量化為目標。
如果分區被分類成第一種類，那麼使用針對非紋理化對象和圖像提供良好的壓縮結果的視頻或圖片壓縮算法或模型(例如，混合編碼算法)來壓縮或描述分區內容(步驟 322)。
如果分區被分類成第二種類，那麼使用針對紋理化對象和區域提供良好的分析和合 成結果的算法或模型(例如，紋理模型)來壓縮或描述所述分區(步驟324)。所述算法 或模型可包含以下各項中的一者或一者以上變換編碼、空間編碼和時間編碼。對於被 分類成第二種類的分區，壓縮是通過模型參數的無損(精確)或有損(近似)表示法和 傳輸來實現的。紋理模型是用來產生二維隨機域的概率性數學模型。所述模型的輸出的 精確概率性性質取決於控制所述模型的參數的值。從給定的二維隨機域樣本開始，使用 其數據，有可能估計出紋理模型的參數值，以試圖調諧所述模型以產生類似於所述給定 樣本的二維隨機域。此參數估計過程被稱為模型擬合。
基於紋理模型的編碼允許以令人滿意的方式表示紋理所需的位的數目大大減少，同 時仍能夠再現視覺上非常相似的紋理。紋理模型是能夠描述和產生紋理的數學工具。紋 理模型的一些實例包含馬爾可夫隨機域(MRF)、吉伯斯隨機域(GRF)、細胞自動機 (Cellular Automata)和碎形(Fractals)。 MRF提供靈活且有用的紋理模型，且可被描述 為說明基於紋理模型的編碼。
在MRF模型中，每個像素的概率性性質由其相鄰像素的狀態來確定或受到其相鄰像 素的狀態的影響，其中鄰域N構成所述模型的可調諧參數。MRF模型包含許多不同的可 調諧/可調整參數,這些參數控制所得圖像中的群集(即，相似亮度和顏色的分組)的強 度、 一致性和方向。舉例來說，P是一組位點或像素位置，N是鄰域，Np是像素p的對 應鄰域，F是界定於所述位點處表示像素值的一組隨機變量，且Fp是界定於像素p的位 置處的隨機變量。鄰域N的實例包含8連接鄰域(圖4A)、 4連接鄰域(圖4B)和間接 鄰域(圖4C)。
馬爾可夫特性(其給予此特定模型此名稱)隱含P(FP = f I F(P\{p})) = P(Fp = f I F(NP))。 在此等式中，P表示概率測量值，且\表示差集運算。換句話說，相對於像素p的概率性 表徵，對像素p的Np鄰域內的相鄰像素值的知曉在統計上等效於整組位點P內除像素p 以外的所有像素值的知曉。
圖5是說明MRF模型的四種不同實現的圖片，其中每種實現對應於一種不同的鄰域 定義。MRF模型可描述和產生各種各樣的紋理，例如模糊的或明顯的、線狀的或斑點狀 的隨機域。可對所述紋理進行分析以確定或估計其用於MRF模型的參數。
返回參看圖1和圖3， 一旦分區內容的壓縮完成，處理器108就使用1/0裝置114來向裝置104傳輸對應於所述分區中的每一者的經壓縮數據(步驟326)和所述分區中的 每一者的邊界信息(步驟328)。經壓縮的數據是已經應用壓縮算法或參數化模型之後的 源數據，且在後一種情況下，是經估計且精確地或近似地表示的參數。邊界信息包含用 以界定許多分區中的每一者的邊界的信息。對於矩形形狀且具有任意大小的分區來說， 邊界信息包含每個矩形的左上角和右下角的坐標。用於傳達矩形(正方形)形狀且具有 任意大小的分區的另一實例是使用四叉樹表示法。對於具有任意形狀和任意大小的分區 來說，可使用(例如)李世鵬(微軟中國研究院)和IrajSodagar (沙諾夫公司(Sarnoff Corporation))的"Generic, Scalable and Efficient Shape Coding for Visual Texture Objects in MPEG-4"來確定和表示邊界信息。
處理器108使用1/0裝置114來向裝置104傳輸將所述許多分區中的每一者的種類 信息(步驟330)。在上述實例中，處理器108可指示所述特定分區屬於第一種類還是第 二種類。所述種類信息還可包含算法或模型(例如，混合編碼算法或紋理模型)的類型 以及用於所述模型的參數。
圖6是說明對圖片和視頻幀進行解碼的方法600的流程圖。裝置104接收所述分區 中的每一者的經編碼/壓縮的數據、邊界信息和種類信息(步驟602)。經編碼/壓縮的數 據可包含用於屬於第一種類或第二種類的視頻幀和/或分區的輔助信息。解碼器120確定 屬於所述第一種類或所述第二種類的每個視頻幀或分區是否應被解碼或內插(步驟604)。
如果屬於第一種類或所述第二種類的視頻幀或分區應被解碼，那麼解碼器如下進行。 解碼器120對經編碼的數據進行解碼且使用經解碼的數據、邊界信息和種類信息來重構 第一種類中的每一分區(步驟606)。解碼器120使用經解碼的數據、邊界信息和種類信 息來執行紋理合成並重構屬於第二種類的每個分區(步驟608)。
如果屬於第一種類或第二種類的視頻幀或分區應被內插，那麼解碼器如下進行。解 碼器120確定輔助信息是否可用於待內插的屬於第一種類或第二種類的視頻幀或分區 (步驟610)。如果輔助信息不可用，那麼解碼器120可使用FRUC來使用已經接收到且 經處理(即，解碼)的經壓縮數據、邊界信息和種類信息來有效地(即，以低計算複雜 性以及高客觀和主觀質量)內插經壓縮的源數據(步驟612)。在一個實施例中，內插完 全缺失的幀中或部分可用幀的缺失區域內的屬於第一種類或第二種類的所有推斷出的分 區。基於混合編碼表示法的內插方案在此項技術中是已知的，例如，在R. Castagno、 P. Haavisto和G. Ramponi的"用於運動自適應幀速率上轉換的方法(A Method for Motion Adaptive Frame Rate Up-conversion)" (IEEE視頻技術用電路與系統彙刊，1996年10月，第5期，第6巻，436頁到446頁)中描述。如果輔助信息是可用的，那麼編碼器120 可使用EA-FRUC來使用己經接收到並處理(即，解碼)的經壓縮數據、邊界信息、種類 信息和輔助信息來有效地(即，以低計算複雜性以及高客觀和主觀質量)內插經壓縮的 源數據(步驟614)。
一旦執行了解碼和/或內插，處理器116就可顯示視頻幀(步驟616)。處理器116或 解碼器120檢查以了解是否存在更多待處理的圖片或視頻幀數據(步驟618)。如果存在 更多待處理的圖片或視頻幀數據，那麼解碼器120返回到用於解碼或內插並顯示圖片或 視頻幀的過程的開始(步驟604)。否則，當前解碼任務結束(步驟620)。
圖7是用於處理多媒體數據的設備700的框圖。設備700可包含分段模塊702, 其經配置以將數據分段成多個分區；識別模塊704，其經配置以識別可表示為紋理的多 個分區；計算模塊706，其經配置以計算相鄰視頻幀的至少兩個分區之間的相似性值； 以及選擇模塊708,其經配置以基於所述相似性值而選擇分區以進行編碼。設備700還 可包含指配模塊710,其經配置以將所述多個分區中的每一者指配給包括第一種類和 第二種類的多個種類中的一者； 一個或一個以上編碼器712，其經配置以使用算法來對 指配給所述第一種類的所述多個分區進行編碼，且使用紋理模型來對指配給所述第二種 類的所述多個分區進行編碼以及傳輸模塊714，其經配置以傳輸與所述多個分區相關 聯的經編碼的數據、邊界信息和種類信息。可視設備700的配置而添加或刪除一個或一 個以上模塊。可使用硬體、軟體或其組合來實施每個模塊。可使用硬體、軟體或其組合 來實施用於分段、識別、計算、選擇、指配、編碼和傳輸的裝置。舉例來說，可用通用 處理裝置、數位訊號處理裝置(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA) 或其它可編程邏輯裝置、離散門或電晶體邏輯、離散硬體組件或其經設計以執行本文所 描述的功能的任一組合來實施或執行所述裝置。
圖8是用於處理多媒體數據的設備800的框圖。設備800可包含解碼器802，其 經配置以使用算法來對屬於第一種類的多個第一分區進行解碼，且使用紋理模型來對屬 於第二種類的多個第二分區進行解碼；產生模塊804,其經配置以使用邊界信息、所述
多個第一分區和所述多個第二分區來創建多媒體數據；以及內插模塊806,其經配置以 內插所述多媒體數據以產生經內插的多媒體數據。可使用硬體、軟體或其組合來實施用 於解碼、創建和內插的裝置。舉例來說，可用通用處理裝置、數位訊號處理裝置(DSP)、 專用集成電路(ASIC)、現場可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或 電晶體邏輯、離散硬體組件或其經設計以執行本文所描述的功能的任一組合來實施或執行所述裝置。
圖9是說明用於處理多媒體數據的設備的裝置的示範性組件的框圖900。圖9中所 示的一個或一個以上模塊可用作用於分段、指配和編碼的裝置的組件。可使用硬體、軟 件或其組合來實施所述模塊。可視設備卯0的配置而添加或刪除一個或一個以上模塊。 舉例來說，可用通用處理裝置、數位訊號處理裝置(DSP)、專用集成電路(ASIC)、現 場可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或電晶體邏輯、離散硬體組件、 軟體模塊或其經設計以執行本文所描述的功能的任一組合來實施或執行所述裝置。
設備900可包含用於分段的模塊902，其經配置以將數據分段成多個分區；用於 指配的模塊卯4，其經配置以將所述多個分區中的每一者指配給包括第一種類和第二種 類的多個種類中的一者；以及用於編碼的模塊906，其經配置以使用算法來對指配給所 述第一種類的所述多個分區進行編碼，且使用紋理模型來對指配給所述第二種類的所述 多個分區進行編碼。
圖10是說明用於處理多媒體數據的設備的裝置的示範性組件的框圖。圖10中所示 的一個或一個以上模塊可用作用於解碼和創建的裝置的組件。可使用硬體、軟體或其組 合來實施所述模塊。可視設備1000的配置而添加或刪除一個或一個以上模塊。舉例來說， 可用通用處理裝置、數位訊號處理裝置(DSP)、專用集成電路(ASIC)、現場可編程門 陣列(FPGA)或其它可編程邏輯裝置、離散門或電晶體邏輯、離散硬體組件、軟體模塊 或其經設計以執行本文所描述的功能的任一組合來實施或執行所述裝置。
設備1000可包含用於解碼的模塊1002，其經配置以使用算法來對屬於第一種類 的多個第一分區進行解碼，且使用紋理模型來對屬於第二種類的多個第二分區進行解碼； 以及用於創建的模塊1004,其經配置以使用邊界信息、所述多個第一分區和所述多個第 二分區來創建多媒體數據。
所屬領域的技術人員將了解，結合本文所揭示的實施例而描述的各種說明性邏輯區 塊、模塊、電路和算法可實施為電子硬體、計算機軟體或上述兩者的組合。為了說明硬 件與軟體的這種可互換性，上文已經大體上根據各種說明性組件、區塊、模塊、電路和 算法的功能性描述了各種說明性組件、區塊、模塊、電路和算法。將此類功能性實施為 硬體還是軟體取決於特定應用和強加於整個系統的設計限制。熟練的技術人員可針對每 個特定應用以不同的方式來實施所描述的功能性，但此類實施決策不應被解釋為導致與 本發明範圍脫離。
可用以下裝置來實施或執行結合本文所揭示的實施例而描述的各種說明性邏輯區塊、模塊和電路通用處理裝置、數位訊號處理裝置(DSP)、專用集成電路(ASIC)、 現場可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或電晶體邏輯、離散硬體組 件或其經設計以執行本文所描述的功能的任一組合。通用處理裝置可以是微處理裝置， 但在替代方案中，所述處理裝置可以是任一常規處理裝置、處理裝置、微處理裝置或狀 態機。處理裝置還可實施為計算裝置的組合，例如DSP與微處理裝置的組合、多個微處 理裝置、結合DSP核心的一個或一個以上微處理裝置或任何其它此類配置。
結合本文所揭示的實施例而描述的設備、方法或算法可直接在硬體、軟體或所述兩 者的組合中實施。在軟體中，所述方法或算法可以可由處理裝置執行的一個或一個以上 指令的形式實施。所述指令可駐存在RAM存儲器、快閃記憶體、ROM存儲器、EPROM 存儲器、EEPROM存儲器、寄存器、硬碟、可移除盤、CD-ROM或此項技術中已知的任 何其它形式的存儲媒體中。示範性存儲媒體耦合到處理裝置，使得處理裝置可從存儲媒 體讀取信息和向存儲媒體寫入信息。在替代方案中，存儲媒體可與處理裝置成一體式。 處理裝置和存儲媒體可駐存在ASIC中。ASIC可駐存在用戶終端中。在替代方案中，處 理裝置和存儲媒體可作為離散組件駐存在用戶終端中。
提供所揭示實施例的先前描述是為了使所屬領域的技術人員能夠製作或使用本發 明。所屬領域的技術人員可容易了解對這些實施例的各種修改，且在不脫離本發明的精 神或範圍的情況下，本文所界定的一般原理可應用於其它實施例。因此，不希望本發明 限於本文所展示的實施例，而是希望本發明符合與本文所揭示的原理和新穎特徵一致的 最廣範圍。
在不脫離本發明的精神或本質特徵的情況下，本發明可以其它特殊形式實施。所描 述的實施例在各個方面將僅被認為是說明性的而非限制性的，且因此本發明的範圍由所 附權利要求書而不是由前面的描述內容來指示。屬於權利要求書的等效物的意義和範圍 的所有改變都將包含在權利要求書的範圍內。
權利要求
1.一種處理多媒體數據的方法，其包括將數據分段成多個分區；將所述多個分區中的每一者指配給包括第一種類和第二種類的多個種類中的一者；使用算法對指配給所述第一種類的所述多個分區進行編碼；以及使用紋理模型對指配給所述第二種類的所述多個分區進行編碼。
11. 根據權利要求1所述的方法，其中所述紋理模型與馬爾可夫隨機域、吉伯斯隨機域、 細胞自動機和碎形中的至少一者相關聯。
12. 根據權利要求l所述的方法，其進一步包括計算相鄰視頻幀的至少兩個分區之間的相似性值；基於所述相似性值選擇分區來進行編碼；以及基於所述選定分區已經被指配給所述第一種類還是所述第二種類，通過使用所述 算法和所述紋理模型中的至少一者對所述選定分區進行編碼。
13. 根據權利要求12所述的方法，其中計算相似性值包括使用絕對差值和算法、平方 差值和算法以及經運動補償算法中的至少一者。
14. 一種用於處理多媒體數據的設備，其包括分段模塊，其經配置以將數據分段成多個分區；指配模塊，其經配置以將所述多個分區中的每一者指配給包括第一種類和第二種類的多個種類中的一者；以及編碼器，其經配置以使用算法對指配給所述第一種類的所述多個分區進行編碼， 且使用紋理模型對指配給所述第二種類的所述多個分區進行編碼。
15. 根據權利要求14所述的設備，其進一步包括傳輸模塊，所述模塊經配置以傳輸與 所述多個分區相關聯的經編碼的數據、邊界信息和種類信息。
16. 根據權利要求14所述的設備，其中對數據進行分段包括對所述數據進行空間分段、 時間分段，或空間和時間分段兩者。
17. 根據權利要求14所述的設備，其進一步包括識別模塊，所述模塊經配置以識別可 表示為紋理的所述多個分區。
18. 根據權利要求14所述的設備，其中將所述多個分區中的每一者指配給多個種類中 的一者是基於所述分區是否包括紋理。
19. 根據權利要求14所述的設備，其中將所述多個分區中的每一者指配給多個種類中 的一者包括應用模塊，其經配置以將算法應用於所述多個分區中的至少一者以產生所得數 據；以及指配模塊，其經配置以如果所述所得數據滿足第一標準，那麼將所述多個分區 中的所述至少一者指配給所述第一種類，且如果所述所得數據滿足第二標準，那麼將所述多個分區中的所述至少一者指配給所述第二種類。
20. 根據權利要求19所述的設備，其中如果所述所得數據符合質量標準和位速率標準 中的至少一者，那麼所述第一標準被滿足，且如果所述所得數據不符合所述質量標 準和所述位速率標準中的所述至少一者，那麼所述第二標準被滿足。
21. 根據權利要求14所述的設備，其中所述多個分區中的每一者具有任意形狀或任意 大小。
22. 根據權利要求14所述的設備，其中對指配給所述第一種類的所述多個分區進行編 碼包括變換編碼或混合編碼。
23. 根據權利要求14所述的設備，其中對指配給所述第二種類的所述多個分區進行編 碼包括使所述紋理模型適合於所述多個分區的所述數據。
24. 根據權利要求14所述的設備，其中所述紋理模型與馬爾可夫隨機域、吉伯斯隨機 域、細胞自動機和碎形中的至少一者相關聯。
25. 根據權利要求14所述的設備，其進一步包括計算模塊，其經配置以計算相鄰視頻幀的至少兩個分區之間的相似性值；以及 選擇模塊，其經配置以基於所述相似性值選擇分區來進行編碼， 其中所述編碼器經配置以基於所述選定分區已經被指配給所述第一種類還是所 述第二種類，通過使用所述算法和所述紋理模型中的至少一者對所述選定分區進行編碼。
26. 根據權利要求25所述的設備，其中計算相似性值包括使用絕對差值和算法、平方 差值和算法和經運動補償算法中的至少一者。
27. —種用於處理多媒體數據的設備，其包括用於將數據分段成多個分區的裝置；用於將所述多個分區中的每一者指配給包括第一種類和第二種類的多個種類中 的一者的裝置；以及用於使用算法對指配給所述第一種類的所述多個分區進行編碼且使用紋理模型 對指配給所述第二種類的所述多個分區進行編碼的裝置。
28. 根據權利要求27所述的設備，其進一步包括用於傳輸與所述多個分區相關聯的經 編碼的數據、邊界信息和種類信息的裝置。
29. 根據權利要求27所述的設備，其中所述用於分段的裝置包括對所述數據進行空間 分段、時間分段，或空間和時間分段兩者。
30. 根據權利要求27所述的設備，其進一步包括用於識別可表示為紋理的所述多個分 區的裝置。
31. 根據權利要求27所述的設備，其中所述用於將所述多個分區中的每一者指配給多 個種類中的一者的裝置是基於所述分區是否包括紋理。
32. 根據權利要求27所述的設備，其中所述用於將所述多個分區中的每一者指配給多 個種類中的一者的裝置包括用於將算法應用於所述多個分區中的至少一者以產生所得數據的裝置；以及用於在所述所得數據滿足第一標準的情況下將所述多個分區中的所述至少一者指配給所述第一種類且在所述所得數據滿足第二標準的情況下將所述多個分區中的所述至少一者指配給所述第二種類的裝置。
33. 根據權利要求32所述的設備，其中如果所述所得數據符合質量標準和位速率標準 中的至少一者，那麼所述第一標準被滿足，且如果所述所得數據不符合所述質量標 準和所述位速率標準中的所述至少一者，那麼所述第二標準被滿足。
34. 根據權利要求27所述的設備，其中所述多個分區中的每一者具有任意形狀或任意 大小。
35. 根據權利要求27所述的設備，其中所述用於對指配給所述第一種類的所述多個分 區進行編碼的裝置包括變換編碼或混合編碼。
36. 根據權利要求27所述的設備，其中所述用於對指配給所述第二種類的所述多個分 區進行編碼的裝置包括使所述紋理模型適合於所述多個分區的所述數據。
37. 根據權利要求27所述的設備，其中所述紋理模型與馬爾可夫隨機域、吉伯斯隨機 域、細胞自動機和碎形中的至少一者相關聯。
38. 根據權利要求27所述的設備，其進一步包括用於計算相鄰視頻幀的至少兩個分區之間的相似性值的裝置；用於基於所述相似性值選擇分區來進行編碼的裝置；以及用於基於所述選定分區已經被指配給所述第一種類還是所述第二種類通過使用 所述算法和所述紋理模型中的至少一者對所述選定分區進行編碼的裝置。
39. 根據權利要求38所述的設備，其中所述用於計算相似性值的裝置包括使用絕對差 值和算法、平方差值和算法和經運動補償算法中的至少一者。
40. —種包括指令的機器可讀媒體，所述指令在執行後立即致使機器-將數據分段成多個分區；將所述多個分區中的每一者指配給包括第一種類和第二種類的多個種類中的一 者；使用算法對指配給所述第一種類的所述多個分區進行編碼；以及 使用紋理模型對指配給所述第二種類的所述多個分區進行編碼。
41. 根據權利要求40所述的機器可讀媒體，其中所述指令傳輸與所述多個分區相關聯 的經編碼的數據、邊界信息和種類信息。
42. 根據權利要求40所述的機器可讀媒體，其中所述指令對所述數據進行空間分段、 時間分段，或空間和時間分段兩者。
43. 根據權利要求40所述的機器可讀媒體，其中所述指令識別可表示為紋理的所述多 個分區。
44. 根據權利要求40所述的機器可讀媒體，其中所述將所述多個分區中的每一者指配 給多個種類中的一者的指令是基於所述分區是否包括紋理。
45. 根據權利要求40所述的機器可讀媒體，其中所述將所述多個分區中的每一者指配 給多個種類中的一者的指令包括-將算法應用於所述多個分區中的至少一者以產生所得數據；如果所述所得數據滿足第一標準，那麼將所述多個分區中的所述至少一者指配給 所述第一種類；以及如果所述所得數據滿足第二標準，那麼將所述多個分區中的所述至少一者指配給 所述第二種類。
46. 根據權利要求45所述的機器可讀媒體，其中如果所述所得數據符合質量標準和位 速率標準中的至少一者，那麼所述第一標準被滿足，且如果所述所得數據不符合所 述質量標準和所述位速率標準中的所述至少一者，那麼所述第二標準被滿足。
47. 根據權利要求40所述的機器可讀媒體，其中所述多個分區中的每一者具有任意形 狀或任意大小。
48. 根據權利要求40所述的機器可讀媒體，其中所述對指配給所述第一種類的所述多 個分區進行編碼的指令包括變換編碼或混合編碼。
49. 根據權利要求40所述的機器可讀媒體，其中所述對指配給所述第二種類的所述多 個分區進行編碼的指令包括使所述紋理模型適合於所述多個分區的所述數據。
50. 根據權利要求40所述的機器可讀媒體，其中所述紋理模型與馬爾可夫隨機域、吉 伯斯隨機域、細胞自動機和碎形中的至少一者相關聯。
51. 根據權利要求40所述的機器可讀媒體，其進一步包括執行以下動作的指令計算相鄰視頻幀的至少兩個分區之間的相似性值； 基於所述相似性值選擇分區來進行編碼；以及基於所述選定分區已經被指配給所述第一種類還是所述第二種類，通過使用所述 算法和所述紋理模型中的至少一者對所述選定分區進行編碼。
52. 根據權利要求51所述的機器可讀媒體，其中所述計算相似性值的指令包括使用絕 對差值和算法、平方差值和算法和經運動補償算法中的至少一者。
53. —種用於處理多媒體數據的處理器，所述處理器經配置以將數據分段成多個分區；將所述多個分區中的每一者指配給包括第一種類和第二種類的多個種類中的一 者；以及使用算法對指配給所述第一種類的所述多個分區進行編碼，且使用紋理模型對指 配給所述第二種類的所述多個分區進行編碼。
54. 根據權利要求53所述的處理器，其進一步經配置以傳輸與所述多個分區相關聯的 經編碼的數據、邊界信息和種類信息。
55. 根據權利要求53所述的處理器，其中分段包括對所述數據進行空間分段、時間分 段，或空間和時間分段兩者。
56. 根據權利要求53所述的處理器，其進一步經配置以識別可表示為紋理的所述多個 分區。
57. 根據權利要求53所述的處理器，其中將所述多個分區中的每一者指配給多個種類 中的一者是基於所述分區是否包括紋理。
58. 根據權利要求53所述的處理器，其中將所述多個分區中的每一者指配給多個種類 中的一者包括將算法應用於所述多個分區中的至少一者以產生所得數據；以及 如果所述所得數據滿足第一標準，那麼將所述多個分區中的所述至少一者指配給所述第一種類，且如果所述所得數據滿足第二標準，那麼將所述多個分區中的所述至少一者指配給所述第二種類。
59. 根據權利要求58所述的處理器，其中如果所述所得數據符合質量標準和位速率標 準中的至少一者，那麼所述第一標準被滿足，且如果所述所得數據不符合所述質量 標準和所述位速率標準中的所述至少一者，那麼所述第二標準被滿足。
60. 根據權利要求53所述的處理器，其中所述多個分區中的每一者具有任意形狀或任 意大小。
61. 根據權利要求53所述的處理器，其中對指配給所述第一種類的所述多個分區進行 編碼包括變換編碼或混合編碼。
62. 根據權利要求53所述的處理器，其中對指配給所述第二種類的所述多個分區進行 編碼包括使所述紋理模型適合於所述多個分區的所述數據。
63. 根據權利要求53所述的處理器，其中所述紋理模型與馬爾可夫隨機域、吉伯斯隨 機域、細胞自動機和碎形中的至少一者相關聯。
64. 根據權利要求53所述的處理器，其進一步經配置以計算相鄰視頻幀的至少兩個分區之間的相似性值；基於所述相似性值選擇分區來進行編碼；以及基於所述選定分區已經被指配給所述第一種類還是所述第二種類，通過使用所述 算法和所述紋理模型中的至少一者對所述選定分區進行編碼。
65. 根據權利要求64所述的處理器，其中計算相似性值包括使用絕對差值和算法、平 方差值和算法和經運動補償算法中的至少一者。
66. —種處理多媒體數據的方法，其包括使用算法對屬於第一種類的多個第一分區進行解碼； 使用紋理模型對屬於第二種類的多個第二分區進行解碼；以及 使用邊界信息、所述多個第一分區和所述多個第二分區來創建多媒體數據。
67. 根據權利要求66所述的方法，其進一步包括內插所述多媒體數據以產生經內插的 多媒體數據。
68. 根據權利要求66所述的方法，其進一步包括內插所述多個第一分區以產生多個經 內插的第一分區，且內插所述多個第二分區以產生多個經內插的第二分區。
69. 根據權利要求66所述的方法，其中對屬於所述第一種類的所述多個第一分區進行 解碼包括變換編碼或混合編碼。
70. 根據權利要求66所述的方法，其中所述紋理模型與馬爾可夫隨機域、吉伯斯隨機 域、細胞自動機和碎形中的至少一者相關聯。
71. —種用於處理多媒體數據的設備，其包括解碼器，其經配置以使用算法對屬於第一種類的多個第一分區進行解碼，且使用 紋理模型對屬於第二種類的多個第二分區進行解碼；以及產生模塊，其經配置以使用邊界信息、所述多個第一分區和所述多個第二分區來 創建多媒體數據。
72. 根據權利要求71所述的設備，其進一步包括內插模塊，所述內插模塊經配置以內 插所述多媒體數據以產生經內插的多媒體數據。
73. 根據權利要求71所述的設備，其進一步包括內插模塊，所述內插模塊經配置以內 插所述多個第一分區以產生多個經內插的第一分區，且內插所述多個第二分區以產 生多個經內插的第二分區。
74. 根據權利要求71所述的設備，其中對屬於所述第一種類的所述多個第一分區進行 解碼包括變換編碼或混合編碼。
75. 根據權利要求71所述的設備，其中所述紋理模型與馬爾可夫隨機域、吉伯斯隨機 域、細胞自動機和碎形中的至少一者相關聯。
76. —種包括指令的機器可讀媒體，所述指令在執行後立即致使機器使用算法對屬於第一種類的多個第一分區進行解碼； 使用紋理模型對屬於第二種類的多個第二分區進行解碼；以及 使用邊界信息、所述多個第一分區和所述多個第二分區來創建多媒體數據。
77. 根據權利要求76所述的機器可讀媒體，其中所述指令內插所述多媒體數據以產生 經內插的多媒體數據。
78. 根據權利要求76所述的機器可讀媒體，其中所述指令內插所述多個第一分區以產 生多個經內插的第一分區，且內插所述多個第二分區以產生多個經內插的第二分 區。
79. 根據權利要求76所述的機器可讀媒體，其中所述對屬於所述第一種類的所述多個 第一分區進行解碼的指令包括變換編碼或混合編碼。
80. 根據權利要求76所述的機器可讀媒體，其中所述紋理模型與馬爾可夫隨機域、吉 伯斯隨機域、細胞自動機和碎形中的至少一者相關聯。
81. —種用於處理多媒體數據的設備，其包括用於使用算法對屬於第一種類的多個第一分區進行解碼且使用紋理模型對屬於 第二種類的多個第二分區進行解碼的裝置；以及用於使用邊界信息、所述多個第一分區和所述多個第二分區來創建多媒體數據的 裝置。
82. 根據權利要求81所述的設備，其進一步包括用於內插所述多媒體數據以產生經內插的多媒體數據的裝置。
83. 根據權利要求81所述的設備，其進一步包括用於內插所述多個第一分區以產生多 個經內插的第一分區且內插所述多個第二分區以產生多個經內插的第二分區的裝 置。
84. 根據權利要求81所述的設備，其中所述用於對屬於所述第一種類的所述多個第一 分區進行解碼的裝置包括變換編碼或混合編碼。
85. 根據權利要求81所述的設備，其中所述紋理模型與馬爾可夫隨機域、吉伯斯隨機 域、細胞自動機和碎形中的至少一者相關聯。
86. —種用於處理多媒體數據的處理器，所述處理器經配置以使用算法對屬於第一種類的多個第一分區進行解碼，且使用紋理模型對屬於第二 種類的多個第二分區進行解碼；以及使用邊界信息、所述多個第一分區和所述多個第二分區來創建多媒體數據。
87. 根據權利要求86所述的處理器，其進一步經配置以內插所述多媒體數據以產生經 內插的多媒體數據。
88. 根據權利要求86所述的處理器，其進一步經配置以內插所述多個第一分區以產生 多個經內插的第一分區，且內插所述多個第二分區以產生多個經內插的第二分區。
89. 根據權利要求86所述的處理器，其中對屬於所述第一種類的所述多個第一分區進 行解碼包括變換編碼或混合編碼。
90. 根據權利要求86所述的處理器，其中所述紋理模型與馬爾可夫隨機域、吉伯斯隨 機域、細胞自動機和碎形中的至少一者相關聯。
全文摘要
一種用於處理多媒體數據的方法和設備，其包括將數據分段為多個分區，將所述多個分區中的每一者指配給包括第一種類和第二種類的多個種類中的一者，使用算法對指配給所述第一種類的所述多個分區進行編碼，且使用紋理模型對指配給所述第二種類的所述多個分區進行編碼。一種用於處理多媒體數據的方法和設備，其包括使用算法對屬於第一種類的多個第一分區進行解碼，使用紋理模型對屬於第二種類的多個第二分區進行解碼，以及使用邊界信息、所述多個第一分區和所述多個第二分區創建多媒體數據。
文檔編號H04N7/26GK101310534SQ200680042829
公開日2008年11月19日 申請日期2006年9月27日 優先權日2005年9月27日
發明者塞伊富拉·哈立德·奧古茲, 維賈雅拉克希米·R·拉韋恩德拉恩 申請人:高通股份有限公司