基於三維模型壓縮而生成重複性結構發現的比特流的方法和設備的製作方法
2023-10-07 02:33:29
基於三維模型壓縮而生成重複性結構發現的比特流的方法和設備的製作方法
【專利摘要】用於生成表示3D模型的比特流的方法和設備，以及用於處理該表示3D模型的比特流的方法和設備。通過使用「模式-實例」表示來建模3D模型，其中，模式是重複性結構的代表性幾何結構，而屬於重複性結構的連接組件被稱為對應模式的實例。在發現重複性結構以及它們的變換和屬性之後，本實施例以第一格式或第二格式來準備生成比特流。在第一格式中，模式ID及其關聯的變換和屬性信息在比特流中被分組在一起，而在第二格式中中，模式ID、變換屬性和屬性信息根據信息類型而被分組在一起。
【專利說明】基於三維模型壓縮而生成重複性結構發現的比特流的方法和設備
【技術領域】
[0001]本發明涉及基於3D模型壓縮算法的重複性結構發現的比特流語法和語義，用於生成表示3D模型的比特流的方法和設備，以及用於處理該表示3D模型的比特流的方法和設備。
【背景技術】
[0002]在實際應用中，很多3D模型由大量連接的組件構成。並且這些多向連接的3D模型通常包含以各種變換的重複性結構，如圖所示。用於此類3D模型的高效壓縮方法應當能夠提取存在於重複性結構中的冗餘。
[0003]本發明的擁有人還共同擁有K.Cai，Y.Jin和Z.Chen的名為「EfficientCompression Scheme for Large3D Engineering Mode Is，，的 PCT 申請(W02010149492)，該申請教導如下3D模型的壓縮方法:其由很多小型到中型的連接組件構成並且具有在各種位置、尺寸和朝向上重複的幾何結構特徵，其教導通過引用具體地合併於此。此方法發現了在各種位置、朝向和縮放因子上重複的結構。然後，3D模型整理為「模式-實例」的表示。模式是對應重複性結構的代表性幾何結構。屬於重複性結構的連接組件稱為對應模式的實例並由它們的變換表達，即，關於該模式的位置、朝向和可能的縮放因子。實例的朝向用笛卡爾坐標系中的(x0, y0, z0)和(xl, yl, zl)表示的2個正交軸或球坐標系中的(alpha,beta, gamma)來表不。
[0004]本發明的所有人還共同擁有K.Cai, ff.Jing和J.Tian的名為「Bitstream Syntaxand Semantics of Repetitive Structure Discovery Based3D Model CompressionAlgorithm」的PCT申請(PCT/CN2011/076991)，該申請教導用於壓縮實例變換數據的兩種方法。
【發明內容】
[0005]然而，存在提供可以處理諸如法線、顏色和紋理坐標之類的3D模型屬性並可以壓縮其變換包括反射變換的實例的方法和設備的需要。
[0006]因此，本原理提供可以用來壓縮諸如法線、顏色和紋理坐標之類的3D模型屬性並壓縮其變換包括反射變換的實例並生成包括此信息的比特流的方法和設備。
[0007]本原理提供用於生成表示3D模型的比特流的方法，包括:訪問與關聯於一些結構的模式的實例有關的信息，該信息包括與每一個相應模式關聯的模式識別符和變換信息；並生成表示實例的比特流，包括以下面描述的第一格式和第二格式之一布置(dispose)在比特流中的模式識別符和模式變換數據。本原理還提供用於執行這些步驟的設備。比特流還可以包括與多個模式關聯的信息以及以第一格式和第二格式之一的與該多個模式關聯的相應信息。
[0008]本原理還提供用於處理表示3D模型的比特流的方法，包括:確定該比特流是否包括與關聯於結構的模式的實例有關的信息，該信息包括以如下描述的第一格式或第二格式的模式識別符和與該模式關聯的變換信息；響應於確定步驟訪問關聯於模式的模式識別符和變換信息；並且解碼該模式識別符和該變換信息以生成3D模型數據。本原理還提供用於進行上述步驟的設備。比特流還可以包括與多個模式關聯的信息以及以第一格式和第二格式之一的與該多個模式關聯的相應信息。
[0009]本原理還提供在其上存儲了用於根據上述方法生成或處理比特流的指令的計算機可讀存儲介質。
[0010]本原理還提供在其上存儲了根據上述方法生成的比特流的計算機可讀存儲介質。【專利附圖】
【附圖說明】
[0011]圖1示出了具有大量連接組件和重複性結構的示例性3D模型；
[0012]圖2示出了包括用於根據基於重複性結構發現的壓縮算法，A3DMC，來確定比特流的結構的步驟的示例性處理；
[0013]圖3示出了與本原理有關的示例性編碼器；而
[0014]圖4示出了與本原理有關的示例性解碼器。
【具體實施方式】 [0015]在重複性結構發現期間僅檢查幾何結構。一個實例可以或與對應模式共享屬性數據或具有其自身的屬性數據。如果實例不與模式共享屬性，則該實例的屬性將被分別壓縮。
[0016]實例信息可以被劃分為四個部分，反射部分、旋轉部分、平移(translation)部分以及可能的縮放部分。該四個部分被分別壓縮。
[0017]全部模式被壓縮在一起以便於實現更多的比特率節約。在解碼期間，模式需要在恢復實例之前彼此分離。
[0018]圖3和4示出了適合於實現本原理的各個方面的示例性編碼器和解碼器。編碼器和解碼器的細節在 申請人:的共有PCT申請W02010149492和PCT/CN2011/076991中提供，而那裡的描述在此通過引用而顯式地合併到本申請中。如本領域技術人員將明白的，CODEC可以用硬體、軟體或固件以及這些方式的組合來實現，以便對在其中要求這樣的3D渲染的各種環境提供靈活性。除其它之外，專用集成電路(ASIC)、可編程陣列邏輯電路、分立半導體電路以及可編程數位訊號處理電路、計算機可讀介質(易失性或非易失性)可以全部被用來實現本發明。這些均為本發明的可能實現方式的非限制示例，並且本領域技術人員將明白其他實施例也可以是可行的。
[0019]兩個實例壓縮方式
[0020]儘管我們希望比特流嵌入全部實例數據，但是我們還希望其高效並且解決其中有時比特流尺寸或解碼效率或錯誤恢復最重要的若干應用。
[0021]因而，我們提出如何在比特流中放置(put)模式的一個實例的數據(即，其模式ID、其反射變換部分(F)、其平移變換部分(T)、其旋轉變換部分(R)及其縮放變換部分(S))的兩個選項，例如，該ID為模式壓縮數據流中的模式的實際位置，I對應第一模式，2對應第二模式，…。它們均具有它們的優缺點。
[0022]選項(A)基本實例數據方式(ID、F、T、R、S、ID、F、T、R、S…):使用此方式，一個實例的模式ID、反射變換部分、平移變換部分、旋轉變換部分和縮放變換部分在比特流中一起打包(pack)。
[0023]優點:
[0024]?抗誤碼。解碼器可以在丟失一些實例的變換的情況下恢復。
[0025]?在線解碼。這意味著實例可以在壓縮比特流的實際讀取期間逐一解碼。不存在等待完成讀取整個壓縮比特流的需要。
[0026]?更高的編解碼速度。
[0027]?編解碼不需要緩衝。
[0028]缺點:
[0029]?相對更大的壓縮3D模型尺寸。
[0030]選項⑶分組實例數據方式(ID、ID、F、F、T、T、R、R、S、S):使用此方式，信息被基於信息類型分組到一起，即，一個實例的模式ID、反射變換部分、平移變換部分、旋轉變換部分和縮放變換部分在比特流中一起打包。
[0031]優點:
[0032]?相對較小的壓縮3D模型尺寸。
[0033]缺點:
[0034]?解碼器不再抗誤碼。
[0035]?離線解碼。這意味著解碼器僅可以在讀取整個壓縮比特流之後開始解碼。
[0036]?較低的編解碼速度。
[0037]?緩衝是必要的。
[0038]當前的比特流定義將包括以上兩個選項兩者。然後，用戶可以選擇更適於其應用的一個。特定實現可以選擇僅實現兩個實例數據方式中的一個。對於這種情況，比特流定義將相應地改變。細節請參考「比特流語法和語義」章節。
[0039]因為實例可以具有更大的解碼誤差，該誤差定義為原始組件和從模式以及實例變換中恢復的組件之間的距離，因此比特流的一些數據欄位定義為表示壓縮實例解碼誤差以確保解碼的3D模型質量。是否壓縮實例的解碼誤差例如基於質量要求。
[0040]實例變換的壓縮
[0041]如下所述，實例變換可以劃分為四個部分，反射部分(Refle)、旋轉部分(Rotat)、平移部分(Transl)、和可能的縮放部分。
[0042]
【權利要求】
1.基本如上所述的方法。
2.基本如上所述的設備。
3.基本如上所述的計算機可讀存儲。
4.一種用於生成表示3D模型的比特流的方法，包括: 訪問與關聯於結構的模式的實例有關的信息，所述信息包括與所述模式關聯的模式識別符和變換信息；並 生成表示所述實例的比特流，包括以第一格式和第二格式之一布置在比特流中的模式識別符和模式變換數據。
5.如權利要求4所述的方法，其中，所述變換信息包括反射部分、平移部分、旋轉部分和縮放部分的至少一個。
6.如權利要求5所述的方法， 包括多個模式和模式信息，其中，所述第一格式包括將模式識別符的每一個及其關聯的變換信息分組在一起，而所述第二格式包括根據信息類型將模式識別符分組在一起並將變換信息分組在一起。
7.如權利要求6所述的方法，進一步包括訪問與每一個模式關聯的屬性信息的步驟。
8.如權利要求7所述的方法，其中，所述屬性信息包括法線、顏色和紋理坐標的至少一個。
9.如權利要求8所述的方法，其中，所述第一格式包括將模式識別符的每一個及其相應變換信息和屬性信息分組在一起，而所述第二格式包括根據信息類型將模式識別符分組在一起並將變換信息和屬性信息分組在一起。
10.一種用於生成表示3D模型的比特流的設備，包括: 用於訪問與關聯於結構的模式的實例有關的信息的部件，所述信息包括與所述模式關聯的模式識別符和變換信息；以及 用於生成表示所述實例的比特流的部件，該比特流包括以第一格式和第二格式之一布置在比特流中的模式識別符和模式變換數據。
11.如權利要求10所述的設備，其中，所述變換信息包括反射部分、平移部分、旋轉部分和縮放部分的至少一個。
12.如權利要求11所述的設備，其中，所述模式包括多個模式，而所述第一格式包括將模式識別符的每一個及其關聯的變換信息分組在一起，而所述第二格式包括根據信息類型將模式識別符分組在一起並將變換信息分組在一起。
13.如權利要求12所述的設備，其中，所述用於訪問的部件訪問與每一個模式關聯的屬性信息。
14.如權利要求13所述的設備，其中，所述屬性信息包括法線、顏色和紋理坐標的至少一個。
15.如權利要求14所述的設備，其中，所述第一格式包括將模式識別符的每一個及其相應變換信息和屬性信息分組在一起，而所述第二格式包括根據信息類型將模式識別符分組在一起並將變換信息和屬性信息分組在一起。
16.一種用於處理表示3D模型的比特流的方法，包括: 確定所述比特流是否包括與關聯於結構的模式有關的信息，所述信息包括以第一格式或第二格式的模式識別符和與所述模式關聯的變換信息；響應於確定步驟訪問與所述模式關聯的模式識別符和變換信息；並且 解碼所述模式識別符和相應的變換信息以生成3D模型數據。
17.如權利要求16所述的方法，其中，所述變換信息包括反射部分、平移部分、旋轉部分和縮放部分的至少一個。
18.如權利要求17所述的方法，其中，所述比特流包括多個模式的信息，並且其中，所述第一格式包括分組在一起的模式識別符的每一個及其關聯的變換信息，而所述第二格式包括根據信息類型而分組在一起的模式識別符和分組在一起的變換信息。
19.如權利要求18所述的方法，進一步包括訪問與每一個模式關聯的屬性信息的步驟。
20.如權利要求19所述的方法，其中，所述屬性信息包括法線、顏色和紋理坐標的至少一個。
21.如權利要求20所述的方法，其中，所述第一格式包括分組在一起的模式識別符的每一個及其相應變換信息和屬性信息，而所述第二格式包括根據信息類型而分組在一起的模式識別符和分組在一起的變換信息和屬性信息。
22.一種用於處理表示3D模型的比特流的設備，包括: 用於確定所述比特流是否包括與關聯於結構的模式有關的信息的部件，所述信息包括以第一格式或第二格式的模式識別符和與所述模式關聯的變換信息； 用於響應於確定步驟訪問與所述模式關聯的模式識別符和變換信息的部件；以及 用於解碼所述模式識別符和相應的變換信息以生成3D模型數據的部件。
23.如權利要求22所述的設備，其中，所述變換信息包括反射部分、平移部分、旋轉部分和縮放部分的至少一個。
24.如權利要求23所述的設備，其中，所述比特流包括涉及多個模式的信息，並且其中，所述第一格式包括分組在一起的模式識別符的每一個及其關聯的變換信息，而所述第二格式包括根據信息類型而分組在一起的模式識別符和分組在一起的變換信息。
25.如權利要求24所述的設備，其中，所述用於訪問的部件訪問與每一個模式關聯的屬性信息。
26.如權利要求25所述的設備，其中，所述屬性信息包括法線、顏色和紋理坐標的至少一個。
27.如權利要求26所述的方法,其中，所述第一格式包括分組在一起的模式識別符的每一個及其相應變換信息和屬性信息，而所述第二格式包括根據信息類型而分組在一起的模式識別符和分組在一起的變換信息和屬性信息。
28.—種具有在其上存儲了用於根據權利要求4、5、6、7、8、9、16、17、18、19、20或21來生成或處理比特流的指令的計算機可讀存儲介質。
29.一種具有在其上存儲了根據權利要求4、5、6、7、8或9而生成的比特流的計算機可讀存儲介質。
【文檔編號】H04N19/184GK103975593SQ201180074949
【公開日】2014年8月6日 申請日期:2011年11月25日 優先權日:2011年11月25日
【發明者】蔡康穎, 江文斐, 田疆 申請人:湯姆遜許可公司