用於壓縮三維模型的紋理信息的方法及裝置製造方法

2023-09-13 02:27:35 2

用於壓縮三維模型的紋理信息的方法及裝置製造方法
【專利摘要】可以使用「圖案-實例」表示對3D模型進行建模。為了描述頂點和三角形，實例的性質(例如，紋理、色彩和法線)被調整成與圖案中的次序相對應。根據實例的紋理與對應圖案的紋理之間的相似性，對實例的紋理進行編碼。當實例紋理與圖案紋理相同或者幾乎相同時，不對實例紋理進行編碼，並且將使用圖案紋理重建實例紋理。當實例紋理與圖案紋理相似時，根據圖案紋理對實例紋理進行預測性的編碼，即，對實例紋理與圖案紋理之間的差分進行編碼，並且將實例紋理確定為圖案紋理與該差分的結合。
【專利說明】用於壓縮三維模型的紋理信息的方法及裝置
[0001] 本專利申請要求於2012年1月21日提交的中國PCT專利申請第PCT/ CN2012/070703號以及於2012年4月19日提交的中國PCT專利申請第PCT/CN2012/074356 的優先權，並通過引用將其全部內容併入本文。

【技術領域】
[0002] 本發明涉及一種用於產生代表3D模型的比特流的方法和裝置以及一種對該者進 行解碼的方法和裝置。

【背景技術】
[0003] 在實際的應用中，很多3D模型由大量的連通成分組成。如圖1所示，這些多成分 3D模型通常在不同的變換中包含很多重複結構。
[0004] 已知利用輸入模型中的重複結構的多成分3D模型的壓縮算法。發現不同的位置、 方向以及縮放因子的3D模型的重複結構。然後，將3D模型組織成"圖案-實例"表示。圖 案用於表示對應的重複結構的有代表性的幾何形狀。將屬於一個重複結構的成分記為對應 的圖案的實例，並且可以通過圖案ID和變換信息（例如，關於圖案的反射、平移、旋轉以及 可行縮放）來表示。例如，可以將實例變換信息組織成反射部分、平移部分、旋轉部分以及 可行縮放部分。可能存在不重複的3D模型的一些成分，將其稱為唯一成分。
[0005] 標題為〈〈Efficient compression scheme for large3D engineering models)) (PCT/EP10/058048,律師案卷號 PA090039)的 K. Cai、Y. Jin 和 Z. Chen 共同擁有的 PCT 申請 (通過引用將其教導具體地併入本文）公開了一種用於具有在不同的位置、縮放和方向上 重複的幾何特徵的3D模型的壓縮方法。
[0006] 標題為《Bitstream syntax and semantics of repetitive structure discovery based3D model compression algorithm》（PCT/CN2011/076991，律師案卷號 PA110044)的K. Cai、W. Jiang和J. Tian的另一共同擁有的PCT申請（通過引用將其教導 具體地併入本文）公開了兩種用於壓縮實例變換信息的模式。
[0007] 標題為〈〈Method and apparatus for generating a bitstream of repetitive structure discovery based3D model compression》（PCT/CN2〇ll/〇82942,律師案卷號 PA110067)的Κ· Cai、W. Jiang和J. Tian的另一共同擁有的PCT申請（通過引用將其教導 具體地併入本文）公開了兩種實例壓縮模式，即基本實例數據模式和分組實例數據模式。
[0008] 標題為〈〈System and method for error controllable repetitive structure discovery based compression》（PCT/CN2012/070877,律師案卷號 PA120001)的 K.Cai、 W. Jiang和T. Luo的另一共同擁有的PCT申請（通過引用將其教導具體地併入本文）公開 了一種用於識別3D模型中的重複結構以減少實例成分中的冗餘從而提高壓縮效率的方法 及裝置。


【發明內容】

[0009] 本原理提供一種用於對表示3D模型的比特流進行解碼的方法，該方法包含以下 步驟：根據所述比特流來確定圖案的實例是否使用所述圖案的性質，其中，所述圖案與所述 3D模型的結構相關聯，所述實例被表示為所述圖案的變換；以及，響應於所述圖案的性質 來確定所述實例的性質，其中，所述實例的性質對應於如下所述的紋理、紋理坐標、色彩以 及法線之一。本原理還提供了一種用於實施這些步驟的裝置。
[0010] 本原理還提供了一種用於產生表示3D模型的比特流的方法，該方法包含以下步 驟：存取圖案的實例，其中，所述圖案與所述3D模型的結構相關聯，並且所述實例被表示為 所述圖案的變換；以及，在所述比特流中指示是否使用所述圖案的性質對所述實例的性質 進行了編碼，其中，所述實例的性質對應於如下所述的紋理、紋理坐標、色彩以及法線之一。 本原理還提供了一種用於實施這些步驟的裝置。
[0011] 本原理還提供了一種用於產生表示3D模型的比特流的方法，該方法包含以下步 驟：確定與結構相關聯的圖案中的第一面中的頂點的次序；存取多個性質集，其中，所述多 個性質集中的每個性質集都與所述圖案的實例中的第二面中的對應的頂點相關聯；以及， 響應於如下所述的所確定的次序來對所述多個性質集排序。本原理還提供了一種用於實施 這些步驟的裝置。
[0012] 本原理還提供了一種計算機可讀存儲介質，其上存儲用於根據上述方法產生或者 解碼比特流的指令。
[0013] 本原理還提供了一種計算機可讀存儲介質，其上存儲根據上述方法產生的比特 流。

【專利附圖】

【附圖說明】
[0014] 圖1示出具有大量成分和重複結構的示例性的3D模型；
[0015] 圖2A是圖不圖案和實例的圖形不例，圖2B是圖不該圖案和實例的紋理圖像的圖 形示例；
[0016] 圖3A是圖示不帶有實例三角形與圖案三角形之間的一對一對應的實例頂點與圖 案頂點之間的一對一對應的圖形示例，圖3B是圖示實例相對於圖案被翻轉的圖形示例；
[0017] 圖4是圖示根據本原理的實施例對3D模型進行編碼的示例的流程圖；
[0018] 圖5A是圖示根據本原理的實施例的圖案和實例的另一圖形示例，圖5B是根據本 原理的實施例的調整前的實例的紋理坐標的列表，圖5C是根據本原理的實施例的調整後 的實例的紋理坐標的列表。
[0019] 圖6A和6B是圖示3D模型的紋理圖像的兩個部分的圖形示例；
[0020] 圖7是圖示根據本原理的實施例確定實例的紋理補片與對應的圖案的紋理補片 之間相似性的示例的流程圖；
[0021] 圖8是圖示根據本原理的實施例確定紋理編碼模式的示例的流程圖；
[0022] 圖9是圖示根據本原理的實施例對紋理圖像進行解碼的示例的流程圖；
[0023] 圖10A是圖示根據本原理的實施例的紋理圖像的圖形示例，圖10B和10C是圖示 根據本原理的實施例的處理後的紋理圖像的圖形示例；
[0024] 圖11是圖示可以與本原理的一種或多種實現方式一起使用的編碼器的示例的框 圖；
[0025] 圖12是圖示可以與本原理的一種或多種實現方式一起使用的解碼器的示例的框 圖；
[0026] 圖13是圖示可以與本原理的一種或多種實現方式一起使用的數據處理系統的示 例的框圖；
[0027] 圖14是圖示可以與本原理的一種或多種實現方式一起使用的數據處理系統的另 一示例的框圖。

【具體實施方式】
[0028] 如圖1所示，在3D模型中可能存在很多重複結構。為了高效地對3D模型進行編 碼，可以將重複結構組織成圖案和實例，其中，例如使用對應圖案的圖案ID和包含關於平 移、旋轉和縮放的信息的變換矩陣將實例表示為對應圖案的變換。
[0029] 在通過圖案ID和變換矩陣表示實例時，在壓縮實例的同時壓縮圖案ID和變換矩 陣。因此，可以通過圖案ID和解碼後的變換矩陣來重建實例，S卩，可以將實例重建為通過圖 案ID索引的解碼後的圖案（根據解碼後的變換矩陣）的變換。
[0030] 為了表示帶紋理的3D模型，可以與幾何形狀一起傳送一個或多個紋理圖像。3D模 型的每個面都對應於（多個）紋理圖像的某個區域。對每個頂點在（多個）紋理圖像中的 對應的坐標進行編碼，從而表示該映射關係。
[0031] 因為對紋理進行編碼通常比對3D模型的幾何形狀和連通性進行編碼使用更多的 比特，所以優選高效地壓縮紋理信息。本原理提供了一種利用重複紋理之間的冗餘來高效 地壓縮3D模型的紋理信息的方法和裝置。
[0032] 圖2A例示了示例性的圖案201和示例性的實例202。用索引指示每個頂點或面。 例如，該圖案中的面240由索引T6指示，其三個頂點由索引V13、V12和V14指示。該實例 中的對應的面245由索引T20指示，其三個頂點由索引V12、V8和V3指示。當該圖案和該 實例對齊時，它們基本上是彼此重疊的，此時，我們表示該圖案中的面或頂點對應於該實例 中面或頂點，反之亦然。注意：對於圖案和實例，用於對應的面或頂點的索引是不同的。圖 2B分別例示了圖案201和實例202的示例性的紋理圖像203和204。
[0033] 可以通過包括所有頂點坐標的頂點表（V0、V1、V2、......）和包括該頂點表中的所 有三角形的頂點索引的三角形表（T0、T1、T2、……）來表示3D模型。而且，每個頂點和三 角形都可以具有一種或多種性質，諸如法線、色彩和紋理坐標。可以將那些頂點性質和三角 形性質附加到對應的表中的頂點和三角形上或者按照該頂點/三角形表中的相同的頂點/ 三角形次序存儲在另外的頂點/三角形性質表中。
[0034] 表1例示了包含頂點、紋理坐標、法線和面的定義的示例性的3D網格文件。
[0035] 表 1
[0036]

【權利要求】
1. 一種對表示3D模型的比特流進行解碼的方法，該方法包含以下步驟： 根據所述比特流確定（910)圖案的實例是否使用所述圖案的性質，所述圖案與所述3D 模型的結構相關聯，並且所述實例被表示為所述圖案的變換；以及 響應於所述圖案的性質，確定（935,960)所述實例的性質，其中，所述實例的性質對應 於紋理、紋理坐標、色彩以及法線之一。
2. 根據權利要求1所述的方法，還包含以下步驟： 根據所述比特流確定（955)所述實例的性質與所述圖案的性質之間的差分，其中，確 定所述實例的性質的步驟還響應於所確定的所述實例的性質與所述圖案的性質之間的差 分。
3. -種產生表示3D模型的比特流的方法，該方法包含以下步驟： 存取圖案的實例，所述圖案與所述3D模型的結構相關聯，並且所述實例被表示為所述 圖案的變換；以及 在所述比特流中指示（830、835、840)是否使用所述圖案的性質對所述實例的性質進 行編碼，其中，所述實例的性質對應於紋理、紋理坐標、色彩以及法線之一。
4. 根據權利要求3所述的方法，還包含以下步驟： 確定（785)所述實例的性質與所述圖案的性質之間的差分；以及 在所述比特流中指示所述實例的性質與所述圖案的性質之間的差分。
5. 根據權利要求3所述的方法，所述實例的性質對應於紋理，還包含以下步驟： 確定（730)所述實例的紋理補片與對應的所述圖案的紋理補片之間的相關性；以及 確定是否使用對應的所述圖案的紋理補片對所述實例的紋理補片進行編碼。
6. 根據權利要求5所述的方法，其中，如果所述實例的紋理補片被確定為與所述對應 的所述圖案的紋理補片相同或者幾乎相同，則從紋理圖像中除去所述實例的紋理補片。
7. 根據權利要求5所述的方法，其中，如果所述實例的紋理補片被確定為與所述對應 的所述圖案的紋理補片相同或幾乎相同，則使所述實例的紋理補片的內容無效。
8. 根據權利要求5所述的方法，其中，所述實例的紋理補片是對應於所述3D模型上的 一組相鄰三角形的紋理圖像中的區域。
9. 一種產生表示3D模型的比特流的方法，該方法包含以下步驟： 確定與結構相關聯的圖案中的第一面中的頂點的次序； 存取多個性質集，其中，所述多個性質集中的每個性質集都與所述圖案的實例中的第 二面中的對應的頂點相關聯；以及 響應於所確定的次序，對所述多個性質集排序（430)。
10. 根據權利要求9所述的方法，還包含： 確定（430)與所述圖案中的第一面相對應的所述實例中的第二面。
11. 根據權利要求9所述的方法，其中，第一多個性質集中的每個性質集都包括紋理坐 標、紋理圖像、色彩以及法線之中的至少一項。
12. -種包括用於根據權利要求1至11中任一項產生或解碼比特流的部件的裝置。
13. -種計算機可讀存儲介質，其上存儲用於根據權利要求1至11中任一項產生或解 碼比特流的指令。
14. 一種計算機可讀存儲介質，其上存儲根據權利要求3至11中任一項產生的比特流。
【文檔編號】G06T17/00GK104094317SQ201280067669
【公開日】2014年10月8日 申請日期:2012年12月29日 優先權日:2012年1月21日
【發明者】江文斐, 田疆, 蔡康穎, 羅濤 申請人:湯姆遜許可公司