一種基於預測的三維網格編碼方法
2023-05-10 03:44:11
專利名稱：一種基於預測的三維網格編碼方法
技術領域：
本發明屬於圖像處理的技術領域，具體地涉及一種基於預測的三維網格編碼方法。
背景技術：
隨著三維掃描和建模技術的發展，三維網格成為繼聲音、圖像、視頻之後的一種新型多媒體數據。由於三維網格數據規模和複雜程度的急劇增長，給三維網格的存儲、處理、網絡傳輸以及瀏覽帶來了很大壓力。因此，必須對三維網格進行高效的壓縮。三維網格壓縮首先在1995年提出，因此它是一個新的、迅速發展的研究課題。三維網格壓縮根據是否改變原始拓撲連接關係可以分為不規則網格編碼和重網格編碼兩種。保留原始拓撲連接對於精確的重構原始三維網格的細節信息非常重要。不規則網格編碼主要包括對幾何數據以及拓撲信息的編碼，每個頂點的拓撲信息的編碼大約需要2個比特。幾何數據是連續的(x，y，z)頂點位置，為了對他們進行編碼，需要將其量化成10、12或者14比特的離散數據。但是對不規則網格進行編碼十分困難，因為這些不規則的樣本點與常用的編碼方法並不適用。而且，對於很多應用來說，保留原始的拓撲連接也不是必要的。拓撲信息的編碼需要分配大量的比特，但是對於重構網格的誤差計算卻沒有任何幫助。幾何圖像是一種新的三維網格表示方法，它一種規則的三維網格表示方法，由原始三維網格生成的幾何圖像是一副與原始三維網格模型對應的真彩色的二維圖像。為了生成幾何圖像，首先將網格進行剖分，以減少參數化過程中帶來的扭曲；然後是其核心步驟參數化，通常以保持形狀扭曲最小為目標，將網格模型參數化到正方形區域內；之後對參數化後的網格進行離散重採樣，得到二維的規則化網格，該二維網格上的每個柵格點對應三維網格的幾何坐標值(x，y，z)作為二維柵格點的顏色值(r，g，b)。由此，就生成了一副與原始三維網格模型對應的真彩色圖像，由於這幅圖像中存儲的是三維空間中頂點的幾何數據，因此稱之為幾何圖像。按照同樣的方法，可以構造與該幾何圖像對應的法向量紋理圖像和其它信息(如顏色)的圖像。對於零虧格的網格，使用球面參數化可以生成球面幾何圖像。幾何圖像比較光滑，相鄰像素的相關性很強，並且可以採用傳統的圖像壓縮算法進行編碼和傳輸。在解碼端重構三維網格模型時，幾何圖像中每4個柵格點圍成的四方格沿著對角線分裂成兩個三角形，根據柵格點的坐標值和新生成的拓撲連接關係重構出三維網格模型。隨著計算機圖形學在模擬真實環境方面的廣泛應用和快速發展，人們對其模擬的視覺真實性要求越來越高。紋理貼圖可以通過紋理來表達表面豐富的幾何細節和光照細節，甚至可以通過映射後紋理的變形來表達物體的幾何形狀，法向量紋理圖像是它的一個技術擴展，是一種光照技術，記載了對象表面材質的各個像素對光線的反射向量，由於紋理中存儲的是法向量而不是顏色，所以表面的紋理和陰影細節可以隨著光源位置的改變而發生變化，使模擬的虛擬環境更真實，使人產生身臨其境的感覺，提高操作者的沉浸感。法向量紋理圖像包含的法向量信息是表現三維網格繪製的真實感的重要因素，因此成為三維網格模型中増加真實性的ー個重要工具。法向量圖像中存儲的是原始網格的量化後的法向量信息。它將原始網格的法向量信息(nx，ny，nz)由[_1，1]映射到
，這樣就能用RGB圖像表示。法向量圖像記錄了原始網格的細節特徵，因此在繪製階段能夠提升重構網格的視覺效果。但是，法向量圖像的相鄰像素相關性很弱，並且含有豐富的細節信息，不易於壓縮編碼，如果採用直接對法向量圖像編碼的方法對其進行壓縮編碼，編碼後碼流較大，解碼後圖像的質量不高，繪製階段很難表現重構三維網格模型的真實感。
發明內容
本發明的技術解決問題是克服現有技術的不足，提供一種編碼後碼流小、解碼後圖像質量高、繪製階段重構三維網格模型的真實感強、視覺體驗好的基於預測的三維網格編碼方法。本發明的技術解決方案是這種基於預測的三維網格編碼方法，包括編碼和解碼，編碼利用編碼器並包括以下步驟(El)生成原始幾何圖像、原始法向量紋理圖像；(E2)對原始幾何圖像進行編碼壓縮生成原始幾何圖像的碼流，並輸出；(E3)根據原始幾何圖像的碼流生成預測法向量紋理圖像；解碼利用解碼器並包括以下步驟(Dl)對解碼端收到的原始幾何圖像的碼流進行解碼，生成重構幾何圖像；(D6)根據解碼後的幾何圖像和重構的法向量紋理圖像重構出三維網格模型；其特徵在幹在編碼端還包括以下步驟(E4)根據原始法向量圖像的前兩個分量和步驟(E3)中生成的預測法向量圖像的前兩個分量，計算前兩個分量的預測殘差；(E5)對法向量紋理圖像的前兩個分量的預測殘差進行編碼壓縮生成預測殘差的碼流，並輸出預測殘差的碼流；(E6)對法向量紋理圖像的前兩個分量的預測殘差進行解碼，並與預測圖像相加，重構出法向量紋理圖像的前兩個分量；(E7)用重構的法向量紋理圖像的前兩個分量計算第三個法向量紋理圖像的分量;(ES)用原始法向量紋理圖像的第三個分量和步驟(E7)中計算的預測圖像做差，生成法向量紋理圖像的第三個分量的預測殘差；(E9)對法向量紋理圖像的第三個分量的預測殘差進行編碼壓縮生成預測殘差的碼流，並輸出預測殘差的碼流；解碼在步驟(Dl)和(D6)之間包括以下步驟(D2)根據步驟(Dl)中重構的幾何圖像計算法向量紋理圖像的前兩個分量的預測圖像； (D3)對法向量紋理圖像的前兩個分量的預測殘差進行解碼，井根據解碼的法向量紋理殘差的前兩個分量和步驟(D2)中生成的預測法向量圖像的前兩個分量，計算法向量紋理圖像的前兩個分量；
(D4)用重構的法向量紋理圖像的前兩個分量計算第三個法向量紋理圖像的分量;(D5)對法向量紋理圖像的第三個分量的預測殘差進行解碼，並根據步驟(D4)中生成的預測法向量圖像的第三個分量，計算法向量紋理圖像的第三個分量。由於本方法在預測法向量紋理圖像時，充分考慮了幾何圖像和法向量紋理圖像之間以及法向量紋理圖像三個分量之間的相關性，所預測的法向量圖像的質量更高，從而使得預測殘差更小，更便於編碼傳輸，並且使得解碼後的法向量紋理圖像的質量得到了極大的提高，重構的三維網格模型的真實感效果提升，使用戶得到更好的視覺體驗。
圖I示出了根據本發明的基於預測的三維網格編碼方法的編碼的流程圖；圖2示出了根據本發明的基於預測的三維網格編碼方法的解碼的流程圖；圖3是本發明中幾何圖像轉換成三維網格的示意圖；圖4示出了本發明與傳統方法編碼的PSNR曲線；圖5示出了本發明與傳統方法的法向量圖像編碼的PSNR曲線。
具體實施例方式如圖I和2所示，這種基於預測的三維網格編碼方法，包括編碼和解碼，編碼利用編碼器並包括以下步驟(El)生成原始幾何圖像、原始法向量紋理圖像；(E2)對原始幾何圖像進行編碼壓縮生成原始幾何圖像的碼流，並輸出；(E3)根據原始幾何圖像的碼流生成預測法向量紋理圖像；解碼利用解碼器並包括以下步驟(Dl)對解碼端收到的原始幾何圖像的碼流進行解碼，生成重構幾何圖像；(D6)根據解碼後的幾何圖像和重構的法向量紋理圖像重構出三維網格模型；在編碼端還包括以下步驟(E4)根據原始法向量圖像的前兩個分量和步驟(E3)中生成的預測法向量圖像的前兩個分量，計算前兩個分量的預測殘差；(E5)對法向量紋理圖像的前兩個分量的預測殘差進行編碼壓縮生成預測殘差的碼流，並輸出預測殘差的碼流；(E6)對法向量紋理圖像的前兩個分量的預測殘差進行解碼，並與預測圖像相加，重構出法向量紋理圖像的前兩個分量； (E7)用重構的法向量紋理圖像的前兩個分量計算第三個法向量紋理圖像的分量;(ES)用原始法向量紋理圖像的第三個分量和步驟(E7)中計算的預測圖像做差，生成法向量紋理圖像的第三個分量的預測殘差；(E9)對法向量紋理圖像的第三個分量的預測殘差進行編碼壓縮生成預測殘差的碼流，並輸出預測殘差的碼流；解碼在步驟(Dl)和(D6)之間包括以下步驟
(D2)根據步驟(Dl)中重構的幾何圖像計算法向量紋理圖像的前兩個分量的預測圖像；(D3)對法向量紋理圖像的前兩個分量的預測殘差進行解碼，井根據解碼的法向量紋理殘差的前兩個分量和步驟(D2)中生成的預測法向量圖像的前兩個分量，計算法向量紋理圖像的前兩個分量(D4)用重構的法向量紋理圖像的前兩個分量計算第三個法向量紋理圖像的分量;(D5)對法向量紋理圖像的第三個分量的預測殘差進行解碼，井根據步驟(D4)中生成的預測法向量圖像的第三個分量，計算法向量紋理圖像的第三個分量。由於本方法在預測法向量紋理圖像時，充分考慮了幾何圖像和法向量紋理圖像之間以及法向量紋理圖像三個分量之間的相關性，所預測的法向量圖像的質量更高，從而使得預測殘差更小，更便於編碼傳輸，並且使得解碼後的法向量紋理圖像的質量得到了極大的提高，重構的三維網格模型的真實感效果提升，使用戶得到更好的視覺體驗。優選地，所述步驟(El)包括以下分步驟(BI. I)將原始三維網格模型通過由精到粗的步驟進行簡化操作，並記錄簡化過程中刪除的頂點和邊，直到三維網格簡化成ー個四面體，將此四面體嵌入單位圓內，這樣四面體的四個頂點在圓域上擁有唯一的坐標；(E1. 2)按照由粗到精的步驟將步驟(E1. I)的簡化過程中刪除的頂點和邊逐步嵌入圓域上當加入頂點吋，以幾何拉伸為度量優化每個新加入頂點的位置，以減少參數化過程中帶來的扭曲；當所有頂點都嵌入圓域上之後，就完成了對原始三維網格的球面參數化，新生成的球面網格和原始網格拓撲同構；(BI. 3)為了進行後續的採樣，將球面網格的所有頂點映射到ー個正八面體上，將正八面體從ー個頂點以及與該頂點相鄰的四條稜分裂並參數化到平面域上，對平面域的三維網格進行離散重採樣，得到規則化的ニ維網格圖像，與ニ維網格上的每個柵格點所對應的三維網格的幾何坐標值(X，1，z)對應於ニ維網格上的每個柵格點的顏色值(r，g，b)，於是就得到一副與原始三維網格模型對應的真彩色的ニ維原始幾何圖像，並且採用傳統的圖像壓縮算法進行編碼和傳輸；(E1. 4)當與ニ維網格上的每個柵格點所對應的三維網格的法向量值(nl，n2, n3)對應於ニ維網格上的每個柵格點的顏色值(r，g，b)，就得到與該三維網格模型對應的原始法向量紋理圖像。優選地，所述步驟(E2)為通過編碼器對由原始三維網格生成的原始幾何圖像進行壓縮編碼，生成原始幾何圖像的碼流，其中一路輸出給編碼端的解碼器，另一路輸出給信道。優選地，所述步驟(E3)為對原始幾何圖像的碼流進行解碼，生成重構幾何圖像，根據重構幾何圖像所隱含的拓撲關係重構出三維網格，計算與重構幾何圖像相對應的法向量信息，並將計算的法向量由[_1，1]映射到
範圍，生成預測法向量圖像。優選地,所述步驟(E4)為將超過[-128,128]範圍的殘差視為噪聲,姆個殘差值加上128，即殘差範圍變化到
，殘差圖像的RGB三個分量都處於圖像可表示的範圍之內。
優選地，所述步驟(E5)為生成法向量紋理圖像的前兩個分量的預測殘差的碼流，其中一路輸出給編碼端的解碼器，另一路輸出給信道。下面具體說明法向量圖像預測的方法。為了增強重構的三維網格模型的真實感，需要將法向量紋理圖像由編碼端傳輸到解碼端。而法向量紋理圖像的相鄰像素相關性很弱，不易於壓縮編碼，編碼後碼流較大，解碼後圖像的質量不高。通過在編碼端計算其在解碼端重構出的三維網格及其法向量紋理圖像，可以將其與原始法向量紋理圖像比對，計算其誤差，並僅需將這部分殘差傳輸到解碼端，從而降低 了編碼複雜度及編碼碼流長度。基於混合預測機制的法向量紋理圖像編碼的關鍵點在於預測圖像與原始圖像 之間的差異要儘可能小，這樣才能使最後的殘差圖像包含儘可能少的高頻數據。對於法向量紋理圖像的每個分量的預測，有圖像間預測模式和圖像內部預測模式兩種預測方法選擇。I、圖間預測模式圖間預測模式是指利用已經編碼並解碼後的幾何圖像預測法向量紋理圖像。如圖3所示，通過將幾何圖像中相鄰的2X2像素點的按照對角線劃分成兩個三角面片，這樣就能將幾何圖像轉換成三維網格。由於幾何圖像中存儲的是三維空間中的頂點幾何位置，因此計算由幾何圖像生成的三維網格的所以頂點的法向量信息，並將計算所得的法向量由[-1,1]映射到
範圍內。最後按照相應的頂點在幾何圖像中的位置排列，由此就能生成由幾何圖像預測而得到的法向量紋理圖像。設札(X1, y1； Z1), M2 (x2, y2, z2), M3 (x3, y3, z3)是由幾何圖像相鄰的2*2像素點的按照對角線劃分成一個三角面片△的三個頂點，該三角面片的法向量計算方法如下由M1,M2, M3在三角面片A上，所以都平行於平面八。由M1, M2, M權利要求
1.一種基於預測的三維網格編碼方法，包括編碼和解碼，編碼利用編碼器並包括以下步驟 (El)生成原始幾何圖像、原始法向量紋理圖像； (E2)對原始幾何圖像進行編碼壓縮生成原始幾何圖像的碼流，並輸出； (E3)根據原始幾何圖像的碼流生成預測法向量紋理圖像； 解碼利用解碼器並包括以下步驟 (Dl)對解碼端收到的原始幾何圖像的碼流進行解碼，生成重構幾何圖像； (D6)根據解碼後的幾何圖像和重構的法向量紋理圖像重構出三維網格模型； 其特徵在於在編碼端還包括以下步驟 (E4)根據原始法向量圖像的前兩個分量和步驟(E3)中生成的預測法向量圖像的前兩個分量，計算前兩個分量的預測殘差； (E5)對法向量紋理圖像的前兩個分量的預測殘差進行編碼壓縮生成預測殘差的碼流，並輸出預測殘差的碼流； (E6)對法向量紋理圖像的前兩個分量的預測殘差進行解碼，並與預測圖像相加，重構出法向量紋理圖像的前兩個分量； (E7)用重構的法向量紋理圖像的前兩個分量計算第三個法向量紋理圖像的分量； (ES)用原始法向量紋理圖像的第三個分量和步驟(E7)中計算的預測圖像做差，生成法向量紋理圖像的第三個分量的預測殘差； (E9)對法向量紋理圖像的第三個分量的預測殘差進行編碼壓縮生成預測殘差的碼流，並輸出預測殘差的碼流； 解碼在步驟(Dl)和(D6)之間包括以下步驟 (D2)根據步驟(Dl)中重構的幾何圖像計算法向量紋理圖像的前兩個分量的預測圖像； (D3)對法向量紋理圖像的前兩個分量的預測殘差進行解碼，並根據解碼的法向量紋理殘差的前兩個分量和步驟(D2)中生成的預測法向量圖像的前兩個分量，計算法向量紋理圖像的前兩個分量； (D4)用重構的法向量紋理圖像的前兩個分量計算第三個法向量紋理圖像的分量； (D5)對法向量紋理圖像的第三個分量的預測殘差進行解碼，並根據步驟(D4)中生成的預測法向量圖像的第三個分量，計算法向量紋理圖像的第三個分量。
2.根據權利要求I所述的基於預測的三維網格編碼方法，其特徵在於 所述步驟(El)包括以下分步驟 (E1. I)將原始三維網格模型通過由精到粗的步驟進行簡化操作，並記錄簡化過程中刪除的頂點和邊，直到三維網格簡化成一個四面體，將此四面體嵌入單位圓內，這樣四面體的四個頂點在圓域上擁有唯一的坐標； (E1.2)按照由粗到精的步驟將步驟(E1. I)的簡化過程中刪除的頂點和邊逐步嵌入圓域上當加入頂點時，以幾何拉伸為度量優化每個新加入頂點的位置，以減少參數化過程中帶來的扭曲；當所有頂點都嵌入圓域上之後，就完成了對原始三維網格的球面參數化，新生成的球面網格和原始網格拓撲同構； (E1. 3)為了進行後續的採樣，將球面網格的所有頂點映射到一個正八面體上，將正八面體從ー個頂點以及與該頂點相鄰的四條稜分裂並參數化到平面域上，對平面域的三維網格進行離散重採樣，得到規則化的ニ維網格圖像，與ニ維網格上的每個柵格點所對應的三維網格的幾何坐標值(x，y，z)對應於ニ維網格上的每個柵格點的顏色值(r，g，b)，於是就得到一副與原始三維網格模型對應的真彩色的ニ維原始幾何圖像，並且採用傳統的圖像壓縮算法進行編碼和傳輸； (E1.4)當與ニ維網格上的每個柵格點所對應的三維網格的法向量值(nl，n2，n3)對應於ニ維網格上的每個柵格點的顏色值(r，g，b)，就得到與該三維網格模型對應的原始法向量紋理圖像。
3.根據權利要求2所述的基於預測的三維網格編碼方法，其特徵在幹所述步驟(E2)為通過編碼器對由原始三維網格生成的原始幾何圖像進行壓縮編碼，生成原始幾何圖像的碼流，其中一路輸出給編碼端的解碼器，另一路輸出給信道。
4.根據權利要求3所述的基於預測的三維網格編碼方法，其特徵在幹所述步驟(E3)為對原始幾何圖像的碼流進行解碼，生成重構幾何圖像，根據重構幾何圖像所隱含的拓撲關係重構出三維網格，計算與重構幾何圖像相對應的法向量信息，並將計算的法向量由[-1,1]映射到[O，255]範圍，生成預測法向量圖像。
5.根據權利要求4所述的基於預測的三維網格編碼方法，其特徵在於所述步驟(E4)為將超過[-128,128]範圍的殘差視為噪聲,姆個殘差值加上128,即殘差範圍變化到[O,256]，殘差圖像的RGB三個分量都處於圖像可表示的範圍之內。
6.根據權利要求5所述的基於預測的三維網格編碼方法，其特徵在幹所述步驟(E5)為生成法向量紋理圖像的前兩個分量的預測殘差的碼流，其中一路輸出給編碼端的解碼器，另一路輸出給信道。
全文摘要
一種基於預測的三維網格編碼方法，其在預測法向量紋理圖像時，充分考慮了幾何圖像和法向量紋理圖像之間以及法向量紋理圖像三個分量之間的相關性，所預測的法向量圖像的質量更高，從而使得預測殘差更小，更便於編碼傳輸，並且使得解碼後的法向量紋理圖像的質量得到了極大的提高，重構的三維網格模型的真實感效果提升，使用戶得到更好的視覺體驗。
文檔編號H04N7/32GK102625126SQ20121007843
公開日2012年8月1日 申請日期2012年3月22日 優先權日2012年3月22日
發明者文波, 施雲惠, 李敬華, 齊娜 申請人:北京工業大學