一種基於遠程渲染的三維模型網絡發布方法
2023-09-16 20:24:20
專利名稱：一種基於遠程渲染的三維模型網絡發布方法
技術領域：
本發明涉及到三維模型化簡，三維數據安全和遠程渲染方面的技術，特別是一種遠程渲染的三維模型網絡發布方法，應用於各種三維模型的網絡發布。此外，也應用於數字博物館中珍貴文物三維模型的網絡發布。
背景技術：
為得到客戶端的簡化版模型，需要對高精度的三維模型進行化簡。三維模型化簡的研究，首先從1992年Schroeder等人的頂點刪除方法開始，Hoppe在1993年提出了能量函數的網格優化方法，Cohen在1996年提出了簡化封套的方法，Garland在其博士論文中提出了二次誤差的方法。
三維數據安全方面，目前國內外的大部分研究都集中在網格數字水印技術上。在計算機圖形學中，物體常常用三角形網格模型來描述。三維數字水印技術就是在三角形網格數據中嵌入隱藏的信息，這些信息通常是不可見或不可察的，但是通過一些計算操作可以被檢測或提取出來。水印與源網格數據緊密結合併隱藏其中，成為網格數據不可分割的一部分，並可以經歷一些不破壞源數據使用價值或商業價值的操作而存活下來。因此，三維數據的所有者可以通過檢測水印數據來表明所有權並證明盜版行為。近年來有大量論文描述了在三維模型中嵌入隱藏信息的網格數字水印方法，較突出的有Praun的利用多解析度分析的網格水印算法，Ohbuchi等人提出的基於擴展頻域變換的三維水印算法等。但是，所有的三維水印技術都有一個致命的弱點它只能在數據失竊之後證明盜版行為，而無法事先防止對三維數據的攻擊。
遠程渲染系統是一種Client/Server結構。一般客戶端負責接受用戶的輸入並向伺服器發送相應的渲染請求，高圖形性能的伺服器負責進行渲染並把得到的圖像傳回給發送請求的客戶端進行顯示。絕大多數已實現的遠程渲染系統的目的都是解決客戶端機器圖形性能低下，無法滿足渲染要求的問題。Levoy和Yoon的研究提供了在渲染伺服器和客戶端之間有效地分配渲染負載和數據傳輸的專用算法。史丹福大學的研究人員Koller對各種針對圖形流水線的攻擊手段進行了詳細的分析，考察了現有的各種防護手段的優缺點，並提出了一種以三維數據保護為主要目標的遠程渲染系統。
在三維模型數據網絡傳輸方面，傳統的單解析度模型的網絡傳輸採取「先下載，再顯示」的模式，即將三維模型的所有相關數據都下載到客戶端之後再顯示。這種方式的不足之處在於用戶需要等待太長的時間。而由Hoppe率先提出的遞進網格傳輸方法首先傳送一個粗糙模型到客戶端並立刻顯示，然後再逐漸的傳輸一系列的優化信息，對最初的粗糙模型進行細化，並且如果用戶覺得模型的精細程度已經達到要求的時候，可以隨時停止傳輸。這種傳輸模式雖然使得用戶能夠很快看到模型的顯示，但是用戶還是要等很長時間才能看到精細的模型效果。
發明內容
本發明的技術解決問題克服現有技術的不足，提供一種安全性好、對網絡帶寬要求低、對客戶端機器的三維圖形性能要求低、傳輸時間短的基於遠程渲染的三維模型網絡發布的方法。
本發明的技術解決方案一種基於遠程渲染的三維模型網絡發布方法，其特徵在於包括下列步驟(1)將高精度模型保存在遠程渲染伺服器上；(2)遠程渲染客戶端的用戶根據三維瀏覽器提供的精簡的粗糙模型，進行縮放，平移和旋轉等交互操作，選擇最佳的觀察視點；(3)當用戶停止操作時，客戶端向伺服器發送一個渲染請求，該請求中包含用戶當前的視點、方向和光照條件等信息；(4)遠程渲染伺服器根據遠程客戶端的上述信息的請求進行渲染，得到高解析度的渲染圖像；(5)將上述高解析度的渲染圖像發送給遠程渲染客戶端，客戶端用它來替換當前相應位置的低解析度的渲染圖像。
還在遠程渲染伺服器上進行三維數據數據安全防護方法操作，主要操作步驟(1)日誌分析，遠程渲染伺服器對每個客戶端程序進行標識，並以此跟蹤和監視每個客戶端發出的渲染請求序列；(2)對渲染請求設置限制；(3)在圖像中加入同種類型的噪音幹擾。
本發明與現有的發布方法相比具有以下優點1.安全性高與目前流行的「先下載，再顯示」的3D模型發布系統相比，本發明的系統具有先天的安全性優勢——需要保護的原始模型數據保存在伺服器端，客戶端接收到的只有2D的圖像。雖然客戶端也有一個精簡版的模型，但是本發明的模型化簡算法可以指定化簡的粗糙程度。對於一個百萬多邊形甚至千萬多邊形的初始模型而言，當把它化簡到10000個左右的多邊形時，雖然還具有基本的輪廓特徵，但是會丟失絕大多數的局部細節，基本上已經不具有任何盜版的價值了。
2.對網絡帶寬要求低傳統的「先下載，再顯示」的模式為了顯示模型必須先把所有模型數據下載到客戶端。因此它受網絡帶寬的限制最大，對於規模動輒超過百萬多邊形的三維模型來說，這種模式根本無法應用。
最近幾年發展迅速的遞進傳輸技術對「先下載，再顯示」模式進行了重要改進。這種方法首先傳輸一個數據量很小的粗糙的基網格給客戶端，客戶端接收到基網格後立即可以顯示，然後伺服器持續發送對基網格的優化信息，客戶端的顯示效果也逐漸精細，直到傳輸完畢或用戶對模型精細度感到滿意為止。這種方法大大降低了用戶看到最初顯示的等待時間，但是為了看到令人滿意的精細的效果，用戶仍然不得不等待很長時間。
傳統的遠程渲染系統不把三維模型數據傳輸到客戶端，在客戶端呈現給用戶的實際上是由伺服器根據客戶端的用戶輸入渲染得到的圖像流。為了在客戶端得到實時的交互效果，圖像流至少需要達到30fps。根據我們的實驗，壓縮後的渲染圖像大小平均約為30KB，則客戶端與伺服器端的數據流量大約是900KB/s；即使如4.2.4節所述，伺服器渲染性能大約只有16fps，數據流量仍然達到可觀的480KB/s，這對於如今的普通網絡條件而言仍然是一個沉重的負擔。
而本發明在伺服器和客戶端之間傳輸的主要數據是圖像數據，根據我們的實驗統計，伺服器發出的JPEG圖像平均大小約為30KB。我們可以合理地假設用戶在客戶端平均每分鐘使用滑鼠操縱模型60次。那麼這個用戶的網絡通信流量為30KB×60/60＝30KB/s。
這樣微弱的數據量對於目前的網絡帶寬來說沒有任何問題。
3.對客戶端的圖形性能要求低「先下載，再顯示」的方法和遞進傳輸方法都是把全部的渲染任務交給客戶端完成。因此為了達到令人滿意的渲染效果，客戶端機器必須配置高性能的圖形硬體。
傳統的遠程渲染方法就是為了解決客戶端圖形性能弱的問題而誕生的。客戶端只需要顯示二維的圖像，幾乎所有的PC機都可以輕鬆勝任。
本發明的系統同樣把渲染高精度模型的工作轉交給了伺服器，而客戶端機器只需要最基本的3D圖形性能即可勝任渲染精簡版本模型的工作。試驗表明，對於10000三角面片左右的模型，使用五年前面世的GeForce2顯卡都能夠達到30fps以上的刷新率。可以認為，現在的主流機型完全能夠滿足客戶端的圖形性能要求。
圖1為本發明的三維模型網絡發布方法實現示意圖；圖2為本發明的客戶端的低解析度模型圖像(5000三角形)；圖3為本發明的伺服器傳來的高解析度模型圖像(100萬三角形)。
具體實施例方式
本發明採用Client-Server模式，實現結構如圖1所示。
1.客戶端用戶可以通過系統提供的三維客戶端瀏覽器觀察三維模型。客戶端程序中包含一個解析度很低的精簡版三維模型，用戶可以對此粗糙模型進行旋轉、縮放、平移等交互式操作。當用戶停止操作時(程序通過MouseUp消息檢測到用戶停止了操作)，客戶端程序通過網絡向遠程渲染伺服器發送一個渲染請求，請求中包含當前用戶的視點位置、方向以及控制三維模型狀態的變換矩陣；伺服器根據這些信息對伺服器端的高精度模型進行渲染並得到高解析度的渲染圖像，然後發送給客戶端，客戶端用它來替換當前的低解析度渲染效果，如圖2和圖3所示。
在低延遲的網絡環境下，用戶感覺就像在操作一個高解析度的模型。一個文物的三維模型通常超過百萬個三角形，在客戶端使用的精簡版模型一般被化簡到5000個三角形左右。
2.伺服器2.1渲染模塊遠程渲染伺服器的渲染模塊的功能是根據客戶端的請求對伺服器端的高精度模型進行渲染，得到一幅高清晰度的圖像。為了提高伺服器的響應速度，在伺服器程序中應用了軟硬結合的渲染技術，主要包括(1)把頻繁使用的繪製命令或改變狀態命令存儲為顯示列表以減少訪問內存的次數。
(2)利用OpenGL的VBO擴展把模型的頂點、紋理坐標、法向量、顏色等數據存儲到圖形卡的高性能顯存中。因為GPU訪問顯存的速度遠遠高於訪問內存的速度，因此能夠帶來較大的性能提升。
採取上述加速措施之後，渲染模塊在P4 3.0G/Radeon9800Pro的機器上渲染百萬多邊形的模型時，平均速度從24fps提高到45fps。
2.2渲染圖像回讀與壓縮伺服器根據客戶端提供的信息進行渲染之後，得到的圖像通常以象素形式保存在幀緩存(Framebuffer)中，伺服器需要從幀緩存回讀出這些象素信息並發送給客戶端。在此過程中需要解決兩個問題第一，幀緩存屬於on-screen buffer，它必須與一個實際的窗口綁定的，因此在各方面都受到這個窗口的限制，比如大小、象素格式等等，而且如果綁定的窗口被其它窗口遮擋，也會破壞保存在幀緩存中的圖像信息。為克服這些弊端，伺服器中採用P-Buffer作為渲染的目標緩存。P-Buffer是OpenGL的標準ARB擴展，屬於off-screen buffer，它不與真正的窗口綁定，是不可見的。伺服器程序可以根據需要自由設置P-Buffer的大小、象素格式等屬性而不會受到任何限制。第二，從緩存中讀取的圖像格式為每象素4位元組的bmp格式，一幅800×600的圖像大小約為2MB，難以滿足網絡傳輸的要求。因此，必須對圖像進行壓縮。本文選擇了通用的JPEG圖像壓縮標準。本發明實現的壓縮程序能夠在保證圖像質量的前提下把從幀緩存中讀取的圖像壓縮到20KB到40KB。
2.3通信線程及其管理為了提高系統的並發程度，滿足儘可能多的渲染請求，伺服器程序採用了多線程的實現方式。伺服器為每一個客戶端建立一個通信線程，負責接收來自該客戶端的渲染請求，並從渲染請求中讀取視點、窗口大小、模型狀態等信息，提供給渲染模塊；在渲染模塊根據這些信息渲染完畢後又負責把壓縮得到的JPEG圖像發送回客戶端。很顯然，渲染模塊和圖像緩存是臨界資源，本發明採取了先來先服務的線程調度策略。
3.三維模型化簡與傳輸本方法採用基於二次誤差度量的網格簡化算法對三維模型進行化簡。該算法使用二次矩陣來保持表面的近似誤差，通過遞歸地對頂點對進行壓縮(contraction of vertex pairs)而實現對網格的化簡。
算法的基本操作是頂點對壓縮，即將2個頂點v1，v2合成一個頂點v(v1，v2)→v，與邊摺疊等網格化簡算法不同的是，v1，v2可以是相鄰的2個頂點，即(v1，v2)是三角網格的一條邊(如圖1a)，也可以是不相鄰的兩個頂點(如圖1b)，從而實現了對聚集(aggregation)的支持。
算法首先需要選擇頂點對(v1，v2)，滿足下面規則之一的為有效頂點對1)v1，v2)是網格的一條邊；2)|v1-v2||＜t，其中t是給定的參數閾值。
之後，需要根據誤差度量對有效的頂點對進行刪除合併，誤差的度量方法如下首先為每個頂點分配一個4×4的矩陣Q，把頂點V＝[vx，vy，vz，1]T的二次誤差定義為Δ(v)＝VTQV，在每次頂點對壓縮(v1，v2)→v之後，給新的頂點v分配誤差度量矩陣Q′＝Q1+Q2。這樣根據各個頂點對的壓縮帶來的誤差選擇合適的進行壓縮。
Δ(v)定義為頂點ν到與之相連的面的距離平方和，其推導過程如下(v)=([vx,vy,vz,1])=pplanes(v)(pTv)2]]>=pplanes(v)(vTp)(pTv)]]>=pplanes(v)vT(ppT)v]]>=vT(pplanes(v)Kp)v]]>其中，Kp=ppT=a2abacadabb2bcbdacbcc2cdadbdcdd2]]>對於初始網格來說，Q為0，因為所有的點都在與其相鄰的面上，所以其距離為0。
使用三維掃描儀得到的高精度三維文物模型通常都包含超過百萬個三角形。利用上述的模型化簡算法將其化簡到5000三角形左右時，模型的局部細節大為縮減，但仍然較完整地保留了初始的幾何特徵。
客戶端的粗模型可以採用下面兩種方法之一進行發布1)把模型封裝在客戶端中，隨客戶端程序一起發布；2)粗模型也存放在伺服器中，客戶端建立與伺服器的連接之後進行下載。
4.發布系統的安全防範技術與目前流行的「先下載，再顯示」的3D模型發布系統相比，本文的系統具有先天的安全性優勢——需要保護的原始模型數據保存在伺服器端，客戶端接收到的只有2D的圖像。雖然客戶端也有一個精簡版的模型，但是我們的模型化簡算法可以指定化簡的粗糙程度。對於一個百萬多邊形甚至千萬多邊形的初始模型而言，當把它化簡到10000個左右的多邊形時，雖然還具有基本的輪廓特徵，但是會丟失絕大多數的局部細節，基本上已經不具有任何盜版的價值了。
但是，也必須考慮到目前計算機視覺的高速發展提供了從2D圖像重構3D模型的可能性。為了防止潛在的攻擊者使用伺服器提供的2D圖像來重構初始的三維模型，伺服器採取了下列防範重構的措施4.1日誌分析伺服器對每個客戶端程序進行標識，並以此跟蹤和監視每個客戶端發出的渲染請求序列。通過分析伺服器日誌，可以鑑別出那些可疑的請求序列，例如在單位時間內發出異乎尋常的大量請求或者其它可疑的行為。
4.2對渲染請求設置限制為了進一步防止攻擊者利用從客戶端獲取的大量2D圖像進行3D重構，可以對觀察條件進行一些限制，即對模型設置一些「遊人止步」的區域，禁止觀察者在某些區域觀察模型，從而使攻擊者無法重構出完整的模型。
設置限制方法分兩步，第一步是確定模型表面需要進行觀察限制的部位，第二步是以模型的中心點為頂點，向第一步中確定的部位投射一個視錐體，落入此視錐體內的任何渲染請求都被限制。這種方法的優點是簡單，容易實施。
4.3噪音幹擾在當前普遍使用的計算視覺算法中，噪音幹擾往往會嚴重降低重構的質量。因此可以針對重構攻擊的這一軟肋，有針對性地在圖像中加入同種類型的噪音幹擾，以加大重構的難度。加入的幹擾是以不影響用戶觀察為前提的，但是足以對重構造成嚴重的阻礙。系統中使用的幹擾和變形包括幹擾渲染的觀察參數，幹擾渲染的光照參數。
加入噪聲幹擾的方法和步驟幹擾觀察參數伺服器端接收到客戶端傳來的觀察參數之後，會在變換矩陣中隨機地引入一個微小地幹擾值，引入這個幹擾值會造成對模型進行細微地旋轉、平移或縮放地效果。為了保證用戶不會通過肉眼察覺這些幹擾效果，為該幹擾值設置了一個最大值。在實際操作中，可以將該最大值設置為模型實際大小的一個比例，如1/10000。
幹擾光照參數幹擾光照參數的方法與對觀察參數的方法相似。對於用戶在客戶端指定的光照方向，引入一個微小的幹擾值。為了保證用戶不會通過肉眼觀察到這些幹擾效果，設定該幹擾值一般小於5°。
權利要求
1.一種基於遠程渲染的三維模型網絡發布方法，其特徵在於包括下列步驟(1)將高精度模型保存在遠程渲染伺服器上；(2)遠程渲染客戶端的用戶根據三維瀏覽器提供的精簡的粗糙模型，進行縮放，平移和旋轉等交互操作；(3)當用戶停止操作時，客戶端向伺服器發送一個渲染請求，該請求中包含用戶當前的視點、方向和光照條件等信息；(4)遠程渲染伺服器根據遠程客戶端的上述信息的請求進行渲染，得到高解析度的渲染圖像；(5)將上述高解析度的渲染圖像發送給遠程渲染客戶端，客戶端用它來替換當前相應位置的低解析度的渲染圖像。
2.根據權利要求1所述的基於遠程渲染的三維模型網絡發布方法，其特徵在於在遠程渲染伺服器上進行三維數據數據安全防護方法操作，主要操作步驟(1)日誌分析，遠程渲染伺服器對每個客戶端程序進行標識，並以此跟蹤和監視每個客戶端發出的渲染請求序列；(2)對渲染請求設置限制；(3)在圖像中加入同種類型的噪音幹擾。
3.根據權利要求1或2所述的基於遠程渲染的三維模型網絡發布方法，其特徵在於所述的伺服器根據客戶端的渲染請求對伺服器端的高精度模型進行渲染，得到高解析度的渲染圖像，並以P-Buffer作為渲染的目標緩存存儲，從緩存中讀取圖像並對圖像進行壓縮，然後發送給客戶端。
4.根據權利要求1或2所述的基於遠程渲染的三維模型網絡發布方法，其特徵在於所述步驟(4)中的對高精度模型進行渲染是通過渲染模塊來實現的，步驟為(1)把頻繁使用的繪製命令或改變狀態命令存儲為顯示列表以減少訪問內存的次數。(2)利用OpenGL的VBO擴展把模型的頂點、紋理坐標、法向量、顏色等數據存儲到圖形卡的高性能顯存中。
5.根據權利要求1所述的一種三維模型網絡發布方法，其特徵在於所述的步驟(5)中將高解析度的渲染圖像發送給客戶端的方法為採用三維模型化簡算法來實現，具體步驟為(1)選擇頂點對v1，v2，滿足下面規則之一的為有效頂點對a.(v1，v2)是網格的一條邊；b.||v1-v2||＜t，其中t是給定的參數閾值；(2)根據誤差度量方法對有效的頂點對進行刪除合併，誤差的度量方法如下a.為每個頂點分配一個4×4的矩陣Q；b.把頂點V＝[vx，vy，vz，1]T的二次誤差定義為Δ(v)＝VTQV，在每次頂點對壓縮(v1，v2)→v之後，給新的頂點v分配誤差度量矩陣Q′＝Q1+Q2。
6.根據權利要求1所述的一種三維模型網絡發布方法，其特徵在於所述步驟(3)中的客戶端的粗模型採用下面兩種方法之一進行發布(1)把粗模型封裝在客戶端中，隨客戶端程序一起發布；(2)粗模型存放在伺服器中，客戶端建立與伺服器的連接之後進行下載。
全文摘要
一種基於遠程渲染的三維模型網絡發布方法，把高精度模型保存在渲染伺服器上，客戶端的三維瀏覽器只提供大幅精簡的粗糙模型。用戶可以在客戶端對粗模型進行縮放，平移和旋轉等操作，選擇最佳的觀察視點。當用戶停止操作時，客戶端向伺服器發送一個渲染請求，該請求中包含用戶當前的視點、方向和光照條件等信息，伺服器根據客戶端請求進行渲染並返回高精度模型的圖像。因為敏感的高精度模型保存在客戶端，因此本發明具有先天的安全性優勢；因為客戶端和伺服器之間只在用戶停止操作時傳輸平均大小為30KB的圖像，所以發明對網絡要求很低；此外客戶端只需要渲染極為簡單的精簡版模型，所以不需要很高的圖形性能。
文檔編號G06T15/00GK1805354SQ20061001125
公開日2006年7月19日 申請日期2006年1月23日 優先權日2006年1月23日
發明者齊越, 沈旭昆, 趙沁平, 金平 申請人:北京航空航天大學