實時繪製並生成計算機生成視頻全息圖的方法
2023-09-19 07:43:55
專利名稱：實時繪製並生成計算機生成視頻全息圖的方法
技術領域：
本發明涉及一種從有深度信息的三維圖像數據中實時繪製並且生成
計算機生成視頻全息圖CGVH的方法。關於繪製過程，本發明涉及3D繪 制管線或者圖形管線，其描述了從三維景象的矢量、數學描述到顯示器屏 幕像素圖像的運算法則。三維圖像數據包含深度信息，通常也包含關於材 料和表面性能的附加信息。關於全息圖數據的生成，本發明涉及景象分段 轉換，轉換中描述了光波的傳播。在三維對象或者三維景象的全息重建過 程中，光波前通過相干光波的幹涉和疊加產生。
經典的全息圖用攝影術或者另一種適當的幹涉圖形式的方法存儲，與 經典全息圖不同，計算機生成視頻全息圖CGVH作為從三維景象序列獲 得的全息數據的計算結果的形式存在並且以電子方式存儲。已調製光能夠 在觀察者眼前的區域以可控制振幅和相位值的光波前的形式產生幹涉傳 播，上述的光波前因此重建三維景象。通過控制有視頻全息圖的全息值的 空間光調製器SLM產生在像素中調製並且從顯示屏中發出的波場，以按 需要通過在重建空間中產生幹涉來重建三維景象。
全息顯示裝置典型地包含通過電子影響照明光的振幅以及/或者相位 重建對象點的可控制像素安排。這樣的安排形成空間光調製器SLM或者， 更為普遍地，形成光調製器裝置。顯示裝置可選擇地為連續型而非矩陣型。 例如，其可以是連續的空間光調製器SLM，包括有矩陣控制的連續空間 光調製器SLM或者聲光調製器AOM。液晶顯示器LCD作為這種通過光 圖樣的空間振幅調製的方式重建視頻全息圖的適宜顯示裝置的例子。然 而，本發明也可以應用於其他使用幹涉光調製光波前的可控制裝置。
在本專利文件中，術語"像素"指空間光調製器SLM中的可控制全 息像素；像素通過全息點的離散值單獨地尋址和控制。每一個像素表示視頻全息圖的一個全息點。在液晶顯示器LCD中，術語"像素"因此用於
顯示屏的可單獨尋址圖像點。在DLP中，術語"像素"用於個別微反射 鏡或者小微反射鏡群。在連續的空間光調製器SLM中，"像素"是表示復 雜全息點的空間光調製器SLM的過渡區。術語"像素"因此通常指能夠 表示或者顯示複雜全息點的最小單元。
背景技術：
電腦生成視頻全息圖可以例如應用WO 2004/044659號專利文件中申 請人已經說明的全息顯示裝置進行重建。觀察者通過至少一個比眼睛瞳孔 大的虛擬觀察者窗口看向顯示屏。
"觀察者窗口"是有限的虛擬區域，通過該區域觀察者可以有足夠的 可見度觀察到整個三維景象的重建。觀察者窗口位於觀察者眼睛上或者在 觀察者眼睛附近。觀察者窗口可以在X、 Y和Z方向移位。在觀察者窗口 中，波場幹涉使得觀察者可以看到重建對象。窗口位於觀察者眼睛附近並 且在已知的位置檢測和跟蹤系統的幫助下可以跟蹤到真實的觀察者位置。 因此它們最好被限制到僅僅略大於眼睛瞳孔的大小。可以使用兩個觀察者 窗口，每一隻眼睛用一個。通常，也可能存在更複雜的觀察者窗口安排。 進一步可能的是編碼包含對觀察者來說出現在空間光調製器SLM後方的 對象或者整個景象的視頻全息圖。
術語"轉換"應解釋為包括任何與轉換相同或近似的數學或者計算技 術。數學景象的轉換僅僅是物理過程的逼近，可以通過麥克斯韋 (Maxwellian)波動方程更加精確地描述。像菲涅耳(Fresnel)轉換或者 特殊群轉換這些被認為是傅立葉(Fourier)轉換的轉換描述了二階逼近。 轉換通常用代數或者非微分方程表示，因此轉換可以應用公知的計算裝置 被有效並且高性能地處理。此外，它們可以在光學系統中精密使用。
由申請人提交的WO 2006/066919號專利文件說明了一種計算計算機 生成視頻全息圖的方法。根據這種方法，具有三維景象的複雜振幅值的目 標被分配到平行虛擬截面層的矩陣點，使得對每一個截面層來說，單獨的目標數據集由矩陣點中的離散振幅值定義，並且全息顯示裝置的光調節矩 陣的全息編碼由圖像數據集計算得到。
根據本發明，目標解決方案利用這樣的總體思路，即，以下步驟藉助 計算機執行
以波場的分別的二維分布的形式從每一個斷層景象截面的目標數據 集為觀察者平面計算衍射圖，上述觀察者平面處於距截面層有限的距離並 且與截面層平行，其中為至少一個普通的虛擬窗口、處於觀察者眼睛附近 的觀察者平面中的觀察者窗口計算所有截面的光場，上述的觀察者窗口區 域小於視頻全息圖；將所有計算的截面層分布加起來在相對於觀察者窗口 參照的數據集中為觀察者平面形成匯集波場；
將參考數據集轉換成處於距參考面有限距離並且與參考面平行的全 息面，以便產生景象的匯集計算機生成全息圖的全息數據集，光調製器矩 陣處於全息平面內，並且在編碼以後、在上述光調製器矩陣的幫助下、景 象在觀察者的眼睛前方的空間重建。
上述方法和全息顯示裝置是基於這樣想法，即景象目標本身不重建， 而是最好在一個或者多個觀察者窗口中重建將由目標發出的波前。
觀察者可以通過虛擬觀察者窗口觀察景象。虛擬觀察者窗口可以在公 知的位置檢測和跟蹤系統的幫助下跟蹤到真實的觀察者位置。虛擬的、平 截頭形的重建空間在全息顯示裝置的光調製裝置和觀察者窗口之間延伸，
空間光調製器SLM表示基部和觀察者窗口平截頭的頂部。如果觀察者窗
口非常小，平截頭可以近似成為稜錐體。觀察者通過虛擬觀察者窗口朝向 顯示器觀察並且在觀察者窗口中接收表示景象的光波前。
發明目的
本發明的目的是提供一種從有深度信息的三維圖像數據中實時產生 視頻全息圖的方法。具體說，會使用如今市售的例如用於顯卡和遊戲機中 的圖形處理器和圖形子系統。關於硬體、軟體和程序界面的已建立的行業 標準會在沒有限制通用性的情況下使用。
發明內容
下面對本發明方法的總體思路進行說明，不詳細敘述可能的優化。本 方法基於有深度信息的三維圖像數據。該信息例如採用頂點、法向矢量和 矩陣形式的三維描述來說是可用的。圖像數據通常含有關於材料和表面性 能等的附加信息。
實時繪製時，3D繪製管線或者圖形管線說明了為顯示在顯示屏幕上 而從三維景象的矢量、數學描述到幀緩衝中的像素化圖像數據的路徑。例 如，屏幕坐標到裝置坐標的轉換，在管線中完成材質貼圖、裁切和反鋸齒。 表示三維景象的二維投影、並且存儲在圖形適配器的幀緩衝中的像素畫圖 像含有監視器屏幕、例如LCD液晶顯示器的可控制像素的像素值。
為了獲得全息再現，對能夠產生幹涉的光進行相位以及/或者振幅調 制，並且三維景象在疊加光波產生的衍射圖的幫助下重建。
圖形管線同樣用於從有深度信息的三維圖像數據中產生視頻全息圖 的第一個過程步驟中。接下來，全息數據的產生基於景象的轉換，其中轉 換描述了光波的傳播。回歸轉換之後，執行編碼過程，該過程中複雜全息 值轉換成為全息顯示裝置的一個或者多個光調製器的像素值。
本發明基於這樣的想法，S卩， 一方面3D繪製過程、另一方面全息轉 換、回歸轉換和編碼過程，這兩個過程組沒有在圖形處理器和運算處理器 上分別實現，但是，這兩個過程組可以在一個或多個圖形處理器上實現。 所有過程步驟的全部實現用圖形子系統完成，圖形子系統主要包含圖形處 理器的主要部件、存儲介質以及接口。根據本發明，目的最好是利用與運 算處理器相比當今市售的圖形處理器的高性能。此外，可以省略圖形子系 統和其它外接口之間的複雜數據傳輸。
現在，對上述的過程步驟將進行如下詳細說明。三維景象的視圖通過 觀察者的位置和觀察方向確定。觀察者至少分配有一個在參考面上位於觀 察著眼睛附近的虛擬觀察者窗口。
圖像數據以有深度信息的三維描述的形式提供。典型地，目標的顏色 和它們的表面紋理都被確定。此外，在輔助運算法則的幫助下模擬或者產生材料的屬性和光源。
在準備步驟中，根據觀察者的觀察方向進行景象轉動、確定大小以及 轉換，並且計算景象可見度。接著，在照度模型的幫助下計算所有關於光 的類型和分布的必要信息。這樣做的目的是確保在產生全息數據的隨後步 驟中不必重複計算坐標和照明細節。那些計算相當複雜，並且在複雜景象 的情況下，可能會對整個系統的性能產生不利影響。
第一個過程步驟包含3D繪製和深度圖的生成。景象數據接著被兩個 平行截面切成截面層。這些平面與觀察者的觀察方向呈直角，並且截面之 間的距離選擇儘可能的小以確保計算結果的足夠準確以及良好的處理性 能。理想情況下，距離應該非常小，以至於僅僅只有那些與觀察者保持恆 定距離的深度信息在計算過程中必需被考慮到。如果平面間的距離較大， 則應該選擇成例如兩個平面間的平均距離被確定並且分配到特定層。現在 繪製層的景象截面數據並且產生深度圖。
在接下來的過程步驟中，轉換景象截面數據。通常，轉換描述光波向 虛擬觀察者窗口的傳播。最簡單的轉換是傅立葉轉換和菲涅耳轉換。傅裡 葉轉換適用於遠場，遠場由於與觀察者距離遠，光波可以解釋為平面波前。 與其他轉換相反，傅立葉轉換顯示出轉換可以在光學元件的幫助下模擬的 優點，反之亦然。在球面波的近場中，最好使用菲涅耳轉換。轉換基於截 面層隱含的常量Z坐標。例如，使用兩個平面中的一個的Z坐標或者那兩 個平面的平均Z坐標。
隨後重複上述3D繪製和轉換的步驟，因此在觀察方向上連續移置截 面直到整個景象轉換。連續增加景象截面數據的轉換數據以便形成匯總參 考數據集。整個景象轉換之後，這個參考數據集表示單獨景象截面數據的 轉換總和。
隨後的過程步驟中，執行回歸轉換，該步驟中參考數據轉換為與光調 制器裝置位置一致的全息面，全息面位於最遠端並且與參考面平行，以便 產生視頻全息圖的全息數據。
最後的過程步驟中，執行編碼過程，在標準化之後執行向像素值的轉換。如果使用布克哈特(Burckhardt)編碼方法，複雜全息值用三個在0 和1範圍內的標準化的值表示，其中由1表示的值表示形成最大可達到的 元件值。這些值之後轉化為離散值，它們以離散化的灰度值的形式表示光 調製器裝置的像素的控制強度。離散化步驟的數目由所用的圖形卡和顯示 面板的特點共同決定。它們通常有8位元組的解析度和256個灰度階。其它 解析度，例如，IO字節或者更多都是可能的。另一個較佳的編碼方法是兩 相編碼方法。
根據本方法的特定實施例，如果所選擇的編碼方法不允許解析，而只 是用迭代解，則重複從3D繪製到編碼的步驟直到足夠接近以信號噪音最 小為特徵的最佳解。
現在編碼像素值在幀緩衝中轉移到光調製器，其中對能產生幹涉的光 進行相位以及/或者振幅調製，三維景象在重疊光波產生的幹涉圖樣的幫助 下重建。
如果要產生彩色圖像內容，本方法類似地應用於每一個彩色元件。為 了表示視頻全息圖，每一個像素可以由三原色的每一個子像素組成用來表 示或者顯示彩色全息點。依靠視頻全息編碼的類型，可以用進一步的子像 素來表示每一個彩色全息點的原色。
本發明方法因此提供了用當今市售的用於顯卡或者遊戲機的圖形處 理器和圖形子系統從有深度信息的三維圖像數據中實時產生視頻全息圖 的基本原理。
具體實施例方式
本發明的進一步的各個方面和細節將通過如下實施例和附圖進 行說明。
圖1表示本方法的流程圖。該方法建立在有深度信息的三維圖像 數據基礎上。景象的視圖由觀察者的位置和觀察方向確定。觀察者至 少分配有一個位於參考面上觀察者眼睛附近的虛擬觀察者窗口 。
在準備過程步驟中，考慮觀察者的觀察方向對景象坐標進行轉換並且進行景象照度計算。如有必要的話，在這裡可以執行更多步驟以 提高景象顯示質量。這些步驟，以及隨後所有的步驟，都在圖形子系 統中執行。
第一個步驟包含3D繪製和兩個平行截面間的景象截面數據的深 度圖的產生，這兩個平行截面設置成與觀察者的觀察方向呈直角。景 象截面數據接著發生轉換，S卩，計算光波到參考面上的虛擬觀察者窗 口的傳播。將轉換的景象截面數據加起來以便形成匯總數據集。此實 施例中應用了傅立葉轉換，傅立葉轉換是在快速傅立葉轉換算法的幫 助下用數字執行的轉換。主要的數字操作需要實現這種轉換，即，主 要的乘法和加法、重複和條件指令以及它們的組合在可編程遮光體上 實現並且通過同樣的方式來完成。
現在重複3D繪製和轉換步驟，同時在觀察方向上連續移置截面， 直到整個景象轉換。此後，景象回歸轉換，這裡同樣應用傅立葉轉換 算法。逆轉換在可編程遮光體上實現並且通過同樣的方式來完成，與 最初的轉換類似。在回歸轉換過程中，匯總的數據從參考面轉換到全 息面，全息面與光調製裝置一致，位於最遠端並且與參考面相平行， 以便產生視頻全息圖的全息數據。
最後，編碼景象，該步驟是在標準化步驟之後，為了重建三維景 象，計算像素值並且在幀緩衝中將像素值轉移到光調製器裝置中。這 些簡單的算術運算，和轉換相比，是最簡單的情形，也在可編程遮光
體上實現並且通過同樣的方式來完成。
圖2說明了用於迭代解的特殊情況的方法流程圖。計算景象可視 度和照度、3D繪製和深度圖的生成、匯總轉換景象截面數據的轉換、 回歸轉換以及編碼等主要步驟按照第一實施例中所述來設計和執行。 這個實施例基於不能解析計算像素值的編碼的想法。從3D繪製到編 碼的步驟因此迭代執行。經計算編碼的像素值，即，相位以及/或者 振幅，在這裡用作隨後迭代步驟的轉換和回歸轉換的初始值。反覆迭 代直到足夠逼近以信號噪音最小為特徵的最佳解。考慮到轉換的類型以及應用的數字運算法則，可以利用其它最佳解停止標準或者規定。
圖3所示為優選的全息顯示裝置(HAE)(德語為"holographische Anzeigeeinrichtung，，， 簡寫為"HAE"; 英語為"holographic display device"，簡寫為"HDD")的一般原理，全息顯示裝置(HAE)用 於顯示根據本發明方法產生視頻全息圖。觀察者，用他或她的觀察眼 表示，透過虛擬觀察者窗口 (VW)觀察全息顯示裝置(HAE)。該 裝置包含光調製器裝置(SLM)。這樣的全息顯示裝置所基於的原理 為主要將目標發出的波前重建到觀察面(VP)上的一個或者多個 虛擬觀察者窗口 (VW)中。
權利要求
1. 從有深度信息的三維圖像數據中實時繪製並且產生計算機生成視頻全息圖的方法，適用於包含光調製器裝置(SLM)並且主要將目標發出的波前重建到觀察者眼睛的全息顯示裝置(HAE)，其中，觀察者的位置和觀察方向確定景象(3D-S)的視圖並且觀察者分配有至少一個虛擬觀察者窗口(VW)，虛擬觀察者窗口處於觀察者眼睛附近的觀察平面中，，在準備步驟中考慮觀察者的觀察方向使景象坐標發生轉換並且進行景象照度計算，包含以下步驟步驟(1)3D繪製和兩平行截面間景象截面數據的深度圖的產生，該兩平行截面設置成與觀察者的觀察方向成直角，步驟(2)景象截面數據的轉換，即，光波向觀察者窗口傳播的計算。步驟(3)3D繪製和轉換步驟的重複，同時在觀察方向上連續移置截面，直到整個景象轉換，並且將單獨轉換的結果進行加和，步驟(4)回歸轉換，匯集數據從觀察面轉換到與光調製器方法(SLM)的位置一致的全息面，全息面位於最遠端並且與觀察面平行，以便產生視頻全息的全息數據，步驟(5)編碼，為了重建三維景象，標準化步驟之後計算像素值並且在幀緩衝中轉移，各個過程步驟通過一個或多個圖形處理器在圖形子系統上執行。
2. 根據權利要求1所述的方法，其中3D繪製、轉換、回歸轉換以及編碼的過程步驟在可編程的標準化遮光體上實現並且其上執行。
3. 根據權利要求1所述的方法，其中轉換描述了光波通過傅立葉或者 菲涅耳轉換進入觀察者窗口 (VW)的傳播。
4. 根據權利要求1所述的方法，其中3D繪製和轉換過程僅為景象 (3D-S)輪廓實施。
5. 根據權利要求1所述的方法，其中對於色彩表現，本方法應用到每一個原色。
6. 根據權利要求1所述的方法，其中轉換到觀察者平面基於截面隱含 的恆定Z坐標。
7. 用於轉換和編碼過程的迭代解的根據權利要求1所述的方法，其中 重複步驟(1)和(3)直到足夠逼近以信號噪音最小為特徵的最佳解。
全文摘要
從有深度信息的三維圖像數據中實時繪製並且產生計算機生成視頻全息圖的方法，其中，觀察者(V)的位置和觀察者視線確定景象(3D-S)的視圖，並且觀察者分配有至少一個虛擬觀察者窗口(VW)，該虛擬觀察者窗口處於觀察著眼睛附近的觀察平面中(VP)，包含以下步驟步驟(1)3D繪製和兩平行截面間景象截面數據的深度圖的產生，該兩平行截面設置成與觀察者的觀察方向成直角，步驟(2)景象截面數據的轉換，即，光波向觀察者窗口傳播的計算。步驟(3)3D繪製和轉換步驟的重複，將單獨轉換的結果進行加和，步驟(4)回歸轉換，匯集數據從觀察面轉換到全息面，以便產生全息數據，步驟(5)為了重建三維景象，在像素值中編碼，各個過程步驟通過一個或多個圖形處理器在圖形子系統上執行。
文檔編號G03H1/08GK101421678SQ200780013157
公開日2009年4月29日 申請日期2007年4月12日 優先權日2006年4月13日
發明者亞歷山大·史威特納 申請人:視瑞爾技術公司