用於體視三維顯示圖像生成系統及方法
2023-05-26 20:22:01 2
專利名稱：用於體視三維顯示圖像生成系統及方法
技術領域：
本發明涉及圖像生成和顯示方法，尤其涉及一種用於體視三維顯示圖像生成系統及方法。
背景技術：
圖像拼接技術一直是計算機視覺和圖像處理領域的研究熱點，而隨著三維全景顯示技術的高速發展，以三維方式設計的圖像生成系統成為眾多三維顯示裝置圖像源獲取採用的主要手段。以三維方式設計的圖像生成系統是根據透視投影繪製方法，將三維圖像信息再現在二維顯示系統上。現有的體視三維顯示裝置大都依據在橫向或者縱向通過視場拼接的方式提供足夠多的觀察視角，讓觀察者兩隻眼睛橫跨不同的視角以獲得細膩的三維感知。據此原理，二維顯示系統上再現的圖像信息與具體的三維顯示裝置視角設計參數有關， 往往需要經過與所需呈現的視角信息相對應的圖像處理過程。目前計算機圖形學領域常用的處理思想是基於光場重建、像素點掃描的方式獲取對應視角所需圖像信息。該方法在計算機領域具有相當的普適性，並且所獲取的各視角圖像具有很高的解析度與真實性，但該方案生成的圖像並未考慮三維顯示系統實際像差和系統精度問題，所生成的圖像往往是理論情況下成像所需的圖像，經過三維顯示系統投影顯示出來的效果並非盡如人意。通常情況下，成功的三維顯示裝置需要綜合考慮圖像解析度、三維顯示效果、計算成本等諸多方面，目前已經開發出的體視三維顯示裝置受限於系統結構等因素往往導致理論情況生成的圖像並不能完美顯示，探求一種易綜合了考慮了系統成像像差和裝置精度等問題的圖像生成系統及方法更具實際應用價值。本發明的主要目的在於構建一種具備普適性的、可用於多種體視三維顯示圖像生成系統及方法，它包括具備較高拓展性的投影式三維顯示裝置及圖像採集識別系統，其初衷在於綜合了考慮了系統成像像差和裝置精度的問題下從圖像點實際投影顯示的角度出發獲得真實條件下顯示所需的圖像源，可廣泛用於基於多投影顯示或分時顯示拼接原理的體視三維顯示裝置。
發明內容
本發明的目的是克服現有技術和圖像生成方法的不足，提供一種用於體視三維顯示圖像生成系統及方法。所述的用於體視三維顯示圖像生成系統包括依次設置的二維顯示單元陣列、透鏡陣列、孔闌陣列、定向散射屏和精密導軌，其中，定向散射屏和精密導軌呈同心布置，在精密導軌上設有圖像採集系統，二維顯示單元陣列中所有顯示單元顯示的圖像通過對應的透鏡陣列、孔闌陣列投影到定向散射屏另一側成像，計算機分別與圖像採集系統和二維顯示單元陣列相連接。所述的用於體視三維顯示圖像生成系統的二維顯示單元陣列、透鏡陣列和孔闌陣列為橫向視差的N*1陣列，或為橫向和縱向視差的N*M陣列。所述的用於體視三維顯示圖像生成系統的二維顯示單元陣列為單個二維顯示器
3或多個二維顯示器組成的陣列，其中，二維顯示器為IXD、LCOS, PDP、LED、CRT、OLED或投影機。所述的用於體視三維顯示圖像生成系統的圖像採集系統為CXD或CMOS拍攝器件。所述的用於體視三維顯示圖像生成方法的步驟如下
1)圖像採集系統首先設置於系統對稱中心線上，並對準系統成像中心拍攝；
2)二維顯示單元陣列中的顯示單元顯示一個坐標點Utl, Ytl)；
3)若圖像採集系統捕獲到相應坐標點信息，則判定為顯示單元上顯示的點屬於該視角所需顯示的圖像，進行步驟4)；若圖像採集系統未捕獲到相應坐標點信息，則判定為顯示單元上顯示的點不屬於該視角所需顯示的圖像，返回步驟2)循環掃描顯示下一個坐標點；
4)分別記錄下捕獲的顯示點在二維圖像顯示單元陣列中的坐標點信息(Xtl,Ytl)和在圖像採集系統中的坐標點信息(X1, Y1),送入計算機生成相應的映射關係；循環掃描記錄坐標點映射信息直至二維顯示單元陣列中的顯示單元所有顯示點掃描結束；
5)計算機獲取所要呈現三維物體相應視角的原始圖像，根據映射關係進行從坐標點 (X11Y1)到坐標點(Xtl, Y0)的變化，得到所要呈現三維物體相應視角在二維顯示單元陣列中的圖像；
6)分別向左或向右移動圖像採集系統至下一個相鄰視角位置，其中，圖像採集系統沿精密導軌移動的角度間隔與三維顯示系統的視角間隔相匹配，重複步驟1)至步驟5)，直至計算機得到所要呈現三維物體所有視角在二維顯示單元陣列中的圖像；
7)計算機將所有所要呈現三維物體相應視角在二維顯示單元陣列中的圖像疊加生成最終二維顯示單元陣列顯示的圖像並送入相應顯示單元。所述的用於體視三維顯示圖像生成方法的三維物體原始視角圖像為由計算機模擬拍攝虛擬三維模型各視角的圖像，或由相機在對應視角實際拍攝三維物體的圖像。本發明的主要優點在於提出了一種具備普適性的、可用於多種體視三維顯示圖像生成系統及方法，它包括具備較高拓展性的投影式三維顯示裝置及圖像採集識別系統，其初衷在於綜合了考慮了系統成像像差和裝置精度的問題下從圖像點實際投影顯示的角度出發獲得真實條件下顯示所需的圖像源，可廣泛用於基於多投影顯示或分時顯示拼接原理的體視三維顯示裝置。
下面結合附圖和實施例對本發明進一步說明。圖1是用於體視三維顯示的圖像顯示方法的裝置基本結構示意圖； 圖2是用於體視三維顯示的圖像生成方法流程及示意圖3是橫向15個視角三維顯示裝置顯示單元基本結構示意圖； 圖4、圖5是橫向15個視角三維顯示裝置對應的圖像定標方法示意圖； 圖中，二維圖像顯示單元陣列1、透鏡陣列2、孔闌陣列3、定向散射屏4、精密導軌5、圖像採集系統6、計算機7。
具體實施例方式如圖1所示，用於體視三維顯示圖像生成系統包括依次設置的二維顯示單元陣列1、透鏡陣列2、孔闌陣列3、定向散射屏4和精密導軌5，其中，定向散射屏4和精密導軌5呈同心布置，在精密導軌5上設有圖像採集系統6，二維顯示單元陣列1中所有顯示單元顯示的圖像通過對應的透鏡陣列2、孔闌陣列3投影到定向散射屏4另一側成像，計算機7分別與圖像採集系統6和二維顯示單元陣列1相連接。二維顯示單元陣列1、透鏡陣列2和孔闌陣列3為橫向視差的N*1陣列，或為橫向和縱向視差的N*M陣列。二維顯示單元陣列1為單個二維顯示器或多個二維顯示器組成的陣列，其中，二維顯示器為LCD、LCOS、PDP、LED、CRT、OLED或投影機。圖像採集系統6為CCD 或CMOS拍攝器件。如圖2所示，用於體視三維顯示圖像生成方法的步驟如下
1)圖像採集系統6首先設置於系統對稱中心線上，並對準系統成像中心拍攝；
2)二維顯示單元陣列1中的顯示單元顯示一個坐標點Utl, Ytl)；
3)若圖像採集系統6捕獲到相應坐標點信息，則判定為顯示單元上顯示的點屬於該視角所需顯示的圖像，進行步驟4)；若圖像採集系統6未捕獲到相應坐標點信息，則判定為顯示單元上顯示的點不屬於該視角所需顯示的圖像，返回步驟2)循環掃描顯示下一個坐標佔.
4)分別記錄下捕獲的顯示點在二維圖像顯示單元陣列1中的坐標點信息(Xtl,Ytl)和在圖像採集系統6中的坐標點信息(X1, Y1),送入計算機7生成相應的映射關係；循環掃描記錄坐標點映射信息直至二維顯示單元陣列1中的顯示單元所有顯示點掃描結束；
5)計算機7獲取所要呈現三維物體相應視角的原始圖像，根據映射關係進行從坐標點 (X1, Y1)到坐標點(Xtl, Ytl)的變化，得到所要呈現三維物體相應視角在二維顯示單元陣列1中的圖像；
6)分別向左或向右移動圖像採集系統6至下一個相鄰視角位置，其中，圖像採集系統6 沿精密導軌5移動的角度間隔與三維顯示系統的視角間隔相匹配，重複步驟1)至步驟5)， 直至計算機7得到所要呈現三維物體所有視角在二維顯示單元陣列1中的圖像；
7)計算機7將所有所要呈現三維物體相應視角在二維顯示單元陣列1中的圖像疊加生成最終二維顯示單元陣列1顯示的圖像並送入相應顯示單元。用於體視三維顯示圖像生成方法的三維物體原始視角圖像為由計算機模擬拍攝虛擬三維模型各視角的圖像，或由相機在對應視角實際拍攝三維物體的圖像。以一個包含15個橫向拼接圖像的視場拼接三維顯示裝置生成一個視角的圖像為示例，其餘的視角均可類推得到。系統結構如圖1所示，圖像顯示陣列1包括錯位排布的15 個投影機，如圖3所示，所謂投影機由圖像顯示陣列1的一部分、一個透鏡和一個孔闌組成，孔闌緊貼在透鏡前方；定向散射屏2為弧形，以系統中心0點為圓心，在縱向散射光線， 橫向不散射光線。15個投影機在水平方向上對準設定的系統中心0，垂直方向上對準散射屏2上的同一高度。則15個投影機的圖像均經過縱向散射屏2在縱向展開，從而在另一側看到長條形圖像，15幅圖像正好拼接成一整幅完整圖像。生成圖像之前首先需要進行一次圖像定標。先將圖像採集系統6置於中間視角位置，如圖1中實線表示的採集系統位置。然後在圖像顯示陣列1上顯示一個白點，坐標為 (X0,\)，從顯示陣列的左上角開始將白點逐行掃描，如圖4所示；圖像採集系統6在白點每移動一個像素就捕獲一幅視角圖像，分析獲得的圖像中白點有沒有出現；如果有，說明此位置的白點是屬於該視角的，將其在獲取的視角圖像中的坐標(X1, Y1)記錄下來，如圖5所示， 並與圖像顯示陣列中白點的坐標(H)建立映射關係。這樣當圖像顯示陣列1上所有的像素點都被掃描過後，圖像採集系統6捕獲的區域內的所有出現過的白點的(X1, Y1)坐標都映射到圖像顯示陣列1上相應的(Xtl, Ytl),並且呈現一個分布區域，如圖5的虛線框所示，這個區域就是系統可以顯示的圖像範圍。這樣一個視角就定標完成了。完成一個視角的圖像定標後，將屬於該視角的所有(Xtl, Ytl)設置成白色，其餘設置成黑色，此時圖像採集系統6應當採集到由15條白色豎條拼接成的一片白色區域；圖像採集系統6沿著精密導軌5往右移動，直到某一個豎條圖像完全變成黑色，則認為圖像採集系統6已經到了下一個視角，轉過的角度即為相鄰視角的間隔。在下一個視角重複前文圖像定標部分，直到所有視角都定標完成，最後可以得到所有視角上(X1, Y1)與相應Uo，Ytl)的映射關係。定標完成之後，在系統參數不改變的情況下即可根據已經獲得的映射關係生成圖像而無需再次定標。將最終要顯示的三維模型或場景按照定標部分的視角間隔獲取二維視角圖像。將視角圖像縮放至系統可以顯示的圖像範圍大小，並將視角圖像的像素點與相應視角上的(X1, Y1)—一對應，根據映射關係分配到(Xtl, Ytl)上，則該視角的所有像素(Xtl, Y0) 均由該視角的視角圖像映射得到。其餘視角操作由此類推，最終可以得到整個圖像顯示陣列1需要顯示的圖像。只要在圖像顯示陣列1上顯示最終生成的圖像，在觀察區域就可以看到三維模型或場景。雖然這裡是通過示意和舉例的方式對本發明進行進一步描述的，但應該認識到， 本發明並不局限於上述實施方式和實施例，前文的描述只被認為是說明性的，而非限制性的，本領域技術人員可以做出多種變換或修改，只要沒有離開所附權利要求中所確立的範圍和精神實質，均視為在本發明的保護範圍之內。
權利要求
1.一種用於體視三維顯示圖像生成系統，其特徵在於包括依次設置的二維顯示單元陣列(1)、透鏡陣列(2)、孔闌陣列(3)、定向散射屏(4)和精密導軌(5)，其中，定向散射屏(4) 和精密導軌(5)呈同心布置，在精密導軌(5)上設有圖像採集系統(6)，二維顯示單元陣列 (1)中所有顯示單元顯示的圖像通過對應的透鏡陣列(2)、孔闌陣列(3)投影到定向散射屏 (4)另一側成像，計算機(7)分別與圖像採集系統(6)和二維顯示單元陣列(1)相連接。
2.根據權利要求1所述的一種用於體視三維顯示圖像生成系統，其特徵在於所述的二維顯示單元陣列(1)、透鏡陣列(2)和孔闌陣列(3)為橫向視差的N*1陣列，或為橫向和縱向視差的N*M陣列。
3.根據權利要求1所述的一種用於體視三維顯示圖像生成系統，其特徵在於所述的二維顯示單元陣列(1)為單個二維顯示器或多個二維顯示器組成的陣列，其中，二維顯示器為 LCD、LCOS、PDP、LED、CRT、OLED 或投影機。
4.根據權利要求1所述的一種用於體視三維顯示圖像生成系統，其特徵在於所述的圖像採集系統(6)為CXD或CMOS拍攝器件。
5.一種使用如權利要求1所述系統的用於體視三維顯示圖像生成方法，其特徵在於它的步驟如下1)圖像採集系統(6)首先設置於系統對稱中心線上，並對準系統成像中心拍攝；2)二維顯示單元陣列(1)中的顯示單元顯示一個坐標點Utl, Y。)；3)若圖像採集系統(6)捕獲到相應坐標點信息，則判定為顯示單元上顯示的點屬於該視角所需顯示的圖像，進行步驟4)；若圖像採集系統(6)未捕獲到相應坐標點信息，則判定為顯示單元上顯示的點不屬於該視角所需顯示的圖像，返回步驟2)循環掃描顯示下一個坐標點；4)分別記錄下捕獲的顯示點在二維圖像顯示單元陣列(1)中的坐標點信息(Xtl,Ytl)和在圖像採集系統(6)中的坐標點信息(X1, Y1),送入計算機(7)生成相應的映射關係；循環掃描記錄坐標點映射信息直至二維顯示單元陣列(1)中的顯示單元所有顯示點掃描結束；5)計算機(7)獲取所要呈現三維物體相應視角的原始圖像，根據映射關係進行從坐標點(X1, Y1)到坐標點(Xtl, Y0)的變化，得到所要呈現三維物體相應視角在二維顯示單元陣列 (1)中的圖像；6)分別向左或向右移動圖像採集系統(6)至下一個相鄰視角位置，其中，圖像採集系統(6)沿精密導軌(5)移動的角度間隔與三維顯示系統的視角間隔相匹配，重複步驟1)至步驟5)，直至計算機(7)得到所要呈現三維物體所有視角在二維顯示單元陣列(1)中的圖像；7)計算機(7)將所有所要呈現三維物體相應視角在二維顯示單元陣列(1)中的圖像疊加生成最終二維顯示單元陣列(1)顯示的圖像並送入相應顯示單元。
6.根據權利要求5所述的一種用於體視三維顯示圖像生成方法，其特徵在於所述的三維物體原始視角圖像為由計算機模擬拍攝虛擬三維模型各視角的圖像，或由相機在對應視角實際拍攝三維物體的圖像。
全文摘要
本發明公開了一種用於體視三維顯示圖像生成系統及方法。配合光場重建和視場拼接的顯示原理獲取現有大部分體視三維顯示系統的圖像源。生成系統包括二維顯示單元陣列、透鏡陣列、孔闌陣列、定向散射屏、精密導軌、圖像採集系統及計算機。生成方法步驟包括循環掃描顯示點；圖像採集系統捕獲識別；獲取映射坐標關係；視角圖像源變換；移動圖像採集系統重複操作；對各圖像進行疊加獲取最終顯示所需的圖像源。本發明視具體的三維顯示裝置不同而採用靈活且操作性強圖像處理方法，優點在於可用於基於平板顯示器或多投影的體視三維顯示系統中獲取圖像源。該系統及方法綜合考慮了系統成像像差與系統精度問題，可在較低的計算複雜度下獲得校正過的圖像。
文檔編號G02B27/22GK102404598SQ20111037298
公開日2012年4月4日 申請日期2011年11月22日 優先權日2011年11月22日
發明者劉旭, 彭禕帆, 李海峰, 鍾擎 申請人:浙江大學