可交互數位化立體沙盤系統的製作方法

2023-05-28 13:13:11 1

可交互數位化立體沙盤系統的製作方法【專利摘要】一種可交互數位化立體沙盤系統，由立體圖像生成系統和人機互動系統兩大部分構成；立體圖像生成系統採用Opengl等3D引擎繪製三維地形，應用人眼跟蹤和指向光技術，實現無輔助立體顯示，並且採用一系列圖像的加速技術加快圖像的渲染過程；使三維建築模型置於三維地形目標區域中，具有精確的空間分布和良好的視覺效果；立體圖像生成系統構成裸眼立體顯示器；人機互動系統，指通過手勢控制立體圖像生成系統中三維地形場景或三維模型數據的系統，通過預置手勢識別的接口實現；相對應的手勢控制立體圖像生成系統中三維地形場景或三維模型數據的放大、縮小、平移、旋轉或進入等並且根據需要配置對應的可以區別不同控制意義的手勢。【專利說明】爸制，購置速度慢，運輸不便，已難以適應當1經發展成為大區域、立體化、多兵種，戰爭中適應現代戰爭需要的戰場態勢表達技術，丁交互式的數位化沙盤運用而生。近年來越6上，其人與作戰環境的虛擬並自然的交互練中的問題，如費用過高、環境限制等。越玫字化沙盤全部都是平面的，不能夠準確表:|」的對比分析0-7-28)提出了一種「基於實時交互式影像象模塊為投影機組，交互模塊分為非接觸式./攝像機設備採集影像，接觸式則為採用成像模塊。基礎模塊則為適合成像模塊成3-2-20)提出了「一種交互式電子沙盤手勢存放在了智能化互補，多模態(多通道)多也就是放在以人為在中心的人機互動技術I才剛剛起步並且正迅速的發展。可以說世多、娛樂方面)。然而目前我國在人機互動方匕差距，缺少新的人機技術。而利用指向光I示技術的應用尚未成熟。技術已經發展的較成熟。市面上也越來越5。然而雖然立體圖像對技術能夠提供立體，通過視差而立體成像。但這類技術不僅需舒適度，而且使用操作具有極大的局限性，巨調節和實現匯聚調節，長時間觀看會產生立體沙盤系統，利用裸眼30技術和觸摸技(如55寸)的水平顯示臺產生30效果，人貌，並且可以顯示戰爭中用到的軍事模型包括坦克、飛機等，並且有絢麗的戰爭光影效果，預置手勢識別的接口通過手勢控制立體圖像生成系統中三維地形場景或三維模型數據，因為地形和軍事模型非常的複雜，所以程序的數據量非常大。對於這樣的數據量，系統採用創新的數據管理方式:即統一的三維地形場景，分塊的三維軍事模型數據，實現三維軍事模型分層調入，使系統既是一個有機的整體，又能快速運行，解決海量數據和運行效率的問題。[0020]立體圖像生成系統中立體圖像的獲得是利用左右眼看到的圖像有細微的差別，從而在大腦中合成一幅具有深度的立體圖。用虛擬攝像機拍攝模擬場景，通過坐標變換獲得左右圖像，對獲得的左右圖像進行視差控制，基於視差機制，利用Opengl,Opencv,DirectX或3D引擎繪製三維地形(進行渲染加速)。因為在視差間距過大的情況下無法在大腦中形成3D圖像，所以對獲得的左右圖像進行視差控制(控制左右圖像同名點的間距)；當由於人眼的移動會造成圖像匯聚點的移動使立體圖像產生畸變，這樣就需要採用視覺跟蹤的方法使左右圖像的匯聚點保持不變，從而實現交互立體圖像的生成。[0021]2)、人機互動系統[0022]指通過手勢控制立體圖像生成系統中三維地形場景或三維模型數據的系統，通過預置手勢識別的接口實現；可交互數位化立體沙盤系統操作靈活，互操作能力很強。相對應的手勢控制立體圖像生成系統中三維地形場景或三維模型數據的放大、縮小、平移、旋轉或進入等並且根據需要配置對應的可以區別不同控制意義的手勢；由立體相機拍攝並取得手勢三維信息，利用中點補償算法對原始採樣點進行處理，建立隱性馬爾科夫模型，將手勢空間分布特徵，與樣本庫進行相似度對比，識別手勢具體含義。[0023]還包括通過自然的手勢控制，可以在三維場景中前進、後退，升高、降低視點、進入三維地形場景或三維模型數據觀察內部細節(如樓盤內部觀察房間內部的細節，並可以在房間中看到周圍的建築和風景，給人一種極致的人機互動體驗)。圖11顯示了可以實現的手勢操作。無侵擾手勢識別裝置、且實時立體內容生成構成實時的人機立體圖像(影像)的生成交互；[0024]裸眼立體顯示器放置無侵擾手勢識別裝置，通過對手勢的識別，實現3D圖像多人實時互動。利用裸眼3D技術和無侵擾手勢識別技術實現高仿真立體畫面和高精度人機互動，人眼看到的沙盤模型懸浮在裸眼立體顯示器上方。[0025]所述的人機互動，根據實時記錄大視角、大動態範圍的用戶活動區域，利用幀間差分的識別方法，達到手勢對三維場景的實時控制。[0026]採用人眼跟蹤和指向光技術，人眼位置的探測為非接觸式，用戶無需佩戴任何輔助裝置。[0027]擁有手勢探測的基本攝像模塊，基於視覺感知的手勢運動軌跡的描述，擁有手勢的理解與識別算法，實現規定手勢的自動識別。近場手勢交互，多個手勢識別的攝像頭進行手勢的捕捉，可實現無侵擾手勢識別，手勢定位的精度達到釐米級別。[0028]本系統採用的是近場手勢交互技術，結合計算機視覺檢測技術檢測手指的位置，引導立體圖像生成模塊生成對應的立體像對，以實現可操控，可交互的技術要求。擁有手勢探測的基本攝像模塊，實時記錄大視角、大動態範圍的用戶活動區域；擁有基於視覺感知的手勢運動軌跡的描述，從而形成關於手勢基本點雲描述；擁有手勢的理解與識別算法，實現[關係。芝校正處理。3、30裸眼顯示屏4、虛擬物體5、人眼跟蹤戸所在的大致區域，採用幀間差分的方法提:圖像的灰度值的差分信息得到手的運動區基本原理，實時、快速地生成可交互的立體.體圖像格式。在㈨的隊應用程式接口中，視差圖像。即通過？(:終端1、視頻接口2、以物體5在屏上，人眼跟蹤器6用於對人眼I模擬觀看者的雙眼捕獲左右圖像，通過視與架虛擬相機模擬雙眼獲取立體圖像對，有和平行式立體相機模型(圖5)。匯聚式立1近景的拍攝；平行式立體相機模型光軸互目於遠景的拍攝。建立數學模型，以兩架相I為原點建立相機坐標系，以相機冗0投影7原點建立顯示坐標系，立體相機拍攝的過坐標系、相機坐標繫到圖像坐標系、圖像坐？問題，經常用一個比實際瞳孔距離小的間線向量為rD,雙眼中心坐標為I,實際物體位置為E點,用戶感知的物體位置為F點。可以定義一個轉換矩陣，通過該轉換矩陣可以在世界坐標系中將E點轉換到F點，即F=Δ(E)0通過在坐標系中的轉換可以有效地減小崎變問題，如(圖9右)所不，紅色的網格為崎變圖像，藍色的網格為進行逆畸變Λ-1處理後的圖像。可以看出進行逆畸變處理可以有效的還原真實的場景。[0055]4)、基於視差機制的圖像加速方法[0056]在虛擬場景中，根據一系列點的三維信息，利用現有程序OPENGL繪製三角形渲染出整個場景，再加以紋理貼圖就可以完成地圖渲染，我們可以在初始化過程中將所有點的信息存入GPU中這樣在渲染的過程中就無需頻繁的讀取內存中的數據，加以渲染過程。在渲染之前對地形各個快進行裁剪測試，這樣我們在繪製地圖中較遠的場景時就可以使用較少的三角形進行渲染，對於不在視野範圍內的場景不進行渲染，這樣就可以加快圖像的渲染過程。[0057]實施例1:[0058]實際裝置中，我們採用的手勢識別裝置是Leapmot1n。Leapmot1n傳感器根據內置的兩個攝像頭從不同的角度捕捉的畫面，重建出手掌在真是世界三維空間的聯動信息。檢測的範圍大體在傳感器上方25毫米到600毫米之間，檢測的空間大體是一個到四稜錐體。[0059]首先，LeapMot1n傳感器會建立一個直角坐標系，坐標的原點式傳感器的中心，坐標的X軸平行於傳感器，指向屏幕右方。Y軸指向上方。Z軸之相背離屏幕的方向。單位為真實世界的毫米。在使用過程中，LeapMot1n傳感器會定期的發送關於手的聯動信息，每份這樣的信息稱為「幀」。每一個這樣的幀包含檢測到的:[0060].所有手掌的列表及信息；[0061].所有手指的列表及信息；[0062].手持工具(細的，筆直的，比手指長的東西，例如一枝筆)的列表及信息；[0063].所有可指向對象(PointableObject)，即所有手指和工具的列表及信息；[0064]Leap傳感器會給所有這些分配一個唯一標識(ID)，在手掌、手指、工具保持在視野範圍內時，是不會改變的。根據這些ID,可以通過Frame::handO,Frame::fingerO等函數來查詢每個連動對象的信息。[0065]然後根據每幀和前幀檢測到的數據，生成運動信息。例如，若檢測到兩隻手，並且兩隻手都超一個方向移動，就認為是平移；若是像握著球一樣轉動，則記為旋轉。若兩隻手靠近或分開，則記為縮放。所生成的數據包含:[0066]?旋轉的軸向向量；[0067].旋轉的角度(順時針為正)；[0068].描述旋轉的矩陣；[0069].縮放因子；[0070]?平移向量；[0071]實施例2:[0072]實際成品如圖3所示。該產品由55寸3D液晶顯示屏,三維手勢精確定位元件,手勢協處理器，電子計算機集成而成，可配置底座，採用集成化無縫設計。只有顯示屏暴露在夕卜，三維手勢精確定位元件和手勢協處理器元件(手勢探測器)暗藏在顯示屏的周邊。[0073]如圖3所示，用戶在顯示器前方左右前後移動時，人眼跟蹤裝置將用戶位置實時監測到；與此同時，收拾探測其探測用戶雙手的操作姿態。用戶的眼睛位置，手勢動作信息被實時傳輸給PC機，PC機根據用戶觀看點、手部動作而實時生成相對應的一對立體圖像並顯示在顯示屏上。由於對人眼位置、手勢動作的探測是接觸式的，用頭部、手部無需佩戴任何輔助裝置，從而實現無侵擾人機互動。[0074]雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬【
技術領域：
】中具有通常知識者，在不脫離本發明的精神和範圍內，當可作各種的更動與潤飾。因此，本發明的保護範圍當視權利要求書所界定者為準。【權利要求】1.一種可交互數位化立體沙盤系統，其特徵是由立體圖像生成系統和人機互動系統兩大部分構成；1)、立體圖像生成系統立體圖像生成系統採用Opengl,Opencv,DirectX或3D引擎繪製三維地形,應用人眼跟蹤和指向光技術，實現無輔助立體顯示，並且採用一系列圖像的加速技術加快圖像的渲染過程；使三維建築模型置於三維地形目標區域中，具有精確的空間分布和良好的視覺效果；立體圖像生成系統構成裸眼立體顯示器；立體圖像生成系統採用獨自編程，沙盤模型細節眾多。不僅可以顯示整個地形地貌，並且可以顯示戰爭中用到的軍事模型包括坦克、飛機等，並且有絢麗的戰爭光影效果，預置手勢識別的接口通過手勢控制立體圖像生成系統中三維地形場景或三維模型數據，因為地形和軍事模型非常的複雜，所以程序的數據量非常大。對於這樣的數據量，系統採用創新的數據管理方式:即統一的三維地形場景，分塊的三維軍事模型數據，實現三維軍事模型分層調入，使系統既是一個有機的整體，又能快速運行，解決海量數據和運行效率的問題。立體圖像生成系統中立體圖像的獲得是利用左右眼看到的圖像有細微的差別，從而在大腦中合成一幅具有深度的立體圖。用虛擬攝像機拍攝模擬場景，通過坐標變換獲得左右圖像，對獲得的左右圖像進行視差控制，基於視差機制，利用Opengl,Opencv,Directx或3D引擎繪製三維地形(進行渲染加速)。因為在視差間距過大的情況下無法在大腦中形成3D圖像，所以對獲得的左右圖像進行視差控制(控制左右圖像同名點的間距)；當由於人眼的移動會造成圖像匯聚點的移動使立體圖像產生畸變，這樣就需要採用視覺跟蹤的方法使左右圖像的匯聚點保持不變，從而實現交互立體圖像的生成。2)、人機互動系統指通過手勢控制立體圖像生成系統中三維地形場景或三維模型數據的系統，通過預置手勢識別的接口實現；相對應的手勢控制立體圖像生成系統中三維地形場景或三維模型數據的放大、縮小、平移、旋轉或進入等並且根據需要配置對應的能區別不同控制意義的手勢；由立體相機拍攝並取得手勢三維信息，利用中點補償算法對原始採樣點進行處理，建立隱性馬爾科夫模型，將手勢空間分布特徵，與樣本庫進行相似度對比，識別手勢具體含義；還包括通過自然的手勢控制，在三維場景中前進、後退，升高、降低視點、進入三維地形場景或三維模型數據觀察內部細節；手勢識別的接口連接無侵擾手勢識別或監測裝置、通過對手勢的識別，且實時立體內容生成構成實時的人機立體圖像(影像)的生成實時交互。2.根據權利要求1所述的可交互數位化立體沙盤系統，其特徵是裸眼立體顯示器放置無侵擾手勢識別裝置，利用裸眼3D技術和無侵擾手勢識別技術實現高仿真立體畫面和高精度人機互動，人眼看到的沙盤模型懸浮在裸眼立體顯示器上方。3.根據權利要求1所述的可交互數位化立體沙盤系統，其特徵是所述的人機互動，擁有手勢探測的基本攝像模塊，通過多個攝像頭或者手勢識別元件，同時提取多個手勢，範圍覆蓋整個屏幕，利用幀間差分的識別方法，將不同用戶的手勢分別提取出來，並將手勢識別的反饋實時顯示在圖像上，達到手勢對三維場景的實時控制。4.根據權利要求1所述的可交互數位化立體沙盤系統，其特徵是採用人眼跟蹤和指向光技術，人眼位置的探測為非接觸式。5.根據權利要求1所述的可交互數位化立體沙盤系統，其特徵是擁有手勢探測的基本攝像模塊，基於視覺感知的手勢運動軌跡的描述，擁有手勢的理解與識別算法，即基於手勢空間分布特徵的手勢識別算法，手勢空間分布特徵(HDF)是對人手空間特徵的抽象描述；其中最重要的就是提取膚色和手勢空間的特徵向量，並將提取的手勢空間分布特徵與樣本庫進行相似度比較，識別手勢的具體含義；提取空間分布特徵一般從整體姿態和局部姿態2個方面進行。然後將手勢的整體表現特徵與手勢的關節變化特性結合起來提取手勢的空間分布特徵，從而實現規定手勢的自動識別。6.根據權利要求1所述的可交互數位化立體沙盤系統，其特徵是系統採用的是近場手勢交互技術，多個手勢識別的攝像頭進行手勢的捕捉，結合計算機視覺檢測技術檢測手指的位置，採用膚色識別等技術將手勢動作提取出來，根據隱馬爾科夫模型引導立體圖像生成模塊生成對應的立體圖像對，通過手勢動作和預置的模型進行比較，從而反饋出相應的圖像變化信號，以實現可操控，可交互。7.根據權利要求1所述的可交互數位化立體沙盤系統，其特徵是設有基於視覺感知的手勢運動軌跡的描述，從而形成關於手勢基本點雲描述；擁有手勢的理解與識別算法，實現規定手勢的自動識別；根據用戶的實時動態，手勢的變換控制，裸眼立體顯示器實時更新場景的顯示。8.根據權利要求1所述的可交互數位化立體沙盤系統，其特徵是為消除畸變，建立一個畸變模型，以零視差平面中心為原點，垂直於該面為Z軸，水平方向為X軸。在該圖中實際人眼連線的向量為2D，計算機設定的人眼連線向量為rD，雙眼中心坐標為I，實際物體位置為E點，用戶感知的物體位置為F點；通過定義一個轉換矩陣，通過該轉換矩陣可以在世界坐標系中將E點轉換到F點，即F=Δ(E)。9.根據權利要求1所述的可交互數位化立體沙盤系統，其特徵是通過在坐標系中的轉換有效地減小畸變問題。【文檔編號】G06F3/01GK104050859SQ201410193904【公開日】2014年9月17日申請日期:2014年5月8日優先權日:2014年5月8日【發明者】王元慶,董辰辰,李異同,陸大偉,馬換申請人:南京大學