立體交互方法、立體顯示設備及其系統與流程
2023-10-11 16:04:49
本發明涉及立體顯示交互
技術領域：
，特別是涉及立體交互方法、立體顯示設備及其系統。
背景技術：
：立體顯示技術是指利用人眼左右分別接收不同畫面，然後大腦經過對圖像信息進行疊加重生，構成一個具有前—後、上—下、左—右、遠—近等立體方向效果的影像技術，立體顯示與平面顯示相比，其畫面更加真實。目前，立體顯示所構建出來的虛擬物體在視覺效果上可以分為兩類，一類是肉眼看起來凸出屏幕的物體，稱之為屏外視差物體技術；另一類是肉眼看起來在屏幕內的物體，稱之為屏內視差物體技術。而無論屏外視差物體技術或者屏內視差物體技術，對立體顯示設備進行操作時，需要使用到操作體，操作體與立體顯示設備的顯示屏幕接觸或者與物理操作平面進行接觸，造成操作體與立體顯示設備的顯示屏幕接觸或者與物理操作平面產生機械摩擦，使得操作體、顯示屏幕和物理操作平面容易損壞。技術實現要素：本發明主要解決的技術問題是提供一種立體交互方法、立體顯示設備及其系統，能夠實現非接觸狀態下的立體交互，豐富交互場景，並且立體交互操作體與立體顯示設備沒有任何機械接觸，減少摩擦損耗，提高立體交互操作體和立體顯示設備耐用性。為解決上述技術問題，本發明實施例提供立體交互方法，應用於立體顯示設備和立體交互操作體的交互場景中，包括：識別所述立體交互操作體處於非接觸狀態的操作信息，其中，所述非接觸狀態是指所述立體交互操作體相對所述立體顯示設備運動，且未與所述立體顯示設備相接觸的狀態；判斷所述操作信息是否滿足預設條件，若滿足所述預設條件，則觸發所述交互場景中的交互操作。具體地，所述操作信息包括所述立體交互操作體相對所述立體顯示設備的實際運動軌跡以及所述立體交互操作體發出的操作指令。進一步地，還包括：根據所述實際運動軌跡生成在所述立體顯示設備顯示的虛擬操作空間內的虛擬運動軌跡。具體地，所述根據所述實際運動軌跡生成在所述立體顯示設備顯示的虛擬操作空間內的虛擬運動軌跡，包括：設定實際操作空間；獲取所述立體交互操作體在所述實際操作空間內相對所述立體顯示設備運動形成的所述實際運動軌跡；將所述實際運動軌跡進行空間映射生成所述虛擬運動軌跡。具體地，所述設定實際操作空間，具體包括：接收所述立體交互操作體發送的實際操作空間設置指令；根據所述實際操作空間設置指令，獲取所述立體交互操作體的實際位置坐標；根據所述立體交互操作體的實際位置坐標設定所述實際操作空間。進一步地，所述將所述實際運動軌跡進行空間映射生成所述虛擬運動軌跡，具體包括：接收所述立體交互操作體所發送的初始位置設置指令，所述初始位置設置指令用於設置所述立體交互操作體在所述實際操作空間內的第一位置坐標，和所述立體交互操作體在虛擬操作空間內的第二位置坐標；根據所述第一位置坐標與所述第二位置坐標，建立所述實際操作空間與所述虛擬操作空間之間的映射關係；根據所述映射關係，將所述實際運動軌跡進行空間映射生成所述虛擬運動軌跡。進一步地，所述方法還包括：接收所述立體交互操作體發送的縮放指令，並獲取所述立體交互操作體在所述實際操作空間內的第三位置坐標；根據所述第三位置坐標與所述第一位置坐標，重新設定所述實際操作空間，並建立所述虛擬操作空間與所述重新設定所述實際操作空間的映射關係。進一步地，所述方法還包括：接收所述立體交互操作體所發送的鎖定操作指令，並獲取所述立體交互操作體的鎖定位置坐標；移動所述立體交互操作體，並且接收所述立體交互操作體發送的解鎖操作指令時，獲取解鎖位置坐標；根據所述第一位置坐標、所述鎖定位置坐標和所述解鎖位置坐標，重新設定所述實際操作空間，並建立所述虛擬操作空間與所述重新設定所述實際操作空間的映射關係。可選地，所述判斷所述操作信息是否滿足預設條件，若滿足所述預設條件，則觸發所述交互場景中的交互操作，具體包括：判斷所述實際操作空間與所述虛擬操作空間是否重合，如果實際操作空間與所述虛擬操作空間不重合，則將所述立體交互操作體的所述實際運動軌跡映射為所述虛擬操作空間內虛擬光標的運動軌跡，並當所述虛擬光標的運動軌跡與所述虛擬操作空間內的操作對象之間的距離小於預設距離時，對所述操作對象執行所述操作指令對應的操作。可選地，如果所述實際操作空間與所述虛擬操作空間重合，則當所述立體交互操作體的所述實際運動軌跡與虛擬操作空間內的操作對象之間的距離小於預設距離時，對所述操作對象執行所述操作指令對應的操作。優選地，所述操作指令包括激活指令，所述操作對象包括沿所述虛擬空間縱深方向層疊設置的多個顯示對象，所述立體交互操作體執行所 述激活指令，對所述顯示對象進行激活操作。優選地，所述操作指令包括切割指令，所述操作對象包括在所述虛擬操作空間內的虛擬人體組織，所述立體交互操作體執行所述切割指令，對所述虛擬人體組織進行切割操作。進一步地，所述方法還包括：在觸發所述交互場景中的交互操作時，向所述立體交互操作體發送力反饋震動指令，以使所述立體交互操作體進行力反饋震動。進一步地，在識別所述立體交互操作體處於非接觸狀態的操作信息之前，還包括：建立所述立體顯示設備與所述立體交互操作體之間數據通信。本發明實施例還提供立體顯示設備，用於與立體交互操作體進行交互操作，所述立體顯示設備包括顯示單元，用於顯示交互場景，還包括：識別單元，用於識別所述立體交互操作體處於非接觸狀態的操作信息，其中，所述非接觸狀態是指所述立體交互操作體相對所述立體顯示設備運動，且未與所述立體顯示設備相接觸的狀態；交互單元，用於判斷所述操作信息是否滿足預設條件，若滿足所述預設條件，則觸發所述交互場景中的交互操作。具體地，所述操作信息包括所述立體交互操作體相對所述立體顯示設備的實際運動軌跡以及所述立體交互操作體發出的操作指令。具體地，所述識別單元包括：實際操作空間設置模塊，用於接收所述立體交互操作體發送的實際操作空間設置指令，根據所述實際操作空間設置指令，獲取所述立體交互操作體的實際位置坐標，根據所述立體交互操作體的實際位置坐標設定所述實際操作空間；實際運動軌跡獲取模塊，用於獲取所述立體交互操作體在所述實際操作空間內相對所述立體顯示設備的運動形成的所述實際運動軌跡。進一步地，所述交互單元包括：空間轉換模塊，用於根據所述實際運動軌跡生成在所述立體顯示設備顯示的虛擬操作空間內的虛擬運動軌跡；交互內容處理模塊，用於判斷所述操作信息是否滿足預設條件，交互事件觸發模塊，用於在滿足所述預設條件時，觸發所述交互場景中的交互操作。進一步地，所述空間轉換模塊，還用於：接收所述立體交互操作體所發送的初始位置設置指令，所述初始位置設置指令用於設置所述立體交互操作體在所述實際操作空間內的第一位置坐標，和所述立體交互操作體在虛擬操作空間內的第二位置坐標；根據所述第一位置坐標與所述第二位置坐標，建立所述實際操作空間與所述虛擬操作空間之間的映射關係；根據所述映射關係，將所述實際運動軌跡進行空間映射生成所述虛擬運動軌跡。進一步地，所述空間轉換模塊，還用於:接收所述立體交互操作體發送的縮放指令，並獲取所述立體交互操作體在所述實際操作空間內的第三位置坐標；根據所述第三位置坐標與所述第一位置坐標重新設定所述實際操作空間，並建立所述虛擬操作空間與所述重新設定所述實際操作空間的映射關係。進一步地，所述空間轉換模塊，還用於：接收所述立體交互操作體所發送的鎖定操作指令，並獲取所述立體交互操作體的鎖定位置坐標；以及接收移動所述立體交互操作體時所發送的解鎖操作指令，獲取解鎖位置坐標；根據所述第一位置坐標、所述鎖定位置坐標和所述解鎖位置坐標，重新設定所述實際操作空間，並建立所述虛擬操作空間與所述重新設定所述實際操作空間的映射關係。具體地，所述交互內容處理模塊包括：第一判斷子模塊，用於判斷所述實際操作空間與所述虛擬操作空間是否重合，如果實際操作空間與所述虛擬操作空間不重合，則將所述立體交互操作體的所述實際運動軌跡映射為所述虛擬操作空間內虛擬光 標的運動軌跡；第二判斷子模塊，用於判斷所述立體交互操作體的所述實際運動軌跡或所述虛擬操作空間內虛擬光標的運動軌跡與虛擬操作空間內的操作對象之間的距離是否小於預設距離。可選地，所述操作指令包括激活指令，所述操作對象包括沿所述虛擬空間縱深方向層疊設置的多個顯示對象，所述交互事件觸發模塊具體用於：執行所述激活指令，對所述顯示對象進行激活操作。可選地，所述操作指令包括切割指令，所述操作對象包括在所述虛擬操作空間內的虛擬人體組織，所述交互事件觸發模塊具體用於：執行所述切割指令，對所述虛擬人體組織進行切割操作。優選地，所述設備還包括：力反饋單元，用於在觸發所述交互場景中的交互操作時，向所述立體交互操作體發送力反饋震動指令，以使所述立體交互操作體進行力反饋震動。優選地，所述設備還包括：通信單元，用於建立所述立體顯示設備與所述立體交互操作體之間數據通信。本發明實施例還提供一種立體交互系統，包括立體交互操作體,和上述所述立體顯示設備。本發明實施例通過識別所述立體交互操作體處於非接觸狀態的操作信息，並在操作信息滿足預設條件進觸發交互操作，從而實現立體交互；另外，由於立體交互操作體與立體顯示設備沒有任何機械接觸，減少摩擦損耗，提高立體交互操作體和立體顯示設備耐用性。附圖說明圖1是本發明實施例一種立體交互方法流程示意圖；圖2是本發明實施例中利用超聲波對立體交互操作體進行定位的示意圖；圖3是本發明實施例中利用超聲波對立體交互操作體進行定位的坐 標平面示意圖；圖4是本發明實施例多點超聲波定位時分復用時序圖；圖5是本發明實施例中利用紅外光源對立體交互操作體進行定位的示意圖；圖6是本發明實施例中利用紅外光源對立體交互操作體進行定位的攝像頭結構示意圖；圖7是本發明實施例中利用紅外光源對立體交互操作體進行定位的透視結構示意圖；圖8是本發明實施例設置實際操作空間的示意圖；圖9是本發明實施例虛擬桌球遊戲應用實例示意圖；圖10是本發明實施例一種增強傳統滑鼠輸入的應用實例示意圖；圖11是本發明實施例實際操作空間與虛擬操作空間進行映射的過程示意圖；圖12是本發明實施例使用立體交互操作體縮放實際操作空間範圍的方法示意圖；圖13是本發明實施例立體顯示設備所顯示的虛擬操作空間裡的光標移動的示意圖；圖14是本發明實施例使用立體交互操作體鎖定虛擬光標後移動到另一區域解鎖的方法示意圖；圖15-圖17為本發明實施例對使用本發明立體交互方法實現在立體顯示的移動終端內激活或選中立體場景裡的某一操作對象進行立體交互操作示意圖；圖18是本發明實施例使用滑鼠墊和指環輔助輸入設備進行立體交互的示意圖立體交互方法實施方式中轉動機械元件的示意圖；圖19-圖21是本發明實施例輔助輸入設備操作一個設計中的立體機械結構應用示意圖；圖22是本發明實施例實現模擬雕刻應用的示意圖；圖23是本發明實施例實現虛擬手術訓練應用的示意圖；圖24-圖25是本發明實施例實現的模擬桌球遊戲應用的示意圖；圖26是本發明實施例立體顯示設備結構示意；圖27是本發明實現例立體交互系統結構示意圖。具體實施方式下面結合附圖和實施例對本發明進行詳細說明。為便於理解本發明實施例，在開始描述本發明的各個實施例之前，對本發明的所有實施例中涉及到的一些術語進行解釋。具體地，在本發明的所有實施例中，立體顯示設備顯示供立體交互操作體行交互操作的立體場景稱為交互場景，其中，立體交互操作體相對於立體顯示設備的操作空間稱為實際操作空間，交互場景所在空間即為虛擬操作空間。立體交互操作體在實際操作空間內相對於立體顯示設備實際運動的軌跡稱為實際運動軌跡，比如，立體交互操作體相對於立體顯示設備的位置、輪廓或者姿勢都可以是立體交互操作體的實際運動軌跡。立體交互操作體在實際操作空間內的實際運動軌跡映射於虛擬操作空間形成虛擬運動軌跡。將立體交互操作體相對所述立體顯示設備運動，且未與所述立體顯示設備相接觸的狀態稱為非接觸狀態，當立體交互操作體對虛擬操作空間中的內容進行操作時，所發出的指令或命令稱為操作指令，虛擬操作空間中的內容稱為操作對象，比如，激活虛擬操作空間中的電話本應用這一操作中，激活命令即為操作指令，電話本應用即為操作對象。需要說明的是，如果不衝突，本發明實施例以及實施例中的各個特徵可以相互結合，均在本發明的保護範圍之內。另外，雖然在裝置示意圖中進行了功能模塊劃分，在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於裝置中的模塊劃分，或流程圖中的順序執行所示出或描述的步驟。下面對本發明實施例的立體交互方法進行簡要描述。在本發明實施例中，立體交互操作體與立體顯示設備之間處於非接觸狀態，並且識別立體交互操作體處於非接觸狀態的操作信息，在該操作信息滿足預設條件時，觸發交互操作，實現立體交互操作體對立體顯示設備中操作對象的交互操作。下面結合附圖對本發明實施例作進一步闡述。圖1為本發明實施例一種立體交互方法流程示意圖，如圖1所示，本發明實施例的交互方法，包括以下步驟：S11,識別所述立體交互操作體處於非接觸狀態的操作信息，其中，所述非接觸狀態是指所述立體交互操作體相對所述立體顯示設備運動，且未與所述立體顯示設備相接觸的狀態。在本發明實施例中，操作信息包括所述立體交互操作體相對所述立體顯示設備的實際運動軌跡以及所述立體交互操作體發出的操作指令。立體交互操作體的實際運動軌跡可以是對於立體顯示設備的位置坐標、姿態或者輪廓。操作指令可以包括對立體顯示設備顯示的操作對象進行操作的各種命令，操作指令的觸發可以是觸發立體交互操作體上的按鍵、按鍵組合、電容觸摸滑條、多指指套特殊動作、筆形操作體的下筆動作或屏幕UI觸發，但不限於此。在本發明實施例中，在立體交互操作體對操作對象進行交互操作前，可以先設置立體交互操作體的實際操作空間，立體交互操作體在實際操作空間中進行運動，並通過識別立體交互操作體的實際運動軌跡實現對立體顯示設備顯示的操作對象的交互操作。在設置實際操作空間過程中，接收立體交互操作體發送的實際操作空間設置指令，根據實際操作空間設置指令，獲取所述立體交互操作體的實際位置坐標，根據所述立體交互操作體的實際位置坐標設定所述實際操作空間；同時，根據所述實際運動軌跡生成在所述立體顯示設備顯示的虛擬操作空間內的虛擬運動軌跡。S12,判斷所述操作信息是否滿足預設條件，若滿足所述預設條件，則觸發所述交互場景中的交互操作。在本發明實施例中，可以通過判斷操作信息中實際運動軌跡是否滿足預設條件來觸發交互操作，也可以通過判斷操作信息中實際運動軌跡映射生成的虛擬運動軌跡，比如，虛擬光標，是否滿足預設條件來觸發交互操作。在本發明實施例中，根據所述實際運動軌跡生成在所述立體顯示設 備顯示的虛擬操作空間內的虛擬運動軌跡，包括：設定實際操作空間；獲取所述立體交互操作體在所述實際操作空間內相對所述立體顯示設備運動形成的所述實際運動軌跡；根據所述實際運動軌跡進行空間映射生成所述虛擬運動軌跡。在空間映射過程中，需要建立實際操作空間與虛擬操作空間之間的映射關係。在本發明實施例中，根據實際運動軌跡進行空間映射生成虛擬運動軌跡，可以包括以下實施方式：接收立體交互操作體所發送的初始位置設置指令，所述初始位置設置指令用於設置所述立體交互操作體在所述實際操作空間內的第一位置坐標，和所述立體交互操作體在虛擬操作空間內的第二位置坐標；根據所述第一位置坐標與所述第二位置坐標，建立所述實際操作空間與所述虛擬操作空間之間的映射關係；根據所述映射關係，將所述實際運動軌跡進行空間映射生成所述虛擬運動軌跡。或者，接收立體交互操作體發送的縮放指令，並獲取立體交互操作體在所述實際操作空間內的第三位置坐標；根據所述第三位置坐標與所述第一位置坐標，重新設定所述實際操作空間，並建立所述虛擬操作空間與所述重新設定所述實際操作空間的映射關係。或者，接收立體交互操作體所發送的鎖定操作指令，並獲取所述立體交互操作體的鎖定位置坐標，所述鎖定位置坐標為所述立體交互操作體在移動前的位置坐標；移動所述立體交互操作體，並且接收所述立體交互操作體發送的解鎖操作指令時，獲取解鎖位置坐標；根據所述第一位置坐標、所述鎖定位置坐標和所述解鎖位置坐標， 重新設定所述實際操作空間，並建立所述虛擬操作空間與所述重新設定所述實際操作空間的映射關係。在本發明實施例中，預設條件可以是預先設置的實際運動軌跡或虛擬運動軌跡與操作對象之間的距離小於預設距離。在本發明實施例中，判斷所述操作信息是否滿足預設條件，若滿足所述預設條件，則觸發所述交互場景中的交互操作，具體可以包括：如果實際操作空間與虛擬操作空間不重合，則可以將立體交互操作體的實際運動軌跡映射為所述虛擬操作空間內虛擬光標的運動軌跡，並當所述虛擬光標與虛擬操作空間內的操作對象之間的距離小於預設距離時，對所述操作對象執行所述操作指令對應的操作。如果實際操作空間與虛擬操作空間重合，則當立體交互操作體的實際運動軌跡與虛擬操作空間內的操作對象之間的距離小於預設距離時，對所述操作對象執行所述操作指令對應的操作。在本發明實施例中，所述操作指令包括激活指令，所述操作對象包括沿所述虛擬空間縱深方向層疊設置的多個顯示對象，則觸發所述交互場景中的交互操作具體為：所述立體交互操作體執行所述激活指令，對所述顯示對象進行激活操作。在本發明實施例中，所述操作指令包括切割指令，所述操作對象包括在所述虛擬操作空間內的虛擬人體組織，則觸發所述交互場景中的交互操作具體為：所述立體交互操作體執行所述切割指令，對所述虛擬人體組織進行切割操作。在本發明實施例中，所述方法還包括：在觸發所述交互場景中的交互操作時，向所述立體交互操作體發送力反饋震動指令，以使所述立體交互操作體進行力反饋震動。在本發明實施例中，在識別所述立體交互操作體處於非接觸狀態的操作信息之前，還包括：建立所述立體顯示設備與所述立體交互操作體之間數據通信。本發明實施例通過識別所述立體交互操作體處於非接觸狀態的操作信息，並在操作信息滿足預設條件進觸發交互操作，從而實現立體交 互，相對於現有技術公開的交互場景，本發明實施例公開的交互操作更加方便，而且豐富交互場景；另外，由於立體交互操作體與立體顯示設備沒有任何機械接觸，減少摩擦損耗，提高立體交互操作體和立體顯示設備耐用性。下面結合具體附圖對本發明交互方法的具體實施例作進一步闡述。在本發明實施例中，為了獲得立體交互操作體的實際運動軌跡，首先需要對立體交互操作體進行定位。圖2為本發明實施例中利用超聲波對立體交互操作體進行定位的示意圖，如圖2所示，立體交互操作體21上安裝有超聲波發射器22以及同步信號發射器23，立體顯示設備上安裝有超聲波接收器24及同步信息接收器25，其中，同步信號發射器23及同步信號接收器25中傳輸的同步信息可以是RF射頻信號，也可以是紅外調製光源，用於超聲到達時間(TOA)或是超聲到達時間差(TDOA)的同步計時。為了計算立體交互操作體21的空間位置，將立體交互操作體21上的超聲波發射器22的空間位置及立體顯示設備定位平面26上超聲波接收器24的空間位置進行坐標化，如圖3所示，假設立體交互操作體超聲波發射點31相對於立體顯示設備定位平面32的坐標為(x,y,z)，並篩選出立體顯示設備定位平面32上最優的三個超聲波接收點S1,S2,S3,其中，第一定位點S1與立體交互操作體的距離為D1，第二定位點S2與立體交互操作體的距離為D2，第三定位點S3與立體交互操作體的距離為D3，該距離值可以由超聲波到達時間和聲速轉化而來。其中立體顯示設備定位平面32的寬度為w(S1與S2距離)，高度為h(S1與S3距離)，x軸指向S1到S2方向，Y軸指向S1到S3方向，Z軸垂直於平面指向用戶，坐標零點為立體顯示設備定位32平面的中點，有y1＝y2＝-y3＝-h/2，x1＝x3＝-x2＝-w/2，z1＝z2＝z3＝0。超聲波發射點31距離S1，S2，S3的距離為D1，D2，D3，其數值通過三個接收點所接收到的聲波到達時間換算而來。有如下關係式1：x2+y2+z2+x12+y12+z12-2x1x-2y1y-2z1z=D12x2+y2+z2+x22+y22+z22-2x2x-2y2y-2z2z=D22x2+y2+z2+x32+y32+z32-2x3x-2y3y-2z3z=D32]]>方程化簡為關係式2x2+y2+z2+x12+y12+z12-2x1x-2y1y-2z1z=D12-2wx=D22-D12-2hy=D32-D12]]>由關係式2式得出x，y以後帶入關係式1可求出z。至此可以獲得立體交互操作體相對於立體顯示設備平面的空間坐標。由於超聲波是物質波，用於定位時具有獨佔信道的特點，因此想要用超聲波追蹤多個點可以採取頻分復用或者時分復用的方法。為了簡化，時分復用是多點超聲波定位最為合理的一種方式，但同時也存在若追蹤的點數多定位幀率會降低的問題。綜合考慮追蹤手指動作所需要的點數，超聲波發射點的數量在2～3個是最合理的。如圖4為多點超聲波定位時分復用時序圖，其中，追蹤點數為2個，，同步信號為SYNC，第一個發射點為S1，第二個發射點為S2。其中：Tsync是同步信號發射SYNC與第一個定位點發射時間的間隔。一般的電子系統裡，在發射端的控制器發出同步發射信號到接收端觸發計時需要一定時間，因此這個延時必須根據發射同步信號的器件性質來決定。例如常用的38Khz紅外信號此間隔一般1～2ms。Tgab是發射時序上相鄰的定位點之間的間隔，以避免信道混淆。設常溫下聲速為Vs，操作區域的定位最大距離為Smax，則在最大定位距離下，該次超聲波所需的時間Ts＝Smax/Vs，考慮到超聲波的回波以及聲波能量積累的問題，從實際工程經驗上看，Tgab>5Ts是較好的設置，但不宜太大，因為Tgab太大會降低追蹤的速率。Twindow是單次定位的窗口時間，也是2次同步信號的發射最小間隔。它要略大於以上時間的總和。這些時間參數在接收端測得到達時間後必須要進行延時修正，以保證測量到的距離精確，設置正確的時間參數是非常必要 的，因此，本發明實施例根據工程經驗給出了上述相應的說明。圖5為本發明實施例中利用紅外光源對立體交互操作體進行定位的示意圖，如圖5所示，立體交互操作體51上安裝有紅外標記光源52，一般以850nm或者940nm的AsGaLED為光源。立體顯示設備定位平面53上安裝有雙目紅外攝像頭54用於捕捉操作體上的紅外標記光源所形成光斑。攝像頭的結構應包含的800nm～1100nm紅外帶通濾光器61，以濾除可見光，消除環境中的光斑影響。攝像頭結構如圖6所示，除了紅外帶通濾光器61外，還包括鏡頭組62及攝像頭傳感器63。為了計算立體交互操作體51的空間位置，需要設定透視結構，如圖7所示為透視結構示意圖，其中，C1和C2為兩個攝像頭的成像傳感器所在位置，它們之間的距離為D。P點為紅外光源的所在位置。當P點出現於兩個攝像頭的公共視野內，P點在2個攝像頭內所生成的圖像就會產生視差，標定像素差和相機的光軸距離D的數值關係，然後根據攝像頭本身的透視模型，可以很容易的通過三角測量法推算出P點相對於立體顯示設備定位平面53的空間位置。在本發明實施例中，使用立體交互操作體進行交互操作時，需要首先設定一個實際操作空間。在正常使用中，使用者也會有很大的意願在一個隨意的空間進行立體操作，因此需要方便的進行實際操作空間的設置。下面結合圖8進一步闡述設置實際操作空間的具體實施例。如圖8所示，分別有2個坐標系零點POS(0,0,0)和OP(0,0,0)，分別對應立體顯示設備定位平面零點和實際操作空間零點。當需要設定實際操作空間時，立體交互操作體發送實際操作空間設置指令，此時，記錄下立體交互操作體所在的位置坐標，比如，立體交互操作體在原實際操作空間81的零點OP(0,0,0)觸發了實際操作空間設置指令，則在立體顯示設備定位平面82坐標系下有一個對應於原實際操作空間零點OP(0,0,0)的定位平面零點坐標POS(x0,y0,z0)。當操作者將立體交互操作體移動到某個位置，比如，新實際操作空間83,並觸發立體交互操作體上的設置零點功能鍵84觸發實際操作空間設置指令，此時立體交互操作體的在立體 顯示設備的定位平面82的新坐標POS(x1,x1,z1)將會被作為OP(0,0,0)新的映射坐標。這樣，通過在實際操作空間發送實際操作空間設置指令，並獲取立體交互操作體的實際位置坐標，即可確定立體交互操作體的實際操作空間。在本發明實施例中，在某些情況下，用戶可以設置實際操作操作空間與虛擬操作空間完全重合，實現的就是「所見即所觸」，即立體交互操作體本身即虛擬光標的位置，這種情形下一般不顯示虛擬光標，直接用操作體本身和操作對象進行交互。如圖9所示為虛擬桌球遊戲應用實例示意圖，用戶使用平鋪的立體顯示設備91進行虛擬桌球遊戲時，立體交互操作體92即玩家所持有的球桿。球桿的運動是作為遊戲中操作的重要輸入信息，而球又是肉眼可以直接看見的，這種情形下，實際操作空間和虛擬操作空間坐標系是重合的。被定位的立體交互操作體92相對於立體顯示設備91的定位平面93的空間坐標可以直接進行定位計算。當虛擬操作空間的位置或大小規模並不方便操作者將操作體直接置入的時候，就會需要將操作體的實際操作空間映射到虛擬操作空間內。例如,圖10所示為一種增強傳統滑鼠輸入的應用實例示意圖，用戶的手指上佩戴可以被定位的立體交互操作體101，定位平面102為用戶的滑鼠墊，在進行諸如機械建模設計一類的工作時，將實際操作空間設定在滑鼠墊為基礎的空間上會更方便操作者的操作。用戶在需要對立體顯示設備內的立體內容進行編輯時，可以將帶著指套的手指在滑鼠墊上方的空間進行移動，立體交互操作體101相對於定位平面102的坐標會映射為立體顯示設備103內的光標的立體坐標，便於操作者編輯顯示器內的立體內容。下面結合圖11對實際操作空間與虛擬操作空間進行映射的過程進行說明。如圖11所示，分別有3個坐標系零點POS(0,0,0)，OP(0，0,0)，View(0,0,0)分別對應定位平面112零點、實際操作空間111零點和虛擬操作操作空間113零點。OP(0,0,0,)在定位平面坐標系下有一個對應的坐標POS(x0,y0,z0)。x0,y0,z0的數值可以通過實際操作空間設置方 法來確定。當操作者使用立體交互操作體在實際操作空間內移動到某一位置時，新的位置在定位平面的坐標系下定位到一個新坐標POS(x0+x,y0+y,z0+z)，此時根據已保存的OP(0,0,0)對應的POS(x0,y0,z0)可以差分出x,y,z的數值，即OP(x,y,z)。假設立體顯示設備的虛擬操作空間在x，y，z方向上的最大值分別為ViewX，ViewY和ViewZ，實際操作空間x，y，z方向上的最大值分別為OPX，OPY和OPZ，其中，這個最大值亦可以由操作者自由設定。則有位移比例係數PX，PY和PZ：PX＝ViewX/OPXPY＝ViewY/OPYPZ＝ViewZ/OPZ此時虛擬光標114在虛擬操作空間內所映射的坐標為View(PX*x,PY*y,PZ*z)。在本發明實施例中，操作者在使用立體交互操作體進行操作時，會有需要改變實際操作空間的大小，這個改變最直觀的就是操作體移動的距離和虛擬光標的移動距離之間的比例發生變化，即虛擬光標速度發生變化。如圖12所示的是使用立體交互操作體縮放實際操作空間範圍的方法示意圖。如圖12所示，設原實際操作空間121的操作空間零點對應於定位平面124的定位平面零點POS(0，0，0)的定位坐標系坐標為POS(x0,y0,z0)，實際操作空間的x,y,z方向填滿虛擬操作空間的最大值分別為OPX,OPY和OPZ。當觸發立體交互操作體123上的縮放操作空間功能鍵125觸發縮放操作空間指令後，立體交互操作體123移動到一個新的位置，其坐標為POS(x1,y1,z1)，這個點作為實際操作空間的終點，可以得出OPX』＝x1-x0OPY』＝y1-y0OPZ』＝z1-z0其中OPX』、OPY』和OPZ』作為縮放後實際操作空間122在x,y,z 方向填滿虛擬操作空間的最大值並被保存下來。由於操作者會向任意方向拉動，絕大部分情況下，符合操作者使用習慣的方法是以之前的坐標系零點相對於實際操作空間的位置確定新的實際操作空間零點，但亦可提供UI選擇界面讓操作者選擇新的零點位置。需要說明的是，當立體交互操作體的定位點有多個時，以坐標映射後多個點的空間坐標所計算出的幾何中心坐標作為判斷所需的唯一坐標。圖13為立體顯示設備所顯示的虛擬操作空間裡的光標移動的示意圖。如圖13所示，分別有2個坐標系零點POS(0,0,0)，OP(0，0,0)，分別對應定位平面134的零點及實際操作空間132的零點，當操作者使用立體交互操作體131在實體操作空間132內移動時，所顯示的虛擬光標133在虛擬操作空間134坐標為空間轉換映射後的坐標，在虛擬操作空間134內的移動和立體交互操作體131的移動同步。當立體交互操作體131的定位點有多個時，以坐標映射後多個點的空間坐標所計算出的幾何中心坐標作為判斷所需的唯一坐標。操作者需要從粗略操作切換成一些精密操作，會臨時把手放在一個容易固定的位置以更好地控制手部的動作，在新的位置重新繼續剛才的操作，但這樣一來操作空間就會和之前的操作不連續，本實施例主要解決這一問題。在本發明實施例中，操作者在使用立體交互操作體進行操作時，可以通過鎖定虛擬光標實現實際操作空間的無縫切換。圖14為使用立體交互操作體鎖定虛擬光標後移動到另一區域解鎖的方法示意圖。如圖14所示，假設立體交互操作體141的實際操作空間零點與定位平面142的定位平面零點POS(0，0，0)所對應的坐標系坐標為POS(x0,y0,z0)。當觸發立體交互操作體141鎖定光標功能鍵145時，立體交互操作體141在定位平面142所對應的坐標系坐標為POS(x1,y1,z1)，此時阻塞虛擬光標144的虛擬操作空間坐標與立體交互操作體的定位平面坐標的映射，即鎖定了虛擬光標144的位置。當操作者移動立體交互操作體141到一個新的位置POS(x2,y2,z2)，並觸發立體交互操作體141解除鎖定光標功能鍵146，將實際操作空間的零點坐標設定為POS(x0+(x2-x1), y0+(y2-y1),z0+(z2-z1))並重新開啟虛擬光標的虛擬操作空間坐標與立體交互操作體的定位平面坐標的映射，此時操作者就完成了使用立體交互操作體鎖定虛擬光標後移動到另一區域解鎖，可以在新的位置繼續鎖定光標前的操作，而無需重新改變坐標的映射關係，實現了操作空間的無縫切換。需要說明的是，本發明實施例中，當立體交互操作體觸發了鎖定光標的指令時，虛擬光標坐標信息被鎖定，當立體交互操作體解除鎖定光標指令時，獲取立體交互操作體當前的位置來計算立體交互操作體在「鎖定光標」期間的絕對位移坐標變化，這個變化的數據將用於修正新的操作空間零點，以實現用戶操作空間的無縫切換。當移動終端越來越多地採用立體顯示技術後，為了實現立體顯示設備的立體人機互動不再限制於二維的觸控螢幕幕，採用本發明實施例的立體交互方法可以有效地實現三維立體交互。下面結合圖15-圖17對使用本發明立體交互方法實現在立體顯示的移動終端內激活或選中立體場景裡的某一操作對象進行立體交互操作進一步說明。當操作者使用立體交互操作體在實際操作空間內移動時，獲取立體交互操作體的空間坐標，並將立體交互操作體的實際運動軌跡映射為虛擬操作空間內的虛擬光標。當立體交互操作體的運動軌跡所映射的虛擬光標與可被激活或者選中的操作對象的空間距離小於設定的閾值時，操作對象被激活。如圖15所示，立體交互操作體151在實際操作空間152的運動軌跡通過定位平面153映射為在虛擬操作空間154的虛擬光標155，當虛擬光標155與「電話」圖標的距離小於預設的閾值，於是「電話圖標」被激活，高亮顯示。如圖16所示，立體交互操作體161在實際操作空間162的運動軌跡通過定位平面163映射為在虛擬操作空間164的虛擬光標165，當虛擬光標165移動到左側的「聯繫人」圖標時，映射後的虛擬光標165與「聯繫人」圖標的距離小於預設的閾值，「聯繫人」圖標被激活，高亮顯示。如圖17所示，立體交互操作體171在實際操作空間172的運動軌跡通過定位平面173映射為在虛擬操作空間174的虛擬光標175，當虛擬光標175在z軸上移動，映射後的虛擬光標175與「簡訊」圖標的距離小於預設的閾值，「簡訊」圖標被激活，視覺上比該層次淺的對 象做透明化顯示，被激活的對象高亮顯示。為進一步理解本發明實施例交互方法，下面結合附圖對本發明交互方法的應用實例作進一步說明。如圖18所示為使用滑鼠墊和指環輔助輸入設備進行立體交互的示意圖。它由一個可以用作滑鼠墊而設計的定位平面181、佩戴於手指上的指環狀立體交互操作體182和具有立體顯示設備183的計算機組成。其指環的定位系統可以是前述的超聲波定位系統或雙目攝像頭識別紅外標記點。當操作者正常使用滑鼠時，它和普通的滑鼠墊無異；當用戶手離開滑鼠墊時，定位平面181實時獲取立體交互操作體182指環在實際操作空間184的空間位置，並將其位置信息報告給控制立體顯示設備183的計算機。計算機獲得了指環的位置信息後可以對各個被追蹤的手指的動作進行映射，將和其關聯的虛擬光標185置於場景內。一般地，虛擬光標185的坐標和多個立體交互操作體的定位點幾何中心為準。當操作者在定位平面上空的實際操作空間184做出動作時，計算機系統將解析各個被追蹤的手指的動作並映射成對應的交互事件，改變立體顯示設備內所顯示的場景。圖19-圖21為輔助輸入設備操作一個設計中的立體機械結構應用示意圖。如圖19所示，這個立體機械結構包含相當多的層次和內部構造。當立體交互操作體191在實際操作空間192的相應位置時，經定位平面193坐標映射以後的虛擬操作空間194的虛擬光標195會相應地激活被設計物體對應位置上的部分。相應的，不在激活的層次都透明化處理。當操作者用向Z軸減小方向移動，對應的虛擬光標195也會移動並激活所操作的工件部分。如圖20所示，立體交互操作體(圖中為手指上佩戴的指環)在實際操作空間202的相應位置時，經定位平面203坐標映射為虛擬操作空間204的虛擬光標205,其中，被激活的是工件內的一個小活塞部件。當部件被激活時，指環會受控產生一次輕微的力反饋提醒操作者新對象被激活。當操作者將佩戴立體交互操作體的兩指靠攏做拿 捏/抓取等的姿勢時，被激活的工件進入抓取狀態，此時工件可以隨著操作者進一步的移動而移動，直到操作者拿捏的姿勢取消。在操作者拿捏和放開的動作時，力反饋裝置會發出非常短促的若干次力反饋，以產生粘滯感來模擬物體被吸附和放開的觸感。例如圖21所示的情形，立體交互操作體(圖中為手指上佩戴的指環)在實際操作空間212的相應位置時，經定位平面213坐標映射為虛擬操作空間214的虛擬光標215,操作者激活了活塞工件以後，做出了拿捏的動作，接著拽拉著該工件在z軸方向進行了移動。圖22為本發明實施例實現模擬雕刻應用的示意圖。如圖22所示，立體交互操作體221作為虛擬的雕刻刀被操作者手持，被雕刻的物體被顯示在立體顯示設備的虛擬操作空間222內。當操作者手持立體交互操作體221在相對於定位平面223的實際操作空間225裡移動，虛擬雕刻刀224同步與被雕刻的虛擬物體發生侵入，力反饋裝置會同步進行工作，力反饋的烈度和被雕刻的物體的硬度以及侵入的速度成正比，讓操作者獲得物體被真實破壞的觸覺。特別的，當定位平面為使用立體顯示技術的平板電腦，手機等設備的屏幕表面時，實際操作空間和虛擬操作空間重合，虛擬的雕刻刀即操作者手持的立體交互操作體，亦屬於本發明所保護的範疇。圖23為本發明實施例實現虛擬手術訓練應用的示意圖。如圖23所示，立體交互操作體231作為虛擬的手術刀被操作者手持，虛擬手術的身體組織被顯示在立體顯示設備的虛擬操作空間232內。當操作者手持立體交互操作231體在相對於定位平面233的實際操作空間235裡移動，虛擬手術刀234同步與被虛擬的人體組織發生切割和侵入，同時力反饋裝置會根據模擬手術的進程同步進行工作讓操作者獲得真實觸感。特別的，當定位平面為使用立體顯示技術的平板電腦，手機等設備的屏幕表面時，實際操作空間和虛擬操作空間重合，虛擬的手術刀即操作者手持的立體交互操作體，亦屬於本發明所保護的範疇。圖24-圖25是本發明實施例實現的模擬桌球遊戲應用的示意圖。如圖24所示，立體交互操作體241製作成球桿的形式。當操作者 在定位平面242上的實際操作空間243裡移動立體交互操作體241，立體交互操作體241映射為虛擬操作空間244內的虛擬桌球桿245同步與虛擬撞球發生碰撞，同時力反饋裝置會同步進行工作讓操作者獲得逼真的碰撞感。特別的，如圖25所示，當定位平面251為使用立體顯示技術的平板電腦，手機等立體顯示設備252的屏幕表面時，實際操作空間和虛擬操作空間重合，虛擬的桌球桿即操作者手持的立體交互操作體253，亦屬於本發明所保護的範疇。在本發明實施例中，識別立體交互操作體與立體顯示設備在非接觸狀態的操作信息，並在操作信息滿足預設條件下，觸發交互操作，尤其是可以將實際運動軌跡映射為虛擬操作空間內的虛擬光標，以及根據操作體發送的操作指令控制虛擬光標對立體顯示設備的操作對象進行操作，從而實現立體交互；另外，由於操作體與立體顯示設備沒有任何機械接觸，減少摩擦損耗，提高操作體和立體顯示設備耐用性。圖26為本發明實施例立體顯示設備結構示意。如圖26所示，一種立體顯示設備，用於與立體交互操作體進行交互操作，包括：識別單元261，用於識別所述立體交互操作體處於非接觸狀態的操作信息，其中，所述非接觸狀態是指所述立體交互操作體相對所述立體顯示設備運動，且未與所述立體顯示設備相接觸的狀態，交互單元262，用於判斷所述操作信息是否滿足預設條件，若滿足所述預設條件，則觸發所述交互場景中的交互操作，顯示單元263，用於顯示交互場景。在本發明實施例中，所述操作信息包括所述立體交互操作體相對所述立體顯示設備的實際運動軌跡以及所述立體交互操作體發出的操作指令。在本發明實施例中，所述識別單元261包括：實際操作空間設置模塊2611，用於接收所述立體交互操作體發送的實際操作空間設置指令，根據所述實際操作空間設置指令，獲取所述立體交互操作體的實際位置坐標，根據所述立體交互操作體的實際位置坐標設定所述實際操作空間；實際運動軌跡獲取模塊2612，用於根據所述立體交互操作體在所述實際操作空間內相對所述立體顯示設備的運動軌跡確定所述立體交互操作體的實際運動軌跡。在本發明實施例中，識別單元261通過與立體交互操作體上的定位單元，比如，超聲波發射器或者紅外光源，協同工作，以獲取立體交互操作體相對於立體顯示設備定位平面的空間位置坐標，姿太或者輪廓。需要說明的是，如果立體交互操作體本身可以獨立獲取其自身相對於立體顯示設備定位平面的空間位置坐標、姿態或者輪廓時，則識別單元261可直接從立體交互操作體獲取該空間位置坐標、姿態或者輪廓。在本發明實施例中，所述交互單元262包括：空間轉換模塊2621，用於將所述實際運動軌跡經圖像處理生成所述立體顯示設備顯示的虛擬操作空間內的虛擬運動軌跡；交互內容處理模塊2622，用於判斷所述操作信息是否滿足預設條件，交互事件觸發模塊2623，用於在滿足所述預設條件時，觸發所述交互場景中的交互操作。在本發明實施例中，所述空間轉換模塊2621還用於：接收所述立體交互操作體所發送的初始位置設置指令，所述初始位置設置指令用於設置所述立體交互操作體在所述實際操作空間內的第一位置坐標，和所述立體交互操作體在虛擬操作空間內的第二位置坐標；根據所述第一位置坐標與所述第二位置坐標，建立所述實際操作空間與所述虛擬操作空間之間的映射關係；根據所述映射關係，將所述實際運動軌跡生成所述虛擬運動軌跡。或者，還用於：接收所述立體交互操作體發送的縮放指令，並獲取所述立體交互操作體所移動到的第三位置坐標；根據所述第三位置坐標與所述第一位置坐標，重新設定所述實際操作空間，並建立所述虛擬操作空間與所述重新設定所述實際操作空間的 映射關係；或者，還用於：接收所述立體交互操作體所發送的鎖定操作指令，並獲取所述立體交互操作體的鎖定位置坐標；以及接收移動所述立體交互操作體時所發送的解鎖操作指令，獲取解鎖位置坐標；根據所述第一位置坐標、所述鎖定位置坐標和所述解鎖位置坐標，重新設定所述實際操作空間，並建立所述虛擬操作空間與所述重新設定所述實際操作空間的映射關係。在本發明實施例中，空間轉換模塊2621接收立體交互操作體的空間坐標數據，當立體交互操作體上可以獨立獲取自身相對於立體顯示設備定位平面的空間位置坐標、姿態或者輪廓時，空間轉換模塊2621則通過無線通信單元獲取從立體交互操作體傳送的空間坐標數據，其中，所接收到的坐標數據是基於定位平面的坐標，在空間轉換模塊2621裡將會被轉換為虛擬操作空間內的坐標，以先進先出的形式存儲。這段先進先出的數據表徵的是前一段時間立體交互操作體在虛擬操作空間內的運動軌跡信息。在本發明實施例中，所述交互內容處理模塊2622包括：第一判斷子模塊26221，用於判斷所述實際操作空間與所述虛擬操作空間是否重合，如果實際操作空間與所述虛擬操作空間不重合，則將所述立體交互操作體運動軌跡映射為所述虛擬操作空間內虛擬光標的運動軌跡，第二判斷子模塊26222，用於判斷所述立體交互操作體運動軌跡或所述虛擬操作空間內虛擬光標的運動軌跡與虛擬操作空間內的操作對象之間的距離是否小於預設距離。在本發明實施例中，交互內容處理模塊2622從空間轉換模塊2621讀取運動軌跡數據，並判斷實際操作空間與所述虛擬操作空間是否重合，如果實際操作空間與所述虛擬操作空間不重合，則將操作體運動軌跡映射為虛擬操作空間內虛擬光標的運動軌跡，而且，還判斷虛擬操作空間內的軌跡與交互場景裡的虛擬物體的坐標是否存在接觸或者碰撞。在本發明實施例中，所述操作指令包括激活指令，所述操作對象包括沿所述虛擬空間縱深方向層疊設置的多個顯示對象，所述交互事件觸發模塊2623具體用於：執行所述激活指令，對所述顯示對象進行激活。在本發明實施例中，所述操作指令包括切割指令，所述操作對象包括在所述虛擬操作空間內的虛擬人體組織，所述交互事件觸發模塊2623具體用於：執行所述切割指令，對所述虛擬人體組織進行切割。在本發明實施例中，交互事件觸發模塊2623接收交互內容處理模塊2622發送的判斷結果，並在操作信息滿足預設條件時觸發交互操作，其中，交互操作根據操作信息中包含的操作指令確定。在本發明實施例中，所述設備還包括：力反饋單元264，用於在觸發所述交互場景中的交互操作時，向所述立體交互操作體發送力反饋震動指令，以使所述立體交互操作體進行力反饋震動。在本發明實施例中，所述設備還包括：通信單元265，用於建立所述立體顯示設備與所述立體交互操作體之間數據通信。需要說明的是，本發明實施例中的立體顯示設備中各個單元、模塊之間的信息交互、執行過程等內容，由於與本發明方法實施例基於同一構思，具體內容同樣適用於立體顯示設備，而且，本發明實施例中的各個單元或模塊能作為單獨的硬體或軟體來實現，並且可以根據需要使用單獨的硬體或軟體來實現各個單元或模塊的功能的組合。在本發明實施例中，識別立體交互操作體與立體顯示設備在非接觸狀態的操作信息，並在操作信息滿足預設條件下，觸發交互操作，尤其是可以將實際運動軌跡映射為虛擬操作空間內的虛擬光標，以及根據操作體發送的操作指令控制虛擬光標對立體顯示設備的操作對象進行操作，從而實現立體交互；另外，由於操作體與立體顯示設備沒有任何機械接觸，減少摩擦損耗，提高操作體和立體顯示設備耐用性。圖27為本發明實現例立體交互系統結構示意圖。如圖27所示，包括：立體交互操作體271以及立體顯示設備272,其中，立體顯示設備 272具體結構組成及功能如上述發明實施例的立體顯示設備所述，此處不再贅述。立體交互操作體271,具體包括：協定位單元2711，能夠產生特定的信號，如超聲波TOA或者TDOA、紅外標記圖像識別等技術產生的信號，並與立體顯示設備配合，以此獲取立體交互操作體相對於立體顯示設備定位平面的空間位置坐標、姿態或者輪廓。該單元可以獨立工作獲得立體交互操作體相對於立體顯示設備定位平面的空間位置坐標、姿態或者輪廓，例如安裝由MEMS器件構成的慣性制導系統(如陀螺儀)；力反饋單元2712,用於提高交互體驗，操作指令觸發單元2713,由操作者進行觸發指令來觸發具體的交互操作，典型觸發方法可以為按鍵、電容觸摸滑條等。通信單元2714，用於與立體顯示設備進行數據連接，實現數據通信。在本發明實施例中，通過識別立體交互操作體與立體顯示設備在非接觸狀態的操作信息，並在操作信息滿足預設條件下，觸發交互操作，從而實現立體交互；而且，由於操作體與立體顯示設備沒有任何機械接觸，減少摩擦損耗，提高操作體和立體顯示設備耐用性。以上所述僅為本發明的實施方式，並非因此限制本發明的專利範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的
技術領域：
，均同理包括在本發明的專利保護範圍內。當前第1頁1 2 3