一種光學定位系統和虛擬實境系統的製作方法

2023-10-18 05:58:39

本實用新型涉及定位技術領域，尤其涉及一種光學定位系統，及其在可定位虛擬實境系統中的應用。

背景技術：

現有的光學定位技術，例如，索尼公司的雙目可見光主動光學定位方案中，目標物的色球可以主動發射不同顏色的可見光，利用兩球在攝像頭所拍攝的圖像中呈現不同的顏色區分每個色球的圖像，再利用三角定位原理確定每個色球的空間位置，從而完成多目標的空間定位。

又例如，Oculus公司的單目紅外主動光學定位方案中，目標物上固定設置多個可以主動發射紅外光的標識點，標識點以與攝像頭幀率相同的頻率閃爍並與攝像頭快門同步，通過控制各個紅外標識點的閃爍模式可以區分不同標識點，根據標識點之間的相對位置關係確定目標物的空間位置。

然而，利用可見光顏色區分多目標的雙目可見光主動光學定位方案中，抗幹擾性比較差，容易受到環境光影響。單目紅外主動光學定位方案中，單目定位需要標識點較多，定位件結構較大，且區分標識點方法複雜，不能較好地滿足用戶需求，影響用戶的體驗效果。

因此，基於上述問題，仍然需要一種新的光學定位方案，以解決上述至少一個問題。

技術實現要素：

本實用新型要解決的技術問題是提供一種光學定位系統和虛擬實境系統，以實現虛擬實境場景中的多目標的區分與位置追蹤。

根據本實用新型的一個方面，提供了一種光學定位系統，用於對定位空間中的定位目標進行定位，該光學定位系統可以包括：紅外發光裝置，分別設置在定位目標外表，用於發射紅外光；以及雙目紅外攝像頭模組，包括剛性連接的第一紅外攝像頭和第二紅外攝像頭，用於分別從不同的視角拍攝定位空間中的第一紅外光圖像和第二紅外光圖像。

優選地，一個定位目標上可以設置多個紅外發光裝置。

優選地，該光學定位系統還可以包括：發光控制器，設置在定位目標上，並且連接到多個紅外發光裝置，用於控制紅外發光裝置的亮滅和/或紅外光的強度。

優選地，發光控制器可以控制多個紅外發光裝置分別以不同的預定發光模式發射紅外光。

優選地，該光學定位系統還可以包括：計算裝置，以有線方式或無線方式連接到雙目紅外攝像頭模組，用於對第一紅外光圖像和第二紅外光圖像進行處理。

優選地，該光學定位系統還可以包括：控制主機，以有線方式或無線方式連接到發光控制器和計算裝置，向發光控制器發送控制指令以控制紅外發光裝置的發光模式，並向計算裝置通知紅外發光裝置的發光模式。

優選地，該光學定位系統還可以包括：傳感器，設置在定位目標上，用於獲取定位目標的運動信息和/或姿態信息，並通過有線方式或無線方式發送給計算裝置。

優選地，該光學定位系統還可以包括：紅外濾光片，分別設置在第一紅外攝像頭和第二紅外攝像頭上，紅外濾光片能夠透過紅外光，並濾除其它波段的光。

根據本實用新型的另一方面，還提供了一種虛擬實境系統，該系統可以包括上述的光學定位系統和頭戴式顯示器，其中，頭戴式顯示器可以作為定位目標，其外表可以設置有多個紅外發光裝置。

優選地，該虛擬實境系統還可以包括：一個或多個可攜式設備，適於用戶穿戴或攜帶，作為定位目標，其外表設置有多個紅外發光裝置。

通過本實用新型的光學定位系統和虛擬實境系統，能夠實現虛擬實境系統場景中多目標的區分與位置追蹤。

附圖說明

通過結合附圖對本公開示例性實施方式進行更詳細的描述，本公開的上述以及其它目的、特徵和優勢將變得更加明顯，其中，在本公開示例性實施方式中，相同的參考標號通常代表相同部件。

圖1示出了根據本實用新型一個實施例的光學定位系統結構的示意性框圖。

圖2示出了根據本實用新型又一個實施例的光學定位系統結構的示意性框圖。

圖3示出了根據本實用新型一個實施例的紅外發光裝置發光模式控制方案。

圖4示出了三角定位原理的簡圖。

圖5示出了根據本實用新型的一個應用實施例的定位流程圖。

圖6示出了根據本實用新型一個實施例的虛擬實境系統結構的示意性框圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式，然而應該理解，可以以各種形式實現本公開而不應被這裡闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，並且能夠將本公開的範圍完整地傳達給本領域的技術人員。本領域的技術人員可以理解，如果沒有明確說明，本公開所述的連接，圖示中標明的連接，可以是直接連接也可以是通過其他設備、裝置、介質等的間接連接。

如前所述，現有技術的光學定位系統中，要麼系統抗幹擾性能較差，容易受到環境光的幹擾；要麼單目攝像頭定位需要標識點較多，定位件結構較大，且區分標識點方法複雜，均不能很好的實現多目標的區分和跟蹤。

因此，仍然需要一種新的方案，以解決上述至少一個問題。

基於此，本實用新型提出了一種光學定位系統，用於對定位空間中的定位目標進行定位。圖1示出了根據本實用新型一個實施例的光學定位系統的結構的示意性框圖。如圖1所示，本實用新型的光學定位系統100可以包括紅外發光裝置111和雙目紅外攝像頭模組120。

紅外發光裝置111可以分別設置在定位目標外表，用於發射紅外光。

這裡，紅外發光裝置111可以是點狀、片狀或其它形狀。例如，可以是小型的紅外燈，其材質可以是發光二極體(LED)、雷射紅外燈等，可以發射波長為810nm、850nm、940nm或者其它波長的紅外光。

定位目標可以是定位空間中待定位的目標物，例如被用戶使用的多種VR設備—頭戴式顯示設備(簡稱頭顯)、手槍、手柄等。定位目標的外表可以設置一個或多個紅外發光裝置111，這多個紅外發光裝置111可以按照一定的規律排列設置在定位目標的外表(或者也可以無規律或無序排列)。

紅外發光裝置111可以以預定發光模式發射紅外光，其發光模式可以是預先設定的，也可以是根據設備的實際使用情況設定的，還可以對其發光模式進行控制或調節。

可以通過對紅外發光裝置111進行唯一編碼以區分各個紅外發光裝置。例如可以通過預先設定定位目標上各個紅外發光裝置的發光模式，每一個紅外發光裝置對應一種發光模式，通過對紅外發光裝置的發光模式的識別可以區分各個紅外發光裝置，在定位目標上設有多個紅外發光裝置時，可以通過對定位目標上多個紅外發光裝置的組合發光模式的識別區分各個定位目標。

每個紅外發光裝置可以發射按照預定模式閃爍的紅外光，預定發光模式可以是指紅外發光裝置的亮滅不同，也可以是其發光強度的不同，反映在攝像頭圖像中的區別是發光裝置的發光片亮滅、灰度或大小的不同。如此，可以通過識別紅外發光裝置的發光模式，以區分不同的紅外發光裝置，進一步地區分各個定位目標。

另外，定位目標上的紅外發光裝置可以主動發射紅外光被系統識別。例如，在用戶使用VR設備的過程中(此時，定位目標是使用VR設備的人)，VR設備上的紅外發光裝置可以一直主動發射紅外光。或者，也可以由系統發射信號，定位目標上的紅外發光裝置可以以響應於該信號發射紅外光的方式被系統識別。

雙目紅外攝像頭模組120可以包括剛性連接的第一紅外攝像頭121和第二紅外攝像頭122，用於分別從不同的視角拍攝定位空間中的第一紅外光圖像和第二紅外光圖像。

這裡，以「第一」和「第二」區分雙目紅外攝像頭模組的兩個攝像頭，兩個攝像頭的配置可以相同(包括相同的鏡頭或參數，例如，焦距、尺寸、解析度、攝像幀率等)，且相對位置是固定的，其相對距離可以作為三角定位的一個參數，用於計算紅外發光裝置或定位目標的位置。其中，三角定位法的原理是利用2臺或者2臺以上的探測器在不同位置探測目標的方位，然後運用三角幾何原理確定目標的位置和距離，是本文中進行定位的基本方法。

第一紅外攝像頭121可以從第一視角拍攝第一紅外光圖像，第二紅外攝像頭122可以從第二視角拍攝第二紅外光圖像。如此，定位空間中紅外發光裝置能夠同時被雙目紅外攝像頭模組的兩個攝像頭拍攝到，利用三角定位方法和同一時刻兩個攝像頭所拍攝的圖像和對應的參數，可以確定這一時刻該紅外發光裝置在三維空間裡的位置信息。

剛性連接的兩個攝像頭的相對位置確定，其相對距離可以作為三角定位的一個參數。基於兩個攝像頭的位置關係，光學定位系統可以對兩個攝像頭拍攝的兩幀紅外光圖像進行畸變校準和行對齊，生成無畸變的行對齊的圖像，以便於進行後續的3D匹配或定位操作。

如此，通過雙目紅外攝像頭模組拍攝到的紅外發光圖像，通過紅外發光裝置的位置以及定位目標上紅外發光裝置的發光模式，可以實現對紅外發光裝置的定位，進一步地實現對定位目標的定位以及多定位目標的區分。

另外，在光學定位系統中，當系統想要識別某個定位目標時，如果該定位目標恰好沒有發射紅外光，或者恰好被遮擋而不能被攝像頭拍攝到時，則系統不能對該定位目標進行識別，此時，還可以在光學定位系統中設置控制裝置，以便於定位目標可以響應於系統的控制重新進入發光模式，方便地被光學定位系統識別。

圖2示出了根據本實用新型另一個實施例的光學定位系統的結構的示意性框圖，光學定位系統中還可以包括如圖2所示的計算裝置140。計算裝置140可以以有線方式或無線方式連接到雙目紅外攝像頭模組，用於對第一紅外光圖像和第二紅外光圖像進行處理。

這裡，計算裝置140可以對雙目紅外攝像頭模組拍攝的第一紅外光圖像和第二紅外光圖像進行畸變校準和行對齊，利用圖像算法去除環境幹擾，對兩幅圖像進行3D匹配，找出圖像中紅外發光裝置在兩幅圖像中的位置，根據這些信息和三角定位原理對紅外發光裝置進行定位。

具體地說(以圖4所示為例進行說明)，對於三維空間中的一個紅外發光裝置D(假設該紅外發光裝置D是一個紅外發光點)，如果這個點可以同時被兩個攝像頭(C1、C2)拍攝到，則根據同一時刻所拍攝到的兩幅圖像和對應的參數(例如，兩個攝像頭的焦距f1、f2、內外方位元素等，攝像頭的相機參數可以是已知的，也可以是對其進行相機標定計算出來的)進行計算，可以確定這一時刻該點D在三維空間中的位置信息。

對於設置有3個或更多紅外發光裝置的定位目標，計算裝置140還可以利用算法(例如，PnP算法等)區分紅外發光裝置，將各個發光裝置與各個定位目標對應起來，從而對定位目標進行定位。

如圖2所示，本實用新型的光學定位系統100還可以包括發光控制器112和控制主機130。

發光控制器112可以設置在定位目標(例如頭顯、手槍等設備)上，並且連接多個紅外發光裝置，用於控制紅外發光裝置的亮滅和/或紅外光的強度。

發光控制器112可以以有線方式或者無線方式連接多個紅外發光裝置，作為紅外發光裝置的控制裝置，控制紅外發光裝置的亮滅或者發光強度。發光控制器112可以在用戶使用頭顯、手槍等VR設備時，主動控制多個紅外發光裝置的亮滅和/或發光強度。也可以在光學定位系統需要對VR設備(定位目標)進行定位時，控制多個紅外發光裝置的亮滅和/或發光強度。

發光控制器112可以簡單地控制紅外發光裝置的發光模式。例如，一個定位目標上的多個紅外發光裝置均以相同的發光模式同時發射紅外光，不同的定位目標的發光模式不同。在一個實施例中，假設有A、B兩個待定位目標物(定位目標)，分別以圖3所示的強弱強弱強，強強弱強弱(也可以是亮滅亮滅亮，亮亮滅亮滅這種控制亮滅的方式；或者是強弱滅強弱，強強強弱滅這種混合的方式)兩種編碼向空間中發射紅外光。攝像頭不斷捕捉兩個目標物的圖像，通過連續幾幀的強弱變化即可判斷出兩個目標物的ID，例如當捕捉到某一目標在連續5幀中強弱變化順序是強弱強弱強，則可以判定其為目標A。

發光控制器112還可以控制多個紅外發光裝置分別以不同的預定發光模式發射紅外光。例如，假設某個定位目標A上有五個紅外發光裝置，可以對這五個紅外發光裝置編號，分別為1、2、3、4、5，同一時刻，不同編號的紅外發光裝置可以按照編號順序分別以亮、滅、亮、滅、亮(或者亮、亮、滅、亮、滅這種控制亮滅的方式或者強、弱、強、弱、強，強、強、弱、強、弱這種控制強弱的方式，或者是強、弱、滅、強、弱，強、強、強、弱、滅這種混合的方式)的方式向空間中發射紅外光，下一時刻以滅、亮、滅、亮、滅的方式向定位空間中發射紅外光(再下一時刻以亮、滅、亮、滅、亮的方式發光，五個紅外發光裝置的亮滅控制可以是五個連續時刻依次更換順序)。其它的定位目標可以因其設置的紅外發光裝置的數目、位置或者多個紅外發光裝置發光模式等的不同(多種不同的組合可以有多種不同的方案)，以區分於定位目標A。攝像頭不斷捕捉多個目標物的圖像，通過連續幾幀的發光模式的變化即可判斷出不同目標物的ID。

發光控制器112還可以對紅外發光裝置的發光模式進行調節。例如，當系統需要識別定位目標A時，還可以控制定位目標A的發光裝置由常亮狀態變為以20ms的間隔閃爍一次，如此，反映在圖像中的情況為有一個發光點從有到無再到有，從而可以區分定位目標A。

控制主機130可以以有線方式或無線方式連接到發光控制器112和計算裝置140，向發光控制器112發送控制指令以控制紅外發光裝置的發光模式，並向計算裝置通知紅外發光裝置的發光模式。其中，計算裝置140可以是單獨設置的，也可以是控制主機130的一部分。

這裡，控制主機130向發光控制器112發送的控制指令可以是用戶輸入的。例如，用戶可以對多種VR設備進行編號，每個VR設備設定固定的發光模式，在用戶使用其中的VR設備及光學定位系統時，通過觸控螢幕或其他輸入設備輸入或者按鍵選擇所使用設備以固定的發光模式發射紅外光，其他未被使用的設備則不發射紅外光。

控制指令還可以是控制主機130根據光學定位系統的需要做出的。例如，當系統需要識別某個定位目標(例如頭顯)時，控制主機可以做出使定位目標按照特定模式工作的控制指令，從而根據圖像的變化判斷定位目標在圖像中的位置。

控制主機130還可以向計算裝置140通知紅外發光裝置的發光模式，如此，計算裝置可以根據連續多幀圖像中紅外發光裝置的圖像變化，判斷定位目標在圖像中的位置，實現對定位目標的定位。

此外，當發生兩目標物相互遮擋、兩目標物全部跑出定位空間等兩目標物丟失的狀況下，系統在使用中會由於遮擋、幹擾等原因導致紅外發光裝置在圖像中丟失的現象，此時，可以利用跟蹤和運動估計算法對短時間的丟失進行補償。在紅外發光裝置長時間丟失導致跟蹤失蹤、運動估計算法無法準確給出目標位置的情況下，定位系統可以再次發送控制指令控制亮滅，從而重新區分定位目標，再利用跟蹤算法繼續跟蹤。

另外，該光學定位系統還可以包括如圖2所示的傳感器113。傳感器113可以設置在定位目標上，用於獲取定位目標的運動信息和/或姿態信息，並通過有線方式或無線方式發送給計算裝置140。其中，傳感器可以是運動傳感器(如九軸傳感器)，還可以是紅外傳感器。或者，傳感器還可以包括感測味覺、嗅覺等其它感知功能的傳感器。

計算裝置140接收到定位目標的運動信息和/或姿態信息後，可以將定位目標的位置轉換到世界坐標系，將定位目標的位置信息與傳感器給出的運動信息和/或姿態信息進行融合，使用戶可以在VR內容中與VR場景進行交互。

另外，該光學定位系統還可以包括如圖2所示的紅外濾光片1212。

紅外濾光片1212可以分別設置在第一紅外攝像頭121和第二紅外攝像頭122上，紅外濾光片能夠透過紅外光，並濾除其它波段的光。

這裡，紅外濾光片可以是多種材質的，例如近紅外濾光片可以是由光學玻璃鍍膜的、有色玻璃製成的、或者塑料的等；中遠紅外濾光片可以由矽(Si)、硒化鋅(ZnSe)、藍寶石(Sapphire)、氟化鈣(CaF2)、石英玻璃等製成的。

紅外波段的波長範圍可以很寬廣，從780nm-14um，包括近紅外(780-1500nm，NIR)、中紅外(1500-6000nm，MIR)和遠紅外(6000-14000nm，FIR)，可以根據需要可以設置合適的紅外濾光片。其它波段的光可以是可見光波段或者紫外光波段或者其它的波段的光。

在一個應用例中，可以以圖5所示的流程圖表示定位流程的實現過程。其中，可以在步驟S510獲取圖像。雙目紅外攝像頭模組可以分別獲取第一紅外光圖像和第二紅外光圖像。

在步驟S520中，計算裝置可以對獲取的兩幀紅外光圖像進行去畸變和行對齊變換處理，生成無畸變和行對齊的圖像，以便進行下面的3D匹配和定位操作。

在步驟S530中，計算裝置可以利用圖像算法去除環境光幹擾。

在步驟S540中，判斷是否需要區分多個定位目標，如果判斷結果為是，則進入步驟S550,；如果判斷結果為否，則進入步驟S560。

在步驟S550中，根據連續幾幀紅外光圖像中紅外發光裝置的發光模式的變化，區分多個定位目標，並進入步驟S560。

在步驟S560中，進行3D匹配和定位。將攝像頭坐標系(世界坐標系)中的定位目標和定位空間中的定位目標一一對應。

在步驟S570中，進行目標跟蹤。

在步驟S580中，輸出目標位置。

至此，已經結合圖1至圖5詳細描述了根據本實用新型的光學定位系統。另外本實用新型的光學定位系統還可以應用於可定位的虛擬實境系統中。

本實用新型的光學定位系統可以應用於虛擬實境技術中，圖6示出了根據本實用新型一個實施例的虛擬實境系統。如圖6所示，該虛擬實境系統600可以包括圖1至圖5的光學定位系統100、頭戴式顯示器620以及一個或多個可攜式設備630。其中，頭戴式顯示器可以作為定位目標，其外表可以設置有多個紅外發光裝置。可攜式設備，適於用戶穿戴或攜帶，作為定位目標，其外表設置有多個紅外發光裝置。

頭戴式顯示器620或可攜式設備630外表設置的多個紅外發光裝置也可以以預定或固定的發光模式發射紅外光，雙目紅外攝像頭模組通過拍攝紅外光圖像確定紅外發光裝置在圖像中的位置，進一步地確定定位目標(頭戴式顯示設備或可攜式設備)在定位空間中的位置。其相關描述可參見圖1-圖5中的相關描述。

至此，已經參考附圖詳細描述了根據本實用新型的光學定位系統和虛擬實境系統。

以上已經描述了本實用新型的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。