新四季網

無標記增強現實系統及無標記增強現實系統目標跟蹤方法

2023-05-09 17:48:06 1

無標記增強現實系統及無標記增強現實系統目標跟蹤方法
【專利摘要】本發明公開一種無標記增強現實系統,其包括:特徵點提取單元,用於從拍攝設備生成的圖像的第一幀中提取多個特徵點;跟蹤點提取單元,利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點;映射點生成單元,用於將所述多個特徵點映射到所述除第一幀外的每一幀中,以生成所述除第一幀外的每一幀的多個映射點;跟蹤點篩選單元,用於將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較,且所述跟蹤點篩選單元基於所述比較結果來判斷是否將所述跟蹤點排除。本發明還公開一種無標記增強現實系統目標跟蹤方法。
【專利說明】無標記增強現實系統及無標記增強現實系統目標跟蹤方法
【技術領域】
[0001]本發明涉及一種對拍攝設備生成的圖像進行特徵提取並跟蹤的無標記增強現實系統及無標記增強現實系統目標跟蹤方法。
【背景技術】
[0002]增強現實技術(Augmented Reality, AR)是在虛擬實境技術的基礎上發展起來的新技術,其通過計算機系統將虛擬客體疊加到實際圖像中以增強用戶感官體驗,從而實現對現實的增強。
[0003]目前,很多增強現實系統是基於預先準備的標記(如二維碼)等來獲取包含實際圖像的真實物體的特徵信息,從而得到照相機與真實物體的位置關係。然而這種基於標記的增強現實系統在實際應用中必須事先準備標記,並將標記存儲於資料庫中,因此,這一前提條件使得其應用場景和時間存在限制。
[0004]然而,無標記增強現實系統可以通過對實際圖像的特徵點檢測並通過跟蹤特徵點來掌握照相機和真實物體的位置關係,可在任何場所即時使用。要掌握好照相機和真實物體位置關係的首要條件是要對實際圖像的特徵點檢測並準確跟蹤。

【發明內容】

[0005]為了解決上述現有技術存在的問題,本發明的目的在於提供一種無標記增強現實系統,其包括:特徵點提取單元,用於從拍攝設備生成的圖像的第一幀中提取多個特徵點;跟蹤點提取單元,利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點;映射點生成單元,用於將所述多個特徵點映射到所述除第一中貞外的每一巾貞中,以生成所述除第一巾貞外的每一巾貞的多個映射點;跟蹤點篩選單兀,用於將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較,且所述跟蹤點篩選單元基於所述比較結果來判斷是否將所述跟蹤點排除。
[0006]進一步地,當所述除第一幀外的每一幀的某一跟蹤點與其對應的映射點之間的距離大於所述預設距離閾值時,所述跟蹤點篩選單元將該某一跟蹤點排除。
[0007]進一步地,所述跟蹤點提取單元包括:空間模型建立單元,用於將所述除第一幀外的每一幀建立為多個具有不同解析度和不同尺寸大小的空間模型;空間模型搜索單元,利用提取的所述第一幀的多個特徵點來從每個所述空間模型中提取多個子跟蹤點;子跟蹤點融合單元,用於將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點融合為所述除第一幀外的每一幀的多個所述跟蹤點。
[0008]進一步地,所述空間模型搜索單元在建立的每個所述空間模型中搜索所述第一幀的每個特徵點的偏移向量,且所述空間模型搜索單元基於在建立的每個所述空間模型中搜索的所述第一幀的每個特徵點的偏移向量來從每個所述空間模型中提取多個子跟蹤點。
[0009]進一步地,所述無標記增強現實系統還包括:單應性矩陣生成單元,利用提取的所述除第一幀之外的每一幀的多個跟蹤點和所述第一幀的多個特徵點來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應性矩陣;其中,所述映射點生成單元利用所述單應性矩陣將所述第一幀的多個特徵點映射到所述除第一幀外的每一幀中,以生成所述除第一幀外的每一幀的多個映射點。
[0010]進一步地,所述無標記增強現實系統還包括:異常點剔除單元,用於將所述除第一幀外的每一幀的多個跟蹤點中的位於置信域範圍外的跟蹤點剔除。
[0011]本發明的另一目的還在於提供一種無標記增強現實系統目標跟蹤方法,其包括步驟:A)從拍攝設備生成的圖像的第一幀中提取多個特徵點;B)利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點;C)將所述多個特徵點映射到所述除第一幀外的每一幀中,以生成所述除第一幀外的每一幀的多個映射點;
D)將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較,且基於所述比較結果來判斷是否將所述跟蹤點排除。
[0012]進一步地,當所述除第一幀外的每一幀的某一跟蹤點與其對應的映射點之間的距離大於所述預設距離閾值時,所述跟蹤點篩選單元將該某一跟蹤點排除。
[0013]進一步地,所述步驟B)的具體實現方式包括步驟:B1)將所述除第一幀外的每一幀建立為多個具有不同解析度和不同尺寸大小的空間模型;B2)利用提取的所述第一幀的多個特徵點來從每個所述空間模型中提取多個子跟蹤點;B3)將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點融合為所述除第一幀外的每一幀的多個所述跟蹤點。
[0014]進一步地,所述步驟B2)的具體實現方式是:在建立的每個所述空間模型中搜索所述第一幀的每個特徵點的偏移向量,且基於在建立的每個所述空間模型中搜索的所述第一幀的每個特徵點的偏移向量來從每個所述空間模型中提取多個子跟蹤點。
[0015]進一步地,所述步驟C)的具體實現方式包括步驟:C1)利用提取的所述除第一幀之外的每一幀的多個跟蹤點和所述第一幀的多個特徵點來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應性矩陣;C2)利用所述單應性矩陣將所述第一幀的多個特徵點映射到所述除第一幀外的每一幀中,以生成所述除第一幀外的每一幀的多個映射點。
[0016]進一步地,在執行步驟C)之前,將所述除第一幀外的每一幀的多個跟蹤點中的位於置信域範圍外的跟蹤點剔除。
[0017]本發明的無標記增強現實系統及無標記增強現實系統目標跟蹤方法,通過對拍攝設備生成的圖像進行特徵檢測和跟蹤,無需事先準備標記,比以往的基於標記的增強現實系統有更廣泛的適應場景。此外,本發明的無標記增強現實系統及無標記增強現實系統目標跟蹤方法,在圖像的每一幀的具有不同解析度和不同尺寸大小的空間模型中進行特徵點搜索,使之可適用於本身具備多尺度變化的視頻跟蹤中,並且在變化過程中能夠保持較好的跟蹤效果。
【專利附圖】

【附圖說明】
[0018]通過下面結合附圖進行的描述,本發明的上述和其他目的和特點將會變得更加清楚,附圖中:
[0019]圖1是示出根據本發明的實施例的無標記增強現實系統的結構的框圖。
[0020]圖2是示出根據本發明的實施例的無標記增強現實系統目標跟蹤方法的流程圖。【具體實施方式】
[0021]以下,通過參照附圖對實施例進行描述來解釋本發明,但本發明並不限制或者局限於實施例。
[0022]圖1是示出根據本發明的實施例的無標記增強現實系統的結構的框圖。
[0023]參照圖1,根據本發明的實施例的無標記增強現實系統可包括特徵點提取單元110、跟蹤點提取單元120、映射點生成單元130和跟蹤點篩選單元140。
[0024]無標記增強現實系統對圖像進行特徵點檢測和跟蹤,無需事先準備標記並將標記存儲在資料庫等工作,可構建無標記的增強現實系統。
[0025]首先,需要對圖像進行特徵點檢測並將檢測到的特徵點進行提取。
[0026]為此,特徵點提取單元110可從拍攝設備(例如照相機、視頻照相機、視頻攝像機等)生成的圖像的第一幀中提取易於跟蹤的多個特徵點。該多個特徵點作為後續跟蹤的基準信息。具體而言,在本實施例中,特徵點提取單元110可採用角點檢測方法對拍攝設備生成的圖像的第一幀中的某一點進行移動;其中,如果該某一點被移動後的亮度發生較大變化,則該某一點為易於跟蹤的特徵點。該某一點被移動後的亮度發生的變化量E (U,V)滿足下面的式子。
【權利要求】
1.一種無標記增強現實系統,其特徵在於,包括: 特徵點提取單元,用於從拍攝設備生成的圖像的第一幀中提取多個特徵點; 跟蹤點提取單元,利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一中貞外的每一幀中提取多個跟蹤點; 映射點生成單元,用於將所述多個特徵點映射到所述除第一幀外的每一幀中,以生成所述除第一幀外的每一幀的多個映射點; 跟蹤點篩選單元,用於將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較,且所述跟蹤點篩選單元基於所述比較結果來判斷是否將所述跟蹤點排除。
2.根據權利要求1所述的無標記增強現實系統,其特徵在於,當所述除第一幀外的每一幀的某一跟蹤點與其對應的映射點之間的距離大於所述預設距離閾值時,所述跟蹤點篩選單元將該某一跟蹤點排除。
3.根據權利要求1或2所述的無標記增強現實系統,其特徵在於,所述跟蹤點提取單元包括: 空間模型建立單元,用於將所述除第一幀外的每一幀建立為多個具有不同解析度和不同尺寸大小的空間模型; 空間模型搜索單元,利用提取的所述第一幀的多個特徵點來從每個所述空間模型中提取多個子跟蹤點; 子跟蹤點融合單元,用於將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點融合為所述除第一幀外的每一幀的多個所述跟蹤點。
4.根據權利要求3所述的無標記增強現實系統,其特徵在於,所述空間模型搜索單元在建立的每個所述空間模型中搜索所述第一幀的每個特徵點的偏移向量,且所述空間模型搜索單元基於在建立的每個所述空間模型中搜索的所述第一幀的每個特徵點的偏移向量來從每個所述空間模型中提取多個子跟蹤點。
5.根據權利要求1或2所述的無標記增強現實系統,其特徵在於,所述無標記增強現實系統還包括: 單應性矩陣生成單元,利用提取的所述除第一幀之外的每一幀的多個跟蹤點和所述第一幀的多個特徵點來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應性矩陣; 其中,所述映射點生成單元利用所述單應性矩陣將所述第一幀的多個特徵點映射到所述除第一幀外的每一幀中,以生成所述除第一幀外的每一幀的多個映射點。
6.根據權利要求1或2所述的無標記增強現實系統,其特徵在於,所述無標記增強現實系統還包括:異常點剔除單元,用於將所述除第一幀外的每一幀的多個跟蹤點中的位於置信域範圍外的跟蹤點剔除。
7.一種無標記增強現實系統目標跟蹤方法,其特徵在於,包括以下步驟: A)從拍攝設備生成的圖像的第一幀中提取多個特徵點; B)利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點; C)將所述多個特徵點映射到所述除第一幀外的每一幀中,以生成所述除第一幀外的每一幀的多個映射點; D)將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較,且基於所述比較結果來判斷是否將所述跟蹤點排除。
8.根據權利要求7所述的無標記增強現實系統目標跟蹤方法,其特徵在於,當所述除第一幀外的每一幀的某一跟蹤點與其對應的映射點之間的距離大於所述預設距離閾值時,所述跟蹤點篩選單元將該某一跟蹤點排除。
9.根據權利要求7或8所述的無標記增強現實系統目標跟蹤方法,其特徵在於,所述步驟B)的具體實現方式包括以下步驟: BI)將所述除第一幀外的每一幀建立為多個具有不同解析度和不同尺寸大小的空間模型; B2)利用提取的所述第一幀的多個特徵點來從每個所述空間模型中提取多個子跟蹤佔.B3)將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點融合為所述除第一幀外的每一幀的多個所述跟蹤點。
10.根據權利要求9所述的無標記增強現實系統目標跟蹤方法,其特徵在於,所述步驟B2)的具體實現方式是:在建立的每個所述空間模型中搜索所述第一幀的每個特徵點的偏移向量,且基於在建立的每個所述空間模型中搜索的所述第一幀的每個特徵點的偏移向量來從每個所述空間模型中提取多個子跟蹤點。
11.根據權利要求7或8所述的無標記增強現實系統目標跟蹤方法,其特徵在於,所述步驟C)的具體實現方式包括以下步驟: Cl)利用提取的所述除第一幀之外的每一幀的多個跟蹤點和所述第一幀的多個特徵點來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應性矩陣; C2)利用所述單應性矩陣將所述第一幀的多個特徵點映射到所述除第一幀外的每一幀中,以生成所述除第一幀外的每一幀的多個映射點。
12.根據權利要求7或8所述的無標記增強現實系統目標跟蹤方法,其特徵在於,在執行步驟C)之前,將所述除第一幀外的每一幀的多個跟蹤點中的位於置信域範圍外的跟蹤點剔除。
【文檔編號】G06T7/00GK103632374SQ201310666494
【公開日】2014年3月12日 申請日期:2013年12月10日 優先權日:2013年12月10日
【發明者】樊春玲, 鄧亮, 馮良炳 申請人:深圳先進技術研究院

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀