無標記增強現實系統及無標記增強現實系統目標跟蹤方法
2023-05-09 17:48:06
無標記增強現實系統及無標記增強現實系統目標跟蹤方法
【專利摘要】本發明公開一種無標記增強現實系統，其包括：特徵點提取單元，用於從拍攝設備生成的圖像的第一幀中提取多個特徵點；跟蹤點提取單元，利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點；映射點生成單元，用於將所述多個特徵點映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點；跟蹤點篩選單元，用於將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較，且所述跟蹤點篩選單元基於所述比較結果來判斷是否將所述跟蹤點排除。本發明還公開一種無標記增強現實系統目標跟蹤方法。
【專利說明】無標記增強現實系統及無標記增強現實系統目標跟蹤方法
【技術領域】
[0001]本發明涉及一種對拍攝設備生成的圖像進行特徵提取並跟蹤的無標記增強現實系統及無標記增強現實系統目標跟蹤方法。
【背景技術】
[0002]增強現實技術(Augmented Reality, AR)是在虛擬實境技術的基礎上發展起來的新技術，其通過計算機系統將虛擬客體疊加到實際圖像中以增強用戶感官體驗，從而實現對現實的增強。
[0003]目前，很多增強現實系統是基於預先準備的標記(如二維碼)等來獲取包含實際圖像的真實物體的特徵信息，從而得到照相機與真實物體的位置關係。然而這種基於標記的增強現實系統在實際應用中必須事先準備標記，並將標記存儲於資料庫中，因此，這一前提條件使得其應用場景和時間存在限制。
[0004]然而，無標記增強現實系統可以通過對實際圖像的特徵點檢測並通過跟蹤特徵點來掌握照相機和真實物體的位置關係，可在任何場所即時使用。要掌握好照相機和真實物體位置關係的首要條件是要對實際圖像的特徵點檢測並準確跟蹤。
【發明內容】
[0005]為了解決上述現有技術存在的問題，本發明的目的在於提供一種無標記增強現實系統，其包括:特徵點提取單元，用於從拍攝設備生成的圖像的第一幀中提取多個特徵點；跟蹤點提取單元，利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點；映射點生成單元，用於將所述多個特徵點映射到所述除第一中貞外的每一巾貞中，以生成所述除第一巾貞外的每一巾貞的多個映射點；跟蹤點篩選單兀，用於將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較，且所述跟蹤點篩選單元基於所述比較結果來判斷是否將所述跟蹤點排除。
[0006]進一步地，當所述除第一幀外的每一幀的某一跟蹤點與其對應的映射點之間的距離大於所述預設距離閾值時，所述跟蹤點篩選單元將該某一跟蹤點排除。
[0007]進一步地，所述跟蹤點提取單元包括:空間模型建立單元，用於將所述除第一幀外的每一幀建立為多個具有不同解析度和不同尺寸大小的空間模型；空間模型搜索單元，利用提取的所述第一幀的多個特徵點來從每個所述空間模型中提取多個子跟蹤點；子跟蹤點融合單元，用於將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點融合為所述除第一幀外的每一幀的多個所述跟蹤點。
[0008]進一步地，所述空間模型搜索單元在建立的每個所述空間模型中搜索所述第一幀的每個特徵點的偏移向量，且所述空間模型搜索單元基於在建立的每個所述空間模型中搜索的所述第一幀的每個特徵點的偏移向量來從每個所述空間模型中提取多個子跟蹤點。
[0009]進一步地，所述無標記增強現實系統還包括:單應性矩陣生成單元，利用提取的所述除第一幀之外的每一幀的多個跟蹤點和所述第一幀的多個特徵點來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應性矩陣；其中，所述映射點生成單元利用所述單應性矩陣將所述第一幀的多個特徵點映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點。
[0010]進一步地，所述無標記增強現實系統還包括:異常點剔除單元，用於將所述除第一幀外的每一幀的多個跟蹤點中的位於置信域範圍外的跟蹤點剔除。
[0011]本發明的另一目的還在於提供一種無標記增強現實系統目標跟蹤方法，其包括步驟:A)從拍攝設備生成的圖像的第一幀中提取多個特徵點；B)利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點；C)將所述多個特徵點映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點；
D)將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較，且基於所述比較結果來判斷是否將所述跟蹤點排除。
[0012]進一步地，當所述除第一幀外的每一幀的某一跟蹤點與其對應的映射點之間的距離大於所述預設距離閾值時，所述跟蹤點篩選單元將該某一跟蹤點排除。
[0013]進一步地，所述步驟B)的具體實現方式包括步驟:B1)將所述除第一幀外的每一幀建立為多個具有不同解析度和不同尺寸大小的空間模型；B2)利用提取的所述第一幀的多個特徵點來從每個所述空間模型中提取多個子跟蹤點；B3)將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點融合為所述除第一幀外的每一幀的多個所述跟蹤點。
[0014]進一步地，所述步驟B2)的具體實現方式是:在建立的每個所述空間模型中搜索所述第一幀的每個特徵點的偏移向量，且基於在建立的每個所述空間模型中搜索的所述第一幀的每個特徵點的偏移向量來從每個所述空間模型中提取多個子跟蹤點。
[0015]進一步地，所述步驟C)的具體實現方式包括步驟:C1)利用提取的所述除第一幀之外的每一幀的多個跟蹤點和所述第一幀的多個特徵點來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應性矩陣；C2)利用所述單應性矩陣將所述第一幀的多個特徵點映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點。
[0016]進一步地，在執行步驟C)之前，將所述除第一幀外的每一幀的多個跟蹤點中的位於置信域範圍外的跟蹤點剔除。
[0017]本發明的無標記增強現實系統及無標記增強現實系統目標跟蹤方法，通過對拍攝設備生成的圖像進行特徵檢測和跟蹤，無需事先準備標記，比以往的基於標記的增強現實系統有更廣泛的適應場景。此外，本發明的無標記增強現實系統及無標記增強現實系統目標跟蹤方法，在圖像的每一幀的具有不同解析度和不同尺寸大小的空間模型中進行特徵點搜索，使之可適用於本身具備多尺度變化的視頻跟蹤中，並且在變化過程中能夠保持較好的跟蹤效果。
【專利附圖】
【附圖說明】
[0018]通過下面結合附圖進行的描述，本發明的上述和其他目的和特點將會變得更加清楚，附圖中:
[0019]圖1是示出根據本發明的實施例的無標記增強現實系統的結構的框圖。
[0020]圖2是示出根據本發明的實施例的無標記增強現實系統目標跟蹤方法的流程圖。【具體實施方式】
[0021]以下，通過參照附圖對實施例進行描述來解釋本發明，但本發明並不限制或者局限於實施例。
[0022]圖1是示出根據本發明的實施例的無標記增強現實系統的結構的框圖。
[0023]參照圖1，根據本發明的實施例的無標記增強現實系統可包括特徵點提取單元110、跟蹤點提取單元120、映射點生成單元130和跟蹤點篩選單元140。
[0024]無標記增強現實系統對圖像進行特徵點檢測和跟蹤，無需事先準備標記並將標記存儲在資料庫等工作，可構建無標記的增強現實系統。
[0025]首先，需要對圖像進行特徵點檢測並將檢測到的特徵點進行提取。
[0026]為此，特徵點提取單元110可從拍攝設備(例如照相機、視頻照相機、視頻攝像機等)生成的圖像的第一幀中提取易於跟蹤的多個特徵點。該多個特徵點作為後續跟蹤的基準信息。具體而言，在本實施例中，特徵點提取單元110可採用角點檢測方法對拍攝設備生成的圖像的第一幀中的某一點進行移動；其中，如果該某一點被移動後的亮度發生較大變化，則該某一點為易於跟蹤的特徵點。該某一點被移動後的亮度發生的變化量E (U，V)滿足下面的式子。
【權利要求】
1.一種無標記增強現實系統，其特徵在於，包括: 特徵點提取單元，用於從拍攝設備生成的圖像的第一幀中提取多個特徵點； 跟蹤點提取單元，利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一中貞外的每一幀中提取多個跟蹤點； 映射點生成單元，用於將所述多個特徵點映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點； 跟蹤點篩選單元，用於將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較，且所述跟蹤點篩選單元基於所述比較結果來判斷是否將所述跟蹤點排除。
2.根據權利要求1所述的無標記增強現實系統，其特徵在於，當所述除第一幀外的每一幀的某一跟蹤點與其對應的映射點之間的距離大於所述預設距離閾值時，所述跟蹤點篩選單元將該某一跟蹤點排除。
3.根據權利要求1或2所述的無標記增強現實系統，其特徵在於，所述跟蹤點提取單元包括: 空間模型建立單元，用於將所述除第一幀外的每一幀建立為多個具有不同解析度和不同尺寸大小的空間模型； 空間模型搜索單元，利用提取的所述第一幀的多個特徵點來從每個所述空間模型中提取多個子跟蹤點； 子跟蹤點融合單元，用於將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點融合為所述除第一幀外的每一幀的多個所述跟蹤點。
4.根據權利要求3所述的無標記增強現實系統，其特徵在於，所述空間模型搜索單元在建立的每個所述空間模型中搜索所述第一幀的每個特徵點的偏移向量，且所述空間模型搜索單元基於在建立的每個所述空間模型中搜索的所述第一幀的每個特徵點的偏移向量來從每個所述空間模型中提取多個子跟蹤點。
5.根據權利要求1或2所述的無標記增強現實系統，其特徵在於，所述無標記增強現實系統還包括: 單應性矩陣生成單元，利用提取的所述除第一幀之外的每一幀的多個跟蹤點和所述第一幀的多個特徵點來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應性矩陣； 其中，所述映射點生成單元利用所述單應性矩陣將所述第一幀的多個特徵點映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點。
6.根據權利要求1或2所述的無標記增強現實系統，其特徵在於，所述無標記增強現實系統還包括:異常點剔除單元，用於將所述除第一幀外的每一幀的多個跟蹤點中的位於置信域範圍外的跟蹤點剔除。
7.一種無標記增強現實系統目標跟蹤方法，其特徵在於，包括以下步驟: A)從拍攝設備生成的圖像的第一幀中提取多個特徵點； B)利用提取的所述多個特徵點來從所述拍攝設備生成的圖像的除第一幀外的每一幀中提取多個跟蹤點； C)將所述多個特徵點映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點； D)將所述除第一幀外的每一幀的每個跟蹤點與其對應的映射點之間的距離和一預設距離閾值進行比較，且基於所述比較結果來判斷是否將所述跟蹤點排除。
8.根據權利要求7所述的無標記增強現實系統目標跟蹤方法，其特徵在於，當所述除第一幀外的每一幀的某一跟蹤點與其對應的映射點之間的距離大於所述預設距離閾值時，所述跟蹤點篩選單元將該某一跟蹤點排除。
9.根據權利要求7或8所述的無標記增強現實系統目標跟蹤方法，其特徵在於，所述步驟B)的具體實現方式包括以下步驟: BI)將所述除第一幀外的每一幀建立為多個具有不同解析度和不同尺寸大小的空間模型； B2)利用提取的所述第一幀的多個特徵點來從每個所述空間模型中提取多個子跟蹤佔.B3)將從所述除第一幀外的每一幀的多個所述空間模型中的多個所述子跟蹤點融合為所述除第一幀外的每一幀的多個所述跟蹤點。
10.根據權利要求9所述的無標記增強現實系統目標跟蹤方法，其特徵在於，所述步驟B2)的具體實現方式是:在建立的每個所述空間模型中搜索所述第一幀的每個特徵點的偏移向量，且基於在建立的每個所述空間模型中搜索的所述第一幀的每個特徵點的偏移向量來從每個所述空間模型中提取多個子跟蹤點。
11.根據權利要求7或8所述的無標記增強現實系統目標跟蹤方法，其特徵在於，所述步驟C)的具體實現方式包括以下步驟: Cl)利用提取的所述除第一幀之外的每一幀的多個跟蹤點和所述第一幀的多個特徵點來生成所述除第一幀之外的所述每一幀與所述第一幀之間的單應性矩陣； C2)利用所述單應性矩陣將所述第一幀的多個特徵點映射到所述除第一幀外的每一幀中，以生成所述除第一幀外的每一幀的多個映射點。
12.根據權利要求7或8所述的無標記增強現實系統目標跟蹤方法，其特徵在於，在執行步驟C)之前，將所述除第一幀外的每一幀的多個跟蹤點中的位於置信域範圍外的跟蹤點剔除。
【文檔編號】G06T7/00GK103632374SQ201310666494
【公開日】2014年3月12日 申請日期:2013年12月10日 優先權日:2013年12月10日
【發明者】樊春玲, 鄧亮, 馮良炳 申請人:深圳先進技術研究院