對無特定標記目標物體跟蹤、三維疊加及交互的方法及系統的製作方法

2023-06-26 06:01:31

專利名稱：對無特定標記目標物體跟蹤、三維疊加及交互的方法及系統的製作方法
技術領域：
本發明屬於增強現實技術領域，尤其涉及一種對無特定標記目標物體跟蹤、三維疊加及交互的方法及系統。
背景技術：
增強現實技術簡稱AR技術，也被稱為擴增現實，把原本在現實世界的一定時間空間範圍內很難體驗到的實體信息(視覺信息，聲音，味道，觸覺等)，通過科學技術模擬仿真後再疊加到現實世界被人類感官所感知，從而達到超越現實的感官體驗，這種技術叫做增強現實技術，簡稱AR技術。增強現實可根據所應用的範圍分為戶內型與戶外型。戶內型增強現實從廣義上說包括各種將數據層覆蓋於建築物內部物理空間的實踐，為建築師、壁畫師、展覽設計師和新媒體藝術家所關心；相對而言，狹義的戶內型增強現實是在計算機技術支持下發展起來的，它允許用戶在現實環境中與虛擬物體交互。增強現實技術中的諸多關鍵技術中，跟蹤和定位技術、以及攝像機標定技術是重點，同時也是難點。為了實現虛擬與現實交互，增強現實技術需要對目標物體的三維坐標信息進行精確定位，因而準確地跟蹤目標物體在三維坐標系下的位置以及目標和攝像機之間的相對位置十分重要。傳統的增強現實技術實現方法通常需要預先在已知位置上放置基準標記(例如四周加黑色的方框)，通過識別和跟蹤這些標記來間接跟蹤目標物體，其優點是在確定或可控環境下能夠實現魯棒性較高的跟蹤效果。缺點是不能實現直接對目標進行三維坐標信息提取和跟蹤。

發明內容
本發明提供了一種對現實中存在的目標物體直接進行識別、三維坐標信息提取、跟蹤的方法，旨在解決現有技術提供的增強現實技術需要預先在已知位置上放置基準標記，通過識別和跟蹤這些標記來間接跟蹤目標物體，不能自動對目標物體建立模板，並不能實現直接對現實中目標物體進行識別、三維坐標信息提取、跟蹤的問題。本發明的目的在於提供一種對無特定標記目標物體實時跟蹤、三維疊加及交互的方法，該方法包括以下步驟從攝像機拍攝的圖像中分割出目標物體，並自動建立目標物體的特徵模板或預知已知目標物體的特徵模版；利用目標物體的自身特徵，直接對目標物體進行識別，並計算出目標物體相對於攝像機的二維息；通過圖形引擎將虛擬物體或動畫實時疊加在現實的空間三維坐標系中，利用圖形弓丨擎中的交互功能，實現三維疊加的虛擬物體和現實物體之間的交互。進一步，所述利用目標物體的自身特徵，直接對目標物體進行識別，並計算出目標物體相對於攝像機的三維信息以及通過圖形引擎將虛擬物體或動畫實時疊加在現實空間三維坐標系的實現方法為對採集到的某一幀視頻圖像Q，利用SUrf算法求解出與模板匹配的所有特徵點P= Ρι Ρ2，· · ·，pj，其中，Pi為圖像Q中的特徵點；從全部匹配特徵點P= {P1，P2，. . . , PnI中選擇4個最準確的匹配特徵點
權利要求
1.一種對無特定標記目標物體實時跟蹤、三維疊加及交互的方法，其特徵在於，該方法包括以下步驟 從攝像機拍攝的圖像中分割出目標物體，並自動建立目標物體的特徵模板或預知已知目標物體的特徵模版； 利用目標物體的自身特徵，直接對目標物體進行識別，並計算出目標物體相對於攝像機的二維信息； 通過圖形引擎將虛擬物體或動畫實時疊加在現實的空間三維坐標系中，利用圖形引擎中的交互功能，實現三維疊加的虛擬物體和現實物體之間的交互。
2.如權利要求I所述的方法，其特徵在於，所述利用目標物體的自身特徵，直接對目標物體進行識別，並計算出目標物體相對於攝像機的三維信息以及通過圖形引擎將虛擬物體或動畫實時疊加在現實空間三維坐標系的實現方法為 對採集到的某一幀視頻圖像Q，利用surf算法求解出與模板匹配的所有特徵點P ={Pl，p2,, pn}，其中，Pi為圖像Q中的特徵點； 從全部匹配特徵點P = {Pl, P2, ...，P1J中選擇4個最準確的匹配特徵點P0={Pj^PJl,Ph,Pji}, ^ e {1,2, ..·，η}，k = 1，2，3，4，記錄這些特徵點的圖像坐標值(Ui, Vi), i = J1, j2, j3, j4,並以其中一點為世界坐標原點，記錄下其他特徵點的世界坐標jk e {1,2, ... , n}, k = 1,2,3,4 ； 利用世界坐標系的坐標^幻)與其投影點的像素坐標(Ui, Vi)之間的關係式計算相機的外參數矩陣H,其中，i = j1； j2, j3, j4 ； 利用計算出的外參數矩陣H，在圖形引擎中將當前視頻幀圖像作為三維引擎中三維場景的背景，在場景中所需要的位置渲染出三維模型，實現實時三維疊加； 利用圖形引擎中的交互功能，實現三維疊加的虛擬物體和現實物體之間的交互。
3.如權利要求I所述的方法，其特徵在於，該方法可對攝像機拍攝圖像中多個目標物體進行計算，得出每個物體的三維信息，對多個目標物體進行三維疊加。
4.如權利要求I所述的方法，其特徵在於，目標物體相對於攝像機的三維信息為目標物體相對於攝像機的三維實時位移及旋轉角度。
5.一種對無特定標記目標物體實時跟蹤、三維疊加及交互的系統，其特徵在於，該系統包括 特徵模板建立模塊，用於從攝像機拍攝的圖像中分割出目標物體，並自動建立目標物體的特徵模板，也可預置已知的特徵模板； 三維信息計算模塊，與所述特徵模板建立模塊相連接，用於利用目標物體的自身特徵，直接對目標物體進行識別，並計算出目標物體相對於攝像機的三維信息； 三維模型疊加模塊，與所述三維信息計算模塊相連接，用於通過圖形引擎將虛擬物體或動畫實時疊加在現實的空間三維坐標系中。
6.如權利要求5所述的系統，其特徵在於，所述系統還包括 交互模塊，與所述三維模型疊加模塊相連接，用於通過圖形引擎中的交互功能，實現三維疊加的虛擬物體和現實物體之間的交互。
7.如權利要求5所述的系統，其特徵在於，所述三維信息計算模塊進一步包括三維實時位移計算單元，與所述特徵模板建立模塊相連接，用於計算出目標物體相對於攝像機的三維實時位移； 三維實時旋轉角度計算單元，與所述特徵模板建立模塊相連接，用於計算出目標物體相對於攝像機的三維實時旋轉角度。
8.一種對無特定標記目標物體實時跟蹤、三維疊加及交互的方法，其特徵在於，所述方法包括如下步驟 步驟1，將目標物體物預先拍攝一張圖片或者由程序從攝像機的圖像中自動分割出目標物體作為模板M ； 步驟2，對輸入的每幀圖像Q與模板圖像M，利用加速surf算法進行特徵點匹配；得到匹配特徵點Pq = Ip1, P2, , pn}Q，Pm = Ip1, P2,, pn}M，點pK分別為圖像Q與模板M中的點，i = 1,2, ... ,η·, 步驟3，從圖像Q與模板M中選取四對最準確的匹配特徵點其中，jke {I,.2，...，n}，k= 1，2，3，4;確定匹配特徵點在對應圖像上的像素坐標(uk, vk)Q, (uk,乂^^並以其中一對匹配特徵點丨/^，/^}，!^^ {1,2,3,4}為世界坐標原點，記錄下其它匹配特徵點的世界坐標值
9.如權利要求8所述的方法，其特徵在於，所述方法還可對圖像中多個目標物體進行計算，得出每個物體的三維信息，從而實現多個目標物體的疊加效果以及運用上述的三維疊加、實時跟蹤方法，配合語音識別、動作捕捉、肢體識別技術，在三維引擎中實時檢測圖像中的虛擬物體和虛擬物體之間，現實物體和虛擬物體之間、現實人和虛擬物體之間等的碰撞，即可實現現實中人或物和虛擬的人或物的交互效果。
全文摘要
本發明屬於計算機應用技術領域，提供了一種對無特定標記目標物體跟蹤、三維疊加及交互的方法及系統，首先從攝像機拍攝的圖像中分割出目標物體，並自動建立目標物體的特徵模板；然後利用目標物體的自身特徵，直接對目標物體進行識別，並計算出目標物體相對於攝像機的三維信息；最後通過圖形引擎將虛擬物體或動畫實時疊加在現實的空間三維坐標系中；本方法利用加速surf算法對視頻圖像與模板圖像進行特徵匹配，完成攝像機標定，實現了無特定標記的目標物體實時跟蹤、實時三維疊加，對每幀視頻圖像均實時計算目標的三維坐標信息，實現了現實中人或物和虛擬的人或物的交互，自動化程度較高，具有較強的推廣與應用價值。
文檔編號G06K9/00GK102831401SQ20121027390
公開日2012年12月19日 申請日期2012年8月3日 優先權日2012年8月3日
發明者樊曉東, 唐文平, 劉家賓 申請人:樊曉東