一種用於目標跟蹤的人機互動裝置及方法
2023-05-28 08:15:36
專利名稱：一種用於目標跟蹤的人機互動裝置及方法
技術領域：
本發明涉及目標跟蹤技術領域，特別是涉及一種用於目標跟蹤的人機互動裝置及方法。
背景技術：
目前已有的目標跟蹤設備大部分都是固定的攝像機設備，通過固定攝像機設備的旋轉，單角度實時檢測和跟蹤目標物體。例如，通過固定的攝像頭或網絡攝像機獲取場景中的圖像，採集的圖像視頻數據通過處理器進行存儲，並採用特定的算法對獲得的圖像進行處理、實時分析，快速檢測出目標物體，並進行跟蹤。這種目標跟蹤需要依賴目標物體的選取，選取條件需要通過軟體提前設置。然而，很多時候可能由於角度問題無法實時對目標物體進行檢測跟蹤，或者檢測到錯誤的目標物體進行跟蹤，無法實現實時篩選和跟蹤不同目標。專利公開號為CN101144716A的中國專利公開了一種多視角運動目標檢測、定位與對應方法，屬於視頻監控技術領域。該方法包括如下步驟對多個視角的視頻圖像進行前景檢測，得到二值前景圖像；根據所述二值前景圖像，建立空間場模型，在所述空間場模型中進行三維重建，得到運動目標的三維重建結果；對所述三維重建結果進行分析，在空間場中檢測並定位運動目標，得到運動目標的空間位置；根據所述運動目標的空間位置，向各視角投影，確定多個視角間運動目標的對應關係。專利公開號為CN101751677A的中國專利公開了一種基於多攝像機的目標連續跟蹤方法，基於多路視頻，包括目標檢測，目標跟蹤，目標特徵提取，計算到達區域和離開區域，計算攝像機區域連接關係，目標匹配、數據關聯以及目標連續跟蹤步驟。結合攝像機區域連接關係和目標匹配信息，判斷攝像機下出現的目標是新出現目標還是其它攝像機下已出現過的目標，從而實現運動目標連續跟蹤。上述專利以及現有的目標跟蹤系統，其設備一般都是固定裝置，體積相對比較龐大，移動性差，跟蹤的範圍有限，且在多目標情況下無法根據需要實現人為自由選擇目標物體進行跟蹤，跟蹤目標丟失率較大，精度較低。
發明內容
本發明針對現有技術的上述缺陷，提供一種用於目標跟蹤的人機互動裝置及方法，能可移動、多角度地拍攝周圍場景，通過顯示裝置實時顯示周圍場景，可通過人眼實現人與裝置的交互，自由、實時地選擇需要跟蹤的目標，並可以360度無盲點地檢測、跟蹤目標物體，跟蹤丟失率低，精度聞。本發明採用如下技術方案一種用於目標跟蹤的人機互動裝置，所述裝置包括頭盔設備，在所述頭盔設備上設置有第一信息處理單元、顯示裝置、視線追蹤系統和多個攝像頭；所述攝像頭安裝於頭盔設備四周並與第一信息處理單元連接，攝像頭實時拍攝頭盔設備周圍的場景視頻並將拍攝的場景視頻傳輸給第一信息處理單元；所述第一信息處理單元分別與攝像頭和顯示裝置連接，第一信息處理單元接收和處理所述場景視頻，並將處理後的場景視頻發送給顯示裝置；所述顯示裝置與第一信息處理單元連接，用於顯示處理後的場景視頻；所述視線追蹤系統與第一信息處理單元連接，視線追蹤系統通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤。優選地，所述攝像頭為至少4個，分別安裝於頭盔設備四周的前後左右四面。優選地，所述第一信息處理單元處理所述場景視頻具體為所述第一信息處理單元將接收到的場景視頻進行融合拼接，得到場景的360度全景視頻。 優選地，所述顯示裝置為眼鏡式微型顯示屏。優選地，所述視線追蹤系統包括紅外光源、攝像機和第二信息處理單元；所述紅外光源交替亮暗；所述攝像機與第二信息處理單元連接，拍攝人眼的亮瞳暗瞳交替視頻幀並將拍攝的視頻幀發送給第二信息處理單元；所述第二信息處理單元分別與攝像機和第一信息處理單元連接，對所述視頻幀進行分析和處理從而實現對使用者的人眼視線追蹤，並與所述第一信息處理單元互動從而確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤；或者，所述視線追蹤系統包括紅外光源和攝像機；所述紅外光源交替亮暗；所述攝像機與第一信息處理單元連接，拍攝人眼的亮瞳暗瞳交替視頻幀並將拍攝的視頻幀發送給第一信息處理單元；所述第一信息處理單元對所述視頻幀進行分析和處理從而實現對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤。優選地，所述第一信息處理單元和第二信息處理單元採用微處理器；所述視線追蹤系統還包括一存儲單元；當所述視線追蹤系統包括第二信息處理單元時，所述存儲單元與第二信息處理單元連接；當所述視線追蹤系統不包括第二信息處理單元時，所述存儲單元與第一信息處理單元連接；存儲單元用於存儲目標物體的特徵、運動軌跡、所在區域範圍以及丟失的位置和區域。優選地，所述第一信息處理單元還對場景中的異常情況進行分析，並根據所述分析的結果發出警告信號。本發明還提供了一種用於目標跟蹤的人機互動方法，其特徵在於，所述方法包括如下步驟實時拍攝頭藍設備周圍的場景視頻；對所述場景視頻進行處理；在顯示屏上顯示處理後的場景視頻；通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤。優選地，所述實時拍攝頭盔設備周圍的場景視頻的步驟通過多個攝像頭完成；所述對所述場景視頻進行處理的步驟具體為對每一個攝像頭所拍攝的視頻圖像序列進行場景融合拼接，得到場景的360度全景視頻。所述在顯示屏上顯示處理後的場景視頻的步驟具體為在眼鏡式微型顯示屏上顯示處理後的360度全景視頻。優選地，所述通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤的步驟通過視線追蹤系統完成，該步驟具體包括跟蹤使用者眼睛，提取眼睛參數，確定使用者的視線焦點在顯示屏上的位置，並通過對使用者的眼睛動作分析對應的控制指令，鎖定顯示屏上待跟蹤目標物體，提取目標物體特徵並存儲；採用粒子濾波算法跟蹤運動的所述目標物體，提取目標物體特徵並匹配，當在一個攝像頭所拍攝的圖像序列中目標物體匹配成功時，鎖定跟蹤目標物體，更新目標物體特徵，計算目標物體的位移和速度，記錄目標物體的運動軌跡，更新目標物體所在區域範圍；當在一個攝像頭所拍攝的圖像序列中目標物體匹配不成功時，對所述攝像頭相鄰的攝像頭所拍攝的圖像序列與所述攝像頭交叉的區域進行融合，當在所述相鄰的攝像頭檢測到目標物體時，匹配成功，鎖定跟蹤目標物體，更新目標物體特徵，計算目標物體的位移和速度，記錄目標物體的運動軌跡，更新目標物體所在區域範圍； 當在所有的攝像頭所拍攝的圖像序列中目標物體均匹配不成功時，目標物體跟蹤丟失，記錄目標物體丟失的位置和區域，存儲目標物體的跟蹤數據。優選地，所述目標物體為多個，所述方法還包括通過對使用者的眼睛動作分析對應的控制指令，解除對顯示屏上已跟蹤目標物體的跟蹤。本發明利用頭盔裝置的可移動性，通過多個攝像頭可多角度拍攝周圍場景，通過顯示裝置實時顯示周圍場景，通過視線追蹤系統可實現人與裝置的交互，人眼可自由、實時地選擇需要跟蹤的目標，並可以360度無盲點地進行檢測、跟蹤目標物體，跟蹤丟失率低，精度聞。
圖1為本發明實施例1用於目標跟蹤的人機互動裝置正面示意圖；圖2為本發明實施例1用於目標跟蹤的人機互動裝置俯視示意圖；圖3為本發明實施例1中人機互動裝置的結構框圖；圖4為本發明實施例2中人機互動裝置的結構框圖；圖5為本發明實施例3用於目標跟蹤的人機互動方法流程圖；圖6為本發明實施例3用於目標跟蹤的人機互動方法詳細流程圖。圖標說明I頭盔設備，2第一信息處理單元，3顯示裝置，4視線追蹤系統，41紅外光源，42攝像機，43第二信息處理單元，5攝像頭，6存儲單元。
具體實施例方式為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
實施例1 請參閱圖1和圖2所示，圖1為本發明實施例1用於目標跟蹤的人機互動裝置正面示意圖，圖2為本發明實施例1用於目標跟蹤的人機互動裝置俯視示意圖。本實施例提供了一種用於目標跟蹤的人機互動裝置，該裝置包括頭盔設備1，在頭盔設備I上設置有第一信息處理單元2、顯示裝置3、視線追蹤系統4和多個攝像頭5。攝像頭5安裝於頭盔設備I四周並與第一信息處理單元2連接，實時拍攝頭盔設備I周圍的場景視頻並將拍攝的場景視頻傳輸給第一信息處理單元2，攝像頭5設置至少4個，分別安裝於頭盔設備I四周的前後左右四面，本實施例中，設置有4個攝像頭5。第一信息處理單元2分別與攝像頭5和顯示裝置3連接，接收和處理場景視頻，並將處理後的場景視頻發送給顯示裝置3，本實施例中，第一信息處理單元2將接收到的場景視頻進行融合拼接，得到場景的360度全景視頻，以完成對場景視頻的處理。當然，第一信息處理單元2還可以有其他的功能，比如對場景中的異常情況進行分析，並根據分析的結果發出警告信號，如當有人靠近時，發出警告信號提醒設備使用者等。顯示裝置3與第一信息處理單元2連接，用於顯示處理後的場景視頻，本實施例中，顯示裝置3為眼鏡式微型顯示屏。視線追蹤系統4與第一信息處理單元2連接，通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標(如行人)，鎖定目標並進行實時跟蹤。下面對視線追蹤系統進行詳細描述。請參閱圖3所示，為本發明實施例1中人機互動裝置的結構框圖。本實施例中，視線追蹤系統4包括紅外光源41、攝像機42和第二信息處理單元43。紅外光源41交替亮暗。攝像機42與第二信息處理單元43連接，拍攝人眼的亮瞳暗瞳交替視頻幀並將拍攝的視頻幀發送給第二信息處理單元43。第二信息處理單元43分別與攝像機42和第一信息處理單元2連接，對視頻幀進行分析和處理從而實現對使用者的人眼視線追蹤，並與第一信息處理單元2互動從而確定使用者選擇跟蹤的場景中的目標，鎖定目標並進行實時跟蹤。第一信息處理單元2和第二信息處理單元43均可採用微處理器實現。優選地，視線追蹤系統4還包括一存儲單元6。存儲單元6與第二信息處理單元43連接，用於存儲目標物體的特徵、運動軌跡、所在區域範圍以及丟失的位置和區域等目標物體的跟蹤數據。視線追蹤系統4的工作原理是獲取使用者的眼睛瞳孔區域，提取瞳孔特徵，定位使用者的視線焦點在眼鏡式微型顯示屏上的位置，通過使用者的眼睛動作分析對應的控制指令以鎖定或解除跟蹤目標，例如通過眨左眼鎖定跟蹤目標，眨右眼解除跟蹤目標，或者眨眼一次鎖定跟蹤目標，眨眼兩次解除跟蹤目標等等，這些方式是多種多樣的，可根據使用者的使用習慣而設定，此處不做限制。鎖定運動的目標物體後，提取目標物體的顏色直方圖、目標物體面積、形狀等特徵進行存儲。如果鎖定目標物體失敗，則採用粒子濾波算法對目標物體進行實時跟蹤，如果在一個攝像頭下目標匹配失敗、跟蹤目標丟失，則視線追蹤系統將對相鄰攝像頭的圖像序列交叉區域進行融合，再次檢測目標物體，檢測到目標物體時，與檢測到目標物體的攝像頭進行匹配，重新定位跟蹤目標物體，達到360度連續跟蹤目標物體，記錄目標物體運動軌跡及速度等參數。本實施例利用頭盔設備I的可移動性，作為一種頭戴式設備，使用者可將整個設備戴在頭上，設備可以跟隨使用者移動。通過多個攝像頭5可多角度拍攝周圍場景，通過眼鏡式微型顯示屏實時顯示周圍場景，因此使用者可以看到周圍的不同角度的場景，通過視線追蹤系統4可實現人與裝置的交互(即人機互動)，人眼可自由、實時地選擇需要跟蹤的目標，實時鎖定目標物體進行跟蹤，並可以360度無盲點地進行檢測、連續跟蹤目標物體，跟蹤丟失率低，精度高。整個裝置具有非接觸式人機互動、使用簡單方便、便攜、移動性好、跟蹤範圍廣等優點。實施例2 本實施例與實施例1的區別在於本實施中，視線追蹤系統4不具備第二信息處理單元43，實施例1中的第二信息處理單元43的功能在本實施例中通過第一信息處理單元2來實現，也即將第一信息處理單元2與第二信息處理單元43集成在一起，降低了裝置的成本。其他與實施例1相同或相似的部分，此處不再贅述。請參閱圖4所示，為本發明實施例2中人機互動裝置的結構框圖。該視線追蹤系統4包括紅外光源41和攝像機42。紅外光源41交替亮暗。攝像機42與第一信息處理單元2連接，拍攝人眼的亮瞳暗瞳交替視頻幀並將拍攝的視頻幀發送給第一信息處理單元2。第一信息處理單元2對視頻幀進行分析和處理從而實現對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定目標並進行實時跟蹤。優選地，視線追蹤系統4還包括一存儲單元6。存儲單元6與第一信息處理單元2連接，用於存儲目標物體的特徵、運動軌跡、所在區域範圍以及丟失的位置和區域等目標物體的跟蹤數據。實施例3 請參閱圖3所示，為本發明實施例3用於目標跟蹤的人機互動方法流程圖。該方法可在實施例1或2的用於目標跟蹤的人機互動裝置上實現。該方法包括如下步驟步驟S1:實時拍攝頭盔設備周圍的場景視頻。在本步驟中，通過多個攝像頭實時拍攝頭盔設備周圍的場景視頻，例如4個攝像頭。步驟S2 :對場景視頻進行處理。在本步驟中，對每一個攝像頭所拍攝的視頻圖像序列進行場景融合拼接，得到場景的360度全景視頻。步驟S3 :在顯示屏上顯示處理後的場景視頻。在本步驟中，在眼鏡式微型顯示屏上顯示處理後的360度全景視頻。步驟S4 :通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定目標並進行實時跟蹤。該步驟是通過實施例1或2中的視線追蹤系統4完成的。下面對整個方法的詳細流程進行描述。請參閱圖4所示，為本發明實施例3用於目標跟蹤的人機互動方法詳細流程圖。步驟Al :捕犾圖像序列。在本步驟中，通過4個攝像頭實時拍攝頭盔設備周圍的場景視頻，捕獲圖像序列。步驟A2 :視頻融合、顯示。對每一個攝像機所捕獲的圖像序列進行場景融合、聯接，得到場景的360度全景視頻，並在眼鏡式微型顯示屏上顯示場景視頻。步驟A3 :視線追蹤，判斷是否鎖定目標。通過視線追蹤系統跟蹤使用者的眼睛，獲取眼睛瞳孔區域，提取眼睛參數，定位使用者的視線焦點在顯示屏上的位置，並通過對使用者的眼睛動作分析對應的控制指令，判斷是否鎖定顯示屏上待跟蹤目標物體。當然，除了通過眼睛動作鎖定目標物體，還可以通過眼睛動作解除目標跟蹤。例如使用者可通過眨左眼鎖定跟蹤目標，眨右眼解除跟蹤目標，或者眨眼一次鎖定跟蹤目標，眨眼兩次解除跟蹤目標等等，這些方式是多種多樣的，可根據使用者的使用習慣而設定，此處不做限制。若鎖定目標成功，執行步驟A4，同時返回執行步驟Al，從捕獲圖像序列重新開始本方法的流程；若鎖定目標失敗，則執行步驟A5。
步驟A4 :提取特徵、存儲。鎖定運動的目標物體後，提取目標物體特徵並存儲。目標物體的特徵包括顏色直方圖、目標物體面積、形狀等特徵。步驟A5 :粒子濾波跟蹤、匹配。在本步驟中，採用粒子濾波算法實時跟蹤運動的目標物體，提取目標物體的特徵進行匹配。步驟A6 :判斷是否匹配成功。本步驟判斷步驟A5是否匹配成功，若是，則更新目標物體特徵，執行步驟A4，提取更新後的特徵並存儲，同時執行步驟A7 ;否則，執行步驟A9。步驟A7 鎖定跟蹤目標。當步驟A5中匹配成功時，鎖定跟蹤目標。步驟A8 計算目標位移、速度。在本步驟中，計算運動的目標物體位移、速度，記錄其運動軌跡，更新目標物體所在區域t[!圍。在執彳了完步驟A4之後，也繼續執彳了步驟A5、A8。步驟A9 :與其他攝像頭圖像融合、跟蹤、匹配。如果在一個攝像頭下目標匹配失敗、跟蹤目標丟失，將對相鄰攝像頭圖像序列交叉區域進行融合，檢測目標運動物體，利用不同攝像頭的位置關係、時間關聯度進行跟蹤、匹配。步驟AlO :判斷是否匹配成功。在本步驟中，判斷步驟A9是否匹配成功，若是，返回執行步驟A7，鎖定跟蹤目標；否則，執行步驟Al I。步驟Al1:跟蹤丟失。如果所有攝像頭的圖像序列均匹配不成功，則說明目標物體跟蹤丟失。步驟A12 :記錄存儲目標軌跡。 在本步驟中，記錄目標物體的丟失位置、區域，存儲目標物體的跟蹤數據。本實施例通過多個攝像頭可多角度拍攝周圍場景，通過眼鏡式微型顯示屏實時顯示周圍場景，因此使用者可以看到周圍的不同角度的場景，可實現人與裝置的交互(即人機互動)，人眼可自由、實時地選擇需要跟蹤的目標，實時鎖定目標物體進行跟蹤，並可以360度無盲點地進行檢測、連續跟蹤目標物體，跟蹤丟失率低，精度高。以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種用於目標跟蹤的人機互動裝置，其特徵在於，所述裝置包括頭盔設備，在所述頭盔設備上設置有第一信息處理單元、顯示裝置、視線追蹤系統和多個攝像頭；所述攝像頭安裝於頭盔設備四周並與第一信息處理單元連接，攝像頭實時拍攝頭盔設備周圍的場景視頻並將拍攝的場景視頻傳輸給第一信息處理單元；所述第一信息處理單元分別與攝像頭和顯示裝置連接，第一信息處理單元接收和處理所述場景視頻，並將處理後的場景視頻發送給顯示裝置；所述顯示裝置與第一信息處理單元連接，用於顯示處理後的場景視頻；所述視線追蹤系統與第一信息處理單元連接，視線追蹤系統通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤。
2.根據權利要求1所述的裝置，其特徵在於，所述攝像頭為至少4個，分別安裝於頭盔設備四周的前後左右四面。
3.根據權利要求1所述的裝置，其特徵在於，所述第一信息處理單元處理所述場景視頻具體為所述第一信息處理單元將接收到的場景視頻進行融合拼接，得到場景的360度全景視頻。
4.根據權利要求1所述的裝置，其特徵在於，所述顯示裝置為眼鏡式微型顯示屏。
5.根據權利要求1所述的裝置，其特徵在於，所述視線追蹤系統包括紅外光源、攝像機和第二信息處理單元；所述紅外光源交替亮暗；所述攝像機與第二信息處理單元連接，拍攝人眼的亮瞳暗瞳交替視頻幀並將拍攝的視頻幀發送給第二信息處理單元；所述第二信息處理單元分別與攝像機和第一信息處理單元連接，對所述視頻幀進行分析和處理從而實現對使用者的人眼視線追蹤，並與所述第一信息處理單元互動從而確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤；或者， 所述視線追蹤系統包括紅外光源和攝像機；所述紅外光源交替亮暗；所述攝像機與第一信息處理單元連接，拍攝人眼的亮瞳暗瞳交替視頻幀並將拍攝的視頻幀發送給第一信息處理單元；所述第一信息處理單元對所述視頻幀進行分析和處理從而實現對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤。
6.根據權利要求5所述的裝置，其特徵在於，所述第一信息處理單元和第二信息處理單元採用微處理器； 所述視線追蹤系統還包括一存儲單元；當所述視線追蹤系統包括第二信息處理單元時，所述存儲單元與第二信息處理單元連接；當所述視線追蹤系統不包括第二信息處理單元時，所述存儲單元與第一信息處理單元連接；存儲單元用於存儲目標物體的特徵、運動軌跡、所在區域範圍以及丟失的位置和區域。
7.根據權利要求1所述的裝置，其特徵在於，所述第一信息處理單元還對場景中的異常情況進行分析，並根據所述分析的結果發出警告信號。
8.一種用於目標跟蹤的人機互動方法，其特徵在於，所述方法包括如下步驟 實時拍攝頭盔設備周圍的場景視頻； 對所述場景視頻進行處理； 在顯示屏上顯示處理後的場景視頻； 通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤。
9.根據權利要求8所述的方法，其特徵在於，所述實時拍攝頭盔設備周圍的場景視頻的步驟通過多個攝像頭完成； 所述對所述場景視頻進行處理的步驟具體為對每一個攝像頭所拍攝的視頻圖像序列進行場景融合拼接，得到場景的360度全景視頻。
所述在顯示屏上顯示處理後的場景視頻的步驟具體為在眼鏡式微型顯示屏上顯示處理後的360度全景視頻。
10.根據權利要求8所述的方法，其特徵在於，所述通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定所述目標並進行實時跟蹤的步驟通過視線追蹤系統完成，該步驟具體包括 跟蹤使用者眼睛，提取眼睛參數，確定使用者的視線焦點在顯示屏上的位置，並通過對使用者的眼睛動作分析對應的控制指令，鎖定顯示屏上待跟蹤目標物體，提取目標物體特徵並存儲； 採用粒子濾波算法跟蹤運動的所述目標物體，提取目標物體特徵並匹配，當在一個攝像頭所拍攝的圖像序列中目標物體匹配成功時，鎖定跟蹤目標物體，更新目標物體特徵，計算目標物體的位移和速度，記錄目標物體的運動軌跡，更新目標物體所在區域範圍； 當在一個攝像頭所拍攝的圖像序列中目標物體匹配不成功時，對所述攝像頭相鄰的攝像頭所拍攝的圖像序列與所述攝像頭交叉的區域進行融合，當在所述相鄰的攝像頭檢測到目標物體時，匹配成功，鎖定跟蹤目標物體，更新目標物體特徵，計算目標物體的位移和速度，記錄目標物體的運動軌跡，更新目標物體所在區域範圍； 當在所有的攝像頭所拍攝的圖像序列中目標物體均匹配不成功時，目標物體跟蹤丟失，記錄目標物體丟失的位置和區域，存儲目標物體的跟蹤數據。
11.根據權利要求10所述的方法，其特徵在於，所述目標物體為多個，所述方法還包括 通過對使用者的眼睛動作分析對應的控制指令，解除對顯示屏上已跟蹤目標物體的跟足示O
全文摘要
本發明涉及目標跟蹤技術領域，提供了一種用於目標跟蹤的人機互動裝置，該裝置包括頭盔設備，在頭盔設備上設置有第一信息處理單元、顯示裝置、視線追蹤系統和多個攝像頭；攝像頭實時拍攝頭盔設備周圍的場景視頻並將拍攝的場景視頻傳輸給第一信息處理單元；第一信息處理單元接收和處理場景視頻，並將處理後的場景視頻發送給顯示裝置；顯示裝置用於顯示處理後的場景視頻；視線追蹤系統通過對使用者的人眼視線追蹤，確定使用者選擇跟蹤的場景中的目標，鎖定目標並進行實時跟蹤。本發明還提供了一種用於目標跟蹤的人機互動方法。本發明可自由、實時地選擇需要跟蹤的目標，並可以360度無盲點地進行檢測、跟蹤目標物體，跟蹤丟失率低，精度高。
文檔編號H04N7/18GK103020983SQ20121033649
公開日2013年4月3日 申請日期2012年9月12日 優先權日2012年9月12日
發明者程俊, 陶大程, 陳裕華, 姜軍, 張子銳 申請人:深圳先進技術研究院