基於眼動軌跡跟蹤的景深融合增強顯示方法及系統的製作方法
2023-10-23 02:33:37 3
專利名稱：基於眼動軌跡跟蹤的景深融合增強顯示方法及系統的製作方法
技術領域：
本發明涉及一種增強現實顯示技術，特別是一種基於眼動軌跡跟蹤的景深融合增強顯示 方法及系統。
背景技術：
增強現實技術(AR---Augmented Reality)系統就是把VR放在真實的環境中去檢査。從 目前發展趨勢來看，這種與實際環境相結合的虛擬體驗方式是虛擬實境技術發展最有效的實 施技術之一。頭盔式顯示器(Head-Mounted Displays,簡稱HMD)是AR系統的重要設備。 被廣泛應用於虛擬實境與增強現實系統中，其最基本的功能是給用戶提供一個沉浸式的感應 環境，頭盔不僅僅起到顯示器的作用，還輔助進行場景採集和跟蹤註冊。增強現實技術的研 究者們也採用了類似的顯示技術，這就是在AR系統中廣泛應用的穿透式HMD。根據具體實現 原理，又劃分基於光學原理的穿透式HMD (Optical See-through HMD)和基於視頻合成技術 的穿透式HMD (Video See-through HMD)。其中，光學原理的穿透式HMD (Optical See-through HMD)因為可以真正實現虛擬物體與真實物體的融合顯示，應用更加廣範。但如何融合虛擬與 真實一直是一項具有挑戰的任務。其中，虛擬場景的景深感是重要的方面。
關於眼動研究，早在19世紀就有人通過考察人的眼球運動來研究人的心理活動，通過分 析記錄到的眼動數據來探討眼動與人的心理活動的關係。眼動儀的問世為心理學家利用眼動 技術(eye movement technique)探索人在各種不同條件下的視覺信息加工機制，觀察其與 心理活動直接或間接奇妙而有趣的關係，提供了新的有效工具。眼動技術先後經歷了觀察法、 後像法、機械記錄法、光學記錄法、影像記錄法等多種方法的演變。眼動技術就是通過對眼 動軌跡的記錄從中提取諸如注視點、注視時間和次數、眼跳距離、瞳孔大小等數據，從而研 究個體的內在認知過程。利用眼動儀進行心理學研究常用的資料或參數主要包括注視點軌 跡圖、眼動時間、眼跳方向(DIRECTION)的平均速度(AVERAGE VELOCITY)時間和距離(或稱 幅度AMPLITUDES瞳孔(PUPIL)大小(面積或直徑，單位象素pixel)和眨眼(Blink)。頭 戴式Head Mounted Optics受試者戴上特製的頭箍，上有紅外攝像頭，可捕捉眼球運動。另 一攝像頭將外部場景攝錄下來，與眼球運動在電腦上進行疊加處理，可分析眼睛對移動景物 的注視軌跡及凝視時間。
對於景深研究，專利CN02121681.9提出了一種配合景深的自動對焦方法，但是其方法是 依靠硬體實現的。具體是依靠電藕合器的大小操縱馬達來實現鏡頭對焦過程。專利 CN200710018305.5提出了一種實現虛擬演播室前景景深，使主持人的註冊位置有景深感。但是其主要考慮用戶的測^:位置，沒有考慮其它。專利CN200710040859.5提出了一套眼動軌跡 控制交互裝置，僅用眼動軌跡來控制相關交互設備。專利CN00123510.9提出利用特定測試圖 來測試景深。它的目的是調節攝像機的參數。專利CN02106639.6利用一種景深定位尺來調整 測試景深位置。專利CN95193447. 3利用雷射來測定眼動位置。專利CN200510008494. 9提出 了一種利用各種稜鏡來調節的光學調焦頭盔。
目前，國內外還沒有利用眼動軌跡來研究如何按自然場景來正確調整顯示光透式頭盔的 中的虛擬物體的研究與報導。上述專利及相關研究皆依靠硬體控制機構來實現景深效果，系 統靈活性較差，對焦更是通過鏡頭等光學構件等來實現(如專利CN02121681. 9、CN95193447. 3 和專利CN200510008494.9等)。而眼動軌跡控制裝置(如CN200710040859. 5等)僅用來實現 類似滑鼠的作用，尚無其它報導，更沒有深入的應用研究，且沒有把眼動軌跡設備用來作為 景深控制依據的研究，亦沒有結合頭盔顯示器實現增強現實融合顯示的研究與報導。
發明內容
鑑於以上所述現有技術存在的問題和不足，本發明的目的在於提供一種基於眼動軌跡跟 蹤的景深融合增強顯示方法及系統，它能同步拍攝背景圖像數據，進行比較匹配跟蹤，調整 光透式頭盔顯示器顯示圖像的聚焦程度，實現自動對焦增強顯示。
為達到上述目的，本發明採用下述技術構思
根據人機工程學、攝影原理、運用計算機視覺技術、光學技術和人工智慧技術，將實時 獲取的眼動及背景的數據進行分析，將虛實物體進行對位，調整虛擬物體的圖像顯示聚焦程 度及虛擬場景景深。
本發明採用以下技術方案實現上述基於眼動軌跡跟蹤的景深融合增強顯示方法、其步 驟如下
① 、獲取眼動軌跡與背景圖像數據:校正眼動無線攝像頭、背景無線攝像頭，獲取眼動軌 跡與背景圖像數據；
② 、自動景深融合顯示，其具體步驟如下 ②一①、生成初始訓練資料庫； ②一②、景深融合增強顯示。
上述步驟①所述獲取眼動軌跡，其具體步驟如下-
(1) 、通過眼動無線攝像頭獲取眼動軌跡；
(2) 、輸入捕獲的圖像；
(3) 、眼動圖像的角點特徵檢測；(4) 、目標對象分割；
(5) 、運動特徵點匹配；
(6) 、特徵點跟蹤估計處理；
(7) 、軌跡記錄生成；
(8) 、軌跡存儲；
(9) 、獲取眼動過程結束。
上述步驟①所述的獲取背景數據，其具體步驟如下-
(10) 、通過背景無線攝像頭獲取背景數據；
(11) 、輸入捕獲的圖像；
(12) 、背景對象特徵檢測；
(13) 、目標對象分割；
(14) 、運動特徵點匹配；
(15) 、特徵點跟蹤估計處理；
(16) 、焦距信息概率生成軌跡記錄生成；
(17) 、背景數據存儲；
(18) 、獲取背景數據過程結束。
上述步驟②一①所述的生成初始訓練資料庫，其步驟如下
(19) 、訓練過程開始；
(20) 、進行眼動無線攝像頭、背景無線攝像頭校正，調整其的內參與外參，防止畸變產生；
(21) 、獲取眼動軌跡數據；
(22) 、獲取背景圖像數據；
(23) 、初始化訓練資料庫；
(24) 、轉換概率分布信息；
(25) 、存儲記錄；
(26) 、訓練資料庫中的樣本記錄是否足夠？如果樣本記錄 夠，則轉步驟(28)，否則轉步 驟(27);
(27) 、調整背景與眼動對應的參數信息，再轉到步驟(21)繼續運行；
(28) 、訓練過程結束。
上述步驟②—②所示的景深融合增強顯示，其步驟如下
(29) 、跟蹤過程開始；(30) 、進行眼動無線攝像頭、背景無線攝像頭校正，調整其的內參與外參，防止畸變產生；
(31) 、獲取眼動軌跡數據；
(32) 、獲取背景圖像數據；
(33) 、轉換概率分布信息；
(34) 、查詢資料庫是否匹配？如果匹配不成功，則進行步驟(35)，如果匹配成功，則轉步 驟(36);
(35) 、存儲記錄到訓練資料庫； (36)、轉換景深數據與焦距數據，
(37)、融合渲染。
(38)、再響應用戶輸入以判斷跟蹤是否結束？如果跟蹤結束，則轉步驟(39)。否則重新轉入步 驟(31)，進入下一次資料庫匹配。 (39)、根據參數調整渲染參數，完成根據眼動軌跡跟蹤的自動景深融合增強現實顯示。 一種用於基於眼動軌跡跟蹤的景深融合增強顯示方法的系統包括安裝在光透式頭盔的眼 動無線攝像頭、背景無線攝像頭、微處理機，眼動無線攝像頭正方向對準一隻眼睛，背景無 線攝像頭平視方向對準背景，分別對眼動軌跡與背景數據進行採集，微處理機裝有無線接收 裝置。
本發明與現有技術相比較，具有如下顯而易見的突出特點和顯著優點本發明採用無線
攝像頭拍攝眼動圖像與背景圖像，並根據對景深及眼動軌跡的訓練信息，利用實時拍攝的眼
部軌跡數據，並與它能同步拍攝的背景圖像數據，進行比較匹配跟蹤，調整光透式頭盔顯示
器顯示圖像的聚焦程度，實現自動對焦增強現實顯示。該系統採用無線攝像頭拍攝，可以在
移動情況或在室外環境應用，增加了系統的應用範圍。
圖1為本發明的基於眼動軌跡跟蹤的景深融合增強顯示方法程序框圖2為本發明的基於眼動軌跡跟蹤的景深融合增強顯示系統硬體結構示意圖
圖3為示例的獲取眼動軌跡與背景數據的流程圖4為示例的訓練與跟蹤過程詳細流程框圖。
具體實施例方式
以下結合附圖對本發明的實施例作進一步的詳細說明本發明提供的方法是一種基於眼 動軌跡跟蹤的景深融合增強顯示方法，包括首先對拍攝的眼動圖像進行分割，獲取單獨的 眼部對象。為增加實時處理的能力，利用簡單的閾值方法分割加模板匹配即可，但對於具體的閾值可以根據光照條件進行調整，光照參數的獲得由背景圖像分析得到。利用眼部語義模 板進行眼部對象匹配，眼部語義可簡單定義如下 _￡ = (e，cA,c,., |XI),A: = l，2,3;c,. e cA e e
其中，e表示眼部對象；A表示眼球內的瞳孔部位；^表示眼球部位；f[W是紋理信息矩
陣，包括各部分的平均紋理值範圍；e'e^ee表示眼部各部分的語義歸屬信息。
獲得眼部對象後，對眼球特徵根據語義進行特徵提取，提取出至少2個成功的眼球特徵 語義。並對其進行連續的跟蹤60幀(大約2s)，並繪製出跟蹤軌跡圖。對於圖像抖動問題， 利用中值濾波平均，得到眼動軌跡圖備用。
同樣，對拍攝的背景圖像進行分割，獲取主要對象信息。包括對象之間的遮擋情況、光 照條件，景深情況等參數。跟蹤凝視對象的特徵點，得到註冊的估計位置。結合眼動軌跡與 景深參數進行凝視對比分析，凝視對象的獲取方法為當凝視停留時間較長(大於lOOms)的 對象認為是預測的凝視對象。根據從背景圖像取得的凝視對象的遮擋與景深參數，方向是分 割出對象集後，進行對象3D碰撞關係檢測，計算出背景的遮擋情況；光照條件根據對象集的 各個對象的平均紋理變化逆向跟蹤計算出虛擬光源的位置(為計算簡便，僅假設一個平行光 源與一個點光源的條件)；再根據凝視對象利用牛頓迭代估算出虛擬物體的精確註冊位置；從 而確定景深參數與對焦參數，利用對焦參數確定模糊係數，利用景深參數確定焦距。
然後，再利用上述相關的參數渲染出虛擬物體，這樣在每幀時根據參數調整渲染參數， 實現根據眼動軌跡跟蹤的自動景深融合增強現實顯示。
為加快處理速度，實現實時應用。本發明利用分類訓練方法提高處理速度。主要是 先利用訓練過程訓練常見光照及景深及遮擋情況。把相關的軌跡圖片與背景圖像的關係存儲 成概率分布的關係；具體描述如下 一個對象的分類特徵的二進位集定義為S，集合為-
分類數目為M，則整個分類塊的數目為S*il/，則找出類"(C。)的概率為 7>( ,..，《，|。4 2~， 簡化分類歸納為
屍(q/i ， 。/2,…,IC。 ) — n二 P(OFJ IC。 ) — M * 2s ， 即在某種眼動軌跡與背景的情況下，估計是這些分類對象的參數的可信性。把這些訓練 結果存入資料庫，再以後陌生 景中可以自動學習，實現快速處理。當然，對於完全陌生的場景，學習過程也很快，僅需要建立初始的訓練庫後，實現匹配的速度可以達到實時處理的 要求。
本發明的一個具體優選實施例，如圖1所示，上述基於眼動軌跡跟蹤的景深融合增強顯 示方法包括步驟如下
① 、獲取眼動軌跡與背景圖像數據眼動無線攝像頭經校正，獲取眼動軌跡與背景圖像數據；
② 、自動景深融合顯示，其具體步驟如下②一①、生成初始訓練資料庫；②一②、與景深 融合增強顯示過程。
如圖2所示，所述的用於基於眼動軌跡跟蹤的景深融合增強顯示方法的系統包括安裝在 光透式頭盔上眼動無線攝像頭、背景無線攝像頭、微處理機，眼動無線攝像頭正方向對準一 隻眼睛，背景無線攝像頭平視方向對準背景，分別對眼動軌跡與背景數據進行採集，微處理 機裝有無線接收裝置。
上述步驟①所述獲取眼動軌跡，如圖3， l)所示，圖像獲取，通過眼動無線攝像頭，獲 取眼動圖像，要求至少每秒拍攝30幀圖像，其具體步驟如下
(1)、通過眼動無線攝像頭獲取眼動軌跡;
(2)、輸入捕獲的圖像；
(3)、眼動圖像的角點特徵檢測；
(4)、目標對象分割；
(5)、運動特徵點匹配；
(6)、特徵點跟蹤估計處理；
(7)、軌跡記錄生成；
(8)、軌跡存儲；
(9)、獲取眼動過程結束。
上述步驟①所述的獲取背景數據，如圖3 2)所示，圖像獲取，通過背景無線攝像頭，獲 取背景圖像。要求至少每秒拍攝15幀圖像，其具體步驟包括-
(10) 、通過背景無線攝像頭獲取背景數據；
(11) 、輸入捕獲的圖像；
(12) 、背景對象特徵檢測；
(13) 、目標對象分割；
(14) 、運動特徵點匹配；
(15) 、特徵點跟蹤估計處理；
9(16) 、焦距信息概率生成軌跡記錄生成；
(17) 、背景數據存儲；
(18) 、獲取背景數據過程結束
上述步驟②所述的生成初始訓練資料庫的訓練過程，如圖4 l)所示，其具體步驟
(19) 、訓練過程開始；
(20) 、進行眼動無線攝像頭、背景無線攝像頭校正，調整其的內參與外參，防止畸變產生；
(21) 、獲取眼動軌跡數據；
(22) 、獲取背景圖像數據；
(23) 、初始化訓練資料庫；
(24) 、轉換概率分布信息；
(25) 、存儲記錄；
(26) 、訓練資料庫中的樣本記錄是否足夠？如果樣本記錄足夠，則轉步驟(28)，否則轉步 驟(27);
(27) 、調整背景與眼動對應的參數信息後，再轉到步驟(21)繼續運行；
(28) 、訓練過程結束。 上述步驟②所述的景深融合增強顯過程，如圖4 2)所示，其具體步驟如下-
(29) 、跟蹤過程開始；
(30) 、進行眼動無線攝像頭、背景無線攝像頭校正，調整其的內參與外參，防止畸變產生；
(31) 、獲取眼動軌跡數據；
(32) 、獲取背景圖像數據；
(33) 、轉換概率分布信息；
(34) 、査詢資料庫是否匹配？如果匹配不成功，則繼續進行(35)，如果匹配成功，則轉步 驟(36):
(35) 、存儲記錄到訓練資料庫； (36)、轉換景深數據與焦距數據，
(37)、融合渲染。
(38)、再響應用戶輸入以判斷跟蹤是否結束？如果跟蹤結束，則轉步驟(39)，否則重新轉入步 驟(31)，進入下一次資料庫匹配。 (39)、根據參數調整渲染參數，完成根據眼動軌跡跟蹤的自動景深融合增強現實顯示。
權利要求
1.一種基於眼動軌跡跟蹤的景深融合增強顯示方法、其特徵在於該方法包括步驟如下①、獲取眼動軌跡與背景圖像數據眼動無線攝像頭、背景無線攝像頭經校正，獲取眼動軌跡與背景圖像數據；②、自動景深融合顯示，其具體步驟如下②-①生成初始訓練資料庫；②-②景深融合增強顯示。
2. 根據權利要求1所述的基於眼動軌跡跟蹤的景深融合增強顯示方法，其特徵在於，上述步 驟①所述獲取眼動軌跡，其具體步驟如下(1)、通過眼動無線攝像頭獲取眼動軌跡;(2)、輸入捕獲的圖像；(3)、眼動圖像的角點特徵檢測；(4)、目標對象分割；(5)、運動特徵點匹配；(6)、特徵點跟蹤估計處理；(7)、軌跡記錄生成,-(8)、軌跡存儲；(9)、獲取眼動過程結束。
3.根據權利要求2所述的基於眼動軌跡跟蹤的景深融合增強顯示方法，其特徵在於，上述步 驟①所述的獲取背景數據，其具體步驟如下-(10)、通過背景無線攝像頭獲取背景數據;(11)、輸入捕獲的圖像；(12)、背景對象特徵檢測；(13)、目標對象分割；(14)、運動特徵點匹配；(15)、特徵點跟蹤估計處理；(16)、焦距信息概率生成軌跡記錄生成；(17)、背景數據存儲；(18)、獲取背景數據過程結束。
4.根據權利要求3所述的基於眼動軌跡跟蹤的景深融合增強顯示方法，其特徵在於，上述步 驟②一①所述的生成初始訓練資料庫，其步驟如下(19) 、訓練過程開始；(20) 、進行相機校正，調整相機的內參與外參，防止畸變產生；(21) 、獲取眼動軌跡數據；(22) 、獲取背景圖像數據；(23) 、初始化訓練資料庫；(24) 、轉換概率分布信息；(25) 、存儲記錄；(26) 、訓練資料庫中的樣本記錄是否足夠？如果樣本記錄足夠，則轉步驟(28)，否則 轉步驟(27);(27) 、調整背景與眼動對應的參數信息後，再轉到步驟(21)繼續運行；(28) 、訓練過程結束。
5. 根據權利要求4所述的基於眼動軌跡跟蹤的景深融合增強顯示方法，其特徵在於，上述步 驟②一②所示的景深融合增強顯示，其步驟如下.-(29) 、跟蹤過程開始；(30) 、進行眼動無線攝像頭、背景無線攝像頭校正，調整其的內參與外參，防止畸變產生；(31) 、獲取眼動軌跡數據；(32) 、獲取背景圖像數據；(33) 、轉換概率分布信息；(34) 、査詢資料庫是否匹配？如果匹配不成功，則繼續進行(35)，如果匹配成功，則轉步 驟(36);(35) 、存儲記錄到訓練資料庫； (36)、轉換景深數據與焦距數據，(37)、融合渲染；(38)、再響應用戶輸入以判斷跟蹤是否結束？如果跟蹤結束，則轉步驟(39);否則重新轉入步 驟(31)，進入下一次資料庫匹配； (39)、根據參數調整渲染參數，完成根據眼動軌跡跟蹤的自動景深融合增強現實顯示。
6. —種用於權利要求1所述基於眼動軌跡跟蹤的景深融合增強顯示方法的系統，其特徵在 於，它包括安裝在光透式頭盔的眼動無線攝像頭、背景無線攝像頭、微處理機，眼動無線 攝像頭正方向對準一隻眼睛，背景無線攝像頭平視方向對準背景，分別對眼動軌跡與背景 數據進行採集，上述微處理機裝有無線接收裝置。
全文摘要
本發明公開了一種根據眼動軌跡跟蹤的自動景深融合增強現實顯示方法及系統，該方法步驟如下①獲取眼動軌跡與背景圖像數據，眼動攝像機經校正，獲取眼動軌跡與背景圖像數據；②自動景深融合顯示，其具體步驟生成初始訓練資料庫；轉換概率分布信息；查詢資料庫；轉換景深與焦距數據；位姿估計；虛實融合；渲染圖像。該系統包括裝在頭盔上的眼動無線攝像頭、背景無線攝像頭、微處理機，微處理機裝有無線接收裝置。本發明採用攝像頭拍攝眼動圖像與背景圖像，根據對景深及眼動軌跡的訓練信息，利用實時拍攝的眼部軌跡數據，它能同步拍攝的背景圖像數據，進行比較匹配跟蹤，調整光透式頭盔顯示器顯示圖像的聚焦程度，實現自動對焦增強現實顯示。
文檔編號G06K9/00GK101587542SQ20091005386
公開日2009年11月25日 申請日期2009年6月26日 優先權日2009年6月26日
發明者燕 劉, 姚爭為, 李啟明, 譚志鵬, 鄒一波, 陸意駿, 偉 陳, 明 陳, 陳一民, 黃詩華 申請人:上海大學