基於視覺決策的選擇觸發方法
2023-05-07 04:27:21
專利名稱：基於視覺決策的選擇觸發方法
技術領域：
本發明屬於自適應系統領域，涉及眼動跟蹤技術，具體是一種適合於眼動人機互動系統中，基於用戶的視覺模式得到用戶偏好與決策信息、通過融合多項眼動指標與時間序列來獲得用戶選擇觸發時機的預測方法，即基於視覺決策的選擇觸發方法。
背景技術：
眼動人機互動採用眼動跟蹤技術(簡稱眼動技術)記錄用戶眼球運動的情況，使用戶得以通過視覺通道直接對界面進行操作。眼動人機互動用以解決人機互動帶寬不平衡的問題(人機互動帶寬不平衡是指目前用戶能快速從計算機界面與音頻等得到大量的信息，而計算機只能緩慢接收用戶手動輸入)，尤用於助殘系統中。眼動人機互動中，最大的問題之一即為米達斯接觸問題，即用戶視線停留在某個目標，不一定意味著想對其進行操作(請見Jacob，R.J.K.的文章「What you look at is what you get :eye movement-based interaction techniques，，ACM, CHI ' 90, 1990)。目前解決此問題的方法多是採用眨眼(請見Kaufman，Α. Ε.，Bandopadhay，A. and Shaviv,B. D. ,"An Eye Tracking Computer User Interface"Virtual Reality Workshop Proceedings, Computer Society IEEE 1993，pp. 120-121)或長時間凝視(請見 Hansen, J. P. , Hansen, D. W. , Johansen,"Bringing gaze-based interaction back to basics"In C. Stephanidis(Ed. ), Universal access in HCI :Towards an information society for all,2001,pp. 325-328)來觸發操作。這些方法要麼需要額外的操作(眨眼，按鍵)，要麼需要延長凝視時間，某種程度上已經違背了 「自然交互」的原則；並且現有的自動觸發方法只基於單一的指標，沒有考慮用戶整個瀏覽過程中的心理，無法體現歷史信息對用戶選擇的預測指導作用。因此很難達到自適應系統「自然交互」的需要。視覺決策研究人們對視覺對象進行權衡並做出選擇決策的過程。Shimojo等發現了 「凝視偏好現象，，(請見 Shimojo，S.，Simion, C.，Shimojo, E.，& Scheier，C. "Gaze bias both reflects and influences preference，，Nature Neuroscience, 2003,6 (12) PP. 1317-132 ，即人們在對多個視覺目標進行選擇時，視線剛開始是均勻地分布在各選項上，隨著時間的推移，在接近做出反應的前1-2秒鐘，凝視分布開始逐漸偏到最後所要選擇的那一目標上；Glaholt等人發現在可選目標大於二時，用戶最後將鎖定兩個選項進行比較，其他的目標基本得不到注視(請見61&1101扒]\16.，1^11^01(^.]\1「1116 time course of gaze bias in visual decision tasks，，Visual Cognition,2008,17(8) :pp.1228-1243)。 總而言之，用戶對多個視覺目標進行選擇決策的過程中，注視情況與時間維結合能反映其選擇傾向。
發明內容
本發明的目的在於提供一種基於視覺決策的選擇觸發方法，用於在眼動人機互動環境中，根據用戶在選擇過程中的眼動規律推斷其要觸發操作的對象與時機。
為實現上述目的，本發明採取以下技術方案整個技術方案包括用戶視覺決策數據收集與採樣階段、用戶視覺決策曲線擬合與運用階段兩個階段，具體如下I、基於用戶的眼動模式與滑鼠點擊，採樣注視點與瞳孔直徑信息。在特定的人機界面中，通過眼動儀對用戶瀏覽網頁的眼動數據與點擊操作進行記錄，並通過規範化的數據採樣來學習用戶的視覺決策習慣。i-i、讓用戶在界面中按自己的喜好隨機進行選擇操作，記錄其眼動數據與點擊流數據作為學習集合。採集用戶的眼動與點擊流數據，稍作處理並根據需要將所有記錄分為三類基本數據集，事件記錄數據集E、注視信息數據集F= {f\，f2，f3，...，fm}與點擊流數據集C= Ic1, C2, C3, ... , cn}，本發明的方法主要針對F與C展開。表1為待用的眼動數據集示例。事件記錄數據集E包括頁面開始⑴rlStart)、結束(tolEnd)與點擊事件，由於本方法只需要利用頁面開始⑴rlStart)標記，因此忽略其他事件，將E用以記錄所有頁面開始時的時間戳 E = {tul，t^, tu3，. . .，tj。注視信息數據集F包含所有的注視信息，fk是一個四元組(tfk，dlk，drk, itemfk)，tfk 為此次注視的時間戳；dlk為左瞳孔直徑；dA為右瞳孔直徑；Uemfk為所注視的選項，若注視點不在任何產品上，則標記為「NULL」。按照處理瞳孔直徑的一般方法，用左右瞳孔直徑的平均值代表瞳孔直徑值，即算得dfk = (dlk+dA)/2，將fk簡化為三元組(tfk，dfk，itemfk)，其中 tfk為此次注視的時間戳；dfk為瞳孔直徑；Uemfk為所注視的選項。點擊流數據集C包含對點擊時間與所點擊選項的記錄，Ci是一個二元組(t。i， itemci), tci為點擊時間戳，Uemei為所點擊的產品，若點擊位置不在任何產品上，則標記為 「NULL」。表1.待用眼動數據集示例
權利要求
1.基於視覺決策的選擇觸法方法，其特徵在於分為兩個步驟，第一步基於用戶的眼動模式與點擊操作，採樣規範化注視點與瞳孔直徑信息，第二步視覺決策曲線擬合，並確定觸發閾值；具體如下I、基於用戶的眼動模式與滑鼠點擊，採樣注視點與瞳孔直徑信息； 在特定的人機界面中，通過眼動儀對用戶瀏覽網頁的眼動數據與點擊操作進行記錄， 並通過規範化的數據採樣來學習用戶的視覺決策習慣；I-i、讓用戶在界面中按自己的喜好隨機進行選擇操作，記錄其眼動數據與點擊流數據作為學習集合；採集用戶的眼動與點擊流數據，稍作處理並根據需要將所有記錄分為三類基本數據集，事件記錄數據集E、注視信息數據集F= {fi;f2, f3, ...,fj與點擊流數據集C= Ic1,。2，。3，· · ·，Cn}，本方法只需要利用頁面開始⑴rlStart)標記，將E用以記錄所有頁面開始時的時間戳 E — {tul j tu2 tu3 · · ·，t ^111I ；注視信息數據集F包含所有的注視信息，fk是一個四元組(tfk，dlk，drk, itemfk)，tfk為此次注視的時間戳；dlk為左瞳孔直徑；dA為右瞳孔直徑；Uemfk為所注視的選項，若注視點不在任何產品上，則標記為「NULL」 ；按照處理瞳孔直徑的一般方法，用左右瞳孔直徑的平均值代表瞳孔直徑值，即算得dfk = (dlk+dA)/2，將fk簡化為三元組(tfk，dfk，itemfk)，其中tfk 為此次注視的時間戳；dfk為瞳孔直徑；Uemfk為所注視的選項；點擊流數據集C包含對點擊時間與所點擊選項的記錄，Ci是一個二元組(t。i，itemci)， tci為點擊時間戳，Itemci為所點擊的產品，若點擊位置不在任何產品上，則標記為「NULL」 ； I-ii、計算用戶平均決策時間與採樣時長將所有記錄按時間戳逆序排列，然後計算從點擊時間U到用戶每次開始進入界面的時間tui的差值，t。i-tui即為用戶的決策時間；為所有點擊計算平均決策時間tM及標準差 std;假設共有η次點擊，則sfd=x......... )......... :.:Υ'平均決策時間tM減去一倍標準差Std即得到採樣時長ts tg ]^ stdI-iii、對用戶點擊前時間ts內的注視信息與瞳孔直徑信息進行採樣保留決策時間長於採樣時間的數據，其餘數據由於決策時間過短視為不能構成有效採樣集而拋棄，即若t。i-tui < ts，則刪除在時間tui到t。i之間生成的所有數據；保留的數據中，每次點擊Ci之後，一直到上一次點擊(V1之間的注視數據集{fn，fi2，. . .，fin}，與Ci構成一個基本的採樣單元Si — {f"il，f"i2' f"i3' · · ·，fin'從點擊前最後一個注視記錄開始，以採樣間隔h對Si採樣50個點 其中 tx = ts/50 得到新的基本採樣單元
全文摘要
基於視覺決策的選擇觸發方法屬於自適應系統領域。本發明是一種適合於眼動人機互動系統中，基於用戶的視覺模式得到用戶偏好與決策信息、通過融合多項眼動指標與時間序列來獲得用戶選擇觸發時機的預測方法，即基於視覺決策的選擇觸發方法。本發明第一步收集與採樣用戶視覺決策數據收集用戶的注視數據，瞳孔直徑數據及對應的點擊選擇數據；對收集到的數據按時間軸進行採樣，得到用戶進行選擇時的注視數組與瞳孔直徑數組。第二步擬合用戶視覺決策曲線，並確定相關參數對視覺決策曲線進行擬合，得到注視時間與瞳孔直徑對應決策時間軸的函數，確定觸發的閾值。本方法為自適應的用戶視覺決策模型建立，無需用戶進行額外的配合，方便使用，預測結果良好。
文檔編號G06F3/01GK102253714SQ20111018655
公開日2011年11月23日 申請日期2011年7月5日 優先權日2011年7月5日
發明者呂勝富, 秦林嬋, 鍾寧 申請人:北京工業大學