一種基於視線跟蹤的跨設備分布式信息傳輸交互方法與流程
2023-09-13 08:52:35 1
本發明涉及人機互動、視覺認知等領域，具體涉及一種基於視線跟蹤的跨設備分布式信息傳輸交互方法。
背景技術：
隨著電子科學技術的發展，人們使用的電子設備數量越來越多，在不同設備間傳輸信息的需求也變得日益頻繁。而傳統的人機互動都基於鍵盤和滑鼠進行，這種方式笨拙且不自然。例如，在傳統的跨設備信息傳輸過程中，用戶需要通過繁瑣的步驟完成傳輸對象的選擇、傳輸目的地的確定等操作，工作效率低下。
利用視線跟蹤技術可以讓用戶根據視線的停留和掃描來選擇、觸發電子設備屏幕上的圖標、菜單等對象，並根據需要傳輸到其他設備屏幕上，是一種更加自然的交互方式，可以簡化人機互動操作，提高效率。
技術實現要素：
本發明要克服現有技術的上述缺點，提供一種基於視線跟蹤的跨設備分布式信息傳輸交互方法。該方法允許用戶在分布式的跨設備交互環境中，使用視線在不同設備之間選取和傳輸信息，減少了常規跨設備交互方式的繁複步驟，為用戶操作帶來了便捷，提升了主觀體驗。
一種基於視線跟蹤的跨設備分布式信息傳輸交互方法，包括如下步驟：
(1)建立數據傳輸機制，顯示視線光標和信息對象；
(2)利用視線選取信息對象；
(3)利用視線傳輸信息對象；
(4)利用視線放置信息對象。
下面對上述步驟進行具體說明：
(1)建立數據傳輸機制，顯示視線光標和信息對象。具體的，所有終端設備與視線跟蹤設備之間建立數據傳輸機制，終端設備接收視線跟蹤設備發送的視線跟蹤數據，在終端設備屏幕上顯示一個代表視線位置的視線光標以及將要處理的信息對象。
(2)利用視線選取信息對象。這裡所指的選取操作具體包含下面兩種方式：
選取方式1，視線光標隨用戶的視線運動相應移動到信息對象內，此時在信息對象四周出現加粗的邊框，表明該信息對象處於「待選取」狀態。在該狀態下，用戶使用其他輸入方式，發出確認指令，完成信息對象的選取。具體的，利用其他輸入方式發出的確認指令可以採用但不局限於下面列出的操作方式：
使用滑鼠點擊操作，滑鼠的點擊操作可以來自於交互系統內的任意一臺終端設備；
使用鍵盤操作，鍵盤的操作可以來自於交互系統內的任意一臺終端設備；
使用觸控螢幕點擊操作，觸控螢幕的點擊操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「選取」指令。
選取方式2，用戶可以使用其他輸入通道調整視線光標大小，然後使視線光標覆蓋帶多個需要選取的信息對象。如果這些信息對象被視線光標所覆蓋區域面積佔這些信息對象面積的百分比超過閾值K(可以設定，例如K＝50％)時則使這些信息對象四周邊框加粗，表明這些信息對象處於「待選取」狀態。在該狀態下，用戶使用其他輸入通道，發出確認指令，完成對這些信息對象的選取。其中，利用其他輸入方式調整視線光標大小，可以採用但不局限於下面列出的方式：
使用滑鼠滾輪操作，向上滾動放大視線光標區域，向下滾動減小視線光標區域，操作可以來自於交互系統內的任意一臺終端設備；
使用鍵盤按鍵操作，按下「+」鍵放大視線光標，按下「-」鍵縮小視線光標，操作可以來自於交互系統內的任意一臺終端設備；
使用觸控螢幕多點觸摸操作，大拇指和食指同時向外擴展則放大視線光標，大拇指和食指同時向內收縮則縮小視線光標，操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「放大」指令則放大視線光標，說出「縮小」指令則減小視線光標。
其中利用其他輸入方式發出確認信號指令，與選取方式1中描述的利用其他輸入方式發出確認指令所採用的方式相同。
用戶可以多次使用上述選取方式，以實現對不同終端設備屏幕上的信息對象，或者同一終端設備屏幕上的不同信息對象進行選取。
(3)利用視線傳輸信息對象。信息對象的傳輸方式包含移動和複製這兩種操作。如果用戶希望複製信息對象，則可以在選取信息對象時，使用其他輸入通道發出複製指令；否則，就認為是對信息對象進行移動操作。其中，利用其他輸入方式發出複製指令，可以採用但不局限於下面列出的方式：
使用滑鼠左鍵單擊操作，操作可以來自於交互系統內的任意一臺終端設備。
使用鍵盤按下Ctrl鍵操作，操作可以來自於交互系統內的任意一臺終端設備。
使用觸控螢幕同時用兩個手指進行點擊操作，操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「複製」指令。
當被選取的信息對象經過複製操作後，在選取的信息對象位置處，將出現出一個相同的新信息對象，並將其綁定在視線光標上，隨用戶視線移動而移動，如果用戶視線從一個終端設備轉移到另一個終端設備，則新的信息對象也將從一個設備移動到另一個設備上。
(4)利用視線放置信息對象。用戶使用其他輸入方式執行放置操作時，如果用戶使用移動操作進行信息對象的傳輸，則將信息對象與視線光標解除綁定，信息對象被放置在當前視線注視設備的注視點位置上。如果用戶使用複製操作進行信息對象的傳輸，則複製出一個新的信息對象在當前注視設備的注視點位置上，而原信息對象依舊與視線光標綁定，可繼續跟隨視線光標移動。如果用戶多次使用其他輸入方式發出放置指令，則可以進行多次複製操作。這裡所述的利用其他輸入方式發出放置指令可以採用但不局限於下面列出的方式：
使用滑鼠右鍵單擊操作，操作可以來自於交互系統內的任意一臺終端設備。
使用鍵盤按下回車鍵操作，操作可以來自於交互系統內的任意一臺終端設備。
使用觸控螢幕多點觸摸手勢操作，例如三個手指向下滑動，操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「放置」指令。
此外，在上述任何一個操作過程中，用戶使用其他輸入方式發出指令，可以取消信息對象的相關操作。其中其他輸入方式發出的取消操作指令可以採用但不局限於下面列出的方式：
使用滑鼠同時單擊左鍵和右鍵操作，操作可以來自於交互系統內的任意一臺終端設備。
使用鍵盤按下ESC鍵操作，操作可以來自於交互系統內的任意一臺終端設備。
使用觸控螢幕多點觸摸手勢操作，例如三指向上滑動操作，操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「取消」指令。
本發明的優點是：允許用戶在分布式的跨設備交互環境中，使用視線在不同設備之間選取和傳輸信息，減少了常規跨設備環境下手工交互方式的繁複步驟，為用戶操作帶來了便捷，提升了主觀體驗。
附圖說明
圖1是本發明一個實施例的流程圖。
圖2是本發明一個實施例的單個信息對象進行選取操作時終端設備屏幕上的顯示效果。
圖3是本發明一個實施例的多個信息對象進行選取操作時終端設備屏幕上的顯示效果。
圖4是本發明一個實施例的信息對象進行移動操作時終端設備屏幕上的顯示效果。
圖5是本發明一個實施例的信息對象進行複製操作時終端設備屏幕上的顯示效果。
具體實施方式
下面將結合附圖，對本發明一種基於視線跟蹤的跨設備分布式信息傳輸交互方法進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明的一部分實施例，而不是全部的實施例，不能理解為對本發明的限制。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
參閱圖1，本發明實施例提供的一種基於視覺跟蹤的跨設備分布式信息傳輸交互方法基本流程示意圖，主要包括步驟：
(1)建立數據傳輸機制，顯示視線光標和信息對象；
(2)利用視線選取信息對象；
(3)利用視線傳輸信息對象；
(4)利用視線放置信息對象。
下面對各個步驟進行詳細描述：
步驟S101，建立數據傳輸機制，顯示視線光標和信息對象。具體的，所有終端設備與視線跟蹤設備之間建立數據傳輸機制，終端設備接收視線跟蹤設備發送的視線跟蹤數據，在終端設備屏幕上顯示一個代表視線位置的視線光標以及將要處理的信息對象；
步驟S102，利用視線選取信息對象。具體的，當用戶注視某個終端設備的屏幕時，該設備屏幕上將出現一個小圓點，稱之為視線光標，它用於表示用戶當前在設備屏幕上的注視點位置。用戶可以通過移動視線來控制視線光標的移動。另外，本發明設計了以下2種選取信息對象的交互方式，其中選取交互方式1用於單個信息對象的選取，而選取交互方式2用於多個信息對象的同時選取。
選取交互方式1，如圖2中的顯示效果所示，黑色圓點201表示屏幕上的視線光標，矩形方塊202表示可以被傳輸的信息對象。如果用戶希望選取一個信息對象，則需要將視線光標201移動到對應的信息對象203上，此時在矩形四周出現加粗的邊框，表明該信息對象處於「待選取」狀態。在該狀態下，用戶使用其他輸入方式，發出確認指令後，完成對該信息對象的選取。具體的，利用其他輸入方式發出的確認指令可以採用但不局限於下面列出的操作方式：
使用滑鼠點擊操作，滑鼠的點擊操作可以來自於交互系統內的任意一臺終端設備；
使用鍵盤操作，鍵盤的操作可以來自於交互系統內的任意一臺終端設備；
使用觸控螢幕點擊操作，觸控螢幕的點擊操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「選取」指令。
選取交互方式2，如圖3中的顯示效果所示，黑色圓點201表示屏幕上的視線光標，矩形方塊202表示可以被傳輸的信息對象。如果用戶希望選擇多個信息對象，則需要使用其他輸入方式發出調整視線光標大小的指令，此時在視線光標201周圍會出現一個圓形選取區域。用戶移動視線到需要選取的多個信息對象204附近，使圓形選取區域覆蓋這些多個信息對象204的大多數面積，如果這些信息對象被視線光標所覆蓋區域面積佔這些信息對象面積的百分比超過閾值K(可以設定，例如K＝50％)時，則使這些信息對象四周邊框加粗，表明這些信息對象處於「待選取」狀態。在該狀態下，用戶使用其他輸入方式發出確認指令，完成對這些信息對象的選取。具體的，利用其他輸入方式調整視線光標大小的命令可以採用但不局限於下面列出的操作方式：
使用滑鼠滾輪操作，向上滾動放大視線光標區域，向下滾動減小視線光標區域，操作可以來自於交互系統內的任意一臺終端設備；
使用鍵盤按鍵操作，按下「+」鍵放大視線光標，按下「-」鍵縮小視線光標，操作可以來自於交互系統內的任意一臺終端設備；
使用觸控螢幕多點觸摸操作，大拇指和食指同時向外擴展則放大視線光標，大拇指和食指同時向內收縮則縮小視線光標，操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「放大」指令則放大視線光標，說出「縮小」指令則減小視線光標。
其中利用其他輸入方式發出確認信號指令，與選取方式1中描述的利用其他輸入方式發出確認指令所採用的方式相同。
用戶可以多次使用上述選取方式，以實現對不同終端設備屏幕上的信息對象，或者同一終端設備屏幕上的不同信息對象進行選取。
步驟S103，選擇信息對象傳輸方式。具體的，完成信息對象的選取操作後，將判斷信息對象的傳輸操作方式。默認的傳輸方式採取移動操作，即在選取操作完成後，信息對象將被綁定到視線光標上，隨著視線光標的移動而移動。如果用戶在選取操作的同時，採用其他輸入方式發出複製指令，則將使用複製操作方式進行傳輸。其中，利用其他輸入方式發出複製指令，可以採用但不局限於下面列出的方式：
使用滑鼠左鍵單擊操作，操作可以來自於交互系統內的任意一臺終端設備。
使用鍵盤按下Ctrl鍵操作，操作可以來自於交互系統內的任意一臺終端設備。
使用觸控螢幕同時用兩個手指進行點擊操作，操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「複製」指令。
當被選取的信息對象經過複製操作後，在選取的信息對象位置處，將出現出一個相同的新信息對象，並將其綁定在視線光標上，隨用戶視線移動而移動，如果用戶視線從一個終端設備轉移到另一個終端設備，則新的信息對象也將從一個設備移動到另一個設備上。
圖4是本發明一個實施例的信息對象進行移動操作時終端設備屏幕上的顯示效果。被選取的信息對象301將被綁定在視線光標上，當視線光標移動到新位置302處時，被選取的信息對象301也將移動到新位置302處。
圖5是本發明一個實施例的信息對象進行複製操作時終端設備屏幕上的顯示效果。複製操作過程中，原來被選取的信息對象401處將產生一個相同的新信息對象，該信息對象將被綁定在視線光標上，當視線光標移動到新位置402處時，該信息對象也將移動到新位置402處。
步驟S104，利用視線放置信息對象。具體的，當信息對象被綁定到視線光標上後，用戶通過移動視線選擇信息對象需要被放置的終端設備屏幕上的特定區域。如果用戶視線移出某個終端設備屏幕時，該終端設備上的視線光標和綁定的信息對象將從這個終端設備屏幕上消失，直到用戶視線移入到另一個終端設備屏幕上時，才會再次顯示視線光標和綁定的信息對象。進一步，用戶可以利用視線調整信息對象在該終端設備屏幕上的放置位置。當用戶確定放置位置時，利用其他輸入方式發出放置指令。用戶使用其他輸入方式執行放置操作時，如果用戶使用移動操作進行信息對象的傳輸，則將信息對象與視線光標解除綁定，信息對象被放置在當前視線注視設備的注視點位置上。如果用戶使用複製操作進行信息對象的傳輸，則複製出一個新的信息對象在當前注視設備的注視點位置上，而原信息對象依舊與視線光標綁定，可繼續跟隨視線光標移動。如果用戶多次使用其他輸入方式發出放置指令，則可以進行多次複製操作。這裡所述的利用其他輸入方式發出放置指令可以採用但不局限於下面列出的方式：
使用滑鼠右鍵單擊操作，操作可以來自於交互系統內的任意一臺終端設備。
使用鍵盤按下回車鍵操作，操作可以來自於交互系統內的任意一臺終端設備。
使用觸控螢幕多點觸摸手勢操作，例如三個手指向下滑動，操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「放置」指令。
此外，在上述任何一個操作過程中，用戶使用其他輸入方式發出指令，可以取消信息對象的相關操作。其中其他輸入方式發出的取消操作指令可以採用但不局限於下面列出的方式：
使用滑鼠同時單擊左鍵和右鍵操作，操作可以來自於交互系統內的任意一臺終端設備。
使用鍵盤按下ESC鍵操作，操作可以來自於交互系統內的任意一臺終端設備。
使用觸控螢幕多點觸摸手勢操作，例如三指向上滑動操作，操作可以來自於交互系統內的任意一臺終端設備。
使用語音輸入操作，例如說出「取消」指令。
本領域的技術人員應該明白，本發明實施例可提供成為方法、系統、或電腦程式產品。本發明實施例的各步驟可以用通用的計算裝置來實現，可選地，它們可以用計算裝置可執行的程序代碼來實現，從而可以將它們存儲在存儲裝置中由計算裝置來執行，或者將它們分別製作成各個集成電路模塊，或者將它們中的多個模塊或步驟製作成單個集成電路模塊來實現。因此，本發明實施例不限制於任何特定的硬體和軟體結合。
以上公開的僅為本發明的具體實施例，但是本發明並非局限於此，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。顯然這些改動和變型均應屬於本發明要求的保護範圍保護內。