一種左右手交互裝置及方法
2023-07-04 06:14:56 1
專利名稱：一種左右手交互裝置及方法
技術領域：
本發明涉及人機互動技術領域，具體涉及一種左右手交互裝置及方法。
背景技術：
人們在操作手機或平板設備時，在屏幕上進行觸摸操作的過程中，很多時候需要被迫點擊屏幕之外的功能按鍵，導致整個交互過程並不流暢，效率低下。此外，在投影屏幕上展示內容時，經常需要在投影屏幕上進行評註以給其他參會人員進行提示，有時甚至需要走回電腦前面進行相關操作，無論在批註提示上還是內容操作上都十分麻煩，影響交互過程的流暢度。現有技術中通過在屏幕中設置軟按鍵來替代屏幕之外的功能按鍵，通過點擊屏幕UI (User Interface)周邊的軟按鍵,進而擴展彈出相關選項,再點擊相關的選項來實現原本手機或平板設備上功能按鍵的作用。然而在這種方式中，軟按鍵佔用了一定的Π空間，影響視線。如果軟按鍵設計的太小，則難以點擊到，如果軟按鍵設計的太大，除了佔用空間，還容易造成誤操作。同時，軟按鍵必須固定於一個位置，無法做到想用即用。另外，通過在手機或平板設備中安裝遙控應用，再使用WIFI等連接方式連接電腦，就能夠控制投影屏上的電腦，進而遙控投影內容。這種方式依然是通過滑鼠進行定位的方式，並且實際體驗比滑鼠還要差，進行評註等相關操作並不方便。
發明內容
本發明實施例提供一種左右手交互裝置及方法，以解決現有的交互裝置和方法操作不方便、流暢性差、效率低的技術問題。為了解決上述技術問題，本發明實施例公開了如下技術方案:第一方面，提供了一種左右手交互裝置，該裝置包括分別與總線連接的檢測單元、分析單元、匹配單元和反饋單元；所述檢測單元用於檢測觸控螢幕上被觸摸區域的範圍；所述分析單元用於接收所述檢測單元的輸入，並進一步分析觸摸範圍內的感應器陣列，以及分析觸摸時的雙手模型參數；所述匹配單元用於將所述分析單元的分析結果與特徵庫進行匹配，並判斷出觸摸來源的雙手t吳型；所述反饋單元用於根據所述匹配單元的匹配和判斷結果將相應的觸發行為反饋至用戶界面中。優選地，該裝置進一步包括與所述總線連接的捕捉單元，用於捕捉與投影屏幕交互時用戶的雙手模型。優選地，所述捕捉單元包括攝像設備和距離傳感器。優選地，所述特徵庫中包含雙手十個手指觸摸行為的具體參數，通過將分析單元得到的分析結果與特徵庫中的參數進行匹配來判斷出觸摸來源的雙手模型。
第二方面，提供了一種基於觸控螢幕的左右手交互方法，該方法具體包括:檢測觸控螢幕上被觸摸區域的輪廓、範圍、以及觸摸強度；根據上述檢測結果，進一步分析觸摸範圍內的感應器陣列，並分析出該觸摸範圍的面積、中心點坐標和方向角度；將上述分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手豐吳型；根據匹配和判斷的結果，將相應的觸發行為調出，並且反饋到用戶界面中。優選地，通過陣列傳感器的實時捕捉功能來檢測觸控螢幕上被觸摸區域的輪廓、範圍、以及觸摸強度。優選地，進一步分析觸摸範圍內的感應器陣列，並分析出該觸摸範圍的面積、中心點坐標和方向角度的方法具體為:利用觸控螢幕本身的觸控感應器陣列，當感應器感應到手指接觸時會產生相應的信號，把每一個感應器的感應信號做統計分析，能夠得出感應器的分布，從而進一步推算出觸摸範圍的面積、中心點坐標和方向角度。優選地，所述特徵庫中包含雙手十個手指觸摸行為的具體參數，通過將分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型。第三方面，提供了一種基於投影屏幕的左右手交互方法，該方法具體包括:通過攝像設備和距離傳感器檢測投影屏幕上被觸摸區域的位置和觸摸方式；通過攝像設備和距離傳感器捕捉觸摸瞬間用戶的雙手模型；根據捕捉到的雙手模型進行進一步分析，獲得具體的雙手模型參數；將上述分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手豐吳型；根據匹配和判斷的結果，將相應的觸發行為調出，並且反饋到用戶界面中。優選地，所述觸摸方式包括:點擊、滑動、長按、拖拽和雙擊。優選地，根據捕捉到的雙手模型進行進一步分析具體為:通過所述攝像設備和距離傳感器，基於深度和色差信息捕捉到雙手的深度模型，通過深度模型獲取方位和深度，進而計算出具體的雙手模型參數，判斷當前觸摸的是左手還是右手。優選地，所述具體的雙手模型參數包括:雙手的方位、姿勢、角度、深度、以及層次關係。本發明實施例中通過左右手配合實現功能操作，取消了現有技術中的功能按鍵，極大地節約了屏幕空間，同時也最小化了用戶交互時手指移動的距離，使得交互過程更加便捷流暢。在會議場景下，人們可以自如地在投影屏幕前進行評註和常規操作，無需回到電腦面前進行操作，開創了電腦時代的交互新理念。
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是依照本發明一種實施例的左右手交互裝置的結構圖；圖2是本發明提供的基於觸控螢幕的左右手交互方法的流程圖；圖3是手指觸控識別示意圖；圖4是左右手觸摸交互行為示意圖；圖5是本發明提供的基於投影屏幕的左右手交互方法的流程圖；圖6是左右手投影屏幕交互行為示意圖。
具體實施例方式為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。實施例1:本發明提供了一種左右手交互裝置，可用於左右手觸摸交互行為，該裝置包括分別與總線連接的檢測單元、分析單元、匹配單元和反饋單元；所述檢測單元用於檢測觸控螢幕上被觸摸區域的範圍；所述分析單元用於接收所述檢測單元的輸入，並進一步分析觸摸範圍內的感應器陣列，以及分析觸摸時的雙手模型參數；所述匹配單元用於將所述分析單元的分析結果與特徵庫進行匹配，並判斷出觸摸來源的雙手t吳型；所述反饋單元用於根據所述匹配單元的匹配和判斷結果將相應的觸發行為反饋至用戶界面中。其中，所述特徵庫中包含雙手十個手指觸摸行為的具體參數，每個手指的具體參數均不同，通過將分析單元得到的分析結果與特徵庫中的參數進行匹配來判斷出觸摸來源的雙手模型。本發明通過左右手配合實現功能操作，取消了現有技術中用於交互的功能按鍵，極大地節約了屏幕空間，同時也使得交互過程更加便捷流暢。實施例2:圖1是依照本發明一種實施例的左右手交互裝置的結構圖，該裝置可應用於觸控螢幕左右手交互行為，也可應用於投影屏幕的左右手交互行為。該裝置包括:檢測單元11、分析單元12、匹配單元13、反饋單元14和捕捉單元15，以上幾個單元通過總線相互連接。所述檢測單元11用於檢測觸控螢幕上被觸摸區域的範圍，包括具體區域和區域輪廓；所述分析單元12用於接收所述檢測單元11的輸入，並進一步分析觸摸範圍內的感應器陣列，以及分析觸摸時的雙手模型參數；所述匹配單元13用於將所述分析單元12的分析結果與特徵庫進行匹配，並判斷出觸摸來源的雙手模型；
所述反饋單元14用於根據所述匹配單元12的匹配和判斷結果將相應的觸發行為反饋至用戶界面中。所述捕捉單元15用於捕捉與投影屏幕交互時用戶的雙手模型。其中，所述捕捉單元15包括攝像設備和距離傳感器。其中，所述特徵庫中包含雙手十個手指觸摸行為的具體參數，每個手指的具體參數均不同，通過將分析單元得到的分析結果與特徵庫中的參數進行匹配來判斷出觸摸來源的雙手模型。在實施例1的基礎上，本實施例增加了捕捉單元15，用於捕捉與投影屏幕交互時用戶的雙手模型。在會議場景下，人們可以自如地在投影屏幕前進行評註和常規操作，無需回到電腦面前進行操作，使得基於投影屏幕的交互過程也十分便捷流暢。實施例3:圖2是本發明提供的基於觸控螢幕的左右手交互方法的流程圖，該方法具體包括:SlOl、檢測觸控螢幕上被觸摸區域的輪廓、範圍、以及觸摸強度；S102、根據上述檢測結果，進一步分析觸摸範圍內的感應器陣列，並分析出該觸摸範圍的面積、中心點坐標和方向角度；S103、將上述分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型；S104、根據匹配和判斷的結果，將相應的觸發行為調出，並且反饋到用戶界面中。其中，所述特徵庫中包含雙手十個手指觸摸行為的具體參數，每個手指的具體參數均不同，通過將分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型，根據判斷出的雙手模型，系統將相應的觸發行為調出，並且反饋到用戶界面中，完成相關操作。實施例4:本實施例提供一種基於觸控螢幕的左右手交互方法流程，包括以下步驟:S101、通過陣列傳感器的實時捕捉，檢測至觸摸的具體區域，包括其輪廓和範圍，以及觸摸的強度。S102、根據上述檢測結果，進一步分析觸摸範圍內的感應器陣列，並分析出該觸摸範圍的面積、中心點坐標和方向角度。圖3是手指觸控識別示意圖，電容觸控螢幕在微觀上，都是一個個感應器集成在屏幕上，形成方陣。當手指觸控在某一區域，該區域覆蓋到的感應器就可以感應到電容值的變化，進而獲得感應器的排列，針對感應器排列的區域形狀進行分析，可以識別出觸摸的是左手還是右手，並且可以通過面積的大小和細節判斷出是哪只手指。利用觸控螢幕本身的觸控感應器陣列，每一個感應器如果感應到手指接觸了，就會相應的產生信號，把每一個感應器的感應信號做統計分析，即可以得出感應器的分布，從而進一步推算出觸摸範圍的面積、中心點坐標和方向角度。S103、將上述分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型。具體為:將分析得到的具體參數與已有的特徵庫中的參數區間進行匹配，特徵庫中的參數區間包括雙手十個手指觸摸行為的具體參數區間，每個手指的具體參數區間均有所差異，若得到的各個參數均屬於某個區間，即可判斷當前觸摸具體來源於該區間的手指，從而判斷出觸摸來源的雙手模型。S104、根據匹配和判斷的結果，將相應的觸發行為調出，並且反饋到用戶界面中。系統可以判斷出觸摸指頭為左手還是右手，食指還是拇指，這裡的交互行為主要分為兩類:左手拇指/其他手指。當檢測到當前觸摸來自於左手拇指時，不同的動作會觸發不同的行為，具體如下:I)當檢測到左手拇指向左滑動時，系統會識別並返回至上一頁(Back)；2)當檢測到左手拇指向上滑動時，系統會識別並返回至首頁(Home)；3)當檢測到左手拇指向下滑動時，系統會識別並打開選項列表(Menu)；4)當檢測到左手拇指向右滑動時，系統會識別並前進至下一頁(Forward)；5)當檢測到左手拇指雙擊屏幕時，系統會識別並打開多任務菜單(Mult1-Tasking)。圖4是左右手觸摸交互行為示意圖，當左手拇指進行相應的操作時，Menu等菜單會自動在右手拇指的位置彈出，如果沒有檢測到右手拇指，則在右半部區域彈出。當檢測到當前觸摸來自於其他手指時，進行正常的觸摸操作行為，例如:滑動、點擊、多指觸控等。本實施例中通過左手來控制功能，這種取消功能按鍵的方法極大地節約了屏幕空間，同時也最小化了用戶交互時手指移動的距離，使得交互過程更加便捷流暢。實施例5:圖5是本發明提供的基於投影屏幕的左右手交互方法的流程圖，該方法具體包括:S201、通過攝像設備和距離傳感器檢測投影屏幕上被觸摸區域的位置和觸摸方式，所述觸摸方式包括:點擊、滑動、長按、拖拽和雙擊等；S202、通過攝像設備和距離傳感器捕捉觸摸瞬間用戶的雙手模型；S203、根據捕捉到的雙手模型進行進一步分析，獲得具體的雙手模型參數，所述具體的雙手模型參數包括:雙手的方位、姿勢、角度、深度、以及層次關係等；S204、將上述分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型；S205、根據匹配和判斷的結果，將相應的觸發行為調出，並且反饋到用戶界面中。其中，所述特徵庫中包含雙手觸摸行為的具體參數，通過將分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型，根據判斷出的雙手模型，系統將相應的觸發行為調出，並且反饋到用戶界面中，完成相關操作。實施例6:本實施例提供一種基於投影屏幕的左右手交互方法流程，包括以下步驟:S201、通過攝像設備和距離傳感器檢測投影屏幕上被觸摸區域的位置和觸摸方式，所述觸摸方式包括:點擊、滑動、長按、拖拽和雙擊等。S202、通過攝像設備和距離傳感器捕捉觸摸瞬間用戶的雙手模型。S203、根據捕捉到的雙手模型進行進一步分析，獲得具體的雙手模型參數，所述具體的雙手模型參數包括:雙手的方位、姿勢、角度、深度、以及層次關係等。其中，根據捕捉到的雙手模型進行進一步分析具體為:通過所述攝像設備和距離傳感器，基於深度和色差信息捕捉到雙手的深度模型，通過深度模型獲取方位和深度，進而計算出具體的雙手模型參數，判斷當前觸摸的是左手還是右手。S204、將上述分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型。具體為:將分析得到的具體參數與已有的特徵庫中的參數區間進行匹配，特徵庫中的參數區間包括雙手觸摸行為的具體參數區間，若得到的各個參數均屬於某個區間，即可判斷當前觸摸具體來源於該區間的手指，從而判斷出觸摸來源的雙手模型。S205、根據匹配和判斷的結果，將相應的觸發行為調出，並且反饋到用戶界面中。圖6是左右手投影屏幕交互行為示意圖，所有的Menu和相關操作均在觸摸點旁顯示，易於交互和操作。例如，基於投影屏幕的左右手觸控交互的具體方式可以為:左手交互行為如下:I)單指單擊:選擇/打開等操作；2)單指長按:彈出定製化Menu，包含相關操作；3)單指滑動:一次選中多個內容，包括多個文檔，多個文字等；4)長按拖拽:將選中內容移動到合理的位置；5)雙指以上向左滑動:撤銷，後退；6)雙擊:多窗口切換；7)雙指靠近、拉遠、旋轉:縮小,放大,旋轉。右手交互行為如下:8)單指滑動:使用默認/當前工具進行評註；9)雙指滑動:橡皮擦工具；10)單指長按:Menu，可以換筆，換工具，保存，刪除等。本實施例中，在會議場景下，人們可以自如地在投影屏幕前進行評註和常規操作，無需回到電腦面前進行操作，使得基於投影屏幕的交互過程十分便捷流暢。顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
權利要求
1.一種左右手交互裝置，其特徵在於，該裝置包括分別與總線連接的檢測單元、分析單元、匹配單元和反饋單元； 所述檢測單元用於檢測觸控螢幕上被觸摸區域的範圍； 所述分析單元用於接收所述檢測單元的輸入，並進一步分析觸摸範圍內的感應器陣列，以及分析觸摸時的雙手模型參數； 所述匹配單元用於將所述分析單元的分析結果與特徵庫進行匹配，並判斷出觸摸來源的雙手模型； 所述反饋單元用於根據所述匹配單元的匹配和判斷結果將相應的觸發行為反饋至用戶界面中。
2.如權利要求1所述的交互裝置，其特徵在於，該裝置進一步包括與所述總線連接的捕捉單元，用於捕捉與投影屏幕交互時用戶的雙手模型。
3.如權利要求2所述的交互裝置，其特徵在於，所述捕捉單元包括攝像設備和距離傳感器。
4.如權利要求1-3中任一項所述的交互裝置，其特徵在於，所述特徵庫中包含雙手十個手指觸摸行為的具體參數，通過將分析單元得到的分析結果與特徵庫中的參數進行匹配來判斷出觸摸來源的雙手模型。
5.一種基於觸控螢幕的左右手交互方法，其特徵在於，該方法具體包括: 檢測觸控螢幕上被觸摸 區域的輪廓、範圍、以及觸摸強度； 根據上述檢測結果，進一步分析觸摸範圍內的感應器陣列，並分析出該觸摸範圍的面積、中心點坐標和方向角度； 將上述分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型； 根據匹配和判斷的結果，將相應的觸發行為調出，並且反饋到用戶界面中。
6.如權利要求5所述的交互方法，其特徵在於，通過陣列傳感器的實時捕捉功能來檢測觸控螢幕上被觸摸區域的輪廓、範圍、以及觸摸強度。
7.如權利要求5所述的交互方法，其特徵在於，進一步分析觸摸範圍內的感應器陣列，並分析出該觸摸範圍的面積、中心點坐標和方向角度的方法具體為: 利用觸控螢幕本身的觸控感應器陣列，當感應器感應到手指接觸時會產生相應的信號，把每一個感應器的感應信號做統計分析，能夠得出感應器的分布，從而進一步推算出觸摸範圍的面積、中心點坐標和方向角度。
8.如權利要求5所述的交互方法，其特徵在於，所述特徵庫中包含雙手十個手指觸摸行為的具體參數，通過將分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型。
9.一種基於投影屏幕的左右手交互方法，其特徵在於，該方法具體包括: 通過攝像設備和距離傳感器檢測投影屏幕上被觸摸區域的位置和觸摸方式； 通過攝像設備和距離傳感器捕捉觸摸瞬間用戶的雙手模型； 根據捕捉到的雙手模型進行進一步分析，獲得具體的雙手模型參數； 將上述分析得到的參數與已有的特徵庫中的參數進行匹配，判斷出觸摸來源的雙手模型；根據匹配和判斷的結果，將相應的觸發行為調出，並且反饋到用戶界面中。
10.如權利要求9所述的交互方法，其特徵在於，所述觸摸方式包括:點擊、滑動、長按、拖拽和雙擊。
11.如權利要求9所述的交互方法，其特徵在於，根據捕捉到的雙手模型進行進一步分析具體為: 通過所述攝像設備和距離傳感器，基於深度和色差信息捕捉到雙手的深度模型，通過深度模型獲取方位和深度，進而計算出具體的雙手模型參數，判斷當前觸摸的是左手還是右手。
12.如權利要求11所述的交互方法，其特徵在於，所述具體的雙手模型參數包括:雙手的方位、姿勢、角度、深度、以及層次關係。
全文摘要
本發明公開了一種左右手交互裝置及方法，該裝置包括分別與總線連接的檢測單元、分析單元、匹配單元和反饋單元。所述檢測單元用於檢測觸控螢幕上被觸摸區域的範圍；所述分析單元用於接收所述檢測單元的輸入，並進一步分析觸摸範圍內的感應器陣列，以及分析觸摸時的雙手模型參數；所述匹配單元用於將所述分析單元的分析結果與特徵庫進行匹配，並判斷出觸摸來源的雙手模型；所述反饋單元用於根據所述匹配單元的匹配和判斷結果將相應的觸發行為反饋至用戶界面中。本發明通過左右手配合實現功能操作，取消了現有技術中的功能按鍵，極大地節約了屏幕空間，同時也最小化了用戶交互時手指移動的距離，使得交互過程更加便捷流暢。
文檔編號G06F3/0488GK103164160SQ20131009139
公開日2013年6月19日 申請日期2013年3月20日 優先權日2013年3月20日
發明者賀真, 劉吉林, 李騰躍 申請人:華為技術有限公司