智能觸控螢幕鍵激活檢測的製作方法
2023-08-05 22:49:46 4
智能觸控螢幕鍵激活檢測的製作方法
【專利摘要】實施例涉及檢測觸控螢幕上的嘗試空格鍵激活的系統和方法。這樣的系統和方法允許觸控螢幕上輸入的容錯數據。該系統和方法可以自適應並且當接收到附加用戶數據時更準確地逐步生長。
【專利說明】智能觸控螢幕鍵激活檢測
【發明內容】
[0001]根據各個實施例，公開了一種檢測虛擬鍵的激活的計算機實現的方法。該方法可以包括通過計算設備確定在計算設備的觸控螢幕處檢測到的拇指接觸的位置，通過計算設備確定拇指接觸的區域的大小，以及確定拇指接觸的方向。該方法可以進一步包括將區域的大小、方向和位置與和在觸控螢幕處檢測到的先前拇指和手指接觸相關聯的數據進行比較。該方法可以進一步包括基於比較來確定拇指接觸構成給定的虛擬鍵的預期激活，以及響應於該確定，輸出與給定的虛擬鍵相關聯的字符的電子表示。
【專利附圖】
【附圖說明】
[0002]合併在該說明書中並構成該說明書的一部分的附圖圖示了本教導的實施例，並與說明書一起用來解釋本教導的原理。在圖中:
[0003]圖1是根據各個實施例的裝置的示意圖；
[0004]圖2是根據各個實施例的觸控螢幕鍵盤布局的示意圖；
[0005]圖3是根據各個實施例的當觸摸鍵入時人類用戶的手指(digit)的接觸的示意表示；以及
[0006]圖4是根據各個實施例的方法的流程圖。
【具體實施方式】
[0007]採用觸控螢幕的設備可以將空格鍵用作例如激活預測性詞語完成的輸入或確認按鈕。因此，這樣的觸控螢幕設備傾向於取決於空格鍵激活的絕對準確度(即使這樣的需求不是由其他鍵組成)。然而，用於由預測性詞語完成所驅動的絕對準確度的需要使得難以正確地解釋遺漏被指定為空格鍵的觸控螢幕的區域的空格鍵激活嘗試。因此，需要用於觸控螢幕設備的智能空格鍵激活檢測。
[0008]實施例不限於空格鍵激活嘗試檢測。通常，採用觸控螢幕的設備易於使用所公開的實施例來檢測任何特定鍵的激活嘗試，其中，獲得下述中的一個或兩個:通常由特定手指或手的部位激活特定鍵，以及特定鍵位於觸控螢幕的特定區域中。如上所述的示例性的這樣鍵是空格鍵。作為另一例子，用戶可以使用手的指關節或其他部位激活輸入鍵，以及輸入鍵位於觸控螢幕的特定區域。因此，輸入鍵能經受在此公開的技術的檢驗。在此公開的實施例不限於空格鍵和輸入鍵。
[0009]針對空格鍵激活檢測的各個實施例跟蹤用於每一可能空格鍵激活的拇指信號。當拇指觸摸傾向於對應於空格鍵激活時，拇指信號用來區分拇指接觸和手指接觸。(注意，在整個公開內容中，詞「手指」僅指非拇指手指。)拇指信號可以包括三個分量中的任何一個或組合:觸摸區域大小、觸摸區域方向和觸摸區域紋理。觸摸區域大小測量觸控螢幕和手指之間的接觸的區域的大小，其傾向於對於拇指比對於手指大。觸摸區域方向考慮拇指觸摸傾向於觸摸區域的形狀為橢圓形(oblong)的事實,而其他手指的觸摸傾向於更圓。觸摸區域紋理測量諸如皺摺(ridge)和接合縫的質量，所述質量在拇指和手指之間是不同的接合縫。
[0010]針對檢測空格鍵激活嘗試的各個實施例可以另外或作為替代來跟蹤用於每一可能空格鍵激活的位置信號。位置信號用來利用時間上接近較高接觸的統計上有效較低接觸(即指定為鍵盤的觸控螢幕的部分的下部)傾向於是嘗試的空格鍵激活。
[0011]針對檢測空格鍵激活嘗試的各個實施例使用拇指信號和位置信號中的任何一個或兩者來確定可能的空格鍵激活是否應當被認為真正的空格鍵激活嘗試。這樣的實施例可以使用自適應學習技術來將可能的空格鍵激活的拇指信號和位置信號中的一個或兩個與來自過去動作的這樣信號進行比較。由此，這樣的實施例使用自適應學習來區分空格鍵和其他鍵激活嘗試。
[0012]現在，詳細地參考在附圖中圖示的本教導的示例性實施例。只要可能，在整個附圖中將使用相同的參考數字來指代相同或類似的部件。
[0013]圖1是根據各個實施例的裝置的示意圖。裝置102可以是任何計算設備，諸如但是不限於智慧型電話、個人數字助理(PDA)或平板電腦。裝置102可以是可攜式或固定裝置。在圖1中，裝置102包括或通信地耦接到觸控螢幕104。可以以使得裝置102的用戶能與觸控螢幕104物理交互的方式來定位觸控螢幕104。
[0014]觸控螢幕104可以實現多種技術中的任何一種。通過非限定例子，觸控螢幕104可以是下述類型中的任何一種:電阻式、表面聲波、電容式(例如表面電容、投射式電容、互電容或自電容)、紅外、光學成像、色散信號技術或聲脈衝識別。在圖1中，觸控螢幕104通信地耦接到處理器106。作為非限定例子，處理器106可以是微處理器或微控制器。在圖1中，處理器106能執行電子存儲的程序指令並且通信地耦接到永久存儲器108。作為非限定例子，永久存儲器108可以包括硬驅動或快閃記憶體設備。
[0015]圖2是根據各個實施例的觸控螢幕鍵盤布局202的示意圖。具體地，圖2描繪了QWERTY鍵盤布局，儘管實施例不限於此(例如，實施例可以包括DVORAK鍵盤布局、數字鍵盤布局或另一種鍵盤或鍵區布局)。如在圖2中所示，鍵盤布局202包括用於上鍵204的部分和空格鍵206。(在整個公開內容中，「空格鍵」與「空格條」同義)。如在圖2中所示，空格鍵206與上鍵204分開設置，使得空格鍵206幾何上低於上鍵204。
[0016]作為非限定例子，觸控螢幕鍵盤布局202可以在圖1的觸控螢幕104中實現。S卩，觸控螢幕鍵盤布局202可以顯示在圖1的觸控螢幕104上，以及通過圖1的裝置的處理器106，劃分為鍵的區域可以具有與它們相關聯的相應的鍵功能。
[0017]圖3是根據各個實施例的當觸摸鍵入時人類用戶的手指的接觸的示意表示。具體地，當觸摸鍵入時，人類用戶很可能使左手指尖接觸302的位置相對高於左手拇指接觸306。同樣地，通常右手指尖接觸304定位比右手拇指接觸308相對高。每一指尖接觸302、304通常佔據比拇指接觸少的區域。
[0018]每一手指和拇指接觸302、304、306和308具有相關聯的直徑，其可以被定義為能包含在接觸的外周中的最長線段的長度。圖3將拇指接觸306的直徑圖示為能相配於拇指接觸306的外周的最長線段310。通常，拇指接觸306、308的直徑顯著大於手指接觸302、304的直徑(指尖接觸302、304通常比本身基本上更橢圓的拇指接觸306、308明顯更圓)。
[0019]每一手指和拇指接觸302、304、306和308具有相關聯的方向，其可以被定義為向上指向射線和直徑線段之間的角度。注意，通過將角度測量限定到笛卡爾平面的第一和第四象限，方向可以定義為從0°至180°的範圍，或可以通過將角度測量限定到笛卡爾平面的第一和第二象限，等效地定義為從-90°至+90°的範圍。圖3圖示了拇指接觸306的方向Θ。更具體地說，圖3將拇指接觸306的方向描述為如在笛卡爾平面的第一象限中測量的、直徑310和向上指向射線312之間的角度Θ。通常，拇指接觸306、308的方向一貫地不同於與手指接觸302、304的方向。
[0020]每一接觸302、304、306、308具有相關聯的紋理。紋理包括諸如摩擦皺摺和接合摺痕的存在、位置和方向的質量。作為非限定例子，可以使用高解析度光學觸控螢幕來確定紋理。通常，拇指接觸306、308的紋理一貫地不同於手指接觸302、304的紋理。作為非限定例子，拇指接觸306、308通常包括接合摺痕，而手指接觸302、304通常不包括接合摺痕。
[0021]圖4是根據各個實施例的方法的流程圖。圖4所示的方法可以使用例如參考圖1所述的裝置來實現。參考圖4所述的方法可以是特定於用戶的，因為不同的用戶可以與不同的歷史觸控螢幕接觸數據和基於其的數學模型相關聯。例如，用戶的登錄簡檔可以與這樣的數據相關聯，或捕獲和存儲這樣的數據。實施例可以允許用戶選擇退出採集和存儲這樣的個性化數據。
[0022]在塊400，採集和存儲歷史觸控螢幕接觸數據。歷史觸控螢幕接觸數據可以包括關於多個手指和拇指接觸的、表示接觸面積大小、接觸方向、接觸紋理和接觸相對位置的數據。作為非限定例子，在該塊對其採集數據的接觸的數量可以是10、20、30、40、50、75、100、150、200、250、500或1000。在下文中將參考塊402至408論述用於檢測和將檢測的接觸信息轉換成表示接觸面積大小、接觸方向、接觸紋理和接觸相對位置的存儲數值的具體技術。歷史接觸數據可以存儲在例如圖1的裝置102的永久存儲器108中。
[0023]歷史接觸數據中的每一數據可以與有關該數據是來自手指接觸還是拇指接觸的標識符相關聯。例如，激活上鍵(圖2的那些鍵204)的觸控螢幕接觸可以與手指接觸相關聯，而激活空格鍵(圖2的206)的觸控螢幕接觸可以與拇指接觸相關聯。(對於校準階段，可以僅考慮準確的激活接觸，可以排除接近發生的事件(near misses))。由此,多個觸控螢幕接觸中的每一個可以與手指接觸或拇指接觸以及所存儲的相關數據相關聯。
[0024]可以在正常用戶交互期間或在專用校準階段期間採集歷史觸控螢幕接觸數據。專用校準階段(如果使用的話)可以包括向用戶顯示請求用戶鍵入某個預選擇的文本(例如「the quick brown fox jumped over the lazy dog」)的消息。替代地，或附加地，校準階段可以請求用戶鍵入隨機字符或其他文本。
[0025]塊402-414涉及檢測和評估單個觸控螢幕接觸是否應當被解釋為空格鍵激活。在下文中，這樣的單個觸控螢幕接觸被稱為「可能空格鍵接觸」。
[0026]在塊402，檢測可能空格鍵接觸的接觸面積大小。可以由電容和其他類型的觸控螢幕自動地報告接觸面積大小。替代地，或另外地，可以通過例如計算接觸區域的直徑、計算垂直於直徑的、在接觸區域內的線段的長度、然後基於橢圓的長軸和短軸將公式用於橢圓的區域，來確定接觸面積大小。即，如果M是直徑，以及m是垂直容納的線段的長度，那麼作為非限定例子，可以將接觸面積A計算為A = 1/4 π麗。
[0027]在塊404，確定接觸區域方向。這可以通過例如首先確定直徑、然後確定直徑和向上指向射線(例如圖3的310和312)之間的相對角度來執行。可以通過首先確定接觸區域的周長、然後擬合最長容納的線段來確定直徑。只要確定直徑，然後可以計算方向。
[0028]在塊406，確定接觸紋理。接觸紋理信息可以可選地包括接合摺痕和/或一個或多個摩擦皺摺是否存在於觸控螢幕接觸中以及存在何處，及其任何附加特性。可以採用本領域技術人員公知的生物自動指紋分析技術來將所檢測的幾何紋理數據轉換成數值量，以便存儲。
[0029]在塊408，檢測觸控螢幕接觸的相對位置。該數據可以包括相對於X和y軸的固定集合的在觸控螢幕本身上的絕對位置。在一些實施例中，可以確定和記錄接觸的質心。
[0030]在塊410，將表示所檢測的觸控螢幕接觸的參數與所存儲的歷史觸控螢幕接觸數據進行比較。可以採用若干不同的技術來執行該比較，如緊接在下面所述。
[0031]塊410的比較可以包括或依賴於一個或多個數學模型的生成。通常，對於兩群體(population)中的每一個:空格鍵接觸和上鍵接觸,包括在所存儲的歷史觸控螢幕接觸數據中的每一接觸面積大小、接觸方向、接觸紋理和接觸相對位置可以分別看成是正常分布的。因此，可以對於每一參數(接觸面積大小、接觸方向、接觸紋理和接觸相對位置)為每一群體指定(空格鍵接觸和上鍵接觸)統計模型(例如，正態概率分布函數)可以專用於。可以基於在塊400採集的歷史數據，生成這樣的模型。常見的貝葉斯統計，特別是最大可能性估算(MLE)，可以用來形成和測試這些模型。由此，每一參數和每一群體可以與概率分布相關聯。MLE可以通過部分地計算用於每一群體(空格鍵接觸和上鍵接觸)和用於每一參數(接觸面積大小、接觸方向、接觸紋理和接觸相對位置)的方差和平均值來產生模型。如本領域的技術人員所公知的，可以通過給定方差和平均值，確定正態概率分布函數。
[0032]在塊410，將用於可能空格鍵接觸的參數與由數學模型預測的參數進行比較。通常，對可能空格鍵接觸的每一參數，可以確定有關它是否是空格鍵接觸群體的成員的概率，以及可以生成有關它是否是上鍵接觸群體的成員的相關概率。由此，一個、兩個、三個或四個概率(取決於所使用的來自接觸面積大小、接觸方向、接觸紋理和接觸相對位置中的參數的數量)可以與可能空格鍵接觸相關聯。在此將這些稱為用於相應群體的「參數概率」。
[0033]對每一群體，可以將用於可能空格鍵接觸的參數概率組合成有關可能空格鍵接觸是否在該群體中的單個總分值。通過例如對用於可能空格鍵接觸的空格鍵接觸參數概率求和，可以獲得用於可能空格鍵接觸處於空格鍵接觸群體中的總分值。類似地，可以通過例如對用於可能空格鍵接觸的上鍵接觸參數概率求和，獲得用於可能空格鍵接觸處於上鍵接觸群體中的總分值。用於結合參數概率來獲得用於空格鍵對上鍵接觸的總分值的其他技術是可能的(例如，算術或幾何平均值)。在一些實施例中，可以生成表示屬於群體(空格鍵接觸或上鍵接觸)中的一個的概率的單個總分值。
[0034]在塊412，基於塊410計算的總概率，可以將可能空格鍵接觸分類為屬於空格鍵接觸群體或上鍵接觸群體。例如，如果用於可能空格鍵接觸處於空格鍵接觸群體中的總分值超出用於可能空格鍵接觸處於上鍵接觸群體中的總分值，那麼塊412處的確定可以是可能空格鍵接觸表示真實空格鍵接觸嘗試。同樣地，如果用於可能空格鍵接觸處於上鍵接觸群體中的總分值超出用於可能空格鍵接觸處於空格鍵接觸群體中的總分值，那麼塊412可以確定可能空格鍵接觸不表示空格鍵接觸嘗試。
[0035]對計算表示屬於群體(空格鍵接觸或上鍵接觸)中的一個的概率的單個總分值的實施例，塊412的確定可以包括有關單個總分值是否大於或小於50%的確定。塊412的確定可以基於單個概率。
[0036]在塊414，如果塊412的確定指示真實的空格鍵接觸嘗試，則輸出空格鍵字符。該輸出可以對鍵盤緩衝器、或直接對在可能空格鍵激活時通信地耦接到觸控螢幕的應用做出。如果在塊412確定非真實的空格鍵嘗試，實施例可以不輸出任何內容，或可以輸出由最近非空格鍵表示的字符。
[0037]注意，即使接觸錯過指定為空格鍵的觸控螢幕的部分，也可以將可能空格鍵接觸認為實際的空格鍵接觸嘗試，只要如上所述，可能空格鍵接觸與其類似於上鍵接觸群體相比概率上更類似於空格鍵接觸群體。
[0038]注意，塊412做出的確定可以與來自可能空格鍵激活的其他參數、以及添加到在塊400採集的歷史數據的結果數據結合。用這種方式，實施例可以從重複的觸控螢幕交互自適應地學習。如果用戶隨後刪除塊414輸出的字符，實施例可以更改結果數據來反映由用戶隨後鍵入的字符。例如，如果實施例在塊414輸出空格字符，以及如果用戶隨後刪除該空格字符並且用非空格字符替代它，那麼可以將與可能空格鍵接觸有關採集的數據分類成非空格鍵接觸，以與參考塊400所述的歷史觸控螢幕數據一起存儲。同樣地，如果在塊414輸出非空格鍵字符，然後由用戶刪除並且用空格字符代替，那麼可以將相關聯的數據存儲為空格鍵接觸群體中。
[0039]儘管本公開有時論述對其檢測激活嘗試的虛擬鍵是空格鍵的實施例，但一些實施例並不限於此。具體地，實施例可以涉及用來由拇指(與手指相對)接觸、或與幾乎所有剩餘鍵相比幾何上位於虛擬鍵盤更下部的任何虛擬鍵。
[0040]上述描述是示例性的，本領域的技術人員可以想到構造和實現的變化。描述為單個或集成的其他資源在實施例中可以是複數或分布式的，以及描述為多個或分布式的資源在實施例中可以被組合。因此，本教導的範圍意圖僅由所附權利要求限制。
【權利要求】
1.一種檢測虛擬鍵的激活的計算機實現的方法，包括: 由計算設備確定在所述計算設備的觸控螢幕處檢測到的拇指接觸的位置； 由所述計算設備確定所述拇指接觸的區域的大小； 確定所述拇指接觸的方向； 將所述區域的大小、所述方向和所述位置與和在所述觸控螢幕處檢測到的先前接觸相關聯的數據進行比較； 基於所述比較，確定所述拇指接觸構成給定的虛擬鍵的預期激活；以及響應於所述確定，在可操作地耦接 到所述計算設備的顯示器處輸出與所述給定的虛擬鍵相關聯的字符的電子表示。
2.如權利要求1所述的方法，其中，所述給定的虛擬鍵是空格鍵。
3.如權利要求1所述的方法，進一步包括檢測所述觸控螢幕上的拇指接觸的紋理，其中，所述比較進一步包括將所述紋理與歷史數據進行比較。
4.如權利要求3所述的方法，其中，檢測所述觸控螢幕上的拇指接觸的紋理包括檢測與所述拇指接觸相關聯的指紋皺摺。
5.如權利要求1所述的方法，其中，所述輸出包括將空格字符輸出到鍵盤緩衝器。
6.如權利要求1所述的方法，其中，所述輸出包括將空格字符輸出到應用。
7.如權利要求1所述的方法，其中，檢測方向包括檢測所述觸控螢幕上的所述拇指接觸的最大直徑。
8.如權利要求7所述的方法，其中，檢測方向包括確定包括所述最大直徑的線段的方向。
9.如權利要求1所述的方法，其中，在所述觸控螢幕處檢測到的拇指接觸並不是在與所述虛擬空格鍵相關聯的觸控螢幕的區域處檢測到的。
10.如權利要求1所述的方法，其中，檢測區域的大小包括確定拇指接觸的質心和在所述觸控螢幕處檢測到的拇指接觸的半徑。
11.如權利要求1所述的方法，進一步包括向所述區域的大小、方向和位置中的每一個分配可能性分值。
12.如權利要求1所述的方法，其中，所述比較包括使用貝葉斯統計進行比較。
13.如權利要求1所述的方法，其中，所述比較包括使用最大可能性測試。
14.一種用於檢測虛擬鍵的激活的系統，包括: 觸控螢幕，所述觸控螢幕被配置成顯示鍵盤的表示；以及 計算設備，所述計算設備通信地耦接到所述觸控螢幕，其中，所述計算設備被配置成:至少部分基於I)在所述觸控螢幕處檢測到的拇指接觸區域的位置、大小和方向，以及2)與在所述觸控螢幕處檢測到的先前接觸相關聯的數據，來計算信息； 基於所述信息，確定所述拇指接觸構成所述虛擬鍵的預期激活；以及 在所述觸控螢幕上顯示與所述虛擬鍵相關聯的字符的電子表示。
15.如權利要求14所述的系統，其中，所述虛擬鍵是下述中的一個: 空格鍵；以及 輸入鍵。
16.如權利要求14所述的系統，其中，所述計算設備被進一步配置成檢測下述中的一個: 在所述觸控螢幕檢測處到的拇指接觸區域的紋理；以及 在所述觸控螢幕處檢測到的拇指接觸區域的指紋皺摺。
17.如權利要求14所述的系統，其中，所述計算設備被進一步配置成將所述字符的所述電子表示輸出到鍵盤緩衝器。
18.如權利要求14所述的系統，其中，所述計算設備被進一步配置成檢測在所述觸控螢幕處檢測到的拇指接觸區域的最大直徑。
19.如權利要求18所述的系統，其中，所述計算設備被進一步配置成檢測包括在所述觸控螢幕上的拇指接觸區域的最大直徑的線段的方向。
20.如權利要求14所述的系統，其中，所述拇指接觸區域不包括所述觸控螢幕的與虛擬空格鍵相關聯的一部分。
21.如權利要求14所述的系統，其中，所述計算設備被進一步配置成檢測在所述觸控螢幕處檢測到的拇指接觸區域的質心和半徑。
22.如權利要求14所述的系統，其中，所述計算設備被進一步配置成向所述區域的大小、所述方向和所述位置中的每一個分配可能性分值。
23.如權利要求1
24.如權利要求14所述的系統，其中，所述信息包括最大可能性測試的輸出。
25.—種處理器可讀介質，存儲表示當由所述處理器執行時使處理器實現下述步驟的指令的代碼: 確定在計算設備的觸控螢幕處檢測到的拇指接觸的位置； 確定所述拇指接觸的區域的大小； 確定所述拇指接觸的方向； 至少部分基於所述區域的所述大小、所述方向和所述位置與和在所述觸控螢幕處檢測到的一個或多個先前接觸相關聯的數據的比較，來計算比較信息； 基於所述比較信息，確定所述拇指接觸構成給定的虛擬鍵的預期激活；以及 發送被配置成使可操作地耦接到所述計算設備的顯示器輸出與所述給定的虛擬鍵相關聯的字符的電子表示的信號。
【文檔編號】G06F3/041GK104081328SQ201380006911
【公開日】2014年10月1日 申請日期:2013年1月25日 優先權日:2012年1月27日
【發明者】翟樹民 申請人:谷歌公司