用於輸入與多輸入目標相關聯的一個或多個輸入的系統和方法與流程

2023-05-14 22:03:47 12

本發明涉及與電子設備的多輸入目標相關的輸入選項的輸入，在一個具體實施例中，涉及與鍵盤上多字符鍵相關聯的一個或多個字符的輸入。

背景技術：

諸如行動電話或平板電腦的電子設備的已知用戶接口包括按鍵，代表多個字符或多個字符變體，其中，多個字符或字符變體可以用於用戶選擇以將所希望的字符或字符變體輸入到設備中。用戶能夠通過在與多個字符或字符變體相關的按鍵上或跨所述按鍵執行一個或多個手勢來選擇他們希望輸入的字符或字符變體。

圖1a-c中顯示了已知的用於輸入所希望的字符變體的多輸入目標的示例。圖1a顯示了包括QWERTY鍵盤布局的用戶接口的屏幕截圖。在圖1b中，如果用戶按住「a」鍵，為用戶呈現用於該鍵的字符變體的列表『@，á，à』。用戶能夠通過將他們的手指拖動到所希望的字符變體來選擇所希望的字符變體，其中，全圓圈圖形表示用戶手指在屏幕上的位置。用戶能夠通過釋放他們的手指來輸入所選擇的變體(「拖動-抬起」方案)，其中，圖1c顯示了所希望的字符變體「à」的選擇。代替結束在字符鍵上的手勢，用戶接口可以被配置為接受所希望字符變體的一維指示，例如用戶可以在字符變體行的下面拖動橫向穿過屏幕來選擇所希望的字符變體。

圖2a-c中顯示了用於輸入日文字符的已知的用於輸入所希望的字符的多輸入目標的示例，儘管這個已知的輸入方法適合於任何語言，尤其適合於具有多於27個字符的語言(即，不是用於QWERTY布局的)。這個已知的輸入方法適合於諸如印地語的印度語，以及中文、韓文或任何其他語言，其中，中文字符或符號用於書寫，也可以用於表情符號或表情圖標的選擇和輸入。圖2a例示了用戶接口，包括用於拖動-抬起方案的12個按鍵布局，用以輸入日文字符。圖2b顯示了字符選項，一旦用戶選擇了代表這些字符的多字符鍵，例如通過按住多字符鍵，可用於用戶選擇。在圖2c中，用戶能夠通過將他們的手指拖動到他們希望輸入的字符來選擇所希望的字符，用以選擇該字符，在該點他們中止與觸控螢幕的接觸以輸入所選字符。如果用戶觸摸多字符鍵，但沒有執行拖動-抬起動作來選擇字符，特定字符可以選擇為輸入的默認字符。

圖3a-c中顯示了用於輸入日文字符的藉助拖動-抬起手勢選擇並輸入所需字符選項的可替換的用戶接口(儘管這個用戶接口同樣適用於其他語言)。如圖3a所示，鍵盤包括12個多字符鍵，與圖2a中所見的相同。一旦通過按住按鍵而選擇了鍵盤的多字符鍵，就為用戶呈現與該多字符鍵相關的字符選項(如圖3b所示)。通過拖動來選擇所希望的字符鍵，並且一旦選擇了該字符鍵就中止與屏幕的接觸(「抬起」)，可以輸入該字符。圖3c顯示了通過執行拖動到右側來選擇右側鍵，並在選擇了該鍵後中止與屏幕的接觸來選擇字符。如圖3c中所見的，拖動以選擇字符不表示用戶手指必須在顯示的字符鍵上終止，但拖動的方向和長度足以選擇該字符鍵。

包括上述用戶接口的電子系統提供了用於允許用戶從藉助多字符鍵可用於用戶選擇的多個字符或字符變體輸入所需字符或字符變體的手段。但在上述系統中，所選輸入是確定的，因為如果用戶選擇了輸入選項，它就是輸入的輸入選項，不管他們是否實際上打算輸入該所選選項，例如用戶可能在錯誤方向上拖動或在拖動-抬起手勢中過快地抬起他們的手指。

用戶可以選擇選項來輸入到設備中的準確度取決於多個因素，例如一個或多個以下因素可以影響用戶從多個選項選擇的準確度：他們選擇所希望的輸入選項所花費的時間，在他們做出選擇時是否分心(例如因為他們在選擇選項時在行走或說話)，輸入選項的用戶接口布局，選擇選項所需的手勢，可達性(例如手穩定性，手指長度)，所用的設備(例如物理屏幕尺寸)，用戶的習慣(例如總是觸摸按鍵中心上方)等。

在當前系統中，不存在基於用戶從多個輸入選項選擇輸入選項的錯誤校正，即，沒有對用戶選擇事件建模以考慮用戶錯誤。缺少相對於選擇事件的錯誤建模會導致不太準確的輸入，這可能導致令人沮喪的用戶體驗。

錯誤輸入的字符可以藉助語言建模來糾正。例如，如果用戶輸入了以前沒有見過的字符序列，就可以將該字符序列糾正為已知詞語的語言模型或字典已知的序列。但字符的糾正基於語言建模，不基於用戶的選擇事件。首先或可替換地，在用戶選擇事件的糾正，可以使得文本預測更為準確，因為系統可以考慮更多數量的輸入。通過糾正用戶選擇事件，可以提供用戶預期輸入的更準確或可替換的預測，其中，該輸入不是通過語言建模來模擬的，例如在輸入表情符號時。

從多字符鍵選擇字符輸入的另一個已知的方式是多輕敲方案。每一個按鍵代表多個字符，如圖2a和圖3a的12個多字符鍵所示的。為了輸入所希望的字符，用戶通過對按鍵輕敲所希望的次數而在可用字符選項中循環。如果用戶快速連續地輕敲，用戶能夠在字符中循環以選擇所希望的字符。為了輸入所選字符並移動以輸入下一個字符，用戶必須等待直到預定時間期間(從選擇所希望字符來輸入開始)過去。圖6a例示了用於這個多輕敲方案的概率函數P(t)，其中，例如，預定時間期間設定為450ms。如從圖6a所見的，概率函數P(t)是階躍函數，其中，概率函數表示用戶打算輸入新字符的概率(而不是改變現有的)。如果還沒有超過在兩個特定輕敲之間的預定時間期間，那麼就切換所選字符。但如果自從最後的鍵按下後已經過去了預定時間期間，就輸入對應於最後的鍵按下的字符，新的字符輸入序列開始。因而，在輸入選項相互區分中經過的時間是確定的。例如，如果用戶輕敲ぁ鍵，隨著輕敲繼續，用戶在ぁ、ぃ、ぅ、ぇ、ぉ中選擇來輸入。如果用戶想要輸入兩個字符，二者都從相同的按鍵輸入，例如「ぁぁ」，在敲擊第二個字符「ぁ」之前，用戶就必須等待從敲擊第一該字符「ぁ」開始的時間經過預先確定的閾值。用於選擇字符的多輕敲方案適合於任何語言，當前在世界各地都用於在行動電話上輸入文本。

這個多輕敲方案的高級用戶被迫使等待，即使他們可以更快地輕敲，而初學者可能在輸入字符時有困難，因為他們不能足夠快地輕敲以改變字符而不是輸入新的字符。這可能導致令人沮喪和緩慢的輸入文本的方法。

本發明的目的是解決一個或多個上述問題。

技術實現要素：

在本發明的第一方面，提供了一種系統，包括用戶接口，所述用戶接口包括與可用於用戶選擇輸入的多個輸入選項相關的多輸入目標。用戶接口被配置為：在接收第一用戶選擇事件後選擇多輸入目標；在接收第二用戶選擇事件後選擇多個輸入選項的輸入，其中，所述第二用戶選擇事件與所述第一用戶選擇事件在空間上分離。系統進一步包括預測引擎，其中，所述預測引擎被配置為基於所述第二用戶選擇事件，確定用戶意圖選擇多個輸入中除了所選輸入以外的輸入的概率。

優選地，所述預測引擎被配置為基於所述第一用戶選擇事件和所述第二用戶選擇事件來確定用戶意圖選擇多個輸入中除了所選輸入以外的輸入的概率。

優選地，所述預測引擎被配置為使用所述第一用戶選擇事件的位置和所述第二用戶選擇事件的位置來確定所述概率。

在優選實施例中，所述第一用戶選擇事件對應於第一輕敲或拖動-抬起手勢的開始，所述第二用戶選擇事件對應於第二輕敲或拖動-抬起手勢的抬起。預測引擎可以被配置為確定在所述第一和第二用戶選擇事件的位置之間的距離和方向。

預測引擎優選地包括用於多個輸入的每一個輸入的4D概率分布模型。預測引擎可以通過藉助第一和第二位置或者藉助第一位置與在第一和第二位置之間的距離和方向來查詢與該輸入相關的模型，而確定用戶意圖選擇多個輸入中的輸入的概率。該模型可以是4D高斯模型。

在一個實施例中，第一用戶選擇事件對應於輕拂手勢的開始，第二用戶選擇事件對應於所述輕拂手勢的結束。預測引擎被配置為確定從開始位置到結束位置的輕拂方向；及基於輕拂的開始位置和方向確定用戶意圖選擇多個輸入中的輸入的概率。

預測引擎可以被配置為為多個輸入選項的每一個生成用戶意圖選擇給定輸入選項的概率。

用戶接口可以包括多個多輸入目標，預測引擎可以被配置為基於第一選擇事件確定用戶意圖選擇所選多輸入目標的概率。

響應於所述第一用戶選擇事件，用戶接口可以被配置為空間上分離地顯示多個輸入選項。

預測引擎優選地包括多個模型，每一個用於多個輸入中的一個輸入選項，其中，每一個模型將對應於多個輸入中的輸入的在前第一和第二用戶選擇事件關聯於該輸入，其中，預測引擎被配置為結合多個模型，生成第一和第二用戶選擇事件與多個輸入的特定輸入相關的概率。

多輸入目標可以是虛擬鍵盤上代表多個字符輸入選項的多字符鍵。

在本發明的第二方面，提供了一種系統，包括用戶接口，所述用戶接口包括與可用於用戶選擇輸入的多個輸入選項相關的多輸入目標。用戶接口被配置為：在接收針對多輸入目標的第一用戶選擇事件後，識別多個輸入選項的第一輸入；在接收針對多輸入目標的第二用戶選擇事件後，將識別的輸入從第一輸入改變為多個輸入選項的第二輸入。系統包括預測引擎，其中，所述預測引擎被配置為確定在第一和第二用戶選擇事件之間經過的時間；確定經過的時間小於預先確定的閾值；及基於所述經過的時間確定用戶意圖選擇所述第二輸入的概率和用戶意圖輸入所述第一輸入並隨後再次選擇第一輸入的概率。設定預先確定的閾值以使得如果所述經過的時間大於預先確定的閾值，所述第一輸入以概率1輸入到系統中，並再次選擇所述第一輸入。

多輸入目標優選地是虛擬鍵盤上代表多個字符輸入選項的多字符鍵。

所述第一用戶選擇事件對應於在多字符目標上的第一輕敲，其選擇所述第一輸入，所述第二用戶輸入事件對應於在多字符目標上的第二輕敲，其將所選輸入改變為所述第二輸入。

在所述第一用戶選擇事件與所述預先確定的閾值之間的概率可以藉助S形函數建模。S形函數可以採取的形式，其中，P是用戶意圖輸入第二輸入的估計概率，t是在第一和第二用戶選擇事件之間經過的時間，tp＝0.5是在建模的S形概率分布中概率等於0.5的經過時間。

在本發明的第三方面，提供了一種方法，使用預測引擎確定用戶意圖選擇用戶接口的輸入的概率，所述用戶接口顯示藉助多輸入鍵可用的多個輸入選項。方法包括藉助所述用戶接口接收第一用戶選擇事件以選擇多輸入目標；藉助所述用戶接口接收第二用戶選擇事件以選擇顯示的多個輸入選項的輸入，其中，所述第二用戶選擇事件與所述第一用戶選擇事件在空間上分離；及基於所述第二用戶選擇事件，確定除了所選輸入概率以外用戶意圖選擇多個輸入中的輸入的概率。

概率優選地基於所述第一用戶選擇事件和所述第二用戶選擇事件來確定。概率優選地使用所述第一用戶選擇事件的位置和所述第二用戶選擇事件的位置來確定。

優選地，所述第一用戶選擇事件對應於第一輕敲或拖動-抬起手勢的開始，所述第二用戶選擇事件對應於第二輕敲或拖動-抬起手勢的抬起。

方法可以包括確定在所述第一和第二用戶選擇事件的位置之間的距離和方向。

預測引擎優選地包括用於多個輸入的每一個輸入的4D概率分布模型。確定用戶意圖選擇多個輸入中的輸入的概率可以包括藉助第一和第二位置或者藉助第一位置與在第一和第二位置之間的距離和方向查詢與該輸入相關的模型。該模型可以是4D高斯模型。

第一用戶選擇事件對應於輕拂手勢的開始，第二用戶選擇事件對應於所述輕拂手勢的結束。在此情況下，方法包括使用預測引擎確定輕拂的方向，及使用輕拂的開始位置和方向確定用戶意圖選擇多個輸入中的輸入的概率。

方法可以包括為多個輸入選項的每一個確定用戶意圖選擇給定輸入選項的概率。

用戶接口可以包括多個多輸入目標，使用預測引擎的確定可以進一步包括基於第一選擇事件確定用戶意圖選擇所選多輸入目標的概率。

預測引擎可以包括多個模型，每一個用於多個輸入中的一個輸入選項，其中，每一個模型將對應於多個輸入中的輸入的在前第一和第二用戶選擇事件關聯於該輸入，其中，預測引擎被配置為結合多個模型，生成第一和第二用戶選擇事件與多個輸入的特定輸入相關的概率。

在本發明的第四方面，提供了一種方法，使用預測引擎，基於在用戶接口上的第一用戶選擇事件和第二用戶選擇事件，確定用戶意圖選擇兩個輸入選項之一的概率，其中，用戶接口包括與可用於用戶選擇輸入的多個輸入選項相關的多輸入目標。方法包括藉助用戶接口接收針對多輸入目標的第一用戶選擇事件，以識別多個輸入選項的第一輸入；藉助第二用戶接口接收針對多輸入目標的第二用戶選擇事件，以將識別的輸入從第一輸入改變為多個輸入選項的第二輸入。方法進一步包括使用預測引擎確定在第一和第二用戶選擇事件之間經過的時間；使用預測引擎確定經過的時間小於預先確定的閾值；及基於所述經過的時間確定用戶意圖選擇所述第二輸入的概率和用戶意圖輸入所述第一輸入並隨後再次選擇第一輸入的概率。設定預先確定的閾值以使得如果所述經過的時間大於預先確定的閾值，所述第一輸入以概率1輸入到系統中，並再次選擇所述第一輸入。

多輸入目標可以是虛擬鍵盤上代表多個字符輸入選項的多字符鍵。

所述第一用戶選擇事件可以對應於在多字符目標上的第一輕敲，其選擇所述第一輸入，所述第二用戶輸入事件對應於在多字符目標上的第二輕敲，其將所選輸入改變為所述第二輸入。

在所述第一用戶選擇事件與所述預先確定的閾值之間的概率可以藉助預測引擎建模為S形函數。S形函數可以採取的形式，其中，P是用戶意圖輸入第二輸入的估計概率，t是在第一和第二用戶選擇事件之間經過的時間，tp＝0.5是在建模的S形概率分布中概率等於0.5的經過時間。

在本發明的第五方面，提供了一種電腦程式產品。包括計算機可讀介質，具有存儲於其上的電腦程式模塊，用於使得處理器執行上述的任意一項方法。

附圖說明

現在將參考附圖詳細說明本發明，在附圖中：

圖1a-c例示了用於輸入字符變體的已知的用戶接口，其中，用戶通過在QWERTY鍵盤上選擇字符來調出用於該字符的字符變體，並應用拖動-抬起手勢來選擇所希望的字符變體而輸入字符變體；

圖2a-c例示了包括12個多字符鍵的已知用戶接口，其中，用戶能夠通過選擇按鍵來調出該按鍵的字符選項並應用拖動-抬起手勢來選擇所希望的字符；

圖3a-c例示了包括12個多字符鍵的已知用戶接口，其中，用戶能夠通過選擇按鍵來調出該按鍵的字符選項並應用拖動-抬起手勢來選擇所希望的字符；

圖4例示了高斯分布，其可以用於對點分布建模，例如按鍵上的觸摸手勢；

圖5是用於選擇字符選項的示例性面板顯示，例示了可以確定概率的方式；

圖6a例示了階躍概率函數，用於以已知的多輕敲方案確定是要改變字符，還是輸入新的字符；

圖6b例示了根據本發明的概率函數，用於以根據本發明的多輕敲方案確定用戶意圖改變現有字符或者輸入新的字符的概率。

圖7a是用於拖動-抬起手勢的概率分布，例示了相對於在開始位置與抬起位置之間的距離的拖動-抬起手勢的概率；

圖7b是用於輕拂手勢的概率分布，例示了相對於在輕拂的開始位置與抬起位置之間的距離的輕拂手勢的概率；

圖8是本發明的第一方法的流程圖；

圖9是本發明的第二方法的流程圖。

具體實施方式

本發明提供了用於對用於從多個輸入選項選擇輸入的用戶選擇事件中的錯誤建模的系統和方法。具體而言，系統和方法預測用戶意圖選擇除了由選擇事件所選擇的以外的輸入選項，使得除了由用戶選擇事件所選擇的以外的輸入選項能夠輸入到系統中的可能性。

一般地，根據本發明的系統包括用戶接口和預測引擎。用戶接口可以是任何適合的模塊，用於允許用戶與系統交互來從與多輸入目標相關的多個輸入選項選擇所希望的輸入選項，並將該所希望的輸入輸入到系統中。例如，用戶接口可以包括滑鼠，使得用戶能夠從顯示器選擇項目，或者用戶接口可以包括模塊，用以追蹤眼/手/臂移動，以允許用戶使用眼/手/臂運動選擇由系統顯示的對象。在本系統的優選實施例中，用戶接口包括顯示器和處理電路，處理電路被配置為在顯示器上顯示目標和輸入選項，用於用戶藉助用戶選擇事件選擇。根據示例性實施例，系統是行動電話、平板電腦或計算機中的一個，用戶接口是觸控螢幕顯示器，其顯示用於用戶選擇的對象，並通過觸摸顯示器接收用戶輸入選擇事件。

用戶選擇事件是任何事件，用戶藉助它選擇用戶接口的對象，包括從顯示的多個多輸入目標中的多輸入目標的用戶選擇，和從多個輸入選項中的輸入選項的用戶選擇。選擇事件可以以任何適合的方式執行。在優選實施例中，選擇事件對應於觸控螢幕上或橫跨觸控螢幕的手勢。手勢可以包括由手指或適合的指示物體執行的以下的一個或多個：單擊或輕敲、橫跨觸控螢幕的划動或拖動和輕拂。「第一用戶選擇事件」和「第二用戶選擇事件」可以是相同手勢的部分。作為非限制性示例，輕拂移動的開始可以對應於第一用戶選擇事件，因為這個開始位置選擇多輸入目標，輕拂的結束(即用戶中止與屏幕的接觸的點)可以對應於第二用戶選擇事件，因為於是可以確定輕拂的方向以選擇輸入選項。對於拖動-抬起手勢，第一用戶選擇事件可以是拖動的開始位置，第二用戶選擇事件可以是用戶中止與屏幕的接觸的位置。因而，第一用戶選擇事件和第二用戶選擇事件意圖包含相同手勢的部分，以及分離的手勢(例如空間上分離的兩個或多個輕敲)。

與用於用戶選擇的多個輸入選項相關的多輸入目標可以對應於用戶想要輸入的任何適合的輸入。在優選實施例中，多輸入目標是多字符目標，其顯示多個字符選項，可用於用戶選擇並輸入到設備中。術語「字符」旨在涵蓋任何字母、數字、常用標點符號(例如「.」或「-」)、空格和書面語言中使用的符號，例如中文、日文、韓文、印度文或任何其他語言中使用的任何符號。在本發明的環境下，「字符」還涵蓋字符變體，例如à。

但本發明的系統的其他實施例可以包括多圖像目標，代表多個圖像，例如食品表情符號鍵，其允許用戶選擇相關食品表情符號，或者表情圖標或面部表情符號鍵，其允許用戶選擇反映用戶希望傳達的情緒的表情圖標/表情符號，等。因而可以設想用戶可能希望藉助多輸入目標輸入除了文本以外的數據。

來自多輸入目標中可用於輸入的輸入選項優選地在選擇目標時顯示在顯示圖案中。在一個實施例中，顯示器包括對應於輸入選項的一組按鍵，用於用戶選擇對應於他們希望的輸入選項的按鍵。但在可替換的實施例中(例如多輕敲方案)，多輸入目標可以在目標上顯示可用的選項，在按下時不在顯示圖案中顯示選項。

由以上說明會理解，在本發明的優選實施例中，多輸入目標是觸控螢幕的虛擬鍵盤上的多字符鍵。

預測引擎是任何模塊，其能夠基於用戶選擇事件生成概率估計，例如基於虛擬鍵盤上的手勢的位置、手勢的形狀、手勢的長度、執行手勢的時間量、在選擇事件之間經過的事件、在用於該用戶和該輸入選項的當前選擇事件與在前選擇事件之間的比較等中的一個或多個。在本發明的一個實施例中，預測引擎包括多個模型，用於模擬可用輸入選項。

作為非限制性示例，針對背景技術中說明的已知輸入方案說明本發明的特定錯誤校正實施方式，論述了多個可替換的實施方式。但本發明的系統和方法不限於這些示例，可以應用於需要兩個用戶選擇事件的從多輸入目標中的輸入選項的任何類型的用戶選擇。

拖動-抬起手勢

如在背景技術部分中所述的，響應於第一用戶選擇事件，對應於多字符鍵的按下(或按下並保持)，用戶接口顯示可用於用戶藉助一組字符鍵選擇的字符選項(圖2b和3b中顯示的示例)。用戶能夠通過橫跨屏幕拖動他們的手指選擇所需字符鍵來選擇顯示的一個字符選項(如圖2c和3c中所示的)。在用戶接口上選擇了所希望的鍵(其可以由高亮的鍵來指示)時，如圖2c和3c中所示的，用戶可以抬起他們的手指以中止與屏幕的接觸並輸入該所選鍵的字符。

在本發明的系統中，預測引擎被配置為對拖動-抬起手勢建模以確定用戶意圖藉助該手勢選擇給定字符選項的概率。預測引擎被配置為確定多個輸入選項的概率，例如預測引擎被配置為確定用戶意圖選擇輸入選項的概率，其中，該輸入選項不是由用戶的手勢在用戶接口上選擇的輸入選項。因而，用戶選擇事件不是確定性的，對選擇事件中的錯誤建模。

在本發明的優選實施例中，預測引擎被配置為將拖動-抬起手勢建模為四位分布。預測引擎採用來自拖動-抬起手勢的兩組坐標作為建模的輸入：1)開始點(x1,y1)，其中，用戶第一次接觸以選擇多字符鍵；及2)結束點(x2,y2)，其中，用戶抬起他們的手指以中止與屏幕的接觸。

在一個實施例中，預測引擎確定相對坐標(x2-x1,y2-y1)，以確定拖動-抬起手勢的距離d和方向Θ(相對於給定軸定義的)。但兩組坐標還可以用於建模，因為它們編碼了方向和距離信息。由在拖動-抬起手勢的開始點與結束點之間的直線來確定拖動的距離和方向。對於更複雜的路徑，可以遵循相同的方案，其中，手勢的開始位置和結束位置可以視為輸入，忽略中間路徑。

預測引擎包括模型4D概率密度分布，用於給定多字符鍵的每一個字符選項。在一個實施例中，字符選項顯示在用於每一個多字符鍵的相同顯示圖案中，預測引擎存儲與用於多字符鍵的字符選項一樣多的模型。但由於一些多字符鍵在按下時比其他的更為不方便(取決於手在設備上的位置等)，到多字符鍵的字符鍵的拖動-抬起手勢可以具有與到不同多字符鍵上的相應字符鍵的拖動-抬起手勢不同的圖案，即使多字符鍵顯示字符鍵的相同圖案。預測引擎因而可以包括多個模型，對應於用於每一個多字符鍵的每一個字符鍵的一個模型。

在優選實施例中，4D概率密度分布建模為多變量高斯分布，在也可以使用其他4D分布，例如拉普拉斯或伽瑪分布，或馮米塞斯分布，其等價於變換為循環變量的高斯分布。

對於每一個拖動-抬起輸入，概率生成器查詢對應於相關多字符鍵的每一個字符選項的每一個高斯分布(藉助拖動-抬起參數x1、y1、d、Θ)以返回高斯概率密度函數，求在參數x1、y1、d、Θ的值，從而提供用戶是否意圖藉助手勢選擇該字符的概率估計。

概率生成器因此能夠為多字符鍵的每一個字符選項確定概率估計。但可以應用適合的刪減，例如為每一個拖動-抬起輸入取具有最高概率的N個字符。

在可替換的簡化實施例中，預測引擎被配置為基於用戶中止與觸控螢幕的接觸的位置，生成用於預期字符輸入的預測，即僅基於第二選擇事件生成預測，忽略拖動手勢的距離和方向。例如，預測引擎可以被配置為使用2D高斯分布來建模點分布(參加圖4)，將中止接觸發生的位置的坐標視為輸入；或者通過比較在中止接觸發生的位置到字符鍵的中心或者到穿過鍵的線之間的距離等，來確定用戶意圖選擇特定字符鍵的概率。圖5例示了預測引擎如何基於從中止接觸(由星號表示)到穿過鍵的中心的線的距離(其中，距離S1、S2是在垂直於中心線I1、I2的方向上的距離)來確定概率。在這些簡化模型中，拖動-抬起手勢的開始點與結束點被認為是獨立的。

簡化模型需要較少的計算，但不太準確。通過考慮距離和方向，預測引擎能夠提供用戶預期輸入的更準確的預測。

在可替換的實施例中，基於輸入選項的一維選擇，例如從單行字符中選擇字符(其中，沿字符行的在第一選擇事件與第二選擇事件之間的距離是感興趣的唯一距離，例如參考圖1a-c針對字符變體所述的)，預測引擎可以被配置為將拖動-抬起手勢建模為2D高斯函數，將開始位置x1和結束位置x2視為輸入，或者將開始位置x1與在位置x1、x2之間的距離d視為輸入，以確定用戶意圖輸入字符選項的概率。根據上述的較簡單的模型，預測引擎可以僅考慮中止點位置，基於在中止點位置與鍵的中心之間的不同距離來確定概率。

多輕敲(空間上分離開的)

響應於第一用戶選擇事件，對應於在多字符鍵上的輕敲，用戶接口顯示可用於藉助一組字符鍵選擇的選項(圖2b中顯示的示例)。用戶能夠通過輕敲所希望的字符(無需追蹤在輕敲位置之間的路徑)來選擇顯示的一個字符選項。

與拖動-抬起方案相同的方案可以應用於多輕敲方案，其中，第一輕敲與第二輕敲的位置可以以相同的方式認為是拖動開始的位置與在拖動結束時中止與觸控螢幕的接觸的位置。因而，預測引擎可以將雙輕敲輸入建模為4D分布，將第一輕敲位置(x1,y1)與第二輕敲位置(x2,y2)視為輸入(或將x1、y1、d、Θ視為輸入)以確定概率。

此外，同樣如上指出的，簡化模型可以由預測引擎用於與第一輕敲位置無關地建模第二輕敲位置，例如使用2D高斯分布來建模點分布，將第二輕敲的2D位置視為輸入，或者通過比較在第二輕敲的位置到字符鍵的中心或者到穿過鍵的線之間的距離等。

輸入選項的一維選擇也可以應用於雙輕敲方案，其中，第一次和第二輕敲的位置視為2D高斯函數的輸入，或者較簡單的方案，其中，概率基於在第二輕敲位置與字符鍵的中心之間的距離。

輕拂手勢

除了拖動-抬起手勢或雙輕敲來從多字符鍵選擇字符以外，如上所述，用戶接口可以被配置為接受輕拂手勢以選擇輸入選項。在本申請的環境中，輕拂手勢是由開始點和定向移動組成的手勢。不強迫用戶將輕拂延伸到所希望的輸入字符來選擇該字符；移動的方向足以指示所希望的字符。

如上所述，響應於第一用戶選擇事件，對應於多字符鍵的按下(或按下並保持)，已知用戶接口顯示可用於用戶藉助一組字符鍵選擇的字符選項(圖3b中顯示的示例)。儘管按照多字符鍵的初始觸摸來顯示字符輸入選項來說明，但用戶接口的這個設計不是必須的，例如多字符鍵可以藉助多字符鍵上指示的用於他們的選擇的方向而顯示可用字符選項。

通過在他們希望輸入的字符的方向上輕拂，用戶能夠輸入他們所希望的字符。

用戶意圖藉助輕拂手勢選擇特定字符的概率可以基於輕拂的開始點與相比於字符鍵的已知方向的輕拂方向來建模。因而，多個字符選項的每一個字符鍵都可以建模為3D分布，具有變量x、y、Θ，其中，坐標x，y表示輕拂手勢的開始的觸摸位置(即，「第一用戶選擇事件」)，Θ表示從這個觸摸位置到按鍵的輕拂角度(相對於給定軸定義的)。

通過得到與開始位置間隔開的輕拂的第二位置(「第二用戶選擇事件」)來確定輕拂的方向，其中，該第二位置優選地是輕拂的結束，用戶在此中止與屏幕的接觸。

預測引擎得到參數x、y、Θ，並為每一個按鍵確定(通過藉助參數查詢3D概率密度分布)用戶意圖藉助輕拂手勢選擇該按鍵的概率。

在優選實施例中，3D分布是多變量高斯分布。但可以使用任何適合的3D分布，包括馮米塞斯分布，其等價於變換為循環變量的高斯分布。

這是簡單的模型(相對於拖動-抬起手勢的4D模型)，其沒有考慮輕拂的距離。但這個簡單的模型對於許多用戶接口是足夠的，例如，沒有字符的角度的含混性的用戶接口，即沒有以一定距離相互間隔開但沿著相同的角度方向的多個字符的用戶接口。

這個方案的優點是優於考慮距離以及方向的方案的簡化的計算。但該方案通常不太準確。

例如，參考圖5，用戶從中心開始位置徑向移動得越遠，兩個輸入選項就越易於區分，因為到鍵的中心的距離增大。因此，通過考慮手勢的距離以及開始位置和角度，預測引擎能夠更準確地預測用戶的預期輸入選項。

建模多輸入目標的選擇以及從該多輸入目標中的輸入選項的選擇

如上所述，預測引擎被配置為建模從多個輸入選項中的輸入選項的選擇，以確定用戶意圖從多個輸入選項中選擇特定輸入選項的概率，多個輸入選項中的一個是實際上由用戶選擇的。

本發明的預測引擎可以被配置為將校正建模提供給多字符鍵的選擇，以及從多字符鍵中的字符的選擇。因而，預測引擎被配置為預測用戶意圖從除了實際上選擇的多字符鍵以外的多字符鍵中輸入字符的概率。每一個多字符鍵都可以藉助以按鍵為中心的2D高斯分布(或任何2D分布)來建模。對應於特定多字符鍵的選擇的觸摸位置可以視為輸入以返回用戶意圖選擇該鍵的概率(藉助查詢高斯模型)。可替換地，可以確定從選擇事件的觸摸位置到多輸入目標的中心的距離以提供相關概率值。選擇事件的觸摸位置可以對應於雙輕敲方案的第一輕敲，拖動-抬起手勢的開始或者輕拂手勢的開始。

在這個實施例中，預測引擎被配置為將用戶意圖選擇多字符鍵的字符的概率確定為P(字符鍵∣目標鍵)*P(目標鍵)，其中，P(字符鍵∣目標鍵)是給定特定目標鍵情況下用戶意圖選擇特定字符鍵的概率(例如由4D高斯方案確定)，P(目標鍵)是所選目標鍵是預期的鍵的概率，其可以由2D高斯建模來確定。

預測引擎因此能夠確定用戶意圖藉助手勢選擇特定字符鍵的概率，並為其他多字符鍵選項確定按鍵所對應的字符。

建模在前用戶輸入

除了以上內容，預測引擎可以被配置為基於用戶與鍵盤的多目標鍵和字符鍵的歷史交互來對選擇事件中的錯誤建模，即對用戶在給定字符鍵的特定顯示情況下如何選擇特定字符鍵建模和/或對用戶如何選擇多字符鍵建模。

題為「USER INPUT PREDICTION」的WO 2012/156686說明了一種系統，其適應於用戶並學習用戶輸入文本的方式。通過對用戶與系統的歷史交互建模，WO 2012/156686的系統能夠在給定輸入事件時更準確地預測用戶意圖輸入哪個字符。相同的歷史交互建模可以應用於用於對用戶從多輸入目標中選擇輸入選項中的錯誤建模的系統和方法，如上所述。具體而言，相同的歷史交互建模可以用於確定用戶意圖選擇所選多輸入目標和/或所選輸入選項的概率，其中，這些概率基於與一個或多個用戶選擇事件相關的觸摸位置。為此，將於2012年11月22日公開的題為「USER INPUT PREDICTION」的WO 2012/156686通過參考整體上併入本文中。

在第14頁第11-19行，WO 2012/156686提供了系統的示例，其中，給定輸入事件，輸入概率生成器為每一個目標c生成用戶意圖藉助輸入事件選擇該目標的概率p(x∣c,M)。為了生成用於給定目標的概率值，輸入概率生成器查詢用於該目標的模型，以返回模型參數μc、Σc的當前MAP估計。輸入概率生成器隨後使用模型參數來計算在輸入位置x求得的高斯概率密度函數G(x；μ,Σ)的值。

在本發明的環境中，「輸入事件」可以對應於兩個位置，代表用於用戶從多字符鍵中選擇字符的拖動-抬起手勢的開始和抬起或者雙輕敲方案的兩次輕敲。模型M是4D高斯函數，如上解釋的，用於查詢模型的參數x是x1、y1、d、Θ。因而，不是為多字符目標的每一個字符鍵使用具有固定參數的4D高斯函數，預測引擎使用具有隨該鍵的用戶選擇而變化的參數的4D高斯函數。

類似地，預測引擎可以被配置為對用戶藉助輕拂手勢對按鍵的在前選擇建模，以使得預測引擎提供概率估計，其考慮了用戶對於給定按鍵的輕拂方式。這在特定輕拂方向對於用戶是不方便的情況下是有用的，結果產生了始終集中在與用於該按鍵的普通模型的方向不同的方向上的輕拂。

在獨立處理用於第一和第二用戶選擇事件的觸摸/抬起位置的簡化方案中，WO 2012/156686中論述的方案可以直接應用於藉助第一用戶輸入事件的多字符鍵的選擇和藉助第二用戶選擇事件的字符選項的選擇(其中，選擇事件獨立建模為點位置)。

WO 2012/156686(第15頁第4-22行)說明了藉助文本預測選擇的字符如何可以映射回用戶輸入事件，以獲知哪個用戶輸入事件對應於哪個字符(以更新相應的字符模型)。相同的映射方案可以應用於本文，例如用以將給定拖動-抬起手勢的參數映射到對應於用戶意圖輸入的字符的按鍵。

手勢的組合

除了以上的實施例，用戶接口可以被配置為作為選擇事件接收拖動-抬起手勢，以及輕拂手勢和/或輕敲手勢。

在這個實施例中，預測引擎可以被配置為確定用戶選擇事件對應於特定手勢的概率，以便基於手勢確定用戶意圖輸入特定字符的概率。

給定在手勢的最初開始位置與中止接觸的位置之間的距離x的情況下的拖動-抬起手勢事件的概率可以由圖7a中所示的概率函數來建模。圖7b提供了用於輕拂手勢的示例性概率函數。基於手勢是輕拂還是拖動-抬起手勢，預測引擎分別使用3D或4D高斯函數。

該方法可以用於確定用戶是意圖輕敲多輸入鍵以插入該鍵的默認輸入，還是拖動-抬起或輕拂以選擇鍵的特定輸入，因為對於從開始位置的可忽略不計的距離x，輕拂或拖動-抬起手勢的概率是極低的。如由圖7a和7b所見的，短的手勢可以被確定為輕拂手勢，較長的手勢被確定為拖動-抬起手勢，因為在選擇字符時，輕拂手勢是比拖動-抬起手勢更短的手勢。

多輕敲(以在字符中循環)

如上在背景技術部分中所述的，為了在多輕敲方案中輸入所希望的字符用戶通過輕敲按鍵所希望的次數而在可用字符選項中循環。如果用戶的輕敲是快速連續的，用戶能夠在字符中循環以選擇所希望的一個字符。如前參考圖5a解釋的，在已知的多輕敲方案中，在相同按鍵上的輕敲之間所經過的時間在輸入選項相互區分時是確定的(即，是否將所選字符改變為循環中的下一個字符，或者是否輸入所選字符並開始新的字符輸入)。

在本發明的多輕敲(字符循環)方案中，在鍵擊之間經過的時間用於提供概率估計，用於確定用戶藉助最後的鍵擊意圖輸入新的字符還是改變所選當前字符。

在本發明的優選實施例中，預測引擎被配置為將在第一輕敲(即「第一用戶選擇事件」)與預定時間期間的期滿之間的概率函數P(t)建模為S形函數。本發明的系統因此在到期時間期間之前提供了不定性(而不是實施確定性方案)，用以確定用戶通過在字符選項中循環意圖開始新的字符還是修改當前所選字符的概率。

適合的概率函數的示例是

其中，t是自從第一次鍵按下後的時間，tp＝0.5是概率函數具有0.5的值的時間，即，在此，用戶意圖在字符選擇中循環和意圖從相同的鍵開始新的字符循環的概率相等。對於圖6b所示的示例，在此，用於所經過的時間的預先確定的閾值450秒，tp＝0.5＝300ms。

因而，tp是閾值時間，超過它，預測引擎就確定第二輕敲(即第二用戶選擇事件)意圖開始新的字符循環，而不是修改現有字符循環的字符。預測引擎可以被配置為將tp朝向或遠離用於所經過時間的閾值偏置，在該閾值，用於輸入在前字符並開始新的字符序列的概率為1。這是因為用戶可以以不同速度輸入連續的輕敲。閾值經過時間可以由用戶手動改變或者可以是預設的。例如，預測引擎可以被配置為保留並可任選地更新用於每一個多字符鍵的tp值。例如，用戶可能發現一個多字符鍵在比其他的更為不方便的位置，表示該鍵的輕敲比更易達到的那些鍵在時間上間隔更寬。

因而，對於不是在時間上由等於或大於預定終止期的期間分離的兩次輕敲，存在兩個可能的輸入選項。例如，如果用戶在鍵A∣B∣C上雙輕敲，預測引擎就提供以下兩個輸入：

P(B)＝1-P(t1)

P(A,A)＝P(t1)

其中，t1是在第一次和第二輕敲之間的時間期間，P(A,A)是用戶意圖兩次輸入字符「A」的概率，P(B)是用戶意圖輸入字符「B」的概率。

在有更多的輕敲時(即大於兩次)，預測引擎考慮新的輕敲意圖是新的字符還是針對在前可選輸入的每一個的改變現有字符，例如對於鍵「A∣B∣C」的第三次輕敲：

P(C)＝(1-P(t1))*(1-P(t2))

P(B,A)＝(1-P(t1))*P(t2)

P(A,B)＝P(t1)*(1-P(t2))

P(A,A,A)＝P(t1)*P(t2)

其中，t2是在第二次和第三次輕敲之間的時間。

為了減少所需計算，預測引擎可以被配置為刪減所考慮的可能的字符輸入選項的數量。在優選實施例中，預測引擎被配置為對於每一個鍵按下，取N個最可能的候選字符。

可替換地，預測引擎可以被配置為僅保留具有高於閾值概率值的相關概率的字符，其中，閾值按照經驗設定為預定義級別或者通過使用實驗來確定或者使用設備限制來動態設定，例如存儲器或處理器的限制。

對於在字符中循環的這個多輕敲方案，假定在相同鍵上的輕敲對應於該鍵的選擇，忽略在輕敲的位置中的任何差別，因為差別通常是可忽略不計的。但如果希望的話，可以考慮用戶意圖選擇該多鍵的概率(藉助2D高斯方案)以及用戶意圖在該鍵上在字符中循環的概率，如本文所述的。

本發明還提供了相應的方法，用於使用預測引擎確定用戶意圖選擇或識別特定輸入選項的概率。

在本發明的方法的第一方面，提供了一種方法，用於使用預測引擎確定用戶意圖藉助多輸入鍵選擇顯示可用的多個輸入選項的用戶接口的輸入的概率。參考圖8，方法包括藉助用戶接口接收(10)第一用戶選擇事件，以選擇多輸入目標；藉助用戶接口接收(20)第二用戶選擇事件，以選擇顯示的多個輸入選項的輸入，其中，第二用戶選擇事件與第一用戶選擇事件在空間上分離；及基於第二用戶選擇事件，確定除了所選輸入概率以外用戶意圖選擇多個輸入中的輸入的概率。

在本發明的方法的第二方面，提供了一種方法，用於使用預測引擎。基於在用戶接口上的第一用戶選擇事件和第二用戶選擇事件，確定用戶意圖選擇兩個輸入選項之一的概率，其中，用戶接口包括與可用於用戶選擇輸入的多個輸入選項相關的多輸入目標。參考圖9，方法包括藉助用戶接口接收(100)針對多輸入目標的第一用戶選擇事件，以識別多個輸入選項的第一輸入；藉助第二用戶接口接收(200)針對多輸入目標的第二用戶選擇事件，以將識別的輸入從第一輸入改變為多個輸入選項的第二輸入。使用預測引擎確定(300)在第一和第二用戶選擇事件之間經過的時間；使用預測引擎確定(400)經過的時間小於預先確定的閾值；及基於經過的時間確定(500)用戶意圖選擇第二輸入的概率和用戶意圖輸入第一輸入並隨後再次選擇第一輸入的概率。設定預先確定的閾值以使得如果經過的時間大於預先確定的閾值，第一輸入以概率1輸入到系統中，並再次選擇第一輸入。

通過類比以上的系統說明，易於確定本發明的方法的其他方面。

本發明還提供了一種電腦程式產品，包括計算機可讀介質，具有存儲於其上的電腦程式模塊，用於使得處理器執行根據本發明的一個或多個方法。

電腦程式產品可以是數據載體，具有存儲於其上的電腦程式模塊，易於使得在數據載體外的處理器，即電子設備的處理器，執行根據本發明的方法。電腦程式產品還可以用於下載，例如從數據載體或從供應商通過網際網路或其他可用網絡，例如作為應用程式下載到行動裝置上(例如行動電話或平板電腦)或者下載到計算機、行動裝置、平板電腦或包括處理器的計算機上，用於一旦下載後執行電腦程式模塊。

會理解，本說明僅是示例性的；在不脫離權利要求書中所限定的本發明的範圍的情況下，可以對所述實施例做出變化和修改。