用於從手持計算機化設備的背板進行用戶輸入的方法

2023-08-09 21:46:21

專利名稱：用於從手持計算機化設備的背板進行用戶輸入的方法
技術領域：
本發明涉及具有安裝在背板上的觸摸板的手持計算機化設備。更特別地，本發明涉及使用戶能夠從附加於前板屏幕上的鍵盤布局上的設備的後面看見用戶的手指位置和運動的方法和圖形用戶界面。這使得用戶從安裝在手持設備的背板上的觸摸板擊鍵輸入和滑鼠動作更容易。
背景技術：
手持計算機化設備(即配備有微處理器和精密顯示器的設備)，例如蜂窩電話、個人數字助理(PDA)、遊戲設備、平板電腦(例如Wad)等等，在日常生活中正在扮演越來越重要的角色，並且正在變得越來越不可或缺。隨著技術的發展，以及手持計算機化設備的處理能力的提高，功能和存儲空間正以驚人的速度增加。同時，手持計算機化設備的尺寸繼續變得越來越小。為了迎接這種挑戰，手持計算機化設備的設計者通常使用兩種方法。一種方法是使鍵盤的鍵越來越小，使鍵小型化。另外，鍵盤的鍵可以被賦予多項功能-即過載，並且也可以引入更加複雜的功能的鍵盤的鍵。另一種方法是使用前板上的觸控螢幕鍵盤，或者所謂的「軟鍵」。這種情況用戶可以使用手寫筆或者手指通過圖形用戶界面來選擇軟鍵。然而，由於顯示屏所帶來的光錯覺，軟鍵盤不能太小，因為否則單個手指的按壓將激活多個鍵。因此，設計者可能不得不將鍵分成不同的組和層級，並且僅在屏幕上顯示少量鍵。當前的兩種方法都具有某些嚴重的缺陷用戶輸入區域佔據了前板的重要部分， 並且儘管需要用戶大量的注意力以進行操作，用戶輸入過程仍非常容易出錯。通常，用戶不得不使用一隻手來握持手持計算機化設備，並且使用另一隻手來輸入數據，因而佔用了兩隻手。為了完成十分簡單的輸入，通常用戶將不得不進行一長串鍵擊，並且在不同的用戶界面屏幕之間來回切換。因此，為了有效地操作手持計算機化設備， 對於用戶而言有顯著的學習曲線來學習過載的鍵、功能鍵、鍵組合、以及鍵層級。

發明內容
因此，期望有更有效的並且用戶友好的方式來進行手持計算機化設備的用戶輸入。對於以上這些問題，本發明提供了一種有效的解決方案。本發明通過利用以前用戶輸入通常不使用的背板空間來釋放應用程式在前板上的原始鍵盤空間。本發明能夠處理鍵盤輸入和滑鼠輸入。本發明提供了一種前板屏幕上的極好的圖形用戶界面，在該界面處用戶能夠看見他/她握持背板的手指在鍵盤布局(虛擬鍵盤)的顯示上面的實時位置和運動。 本發明的方法比當前的觸控螢幕鍵盤更精確，因為其去除了當前存在於手指和觸摸板之間的顯示層。對於較小的手持設備，例如蜂窩電話、iPhone 或者iPad ，握持該設備的手現在還可以進行輸入，從而空出了另外一隻手用於其它活動。因此本發明的一個目的是提供一種為手持計算機化設備提供更有效且用戶友好的用戶輸入的方法。本發明的另一個目的是釋放當前被小型電子設備的前板上的鍵盤所佔據的空間， 並且為了用戶輸入的目的，利用手持設備的背板上通常不使用的空間。本發明的又一個目的是提供一種視覺上引人注目的用戶界面設計，其使握持該設備的手指的實時位置和運動能夠與鍵盤布局(虛擬鍵盤)的顯示一起作為「虛擬手指」顯示在前板上，該實時位置和運動通常會被設備本身從視圖中隱藏。用戶的手指位置和鍵盤布局可以作為背景圖像顯示，或者作為當前運行在手持設備上的所有應用程式中的一些上面的透明層顯示。用戶的手指位置和虛擬鍵盤的這些半透明的顯示使得用戶易於輸入數據， 而同時仍允許用戶無阻礙地使用運行在手持設備上的各種應用程式。因而，例如，起初為具有物理鍵盤的計算機設備編寫的應用程式可以不修改代碼就容易地運行在缺少物理鍵盤的平板計算機設備上。因此，這些虛擬的半透明鍵盤以及還給出用戶的手指運動信息的方法會非常有用。本發明的另一個目的是使握持設備的手也能夠進行用戶輸入操作，從而空出另一隻手用於其它輸入或其它用途。在一個實施例中，本發明包括具有前板上的顯示屏(可以是位圖顯示屏)的設備和方法；嵌在背板上，能夠感測用戶的手指位置和運動的觸摸板，以及圖形用戶界面。該圖形用戶界面通常包括軟體和使複雜圖形能夠快速顯示在顯示屏上的可選的圖形加速硬體。 該設備還具有顯示鍵盤布局，以及在實時基礎上計算和顯示用戶手指位置的虛擬鍵盤處理器。從而用戶的手指在背板的觸摸板上的位置和運動會被計算並作為層顯示在前顯示屏上，其可以是在所有其它應用程式上面的半透明層。虛擬鍵盤處理器也可以解析手指運動 (敲擊)，並且基於鍵盤上手指位置的已知定位來調用相應的操作。


圖1是顯示握持背板的手指的位置和運動的手持計算機化設備的前板視圖。圖2是手持計算機化設備的背板視圖。圖3是顯示多組鍵的手持計算機化設備的前板視圖。圖4是顯示握持背板的手指的位置和運動並且同時顯示多組鍵的手持計算機化設備的前板視圖。圖5是顯示與背板的觸摸板接觸的一個手指的位置和運動的更小的手持計算機化設備的前板視圖。圖6是顯示與背板的觸摸板接觸的一個手指的位置和運動並且同時顯示多組鍵的更小的手持計算機化設備的前板視圖。圖7是顯示作為標準鍵盤的鍵布局的另一個實施例的手持計算機化設備的前板視圖。圖8是示出主要部件以及在前板屏幕、背板觸摸板、虛擬鍵盤處理器和設備存儲器之間的數據流的框圖。圖9示出手和手指移動的生物力學模型如何可以校準並且適於有助將原始的觸摸板數據轉換成用戶的手和手指位置的精確模型。圖10示出當鍵入時預測的鍵入方法如何可以用於提高虛擬手和手指外形的精確性。圖11示出對於手指接近觸摸板，當在虛擬鍵盤上鍵入時，觸摸板靈敏性的動態變化可以如何幫助加亮即將被用戶敲擊的虛擬鍵。圖12示出在設備的圖形顯示屏上生成虛擬手和手指的圖像的方法。
具體實施例方式本發明涉及一種手持計算機化設備，其具有在前板上的位圖顯示屏，以及安裝在背板上的觸摸板。更特別地，本發明涉及一種方法和圖形用戶界面，使用戶能夠從附加於前板上的虛擬鍵盤布局上的設備後面看見用戶的手指位置和運動。圖1中示出從前面看見的此配置。如可以看到的，用戶握持類似Apple il^ad 或者等同物的手持電子平板設備100。設備的前板被大的圖形顯示屏102佔據，其可以是位形顯示屏。甚至在一些實施例中，整個前板屏幕或者前板可以被該圖形顯示屏102佔據。 用戶在用他或她的手104握持設備100，其中用戶的拇指106在設備的前面，並且用戶的其它手指108在設備的後面。儘管設備100不是透明的，但是圖形顯示屏102被示出代表用戶的手指108以及用戶的手指明顯正在觸摸不可見表面的區域110的圖形表示。這110對應於用戶的手指尖的實時指印圖像。圖2示出手持計算機化設備100的背面。與之前在圖1中示出的包含大的圖形顯示屏的設備100的前面相反，手持計算機化設備的背面不包含大的圖形顯示屏，而是包含大的觸摸板200。如可以看見的，現在能夠看到用戶的手指208以接觸觸摸板的用戶的手指尖210位於觸摸板之上。圖3示出正顯示在設備100的大的圖形顯示屏102上的一種可能的「虛擬鍵盤」的圖。在該示例中，「虛擬鍵盤」具有符號鍵區300、數字鍵區302、以及QUERTY鍵區304。應注意，在許多實施例中，鍵可以繪製成輪廓形式或者半透明的形式，以便不讓任何其它運行在圖形顯示屏102上的圖形應用程式變得模糊。此方案允許用戶使用在設備背面上的觸摸板鍵區輸入鍵擊和滑鼠動作，並且這些將作為「虛擬手指」或者等同物反映在手持計算機化設備的前面的顯示屏上。如之前討論的，在前板上的此虛擬鍵盤布局可以是標準的或者變型的QUERTY鍵盤或者鍵區、數字鍵盤或者鍵區(數字輸入鍵盤)、或者可替換地，某些更小的標準鍵盤或者鍵區，例如音樂鍵盤、 Qwertz鍵盤、Azerty鍵盤、Dvorak鍵盤、Colemak鍵盤、Neo鍵盤、土耳其文鍵盤、阿拉伯文鍵盤、亞美尼亞文鍵盤、希臘文鍵盤、希伯來文鍵盤、俄文鍵盤、摩爾多瓦文鍵盤、烏克蘭文鍵盤、保加利亞文鍵盤、梵文鍵盤、泰文鍵盤、高棉文鍵盤、藏文鍵盤、中文鍵盤、朝鮮語(韓語)鍵盤、日文鍵盤、或者其它類型的鍵盤。通常，為了使用戶繼續查看運行在虛擬鍵盤下面的顯示屏上的各種應用程式，此鍵區是半透明鍵區。圖4示出當在電子設備的背面安裝的觸摸板上鍵入時，用戶如何可以看見在設備 100的圖形屏幕102上的他或她的手指108的圖形顯示，以及虛擬鍵盤布局300、302、304， 例如之前在圖3中討論的。因而用戶輸入數據的能力得以提高，因為用戶能夠直觀判斷他或她的手指108與感興趣的鍵區的鍵300、302、以及304之間的距離，並且適當地移動他或她的手指以便擊中期望的鍵。因為前鍵盤不再是必需的，本發明釋放了否則可能已經用於前板上的原始鍵盤空間的該設備上的空間，並且創建了用於附加顯示和應用程式的空間。本發明利用當前通常不使用的背板空間，從而使前顯示器能夠顯示明顯更大的虛擬鍵或者在它們之間具有更多空間的虛擬鍵。本發明能夠創建弓I入注目的視覺效果以及有用的視覺效果，因為用戶能夠看見他或她的握持背板從而通常被從視圖阻擋的手指，正與虛擬(計算機生成的)鍵盤布局顯示一起虛擬地顯示在面板上。因為用戶的手指位置、手指運動以及虛擬鍵盤都是從前板可見的，用戶手指在位於設備的背板上的觸摸面板上的輸入既直觀又易於使用。這將沒有學習曲線，也無需專門訓練。本發明的用戶輸入方法比傳統的觸控螢幕鍵盤更精確，因為這些方法去除了在手指和觸摸板之間的模糊層。對於諸如蜂窩電話和iPhone的小型手持設備，當前的發明使握持設備的手能夠完成文本輸入以及其它命令，因此空出了另一隻手用於其它活動。應注意，儘管通常將提供虛擬鍵盤，但是根據這些方法也可以使用感興趣的可替換的數據輸入點，例如網際網路瀏覽器上的超連結等等。可替換地，包括數字、字母、以及符號的多組鍵的布局可以顯示在與前板屏幕上的當前應用程式分開的區域上(很像通常用於軟鍵的傳統分開顯示的區域)。這種方法的一個顯著優點是利用當前虛擬鍵盤和虛擬手指方法的設備不必具有物理QUERTY鍵區或者物理QUERTY鍵盤，或者諸如物理數字輸入鍵區或者物理數字輸入鍵盤的任意其它類型的物理鍵區。這有助於改善設備的人體工程學，允許有更大的圖形顯示屏，並且還可以降低成本。圖5是更小的手持計算機化設備500的正視圖，其更可能是具有顯示與背板的觸摸板110接觸的多個手指108的位置和運動的更小的圖形顯示屏502的蜂窩電話尺寸的設備(例如Apple iPhone 尺寸的設備)。圖6是相同的更小的手持計算機化設備500的正視圖，其顯示與背板的觸摸板110 接觸的多個手指的位置和運動，並同時顯示多組鍵300、302、304。圖7是手持計算機化設備100的圖形顯示器102的正視圖，其顯示作為標準鍵盤的鍵布局的另一個實施例(變型的QUERTY鍵盤或者鍵區)。在一個方面，本發明是一種計算機實現的方法，包括手持計算機化設備，具有在前面的能夠顯示圖形用戶界面的屏幕，以及觸敏背板用戶界面，例如二維觸摸感應器。觸摸感應器將實時確定手指的運動，並且設備的軟體和處理器將使用觸摸感應器數據來計算觸摸背板上的觸摸感應器的用戶手指的實時位置和運動。然後這些「虛擬手指」將顯示在靜態背景上面的設備的圖形用戶界面上，在此處顯示包括數字、字母、以及符號(例如虛擬鍵盤)或超連結的多組鍵。通過注視在虛擬鍵盤上的用戶的虛擬手指的運動，用戶能夠容易地操作設備，並且精確地確定在哪敲擊手指，以擊中預期的虛擬鍵。此處，背板用戶界面(UI)可以以突出的而非阻礙性的顏色畫出輪廓，並且顯示為在當前應用程式上的透明層，因此當前應用程式以及背板UI的所有細節都顯示給用戶。可替換地，握持背板的手指的實時位置和運動可以顯示在前板的屏幕上。可替換地，包括數字、字母、以及符號的多組鍵的布局可以顯示在作為握持背板的手指的實時位置和運動的背景的前板的屏幕上。可替換地，握持背板的手指的實時位置和運動可以顯示在包括數字、字母、以及符號的多組鍵的靜態背景上，使用戶能夠精確地將手指敲擊在預期的鍵上。在另一個方面，本發明是一種計算機實現的方法，包括手持計算機化設備，具有安裝在背板上的觸摸板，其中觸摸板能夠檢測多個手指的觸摸、移動、以及敲擊運動。此處一個或多個手指的手指運動的信息，包括運動類型(例如觸摸、移動、以及敲擊模式等等)以及運動位置，傳送至虛擬鍵盤處理器(例如計算機處理器)。虛擬鍵盤處理器將分析手指運動，將手指位置與鍵(虛擬鍵)的已註冊位置、以及應用程式的超連結和其它觸摸按鈕(總稱為「用戶輸入區域」)相比較，然後將決定用戶輸入區域中哪個項目被敲擊。然後虛擬鍵盤處理器將調用相應的操作。虛擬鍵盤處理器還可以在每次手指運動後在前屏幕上更新手指、或者指墊、或者甚至是用戶的手的實時圖像。此處，觸摸板可以安裝在手持計算機化設備的背板上，並且可以能夠檢測多個用戶手指的觸摸、移動、以及敲擊運動。可替換地，關於多個用戶手指的手指運動的信息，包括運動類型(例如觸摸、移動、以及敲擊運動等等)以及運動位置，可以傳送至虛擬鍵盤處理器。可替換地，虛擬鍵盤處理器可以分析手指運動，將手指位置與鍵的已註冊位置相比較，確定哪個鍵被敲擊，並且調用相應的操作。可替換地，虛擬鍵盤處理器可以更新握持背板的手指的實時位置和運動。在另一個方面，本發明是一種用於手持計算機化設備的圖形用戶界面。該界面將包括包含數字、字母以及符號的多組鍵的顯示。這些將顯示在前板屏幕上的圖形用戶界面上，並且甚至此區域可以佔據整個屏幕。此處，圖形用戶界面的內容不被應用程式阻擋，並且與應用程式一起顯示。在又一個方面，本發明是一種用於手持計算機化設備的圖形用戶界面。該界面包括握持背板的手指的實時位置和運動的顯示。此處，該顯示位於前板屏幕上，並且實際上可以佔據整個屏幕。由於此方法的優點，用戶的手指位置和運動的內容不被應用程式或者包括數字、字母以及符號的幾組鍵的顯示所阻擋。在另一個方面，本發明是一種幫助用戶數據進入手持計算機化設備的方法。該手持計算機化設備通常將包括至少一個觸摸板(通常位於在支承圖形顯示屏的設備側面的後方的手持計算機的一側)、至少一個圖形顯示屏、至少一個處理器、存儲器、以及軟體。然而，通常手持計算機化設備缺少QUERTY鍵區或鍵盤，甚至也還可能缺少數字鍵區或鍵盤。 該方法將通常包括在設備的所述至少一個圖形顯示屏上顯示至少一個數據輸入位置。通常，此至少一個數據輸入位置將是可以由多個數據輸入位置組成的鍵盤或鍵區的圖形顯示。此處，系統將使用觸摸板來獲得關於用戶的手指和/或手的位置和移動的數據。系統可以根據人手的生物力學和解剖學模型來分析關於用戶的手指和/或手的位置和移動的數據，並且將關於所述用戶的手指和/或手的位置和移動的數據分配給該人手(通常為用戶的手)的生物力學和解剖學模型上的特定手指。然後，系統可以使用該人手的生物力學和解剖學模型來計算至少用戶的手指，並且常常是用戶的手指和用戶的手兩者的圖形表示。 然後，系統將在設備的圖形顯示屏幕上顯示至少用戶的手指(並且也常常是用戶的手指和手兩者)的圖形表示。因此，在圖形顯示屏上的用戶的手指的圖形表示與數據輸入位置(例如虛擬鍵盤)之間的距離，將給出將有助於用戶正確地將他或她的手指和/或手放置在觸摸板上的信息，這又將便於數據輸入。
圖8示出可以用於實現本發明的一個實施例的軟體和硬體的概觀圖。此處，手指的位置和運動數據首先從背板觸摸板800收集，然後傳送至虛擬鍵盤處理器802。虛擬鍵盤處理器(其通常將通過諸如微處理器、圖形處理器、觸摸板控制器以及存儲器的軟體和硬體的組合來實現)顯示虛擬手指的位置和運動以及前板屏幕804上的鍵盤布局。虛擬鍵盤處理器還分析手指的位置和運動信息，將此與鍵的已註冊位置(或超連結)相比較並且調用適合的操作806。鍵盤位置信息可以在虛擬鍵盤處理中編程，或者可替換地，可以保存在系統存儲器808中。用戶想要傳達至應用程式的按鍵或超連結信息可以通過存儲器或者可替換地通過中間處理通信工具傳送至虛擬鍵盤控制器。觸摸板技術原則上，多種不同類型的觸摸板技術都可以用於此設備，包括電容檢測 (Gerpheide在美國專利5，305，017中示例的)、電導檢測、電阻檢測、表面聲波檢測、表面電容檢測、投射電容檢測、應變儀、光學成像、色散信號技術、聲音脈衝識別、以及雙向屏幕檢測。然而在優選的實施例中，可以使用不需要很大量的手指壓力的觸摸板檢測技術以及能夠同時檢測多個手指位置的觸摸板技術。這種同時檢測多個手指位置或姿勢的能力通常稱作多點觸摸(multitouch)或者多點觸控(multi-touch)檢測技術。適於本發明的適合的多點觸控觸摸板技術的一個好的示例是由加利福尼亞州聖何塞Cypress半導體公司製造的Cypress TrueTouch 投射電容系列產品。該系列產品使用投射電容技術進行工作，並且非常適於多點觸控應用。在白皮書「Cypress電容感應逐次逼近算法(Cypress' Capsense Successive Approximation Algorithm)，，(Robert Jania, 2007年1月17日(CSA RJ0. doc))中描述的技術通過檢測手指相對於電阻檢測器的存在度或接近度來發揮作用。因為此觸摸板系統檢測手指的接近度，而不是手指的壓力，其非常適用於多點觸控應用，因為根據電容檢測電路的調整以及觸摸板的底層彈性，從輕到重各種程度的手指壓力都能被分析。如Jania教導的，儘管通常使用在觸控螢幕上，但此方法實際上可以使用在廣闊範圍的基板。虛擬手指和手的位置軟體(虛擬鍵盤處理器)適合的手指和手的位置的算法包括「多點觸控表面上的手部追蹤、手指識別和配合操控(HAND TRACKING, FINGERIDENTIFICATION, AND CHORD IC MANIPULATION ON AMULTI-TOUCH SURFACE」(Westerman，電子工程博士論文，德拉瓦大學，1999年春季)中的算法。這些算法使每隻手上的所有手指都能從觸摸板數據中非常精確地被識別。如Westerman教導的，試圖創建「虛擬手指」的一個問題是在最佳情況下，通常僅有手的某些區域，例如指尖或許手掌，通常能夠由傳統的多點觸控感應器檢測(Westerman 的摘要、第xxix-xxx頁)。Westerman教導如何通過從手的位置估計進行自舉來解決該問題，其克服了將指尖連結至手掌的結構的不可見性。Westerman還發現可以通過使用各種近似圖像構造的與上下文有關的分段，以及通過用參數表示對應於每個可辨別的表面接觸的像素組來獲得適合的算法。他還發現通過對跨越連續圖像的連結進行路徑跟蹤，那些對應於相同的手部分的組可以被確定，並且當個別手指向下觸摸以及從多點觸控觸摸板表面抬起時，可能進行可靠的檢測。他還發現並且提出了多種不同組合的優化算法，其使用生物力學的約束條件和解剖學的特徵將每條接觸的路徑與任意一隻手的特定的指尖、拇指、或者手掌相關聯。他的算法還通過將接觸分配給手的局部吸引點的一個環，使用平方距離的成本度量，有效地相對於手的局部吸引點的環將接觸特性分類。Westerman還描述了用於可靠地檢測同步的手指觸摸、提取獨立的手的轉換、縮放比例、轉速、以及手指和手的識別的方法。圖9示出此一般類型的方法如何可以適用於本發明的抽象概念。該方法可以僅使用手和手指的關係的標準化模型來進行足夠精確的工作。此處，例如，該系統僅通過初始校準步驟就可以充分地執行，例如，系統邀請用戶將他或她的手放在顯示屏上，系統顯示各種尺寸的手，並且用戶被邀請以最適合他自己或她自己的手的標準化的手的尺寸進行輸入。 系統然後可以使用此數據進行它的各種計算。甚至更加簡單地，系統可以默認以平均的手的尺寸用於初始使用，使得某些程度的功能性未經預先校準就可以實現。然而，通常通過使用一個或多個主動的校準步驟來更好地校準系統是有用的。這些步驟可以在實際使用條件下改進初始的手的模型，並且對手的模型的各個部分進行適當調整，調整為將最適合在實際使用條件下已經獲得的數據。圖9中示出了此主動校準過程的示例。此處，在步驟900，系統可以邀請用戶執行主動校準的步驟，或者可替換地用戶將自動地啟動主動校準步驟。為了輔助此校準步驟，系統可以任選地在屏幕上顯示一個或多個對象，其可以是鍵盤對象、或者可替換地可以是為主動校準步驟專門設計的專門設計校準對象。為了降低複雜度，系統可以可選地要求用戶一次校準一隻手，甚至可以要求用戶以不同於通常鍵入的方式操作他或她的手上的手指以便收集附加的數據。例如，可以要求用戶首先以每次一個為基礎可能通過所有的手指和拇指，將特定手指伸展至最大長度並且按壓，然後伸展至最小長度並且按壓，然後伸展至最左端並且按壓，然後伸展至最右端並且按壓等等。應該是明顯的，這樣的數據集然後可以自然地轉換成特定用戶的手的適度詳細的模型並且其能夠保持多個不同的構造。在該過程期間，系統將使用觸摸板檢測硬體和校準軟體來積累觸摸數據(902)。系統還將通過從各種手位置估計進行自舉來做出預測以便定位用戶的手和手指(904)。通常，系統將跟蹤跨越連續的時間間隔的手和手指的位置來做這個，並且計算可能的手指路徑(906)。通常系統將使用其內部的用戶的手的生物力學特徵以及解剖學特徵的模型來做這個，並且幫助將各種投射路徑與用戶的指尖和拇指位置相關聯，其至少在主動校準過程期間是已知的(908)。在步驟910中，然後系統將通過將預測的結果與實際數據相比較來改進其用戶的手的生物力學和解剖學特徵的模型，並且確定其用戶的手的模型是否在以足夠的精度工作。如果是，則此用戶的手的模型然後將被採用並用於後續的用戶虛擬鍵盤數據輸入目的。如果用戶的手的模型未以足夠的精度進行工作，則系統將嘗試通過改變一個或多個手的模型的參數來調整手的模型(912)，並且然後通常將繼續校準過程直到得到令人滿意的性能。因此，此校準軟體使人手的生物力學和解剖學模型能夠被更精確地校準，以便匹配特定用戶的手指和/或手的生物力學和解剖學特徵。在屏幕上被模擬的虛擬手指的真實性可以可選地通過使用預測的鍵入模型而易於實現。當用戶在虛擬鍵盤上鍵入文本時，該方法將特別有用，因為系統能夠掃描之前已經輸入的文本，並且利用詞典以及其它手段，例如在特定語言中的字母的統計分布，以做出關於接下來將鍵入什麼字母的有根據的推測。這種有根據的推測然後可以用於補充關於上一個指尖位置和移動的觸摸板數據，以嘗試將被模擬手指的外形導向合理的下一個鍵。因為此系統將偶爾進行錯誤的推測，然而，用戶或許發現根據用戶和情況調整此預測的鍵入「提示」為不同的設置是有用的。因此，熟練地進行觸摸鍵入以及傾向於十分迅速並且十分準確地鍵入的用戶將易於發現預測鍵入提示是有用的，因為預測的方法將有助於這種類型的用戶很好地工作。在另一方面，更多是緩慢的並且不確定的「看著鍵盤打字」的用戶或許發現預測方法不是那麼有用，並且或許希望降低提示的強度或者甚至可能希望完全關閉預測鍵入「提示」。圖10中示出這種預測鍵入「提示」方法的圖。在預測鍵入系統中，軟體將首先存取用戶的手的生物力學和解剖學模型數據(1000)、以及來自觸摸板檢測器的最新的指尖和拇指位置數據(1002)。然後系統將使用此信息將用戶的虛擬手和手指顯示在設備的顯示屏上(1004)。如果預測鍵入模式打開(1006)，則系統將嘗試(基於鍵入速度以及鍵入速度中用戶的連貫性，以及上下文)推導用戶接下來可能鍵入的最可能是一個或多個什麼字母。 系統還將嘗試預測用戶將最可能使用的一個或多個手指來鍵入此最可能的字母(1008)。 例如，如果用戶在快速並且連貫地鍵入，並且單詞或者句子的上下文指示可能是元音例如 「e」，那麼系統可以在其分析來自觸摸感應器的稍微有噪聲的手指位置數據時使用此要素， 以增加用戶的左食指(通常用於在鍵盤上鍵入「e」，並且其實際上可能未在觸摸板上指示， 因為用戶已抬起左食指以移動來敲擊「e」鍵)移向「e」鍵的可能性。當正確地使用時，這種預測鍵入算法能夠幫助增加用戶透過顯示器觀察並且看到顯示器下面的他或她的手上的錯覺。相反，如果預測鍵入模式關閉(或者設置成降低的強度)(1010)，則系統在其顯示用戶的手和手指時將不考慮可能的下一個字母。預測鍵入的效率可以通過結合對於每個特定的鍵，用戶所使用的手指的歷史來進一步提高。例如，一個用戶或許強烈地傾向於使用右食指來鍵入「H」和「J」，並且作為另一個示例，相同的用戶或許傾向於使用他或她的左小手指來鍵入字母「A」和「Z」。此處系統可以隨著時間觀察單個用戶的鍵入模式，作為初始校準步驟的一部分，或者在以後(甚至可能連續地)同時監視用戶的鍵入模式，並且使用用戶的個性化的手指與字母的關聯習慣作為預測鍵入算法的一部分。因此，這種預測鍵入軟體使計算機化設備能夠通過除使用觸摸板獲得的關於用戶的手指和/或手的位置和移動的數據之外，附加使用鍵擊預測，以更好的精度來計算至少用戶的手指的圖形表示(且通常是用戶的手指和手)。為了提高虛擬手指的真實性，還可以使用附加的「手指懸停」算法。如在本說明書中使用的，「手指懸停」意思是每當系統認為用戶的手指是懸停在該虛擬鍵上或者將要敲擊該虛擬鍵，就加亮或以其它方式在圖形上改變在虛擬鍵盤上的虛擬鍵的外觀。對於這種類型的算法，使用能夠檢測接近觸摸板表面的相關手指的觸摸板，例如投射電容技術觸摸板， 會特別地有用。檢測表面上方的相關手指高度的感應器和算法可以被調整用於各種程度的靈敏度，實際上這種靈敏度等級代表了重要的技術折衷。如果將觸摸板調整至太高的靈敏度，則其將傾向於產生偽(錯誤)信號，並且也缺少關於在觸摸板上手指將要到達的精確位置的精度。如果將觸摸板調整至較低的靈敏度，則觸摸板將僅傾向於檢測在觸摸板表面上施加相當大的壓力的指尖。儘管許多現有技術的觸摸板傾向於一直使用持續水平的觸摸板靈敏度，但是對於本說明書中描述的「手指懸停」選項，使用動態的或者可變化等級的觸摸板靈敏度可能是有利的。例如，為了檢測在鍵上方懸停的手指，觸摸板或許首先以通常等級的靈敏度進行操作，直到其檢測到在特定鍵的關鍵性敲擊距離內的指尖已經離開了觸摸板的表面。在此點上，為了檢測在鍵上方的「手指懸停」，觸摸板電路可能臨時將其靈敏度重置到更高的等級， 其設計為當用戶的手指在鍵上方懸停時進行更精確地檢測。如果更高等級的觸摸板靈敏度檢測到指尖接近，則鍵將被加亮。如果更高等級的觸摸板靈敏度沒有檢測到懸停的指尖，則鍵將不被加亮。在短暫的一段時間之後，通常大概在十分之一秒的數量級，觸摸板然後會被重置到通常等級的靈敏度，以更準確地確定手指是否已經確實接觸到觸摸板。圖11示出用於檢測和指示「手指懸停」的算法的示例。此處，系統顯示虛擬鍵盤 (1100)，以及在此虛擬鍵盤上或者接近此虛擬鍵盤的用戶的虛擬手指的覆蓋(110 。當系統檢測到由於手指接近該鍵和或考慮預測鍵入而被懷疑為將要按鍵的手指離開觸摸板時 (最可能是因為用戶準備敲擊該虛擬鍵而已經在觸摸板上抬起了手指)(1104)，系統將立即將觸摸板手指接近檢測器調至更高等級的靈敏度(1106)，並且軟體將特別地查看一下在被懷疑的一個或多個鍵上方懸停的手指是否能被檢測到(1108)。如果能，並且手指懸停信號能夠被檢測到在該被懷疑的鍵上方，則此鍵將被加亮以幫助引導用戶(1110)。在一段時間之後，通常大約不超過十分之一秒，系統將再次將手指接近檢測器的靈敏度調低至通常等級(1112)，以便準確地檢測手指是否將要敲擊鍵(1114)。如果現在正以通常的靈敏度操作的觸摸板現在檢測到虛擬鍵已經被用戶敲擊，系統將通過鍵的進一步的圖形變化來適當地指示在虛擬鍵盤上的鍵擊(1116)，並且可選地也可以發出聽得見的按鍵或擊鍵的聲音， 以給用戶進一步的反饋。更一般地，這種方法允許至少一個數據輸入位置(鍵)在設備的圖形顯示屏上加亮，只要計算機化設備確定在所述用戶的手上的至少一個手指已經離開觸摸板，並且手指的位置和運動歷史與該手指在觸摸板上敲擊位置的能力一致，該能力與在圖形顯示屏上數據輸入位置(鍵)的位置一致。用戶的人手和手指的圖形表示—旦計算機化設備已經從觸摸板獲得數據，以及任何附加的預測鍵入數據、懸停檢測方法數據、校準數據等等，並且已經更新了其內部的用戶的一隻或兩隻手(包括手指) 的生物力學和解剖學模型以反映此新的數據，則系統可以利用用戶的一隻或兩隻手的此生物力學和解剖學模型來計算適於顯示在設備的圖形顯示屏上的至少用戶的手指，並且通常是用戶的手和手指的圖形表示。此處不需要用戶的手和手指的逼真的圖形表示。通常，用戶的手和手指的更類似陰影圖或者類似動畫的二維模型(或者表示)將都是必需的。如果有任何內部細節，通常用戶的手和手指的這些二維表示不必包含很多。反而，例如這些表示可以看起來很像是在表面上的用戶的手和手指的半透明的灰色或其它顏色的陰影投射。此處，用戶的手和手指的銳度和對比度以及細節僅需要足夠明顯，並且具有與顯示屏的其它區域足夠顯著的對比， 以便使用戶能夠將他或她的手和手指精確地放在圖形顯示器中正顯示的適當的虛擬按鈕或虛擬鍵盤上。許多以圖形表示用戶的手和手指，或者至少是用戶的手指的方式都是可能的。圖 12中示出一種方式。此處，基於人手的生物力學和解剖學模型(1200)，以及關於基於觸摸板數據的用戶的手指和手的位置和移動的可選地特定數據(以及來自預測鍵入軟體或懸停檢測的任何附加數據)，可以在描繪用戶的手和手指的設備的存儲器中構造三維虛擬模型(1202)。基於這種3D模型，可以在對應於觸摸板表面的數學表面上建立用戶的手和手指的大體輪廓的二維投射(1204)。該投射可以是手和/或手指的輪廓形式，或者可替代地可以產生虛擬的手和手指的影像。然後此投射可以與被發送至設備的顯示屏的存儲器緩衝器或圖形顯示器緩衝器的任何其它數據相結合，然後顯示給用戶(1206)。因此在一個實施例中，通過之前將關於用戶的手指和/或手的位置和移動的數據分配給在所述人手的生物力學和解剖學模型上的特定手指來在計算機化設備的存儲器中創建用戶的手和手指的三維模型，可以在圖形顯示屏上用圖形來表示至少用戶的手指(並且通常是用戶的手和手指)。接下來，可以建立在存儲器中的用戶的手和手指的此三維模型的二維投射。此處，二維投射可以在與用戶的手指的模型的距離和方向上均對應於觸摸板的虛構的平面上。因此，例如如果實際用戶的手指在觸摸板上方1/4」，那麼在用戶的手指的三維模型與在距離和方向上對應於觸摸板的虛構平面之間的距離也將是1/4」。在虛構的 「觸摸板」平面(虛擬觸摸板)上的該二維投射可以用於在圖形顯示屏上生成至少用戶的手指的圖形表示，並且通常也是用戶的手指和手。可替換地，在計算密度較低的方案中，可以操縱用戶的手和手指的二維模型以最適合之前討論的手和手指的位置和運動數據，並且此二維模型隨後用於圖形表示。觸摸板的替換方式或補充在可替換的實施例中，可以使用光學方法獲得關於用戶的手指位置的信息。因此在可替換的實施例中，觸摸板感應器可以是諸如一個或多個相機的光學方式。這些相機可以保持跟蹤用戶的手和手指的位置，並且此數據隨後可以被送入人手的生物力學和解剖學模型中，以計算如前所述的至少用戶的手指的圖形表示。商標iPAD 以及iPhone 是加利福尼亞州庫珀蒂諾市蘋果公司的商標。相關申請的交叉引用本申請要求2010年4月23日提交的、名稱為「用於從手持電子設備的背板進行用戶輸入的方法、圖形用戶界面以及裝置(METHOD，GRAPHICAL USER INTERFACE, AND APPRARATUSFOR USER INPUT FROM THE BACK PANEL OF A HANDHELDELECTRONIC DEVICE)」、 發明人為Tong Luo的美國臨時申請No. 61/327，102的優先權，其內容通過引用的方式併入於此。
權利要求
1.一種幫助將用戶數據輸入到手持計算機化設備的方法，所述手持計算機化設備包括至少一個觸摸板、至少一個圖形顯示屏、至少一個處理器、存儲器、以及軟體，所述方法包括在所述手持計算機化設備的所述至少一個圖形顯示屏上顯示至少一個數據輸入位置；使用所述觸摸板來獲得關於用戶的手指和/或手的位置和移動的數據； 所述觸摸板位於所述手持計算機化設備與所述至少一個顯示屏的位置不同的位置； 根據人手的生物力學和解剖學模型分析關於所述用戶的手指和/或手的位置和移動的所述數據，並將關於所述用戶的手指和/或手的位置和移動的所述數據分配給所述人手的所述生物力學和解剖學模型上的特定手指；使用所述人手的所述生物力學和解剖學模型來計算至少所述用戶的手指的圖形表示；在所述手持計算機化設備的所述至少一個圖形顯示屏上顯示至少所述用戶的手指的所述圖形表示；其中，在所述至少一個圖形顯示屏上的至少所述用戶的手指的所述圖形表示與所述至少一個數據輸入位置之間的距離，為所述用戶提供有助於所述用戶將所述用戶的手指和/ 或手定位在所述至少一個觸摸板上的信息，以將用戶數據輸入到所述至少一個數據輸入位置。
2.如權利要求1所述的方法，其中，所述至少一個數據輸入位置是由多個數據輸入位置組成的鍵盤或鍵區的圖形顯示，或者其中，所述至少一個數據輸入位置是超連結。
3.如權利要求1所述的方法，其中，所述至少一個數據輸入位置包括QUERTY鍵盤或鍵區的圖形顯示，並且所述手持計算機化設備缺少物理QUERTY鍵盤或鍵區。
4.如權利要求1所述的方法，其中，所述至少一個數據輸入位置包括多個輸入鍵盤或鍵區的圖形顯示，並且所述手持計算機化設備缺少物理數字輸入鍵盤或鍵區。
5.如權利要求1所述的方法，其中，所述觸摸板位於在支承所述至少一個圖形顯示屏的所述手持設備的側面的後面的所述手持計算機化設備的一側。
6.如權利要求1所述的方法，其中，所述觸摸板能夠檢測所述用戶的手指向所述觸摸板的表面的接近。
7.如權利要求6所述的方法，其中，所述觸摸板能夠辨別所述用戶的手指和所述觸摸板的表面之間的距離。
8.如權利要求1所述的方法，其中，所述軟體包括校準軟體，以使所述人手的生物力學和解剖學模型能夠被校準，從而更精確地匹配所述用戶的手指和/或手的生物力學和解剖學特徵。
9.如權利要求1所述的方法，其中，所述至少一個數據輸入位置在所述至少一個圖像顯示屏上被加亮，只要所述計算機化設備確定所述用戶的手上的至少一個手指已經離開觸摸板，並且所述至少一個手指的位置和運動歷史與所述用戶的手上的所述至少一個手指在所述觸摸板上敲擊位置的能力一致，該能力與所述至少一個圖形顯示屏上的所述至少一個數據輸入位置的位置一致。
10.如權利要求1所述的方法，其中，所述軟體包括預測鍵入軟體，並且所述計算機化設備利用所述預測鍵入軟體所進行的鍵擊預測，連同關於使用觸摸板的所述用戶的手指和 /或手的位置和移動的所述數據，來計算至少所述用戶的手指的圖形表示。
11.一種幫助將用戶數據輸入到手持計算機化設備的方法，所述手持計算機化設備包括至少一個觸摸板、至少一個圖形顯示屏、至少一個處理器、存儲器、以及軟體，所述方法包括在所述手持計算機化設備的所述至少一個圖形顯示屏上顯示至少一個數據輸入位置；其中，所述至少一個數據輸入位置是由多個數據輸入位置組成的鍵盤或鍵區的圖形顯示；使用所述觸摸板獲得關於用戶的手指和/或手的位置和移動的數據； 所述觸摸板位於支承所述至少一個圖形顯示屏的所述手持設備的側面的後面的所述手持計算機化設備的一側；根據人手的生物力學和解剖學模型分析關於所述用戶的手指和/或手的位置和移動的所述數據，並將關於所述用戶的手指和/或手的位置和移動的所述數據分配給所述人手的所述生物力學和解剖學模型上的特定手指；使用所述人手的所述生物力學和解剖學模型計算至少所述用戶的手指的圖形表示； 在所述手持計算機化設備的所述至少一個圖形顯示屏上顯示至少所述用戶的手指的所述圖形表示；其中，在所述至少一個圖形顯示屏上的至少所述用戶的手指的所述圖形表示與所述至少一個數據輸入位置之間的距離，為所述用戶提供有助於所述用戶將所述用戶的手指和/ 或手定位在所述至少一個觸摸板上的信息，以將用戶數據輸入到所述至少一個數據輸入位置，並且；其中，所述手持計算機化設備缺少物理QUERTY鍵盤或鍵區。
12.如權利要求11所述的方法，其中，在所述至少一個圖形顯示屏上的至少所述用戶的手指的圖形表示是半透明的，以使得所述用戶的手指下面的圖形顯示能夠被觀察到。
13.如權利要求11所述的方法，其中，所述至少一個數據輸入位置是半透明鍵盤或半透明鍵區的圖形顯示，因此允許運行在所述圖形顯示上的當前應用程式的細節連同所述半透明鍵盤或半透明鍵區顯現。
14.如權利要求11所述的方法，其中，多個手指的手指運動的信息，包括運動類型(例如觸摸、移動、以及敲擊等等)以及運動位置，被傳送至虛擬鍵盤處理器，其中，所述虛擬鍵盤處理器分析手指運動，將手指位置與所述鍵的已知位置相比較，並決定哪個鍵被敲擊並調用相應的操作，其中，虛擬鍵盤處理器還在每次手指運動後在前屏幕上更新實時的指印圖像。
15.如權利要求11所述的方法，其中，圖形顯示是在所述設備的前板屏幕上，並且其中所述圖形顯示的所述區域可以佔據達所述設備的整個前板屏幕，並且其中，所述圖形顯示的內容能夠在所述用戶的手指的半透明表示和所述鍵盤或鍵區的半透明表示下面顯現。
16.如權利要求11所述的方法，其中，在所述至少一個圖形顯示屏上的至少所述用戶的手指的所述圖形表示通過以下步驟執行使用關於所述用戶的手指和/或手的位置和移動的所述數據在所述人手的所述生物力學和解剖學模型上的特定手指的所述分配，在存儲器中創建用戶的手和手指的三維模型；在存儲器中創建所述用戶的手和手指的所述三維模型的二維投射，其中，所述二維投射處於在距離和方向上都對應於所述觸摸板的虛構平面上；以及使用在所述虛構平面上的所述二維投射在所述至少一個圖形顯示屏上生成至少所述用戶的手指的所述圖形表示。
17.如權利要求11所述的方法，其中，在所述至少一個圖形顯示屏上的至少所述用戶的手指的所述圖形表示通過以下步驟執行使用關於所述用戶的手指和/或手的位置和移動的所述數據在所述人手的所述生物力學和解剖學模型上的特定手指的所述分配，來操縱在存儲器中的用戶的手和手指的二維模型；以及使用所述二維模型在所述至少一個圖形顯示屏上生成至少所述用戶的手指的所述圖形表示。
18.—種幫助將用戶數據輸入到手持計算機化設備的方法，所述手持計算機化設備包括至少一個觸摸板、至少一個圖形顯示屏、至少一個處理器、存儲器、以及軟體，所述方法包括在所述手持計算機化設備的所述至少一個圖形顯示屏上顯示至少一個數據輸入位置；其中，所述至少一個數據輸入位置是由多個數據輸入位置組成的鍵盤或鍵區的圖形顯示；使用所述觸摸板獲得關於用戶的手指和/或手的位置和移動的數據； 所述觸摸板位於支承所述至少一個圖形顯示屏的所述手持設備的側面的後面的所述手持計算機化設備的一側；根據人手的生物力學和解剖學模型分析關於所述用戶的手指和/或手的位置和移動的所述數據，並將關於所述用戶的手指和/或手的位置和移動的所述數據分配給所述人手的所述生物力學和解剖學模型上的特定手指；使用所述人手的所述生物力學和解剖學模型計算至少所述用戶的手指的圖形表示； 在所述手持計算機化設備的所述至少一個圖形顯示屏上顯示至少所述用戶的手指的所述圖形表示；其中，在所述至少一個圖形顯示屏上的至少所述用戶的手指的所述圖形表示通過以下步驟執行使用關於所述用戶的手指和/或手的位置和移動的所述數據在所述人手的所述生物力學和解剖學模型上的特定手指的所述分配，在存儲器中創建用戶的手和手指的三維模型；在存儲器中創建所述用戶的手和手指的所述三維模型的二維投射，其中，所述二維投射處於在距離和方向上都對應於所述觸摸板的虛構平面上；以及使用在所述虛構平面上的所述二維投射在所述至少一個圖形顯示屏上生成至少所述用戶的手指的所述圖形表示；其中，在所述至少一個圖形顯示屏上的至少所述用戶的手指的所述圖形表示與所述至少一個數據輸入位置之間的距離，為所述用戶提供有助於所述用戶將所述用戶的手指和/ 或手定位在所述至少一個觸摸板上的信息，以將用戶數據輸入到所述至少一個數據輸入位置；並且其中，所述手持計算機化設備缺少物理QUERTY鍵盤或鍵區。
19.如權利要求18所述的方法，其中，在所述至少一個圖形顯示屏上的至少所述用戶的手指的圖形表示是半透明的，以使得所述用戶的手指下面的圖形顯示能夠被觀察到。
20.如權利要求18所述的方法，其中所述軟體包括校準軟體，以使所述人手的生物力學和解剖學模型能夠被校準，從而更精確地匹配所述用戶的手指和/或手的生物力學和解剖學特徵。
全文摘要
本發明涉及一種具有前板上的位圖顯示屏和安裝在背板上的觸摸板的手持計算機化設備。更特別地，本發明涉及一種方法以及圖形用戶界面，使用戶能夠從附加於前板上的虛擬鍵盤布局上的設備的後面看見用戶的手指位置和運動。這允許用戶使用在設備的後面的觸摸板鍵區來輸入鍵擊和滑鼠動作，並且這些將作為「虛擬手指」或等同物反映在手持計算機化設備前面的顯示屏上。
文檔編號G06F3/048GK102339205SQ20111011300
公開日2012年2月1日 申請日期2011年5月3日 優先權日2010年4月23日
發明者羅彤 申請人:羅彤