以力檢測擴增的用戶接口元件的製作方法

2023-10-19 02:29:37

以力檢測擴增的用戶接口元件的製作方法
【專利摘要】一種計算裝置包含具有至少一個力傳感器的觸控螢幕顯示器，所述力傳感器中的每一者響應於與所述觸控螢幕顯示器的接觸而提供信號。使用來自所述至少一個力傳感器的源自與所述觸控螢幕的接觸的力信號，可控制所述計算裝置的操作，例如以選擇多個上覆接口元件中的一者，防止需要二次確認的可疑命令的非既定激活，且在經擴增現實應用中模仿真實世界對象的力要求。
【專利說明】以力檢測擴增的用戶接口元件
[0001]相關申請案的交叉參考
[0002]本申請案主張2012年3月9日申請的且標題為「以力檢測擴增的用戶接口元件(User Interface Elements Augmented With Force Detection)，，的第 13/416，731 號美國申請案的優先權，所述美國申請案又依據35USC119主張2011年5月19日申請的且標題為「以力檢測擴增的用戶接口兀件(User Interface Elements Augmented With ForceDetection) 」的第61/488，072號美國臨時申請案的優先權，所述兩個申請案均轉讓給本受讓人且以引用的方式併入本文中。
【技術領域】
[0003]本文描述的標的物的實施例大體涉及計算系統的用戶接口，且更特定來說涉及計算系統的用戶接口中的力檢測。
【背景技術】
[0004]觸控螢幕顯示器在例如智慧型電話等當前移動平臺應用中已變得普遍。觸控螢幕顯示器不需要小鍵盤。在一種變型中，使用觸控螢幕顯示器不僅作為小鍵盤的替代品，而且作為檢測觸控螢幕上的用戶手勢且將所述手勢轉化為待執行的所要命令的用戶接口。
[0005]觸控螢幕顯示器常規上為IXD (液晶顯示器)技術，或LPD (發光聚合物顯示器)技術。觸摸傳感器覆蓋在屏幕上，所述觸摸傳感器使用例如電容性、電阻性、紅外線和表面聲波技術等觸摸感測技術來確定與觸控螢幕的一個或一個以上接觸點。然而，觸摸感測技術接收顯示器平面中二維的信息。例如電容性傳感器等一些觸摸感測技術可檢測對象距觸控螢幕顯示器12有多近，但最終當所檢測到的參數(例如，電容)在指定閾值內時確定對象處於接觸狀態。因此，此類觸摸感測技術確實僅在檢測二維信息，即對象是否足夠接近以致被視為接觸，且如果是，那麼檢測所述接觸的二維位置。因此，常規電容性觸控螢幕和用戶接口僅響應於觸摸而非力。
[0006]因此，常規觸控螢幕顯示器充當二維用戶接口，藉此限制了用戶的介接機會和對其的裝置響應。

【發明內容】

[0007]—種計算裝置包含具有至少一個力傳感器的觸控螢幕顯示器，所述力傳感器中的每一者響應於與所述觸控螢幕顯示器的接觸而提供信號。使用來自所述至少一個力傳感器的源自與所述觸控螢幕接觸的力信號，可控制所述計算裝置的操作，例如以選擇多個上覆接口元件中的一者，來防止需要二次確認的命令的非既定激活，且在經擴增現實應用中模仿真實世界對象的力要求。
[0008]在一個實施方案中，一種方法包含:在操作地耦合到計算裝置的觸控螢幕顯示器上顯示至少部分重疊的多個可選對象；使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平；使用所述接觸的所述力水平從所述多個可選對象中選擇對象；以及基於所選定的對象控制計算裝置。
[0009]在一個實施方案中，一種設備包含:外殼；觸控螢幕顯不器，其包括顯不器和稱合在外殼與顯示器之間的至少一個力傳感器；以及處理器，其經連接以從所述至少一個力傳感器接收數據，其中所述處理器經配置以致使觸控螢幕顯示器:顯示至少部分重疊的多個可選對象；基於來自所述至少一個力傳感器的數據確定與觸控螢幕顯示器的接觸的力水平；使用所述接觸的所述力水平從所述多個可選對象中選擇對象；且起始與所選定的對象相關聯的命令。
[0010]在一個實施方案中，一種設備包含:用於在操作地耦合到計算裝置的觸控螢幕顯示器上顯示至少部分重疊的多個可選對象的裝置；用於使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平的裝置；用於使用所述接觸的所述力水平從所述多個可選對象中選擇對象的裝置；以及用於基於所選定的對象控制計算裝置的裝置。
[0011]在一個實施方案中，一種包含存儲在其上的程序代碼的非暫時性計算機可讀媒體包含:用以在操作地耦合到計算裝置的觸控螢幕顯示器上顯示至少部分重疊的多個可選對象的程序代碼；用以使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平的程序代碼；用以使用所述接觸的所述力水平從所述多個可選對象中選擇對象的程序代碼；以及用以基於所選定的對象控制計算裝置的程序代碼。
[0012]在一個實施方案中，一種方法包含:檢測與觸控螢幕顯示器上的可選對象的接觸，所述可選對象與控制計算裝置的命令相關聯；確定所述控制計算裝置的命令需要二次確認；使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平；以及響應於與所述可選對象的接觸和所述力水平起始所述命令。
[0013]在一個實施方案中，一種設備包含:外殼；觸控螢幕顯不器，其包括顯不器、稱合到顯示器的觸摸傳感器，和耦合在外殼與顯示器之間的至少一個力傳感器；以及處理器，其經連接以從所述觸摸傳感器和所述至少一個力傳感器接收數據，其中所述處理器經配置以:基於來自觸摸傳感器的數據檢測與觸控螢幕顯示器上的可選對象的接觸，所述可選對象與一命令相關聯；確定所述命令需要二次確認；基於來自所述至少一個力傳感器的數據確定與觸控螢幕顯示器的接觸的力水平；且響應於與所述可選對象的接觸和所述力水平起始所述命令。
[0014]在一個實施方案中，一種設備包含:用於檢測與觸控螢幕顯示器上的可選對象的接觸的裝置，所述可選對象與控制計算裝置的命令相關聯；用於確定所述控制計算裝置的命令需要二次確認的裝置；用於使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平的裝置；以及用於響應於與所述可選對象的接觸和所述力水平起始所述命令的裝置。
[0015]在一個實施方案中，一種包含存儲在其上的程序代碼的非暫時性計算機可讀媒體包含:用以檢測與觸控螢幕顯示器上的可選對象的接觸的程序代碼，所述可選對象與控制計算裝置的命令相關聯；用以確定所述控制計算裝置的命令需要二次確認的程序代碼；用以使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平的程序代碼；以及用以響應於與所述可選對象的接觸和所述力水平起始所述命令的程序代碼。
[0016]在一個實施方案中，一種方法包含:在操作地耦合到計算裝置的觸控螢幕顯示器上顯示真實世界裝置的經擴增現實表示，其中所述經擴增現實表示包括與真實世界裝置上的真實世界可選對象相關聯的可選對象，所述真實世界可選對象具有用以選擇的力要求；檢測與觸控螢幕顯示器上的可選對象的接觸；使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平；將所述力水平與同力要求相關聯的力閾值進行比較；以及當力水平大於力閾值時響應於所述接觸控制計算裝置。
[0017]在一個實施方案中，一種設備包含:外殼；相機，其用以俘獲具有擁有用以選擇的力要求的真實世界可選對象的真實世界裝置的圖像；觸控螢幕顯示器，其包括顯示器、耦合到顯示器的觸摸傳感器，和耦合在外殼與顯示器之間的至少一個力傳感器；以及處理器，其經連接以從所述相機接收圖像以及從所述觸摸傳感器和所述至少一個力傳感器接收數據，其中所述處理器經配置以致使顯示器:在顯示器上顯示真實世界裝置的經擴增現實表示，其中所述經擴增現實表示包括與真實世界可選對象相關聯的可選對象；基於來自觸摸傳感器的數據檢測與觸控螢幕顯示器上的可選對象的接觸；基於來自所述至少一個力傳感器的數據確定與觸控螢幕顯示器的接觸的力水平；將所述力水平與同力要求相關聯的力閾值進行比較；且當力水平大於力閾值時響應於所述接觸起始與可選對象相關聯的命令。
[0018]在一個實施方案中，一種設備包含:用於在操作地耦合到計算裝置的觸控螢幕顯示器上顯示真實世界裝置的經擴增現實表示的裝置，其中所述經擴增現實表示包括與真實世界裝置上的真實世界可選對象相關聯的可選對象，所述真實世界可選對象具有用以選擇的力要求；用於檢測與觸控螢幕顯示器上的可選對象的接觸的裝置；用於使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平的裝置；用於將所述力水平與同力要求相關聯的力閾值進行比較的裝置；以及用於當力水平大於力閾值時響應於所述接觸控制計算裝置的裝置。
[0019]在一個實施方案中，一種包含存儲在其上的程序代碼的非暫時性計算機可讀媒體包含:用以在操作地耦合到計算裝置的觸控螢幕顯示器上顯示真實世界裝置的經擴增現實表示的程序代碼，其中所述經擴增現實表示包括與真實世界裝置上的真實世界可選對象相關聯的可選對象，所述真實世界可選對象具有用以選擇的力要求；用以檢測與觸控螢幕顯示器上的可選對象的接觸的程序代碼；用以使用耦合到觸控螢幕顯示器的至少一個力傳感器確定與觸控螢幕顯示器的接觸的力水平的程序代碼；用以將所述力水平與同力要求相關聯的力閾值進行比較的程序代碼；以及用以當力水平大於力閾值時響應於所述接觸控制計算裝置的程序代碼。
【專利附圖】

【附圖說明】
[0020]圖1說明具有檢測三維觸摸信息的觸控螢幕顯示器的計算裝置。
[0021]圖2說明具有用以檢測三維觸摸信息的力傳感器的觸控螢幕顯示器的透視圖。
[0022]圖3是具有擁有力傳感器且能夠支持三維用戶介接所提示的命令的觸控螢幕顯示器的計算裝置的框圖。
[0023]圖4是說明使用觸控螢幕顯示器上的至少一個力傳感器來通過使用所檢測到的力選擇多個上覆接口元件中的一者而控制計算裝置的操作的一個實施例的流程圖。
[0024]圖5說明用戶以一力接觸計算裝置的觸控螢幕顯示器以選擇多個上覆接口元件中
的一者。
[0025]圖6是說明使用觸控螢幕顯示器上的至少一個力傳感器來通過防止需要二次確認的可疑命令的非既定激活而控制計算裝置的操作的一個實施例的流程圖，所述可疑命令例如為與異常、不可逆轉、非默認或潛在系統危險動作相關聯的命令。
[0026]圖7藉助實例說明用戶接觸計算裝置的觸控螢幕顯示器，這通過需要具有較高力水平的接觸而防止需要二次確認的可疑命令的非既定激活。
[0027]圖8是說明使用觸控螢幕顯示器上的至少一個力傳感器來控制計算裝置的操作以在經擴增現實應用中模仿真實世界對象的力要求的一個實施例的流程圖。
[0028]圖9藉助實例說明用戶接觸包含模仿真實世界對象的力要求的經擴增現實應用的計算裝置的觸控螢幕顯示器。
【具體實施方式】
[0029]圖1說明具有檢測三維(B卩，沿著X軸、Y軸和Z軸)觸摸信息的觸控螢幕顯示器102的計算裝置100。在添加Z軸信息的情況下，觸控螢幕顯示器102允許三維介接且不限於觸控螢幕表面上的簡單二維接口。
[0030]計算裝置100可為移動平臺，例如蜂窩式或其它無線通信裝置、個人通信系統(PCS)裝置、個人導航裝置(PND)、個人信息管理器(PM)、個人數字助理(PDA)、膝上型或其它適宜的移動裝置或任何其它適宜的靜止計算裝置(包含臺式計算機或其它類似裝置)。「計算裝置」因此既定包含具有包含觸控螢幕顯示器的用戶接口的所有裝置，包含無線通信裝置、計算機、膝上型計算機等。
[0031]圖2以X、Y和Z軸說明計算機裝置100的觸控螢幕顯示器102的透視圖。觸控螢幕顯示器102包含顯示元件104 (例如,IXD顯示器、LPD顯示器或其它適當顯示器)，且包含至少一個力傳感器106，且在一些實施例中，多個力傳感器106位於例如顯示元件104的周邊周圍在顯示元件104與外殼108 (在計算裝置100的情況下)的框架之間。力傳感器106可用粘合方式附接到外殼108和顯示元件104。因此，顯示元件104經由力傳感器106連接到外殼108。如圖2中說明，四個力傳感器106位於顯示元件104的左側和右側上，且三個力傳感器106沿著顯示元件104的頂側和底側定位。可視需要使用更多或更少力傳感器106以及與圖2中說明的不同的布置。舉例來說，可使用四個力傳感器106，每一個力傳感器106在顯示元件104的每一隅角中。視需要，與布置在周邊周圍形成對比或除布置在周邊周圍之外，力傳感器106可位於顯示元件104的中心中。力傳感器106可為電容性力傳感器，例如 PPS Touch Technology 公司、Stantum 公司、Peratech 有限公司或 Artificial Muscle公司生產的電容性力傳感器。可視需要使用例如由Interlink公司生產的例如電阻性力傳感器等其它力傳感器。另外，可使用例如由Measurement Specialties公司產生的聚合物類型或由Murata公司生產的陶瓷類型等壓電力傳感器，或任何其它適當類型的力傳感器。
[0032]力傳感器106檢測施加到傳感器的力或力的量。在多個力傳感器106布置在顯示元件104與外殼108之間的情況下，力傳感器106可一起使用以確定Z軸中施加到顯示元件104的力，以及沿著X和Y軸的力的矩心。舉例來說,施加到顯示元件104的左上角的觸摸將通過力傳感器106在左上角附近比力傳感器106在右下角附近產生更大的力讀數。
[0033]可執行校準以補償當施加力時顯示元件104中的玻璃或塑料的可能變形。可通過將已知力施加到顯示元件104的特定區域且沿著Z軸調整所得力讀數以及沿著X和Y軸調整力的矩心以與所述已知力和施加力的所述特定區域對應，來執行校準。觸控螢幕顯示器102可進一步包含在顯示元件104上方的常規觸摸傳感器110，其可為電容性、電阻性、紅外線和表面聲波技術。可使用觸摸傳感器110來通過確保由力傳感器106確定的力的矩心與由觸摸傳感器110識別的觸摸位置緊密對準(例如，居中)來校準力傳感器106。
[0034]圖3是具有操作地耦合到計算裝置100的至少一個力傳感器106且能夠支持三維用戶介接提示的命令的觸控螢幕顯示器102的框圖。計算裝置100是包含用於響應於與觸控螢幕顯示器的接觸接收來自觸控螢幕顯示器的多個位置的力測量值的裝置的系統，所述裝置可包含(例如)力傳感器106以及控制單元150，控制單元150可包含處理器152以及相關聯存儲器154、硬體156、軟體158和固件157。
[0035]計算裝置100包含與控制單元150通信的用戶接口 160，例如控制單元150接受數據並控制用戶接口 160。應理解，對於一些計算裝置(例如，臺式計算機)來說，觸控螢幕顯示器102可物理上與控制單元150分離且經由電纜或以無線方式連接到控制單元150。用戶接口 160包含觸控螢幕顯示器102，觸控螢幕顯示器102包含顯示元件104。觸控螢幕顯示器102進一步包含力傳感器106且可包含觸摸傳感器110。顯示元件104、力傳感器106和觸摸傳感器110由控制單元150分別通過顯示控制器192、力傳感器控制器196和觸摸傳感器控制器194控制。
[0036]用戶接口 160可進一步包含小鍵盤162或用戶可經由其將信息輸入到計算裝置100中的其它輸入裝置。視需要，可通過將虛擬小鍵盤集成到觸控螢幕顯示器102中而避免小鍵盤162。用戶接口 160還可包含(例如)麥克風164和揚聲器166，例如當計算裝置100為蜂窩式電話時。用戶接口 160還可包含用於提供觸覺反饋的振動器163。
[0037]計算裝置100可進一步包含用於俘獲可在例如經擴增現實類型應用中使用的圖像的相機112。計算裝置100可進一步包含收發器114(包含發射器和接收器)，例如能夠經由天線172將通信發送到蜂窩式塔、無線接入點或其它無線裝置以及接收來自其的通信的蜂窩式數據機或無線網絡無線電接收器/發射器。計算裝置100可進一步包含運動傳感器180，例如三軸加速度計或陀螺儀。運動傳感器180可用作用戶接口 160的一部分，例如以檢測呈計算裝置100的移動的形式的手勢或當手勢由觸控螢幕顯示器102檢測到時檢測計算裝置100的定向。運動傳感器180和/或相機112還可用於可在經擴增現實類型應用中使用的位置確定。
[0038]控制單元150可由處理器152以及相關聯存儲器154、硬體156、軟體158和固件157提供。控制單元150包含用於控制顯示元件104的裝置、用於控制觸摸傳感器110的裝置，以及用於控制力傳感器106的裝置，分別說明為顯示控制器192、觸摸傳感器控制器194和力傳感器控制器196。控制單元150還可包含執行經擴增現實類型應用的經擴增現實(AR)控制器198。顯示控制器192、觸摸傳感器控制器194、力傳感器控制器196和AR控制器198可植入在處理器152、硬體156、固件157或軟體158 (即，存儲在存儲器154中且由處理器152執行的計算機可讀媒體)或其組合中。然而，為清楚起見單獨說明顯示控制器192、觸摸傳感器控制器194和力傳感器控制器196以及AR控制器198。舉例來說，由Cypress公司製造的觸控螢幕控制器可用作觸摸傳感器控制器194以及力傳感器控制器196。此外，具有A/D轉換或其它阻抗測量電路的分壓器可與電阻性力傳感器控制器196 —起使用。
[0039]將了解，如本文所使用，處理器152可(但不需要一定)包含一個或一個以上微處理器、內嵌式處理器、控制器、專用集成電路(ASIC)、數位訊號處理器(DSP)等。術語處理器既定描述由系統而非特定硬體實施的功能。此外，如本文所使用，術語「存儲器」指代任何類型的計算機存儲媒體，包含長期、短期或與移動平臺相關聯的其它存儲器，且不限於任何特定類型的存儲器或特定數目的存儲器，或上面存儲存儲器的特定類型的媒體。
[0040]本文描述的方法可依據應用通過各種手段實施。舉例來說，這些方法可實施在硬體156、固件157、軟體158或其任何組合中。對於硬體實施方案，處理單元可實施在一個或一個以上專用集成電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理裝置(DSH))、可編程邏輯裝置(PLD)、現場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子裝置、經設計以執行本文描述的功能的其它電子單元，或其組合內。
[0041]對於固件及/或軟體實施方案，可用執行本文所描述的功能的模塊(例如，過程、函數等)來實施所述方法。可使用有形地體現指令的任何機器可讀媒體來實施本文描述的方法。舉例來說，軟體代碼可存儲在存儲器154中且由處理器152執行。存儲器可實施在處理器單元內或處理器單元外部。如本文所使用，術語「存儲器」指代任何類型的長期、短期、易失性、非易失性或其它存儲器，且不限於任何特定類型的存儲器或特定數目的存儲器，或上面存儲存儲器的特定類型的媒體。
[0042]計算裝置100可包含用於在觸控螢幕顯示器102上顯示至少部分重疊的多個可選對象的裝置，其可包含顯示控制器192和顯示元件104。用於確定施加到觸控螢幕顯示器102的力的量值(有時稱為水平或力水平)的裝置包含力傳感器106和力傳感器控制器196。用於使用接觸的力水平來從所述多個可選對象中選擇對象的裝置以及用於基於選定對象控制計算裝置的裝置可包含處理器152、硬體156、固件157以及相關聯軟體158。計算裝置可進一步包含用於檢測與觸控螢幕顯示器上的對象的接觸的裝置，其可包含觸摸傳感器和觸摸傳感器控制器194。用於確定用以控制計算裝置的命令需要二次確認的裝置以及用於起始所述命令的裝置可包含處理器152、硬體156、固件157以及相關聯軟體158。計算裝置100還可包含用於顯示真實世界裝置的經擴增現實表示的裝置，其可包含AR控制器198、相機112和運動傳感器180。用於將接觸的力水平與力閾值進行比較的裝置可包含處理器152、硬體156、固件157以及相關聯軟體158。
[0043]軟體158可包含存儲在非暫時性計算機可讀媒體(例如，存儲器154)中且由處理器152執行的程序代碼，且所述程序代碼可用於運行處理器並控制如本文描述的計算裝置100的操作。存儲在計算機可讀媒體中的程序代碼可額外包含用以致使處理器控制如下文進一步描述的計算裝置100的任何操作的程序代碼。
[0044]如果實施在固件和/或軟體中，那麼所述功能可作為一個或一個以上指令或代碼存儲在計算機可讀媒體上。實例包含以數據結構編碼的計算機可讀媒體和以電腦程式編碼的計算機可讀媒體。計算機可讀媒體包含物理計算機存儲媒體。存儲媒體可為可由計算機存取的任何可用媒體。藉助實例且非限制，此類計算機可讀媒體可包括RAM、ROM、EEPR0M、CD-ROM或其它光碟存儲裝置、磁碟存儲裝置或其它磁性存儲裝置，或可用於存儲呈指令或數據結構的形式的所要程序代碼並可由計算機存取的任何其它媒體；如本文使用的光碟和磁碟包含壓縮光碟(CD)、雷射光碟、光學光碟、數字多功能光碟(DVD)、軟性磁碟和藍光光碟，其中磁碟通常以磁性方式再現數據，而光碟利用雷射以光學方式再現數據。上文的組合也應包含在計算機可讀媒體的範圍內。[0045]圖4是說明使用觸控螢幕顯示器102上的至少一個力傳感器106來通過使用所檢測到的力選擇多個上覆接口元件中的一者而控制計算裝置100的操作的一個實施例的流程圖。使用力檢測來選擇接口元件可尤其有用，例如在用戶正步行且不擁有使用精細馬達控制來選擇對象的優勢的情況下。如圖4中說明，在操作地耦合到計算裝置100的觸控螢幕顯示器上顯示至少部分重疊的多個可選對象(202)。可選對象可為半透明的，使得下伏可選對象為用戶可見的，以便警告用戶可選擇的選項。使用耦合到觸控螢幕顯示器102的至少一個力傳感器106確定與觸控螢幕顯示器102的接觸的力水平(204)。視需要，觸控螢幕顯示器102上的接觸的位置還可例如基於耦合到觸控螢幕顯示器的觸摸傳感器110來檢測，且用於確定選擇了重疊的可選對象的若干群組中的哪一者。使用接觸的力水平來從多個可選對象中選擇對象(206)。舉例來說，可能需要比選擇上覆對象所需的力大的力來選擇下伏對象。基於力水平的對象的選擇可通過將力水平與同可選對象中的每一者相關聯的力閾值進行比較來執行，例如在超過與可選對象相關聯的力閾值導致選擇下伏對象的情況下。接著基於選定的對象適當控制計算裝置(208)，例如通過起始與選定對象相關聯的命令或通過提供觸覺反饋以指示選擇了對象。可例如通過致使計算裝置100振動(例如，使用振動器163)來提供觸覺反饋。觸覺反饋還可由例如Artificial Muscle公司生產的合成彈性體活化劑提供，這些合成彈性體活化劑可安裝在框架中、滾動到圓柱體中，或以其它配置安裝以提供適當觸覺反饋。另外，觸覺反饋可由對人類皮膚的直接電刺激提供，例如Senseg公司的Tixel電極所提供的觸覺反饋。
[0046]圖5說明用戶101以一力接觸計算裝置100的觸控螢幕顯示器102以選擇多個上覆接口元件中的一者。計算裝置100說明為包含揚聲器166和麥克風164的行動電話或智慧型電話，但應理解，計算裝置100不限於此。圖5藉助實例說明觸控螢幕顯示器102顯示地址簿中的可選條目210A、210B和210C，其中每一條目包含呈姓名212、電話圖標214和文本消息圖標216的形式的上覆接口元件。用戶101與觸控螢幕顯示器102的接觸在圖5中說明為星爆220。貫穿本文獻中，所說明的星爆的尺寸越大，則正施加到觸控螢幕顯示器102的力越大。用戶101的接觸產生相對少的力，如力傳感器106(圖2所示)檢測到，且因此姓名212經確定為被選定，這可致使計算裝置100顯示例如關於所要條目的信息。視需要，觸控螢幕顯示器102可提供基於力的量值選擇上覆接口元件中的哪一者的指示，如框213說明。另外，視需要，通過用戶201快速移除與觸控螢幕顯示器102的接觸可導致對接口元件的選擇的接受。換句話說，與觸控螢幕顯示器102的接觸的終止經檢測且用於接受所述選擇。此外，用戶可保持與觸控螢幕顯示器102的接觸，但施加到觸控螢幕顯示器102的力水平的改變的檢測可用於選擇接口元件中的另一者。
[0047]如果用戶101已施加較大力，如條目210B上的星爆222說明，那麼將選擇針對所述條目的電話圖標214。電話圖標214的選擇可致使觸控螢幕顯示器102將圖標的顯示從半透明改為不透明，由電話圖標214比其它條目中暗來說明，或通過在電話圖標214周圍產生框215或任何其它所要方式來說明。電話圖標214的選擇可致使計算裝置100呼叫與條目相關聯的電話號碼。
[0048]星爆224說明的更大力的施加可導致選擇文本消息接發圖標216，所述文本消息接發圖標216可通過將圖標的顯示從半透明改為不透明、通過在文本圖標216周圍產生框217或以任何其它所要方式顯示。文本圖標216的選擇可致使計算裝置100起始到與條目相關聯的號碼的文本消息。
[0049]如圖5中可見，與觸控螢幕顯示器102的接觸(由星爆220、222和224說明)不需要直接在需要選擇的特定元件上，而是使用接觸的力的量值來確定選擇哪一接口元件。然而，應注意，觸控螢幕顯示器102上的接觸的位置可用於確定正選擇上覆接口元件的哪一群組(例如，哪一條目210A、210B或210C)。
[0050]圖6是說明使用觸控螢幕顯示器102上的至少一個力傳感器106來通過防止需要二次確認的可疑命令的非既定激活而控制計算裝置100的操作的一個實施例的流程圖，所述可疑命令例如與異常、不可逆轉、非默認或潛在系統危險動作相關聯的命令。當前，系統有時使用用於二次確認的二次對話框來確認用戶想要執行某一動作。舉例來說，當刪除文件時，二次對話框通常要求用戶確認或取消動作。然而，在當前實施例中，可由用戶以比非可疑命令所需的力明顯大的力接觸觸控螢幕顯示器以避免非既定激活且視需要避免需要二次對話框，來起始需要二次確認的可疑命令。
[0051]如圖6中說明，檢測與觸控螢幕顯示器102上的可選對象的接觸，其中所述可選對象與控制計算裝置100的命令相關聯(252)。確定控制計算裝置100的命令需要二次確認(254)。例如在執行命令可能為非既定動作和/或可引起異常、不可逆轉、非默認或潛在系統危險動作的情況下，可確定所述命令需要二次確認。需要二次確認的可疑命令是應用程式特定的，但實例可包含例如:刪除文件；在未保存的情況下退出應用程式；刪除較大數目的文件；移動、複製或操縱系統文件或大目錄；打開非默認應用程式中的文件；發送包含拼寫錯誤或未經過拼寫或語法校正的電子郵件(email);以及發送具有攻擊性內容的電子郵件、褻瀆語言，或發送到多個接收方(例如當一個人因疏忽而向所有人回復時)。使用耦合到觸控螢幕顯示器102的至少一個力傳感器106確定與觸控螢幕顯示器102的接觸的力水平(256)。可響應於與可選對象的接觸和所述力水平而起始所述命令(260)。舉例來說，視需要，可將力水平與閾值進行比較(258)，其中在力水平超過閾值的情況下起始所述命令。舉例來說，第一閾值可用於非可疑命令的選擇，而可需要具有較大量值的第二力用於選擇需要二次確認的命令。
[0052]圖7藉助實例說明用戶101接觸計算裝置100的觸控螢幕顯示器102，這通過需要具有較高力水平的接觸而防止需要二次確認的可疑命令的非既定激活。在當前實例中，計算裝置100經說明為顯示電子郵件消息，所述電子郵件消息包含消息的主體272中的印刷錯誤。另外，電子郵件消息尋址276到「[email protected]」,其可為較大數目的人。因此，發送電子郵件消息可歸因於消息的主體272中的印刷錯誤以及地址中可能包含較大數目的人而被確定為需要二次確認的可疑動作。因此，用戶101可需要以比動作不可疑的情況大的量的力接觸發送虛擬按鈕274。換句話說，用戶101與發送虛擬按鈕274的接觸(由星爆282說明)可能不足以起始發送功能，而以較大力的接觸(說明為星爆284)將足以起始發送功能。視需要，在一個實施例中，以較小力的接觸(由星爆282說明)可致使二次對話框呈現以確認或取消發送功能，而以較大力的接觸(由星爆284說明)可在無二次對話框的情況下起始發送功能。如上文論述，增加的力水平要求不限於電子郵件應用，而是可與其它類型的應用以及需要二次確認的其它類型的可疑命令一起使用。
[0053]圖8是說明使用觸控螢幕顯示器102上的至少一個力傳感器106來控制計算裝置100的操作以在經擴增現實(AR)應用中模仿真實世界對象的力要求的一個實施例的流程圖。如圖8中說明，在計算裝置100的觸控螢幕顯示器102上顯示真實世界裝置的AR表示(300)。真實世界裝置的AR表示包含與具有待選擇的力要求的真實世界裝置上的真實世界可選對象相關聯的可選對象。舉例來說，真實世界可選對象可為需要5N的力來按壓的立體聲系統上的電源按鈕。檢測與觸控螢幕顯示器上的可選對象的接觸(302)。使用耦合到觸控螢幕顯示器102的至少一個力傳感器106確定與觸控螢幕顯示器102的接觸的力水平(304)。將力水平與同真實世界可選對象的力要求相關聯的力閾值進行比較(306)。舉例來說，力閾值可與真實世界可選對象的力要求相同。或者，在真實世界對象包含多個可選對象(例如，具有不同力要求的電源按鈕和播放按鈕)的情況下，力閾值可基於真實世界可選對象的力要求的比率。當力水平大於力閾值時響應於接觸來控制計算裝置100 (308)，例如通過起始與可選對象相關聯的命令。
[0054]圖9藉助實例說明用戶101接觸包含模仿真實世界對象的力要求的AR應用的計算裝置100的觸控螢幕顯示器102。圖9說明展示包含呈電源按鈕352的形式的真實世界可選對象的立體聲系統350的形式的真實世界對象。電源按鈕352具有用於選擇的力要求，例如可需要5N力來按壓電源按鈕352。立體聲系統350可包含其它可選對象(如按鈕354說明)，其可具有不同力要求。計算裝置100在觸控螢幕顯示器102上顯示立體聲系統350的AR表示360。AR表示360是由相機112俘獲的圖像或圖像系列，其包含與立體聲系統350上的電源按鈕352和按鈕354相關聯的虛擬電源按鈕362和虛擬按鈕364的形式的可選對象，且還可包含經擴增數據，例如上覆的文本或圖形(展示為虛擬電源按鈕362和按鈕364上的陰影)。產生真實世界對象的AR表示在此項技術中是眾所周知的。虛擬電源按鈕362響應於與真實世界電源按鈕352類似的力水平。換句話說，當用戶101接觸虛擬電源按鈕362時(由星爆372表示)，將接觸的力水平(如力傳感器106(圖2所示)檢測)與同真實世界電源按鈕352的力要求相關聯的力閾值進行比較。藉助實例，力閾值可與電源按鈕352的力要求相同。或者，力閾值可基於立體聲系統350上的真實世界可選對象的力要求的比率，例如與虛擬電源按鈕362和虛擬按鈕364相關聯的力閾值可具有與電源按鈕352和播放按鈕354的力要求相同的比率。當接觸372的力水平大於力閾值時，虛擬電源按鈕362的選擇可控制計算裝置100，例如以啟動計算裝置100上的音樂應用程式。視需要，計算裝置100可與立體聲系統350進行無線通信，如計算裝置100上的收發器114與立體聲系統350上的接收器356之間的箭頭374說明。無線通信可經由WiF1、藍牙或任何其它所要無線協議來實現。虛擬電源按鈕362的選擇可致使計算裝置100與立體聲系統350進行無線通信以控制立體聲系統350，例如接通(或斷開)立體聲系統350。雖然圖9說明包含立體聲系統的特定實施方案，但當前實施例預期使用對於任何真實世界對象的力模仿和經擴增現實表示。
[0055]儘管出於指導性目的結合特定實施例說明本發明，但本發明不限於此。可在不脫離本發明範圍的情況下作出各種調適和修改。因此，所附權利要求書的精神和範圍不應限於以上描述。
【權利要求】
1.一種方法，其包括: 在操作地耦合到計算裝置的觸控螢幕顯示器上顯示至少部分重疊的多個可選對象； 使用耦合到所述觸控螢幕顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的接觸的力水平； 使用所述接觸的所述力水平從所述多個可選對象中選擇對象；以及 基於所述所選定的對象控制所述計算裝置。
2.根據權利要求1所述的方法，其進一步包括檢測所述觸控螢幕顯示器上的所述接觸的位置，以及使用所述位置和所述力水平來選擇所述對象。
3.根據權利要求1所述的方法，其中所述多個可選對象包括至少一個半透明對象。
4.根據權利要求3所述的方法，其中當所述至少一個半透明對象是所述所選定的對象時，所述至少一個半透明對象顯示為不透明的。
5.根據權利要求1所述的方法，其中控制所述計算裝置包括致使所述觸控螢幕顯示器指示所述所選定的對象。
6.根據權利要求1所述的方法，其中控制所述計算裝置包括致使觸覺反饋指示所述所選定的對象。
7.根據權利要求1所述的方法，其進一步包括確定所述接觸的所述力水平的改變，以及基於所述改變選擇不同對象。
8.根據權利要求1所述的 方法，其進一步包括檢測所述接觸的終止，以及使用所述接觸的所述終止來接受所述所選定的對象。
9.一種設備，其包括: 外殼; 觸控螢幕顯示器，其包括顯示器和耦合在所述外殼與所述顯示器之間的至少一個力傳感器；以及 處理器，其經連接以從所述至少一個力傳感器接收數據，其中所述處理器經配置以致使所述觸控螢幕顯示器:顯示至少部分重疊的多個可選對象；基於來自所述至少一個力傳感器的所述數據確定與所述觸控螢幕顯示器的接觸的力水平；使用所述接觸的所述力水平從所述多個可選對象中選擇對象；且起始與所述所選定的對象相關聯的命令。
10.根據權利要求9所述的設備，其中所述觸控螢幕顯示器進一步包括耦合到所述顯示器的觸摸傳感器，所述處理器經耦合以從所述觸摸傳感器接收數據，其中所述處理器進一步經配置以基於來自所述觸摸傳感器的所述數據檢測所述觸控螢幕顯示器上的所述接觸的位置並使用所述位置和所述力水平來選擇所述對象。
11.根據權利要求9所述的設備，其中所述多個可選對象包括至少一個半透明對象。
12.根據權利要求11所述的設備，其中所述處理器經配置以致使當所述至少一個半透明對象是所述所選定的對象時將所述至少一個半透明對象顯示為不透明的。
13.根據權利要求9所述的設備，其中所述處理器進一步經配置以致使所述觸控螢幕顯示器指示所述所選定的對象。
14.根據權利要求9所述的設備，其中所述處理器進一步經配置以致使觸覺反饋指示所述所選定的對象。
15.根據權利要求9所述的設備，其中所述處理器進一步經配置以基於來自所述至少一個力傳感器的所述數據確定所述接觸的所述力水平的改變，且基於所述改變選擇不同對象。
16.根據權利要求9所述的設備，其中所述處理器進一步經配置以檢測所述接觸的終止，且使用所述接觸的所述終止來接受所述所選定的對象。
17.—種設備,其包括: 用於在操作地耦合到計算裝置的觸控螢幕顯示器上顯示至少部分重疊的多個可選對象的裝置； 用於使用耦合到所述觸控螢幕顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的接觸的力水平的裝置； 用於使用所述接觸的所述力水平從所述多個可選對象中選擇對象的裝置；以及 用於基於所述所選定的對象控制所述計算裝置的裝置。
18.根據權利要求17所述的設備，其進一步包括用於檢測所述觸控螢幕顯示器上的所述接觸的位置並使用所述位置和所述力水平來選擇所述對象的裝置。
19.一種包含存儲在其上的程序代碼的非暫時性計算機可讀媒體，其包括: 用以在操作地耦合到計算裝置的觸控螢幕顯示器上顯示至少部分重疊的多個可選對象的程序代碼； 用以使用耦合到所述觸控螢幕 顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的接觸的力水平的程序代碼； 用以使用所述接觸的所述力水平從所述多個可選對象中選擇對象的程序代碼；以及 用以基於所述所選定的對象控制所述計算裝置的程序代碼。
20.根據權利要求19所述的非暫時性計算機可讀媒體，其進一步包括用以檢測所述觸控螢幕顯示器上的所述接觸的位置並使用所述位置和所述力水平來選擇所述對象的程序代碼。
21.—種方法,其包括: 檢測與觸控螢幕顯示器上的可選對象的接觸，所述可選對象與控制計算裝置的命令相關聯； 確定所述控制所述計算裝置的命令需要二次確認； 使用耦合到所述觸控螢幕顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的所述接觸的力水平；以及 響應於與所述可選對象的所述接觸和所述力水平起始所述命令。
22.根據權利要求21所述的方法，其進一步包括將所述力水平與閾值進行比較，其中當所述力水平大於所述閾值時起始所述命令。
23.根據權利要求21所述的方法，其進一步包括將所述力水平與閾值進行比較，其中當所述力水平小於所述閾值時顯示二次對話框。
24.根據權利要求21所述的方法，其中當執行所述命令可引起異常、非默認、不可逆轉或潛在系統危險動作時確定所述命令需要二次確認。
25.根據權利要求21所述的方法，其中所述命令是以下各項中的至少一者:非默認選項、操縱系統文件或目錄的命令、打開非默認應用程式中的內容，以及發送具有拼寫錯誤、語法錯誤、攻擊性內容和多個接收方的電子郵件。
26.—種設備,其包括: 外殼; 觸控螢幕顯示器，其包括顯示器、耦合到所述顯示器的觸摸傳感器，和耦合在所述外殼與所述顯示器之間的至少一個力傳感器；以及 處理器，其經連接以從所述觸摸傳感器和所述至少一個力傳感器接收數據，其中所述處理器經配置以:基於來自所述觸摸傳感器的所述數據檢測與所述觸控螢幕顯示器上的可選對象的接觸，所述可選對象與一命令相關聯；確定所述命令需要二次確認；基於來自所述至少一個力傳感器的數據確定與所述觸控螢幕顯示器的所述接觸的力水平；且響應於與所述可選對象的所述接觸和所述力水平起始所述命令。
27.根據權利要求26所述的設備，其中所述處理器進一步經配置以將所述力水平與閾值進行比較，其中當所述力水平大於所述閾值時起始所述命令。
28.根據權利要求26所述的設備，其中所述處理器進一步經配置以將所述力水平與閾值進行比較，且當所述力水平小於所述閾值時致使所述顯示器顯示二次對話框。
29.根據權利要求26所述的設備，其中當執行所述命令可引起異常、不可逆轉、非默認或潛在系統危險動作時確定所述命令需要二次確認。
30.根據權利要求26所述的設備，其中所述命令是以下各項中的至少一者:非默認選項、操縱系統文件或目錄的命令、打開非默認應用程式中的內容，以及發送具有拼寫錯誤、語法錯誤、攻擊性內容和多個接收方的電子郵件。
31.一種設備，其包括: 用於檢測與觸控螢幕顯示器上的可`選對象的接觸的裝置，所述可選對象與控制計算裝置的命令相關聯； 用於確定所述控制所述計算裝置的命令需要二次確認的裝置； 用於使用耦合到所述觸控螢幕顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的所述接觸的力水平的裝置；以及 用於響應於與所述可選對象的所述接觸和所述力水平起始所述命令的裝置。
32.根據權利要求31所述的設備，其進一步包括用於將所述力水平與閾值進行比較的裝置，其中當所述力水平大於所述閾值時起始所述命令。
33.一種包含存儲在其上的程序代碼的非暫時性計算機可讀媒體，其包括: 用以檢測與觸控螢幕顯示器上的可選對象的接觸的程序代碼，所述可選對象與控制計算裝置的命令相關聯； 用以確定所述控制所述計算裝置的命令需要二次確認的程序代碼； 用以使用耦合到所述觸控螢幕顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的所述接觸的力水平的程序代碼；以及 用以響應於與所述可選對象的所述接觸和所述力水平起始所述命令的程序代碼。
34.根據權利要求33所述的非暫時性計算機可讀媒體，其進一步包括用以將所述力水平與閾值進行比較的程序代碼，其中當所述力水平大於所述閾值時起始所述命令。
35.一種方法,其包括: 在操作地耦合到計算裝置的觸控螢幕顯示器上顯示真實世界裝置的經擴增現實表示，其中所述經擴增現實表示包括與所述真實世界裝置上的真實世界可選對象相關聯的可選對象，所述真實世界可選對象具有用以選擇的力要求； 檢測與所述觸控螢幕顯示器上的所述可選對象的接觸； 使用耦合到所述觸控螢幕顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的所述接觸的力水平； 將所述力水平與同所述力要求相關聯的力閾值進行比較；以及 當所述力水平大於所述力閾值時響應於所述接觸控制所述計算裝置。
36.根據權利要求35所述的方法，其中所述經擴增現實表示包括所述真實世界裝置的圖像。
37.根據權利要求35所述的方法，其中控制所述計算裝置包括操縱所述真實世界裝置的所述經擴增現實表示。
38.根據權利要求35所述的方法，其中控制所述計算裝置包括致使所述計算裝置控制所述真實世界裝置。
39.根據權利要求35所述的方法，其中所述力閾值等於所述力要求。
40.根據權利要求35所述的方法，其中所述真實世界裝置包括具有第二力要求的第二真實世界可選對象，且其中所述力閾值是基於所述力要求與所述第二力要求的比率。
41.一種設備,其包括: 外殼; 相機，其用以俘獲具有擁有用以選擇的力要求的真實世界可選對象的真實世界裝置的圖像； 觸控螢幕顯示器，其包括顯示器、耦合到所述顯示器的觸摸傳感器，和耦合在所述外殼與所述顯示器之間的至少一個力傳感器；以及 處理器，其經連接以從所述相機接收所述圖像以及從所述觸摸傳感器和所述至少一個力傳感器接收數據，其中所述處理器經配置以致使所述顯示器:在所述顯示器上顯示所述真實世界裝置的經擴增現實表示，其中所述經擴增現實表示包括與真實世界可選對象相關聯的可選對象；基於來自所述觸摸傳感器的所述數據檢測與所述觸控螢幕顯示器上的所述可選對象的接觸；基於來自所述至少一個力傳感器的數據確定與所述觸控螢幕顯示器的所述接觸的力水平；將所述力水平與同所述力要求相關聯的力閾值進行比較；且當所述力水平大於所述力閾值時響應於所述接觸起始與所述可選對象相關聯的命令。
42.根據權利要求41所述的設備，其中所述經擴增現實表示包括所述真實世界裝置的圖像。
43.根據權利要求41所述的設備，其中與所述可選對象相關聯的所述命令致使所述處理器操縱所述真實世界裝置的所述經擴增現實表示。
44.根據權利要求41所述的設備，其進一步包括能夠與所述真實世界裝置進行無線通信的無線發射器，其中與所述可選對象相關聯的所述命令致使所述處理器以所述無線發射器控制所述真實世界裝置。
45.根據權利要求41所述的設備，其中所述力閾值等於所述力要求。
46.根據權利要求41所述的設備，其中所述真實世界裝置包括具有第二力要求的第二真實世界可選對象，且其中所述力閾值是基於所述力要求與所述第二力要求的比率。
47.—種設備,其包括:用於在操作地耦合到計算裝置的觸控螢幕顯示器上顯示真實世界裝置的經擴增現實表示的裝置，其中所述經擴增現實表示包括與所述真實世界裝置上的真實世界可選對象相關聯的可選對象，所述真實世界可選對象具有用以選擇的力要求； 用於檢測與所述觸控螢幕顯示器上的所述可選對象的接觸的裝置； 用於使用耦合到所述觸控螢幕顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的所述接觸的力水平的裝置； 用於將所述力水平與同所述力要求相關聯的力閾值進行比較的裝置；以及 用於當所述力水平大於所述力閾值時響應於所述接觸控制所述計算裝置的裝置。
48.一種包含存儲在其上的程序代碼的非暫時性計算機可讀媒體，其包括: 用以在操作地耦合到計算裝置的觸控螢幕顯示器上顯示真實世界裝置的經擴增現實表示的程序代碼，其中所述經擴增現實表示包括與所述真實世界裝置上的真實世界可選對象相關聯的可選對象，所述真實世界可選對象具有用以選擇的力要求； 用以檢測與所述觸控螢幕顯示器上的所述可選對象的接觸的程序代碼； 用以使用耦合到所述觸控螢幕顯示器的至少一個力傳感器確定與所述觸控螢幕顯示器的所述接觸的力水平的程序代碼； 用以將所述力水平與同所述力要求相關聯的力閾值進行比較的程序代碼；以及 用以當所述力水平大於所述力 閾值時響應於所述接觸控制所述計算裝置的程序代碼。
【文檔編號】G06F3/048GK103502918SQ201280021445
【公開日】2014年1月8日 申請日期:2012年5月1日 優先權日:2011年5月19日
【發明者】布賴恩·莫邁爾, 凱文·M·貝克威思 申請人:高通股份有限公司