一套人機互動方法及結構的製作方法

2023-08-08 01:44:36

專利名稱：一套人機互動方法及結構的製作方法
技術領域：
本發明涉及一套人機互動機制，尤其是適用於多點觸摸的人機互動機制。
技術背景
現有的人機互動機制，包括應用於使用者操作的系統以及應用於設計者設計程 序的結構，都是為滑鼠和單點觸控螢幕設計的，多點觸摸的出現，需要新的人機互動機制 與之匹配，以發揮其優勢以及降低基於多點觸摸操作方式的程序的難度。

發明內容
一種適用於多點觸摸操作的菜單，其特徵是呼出菜單的觸摸點消失，且菜單上 沒有觸摸點在對菜單進行操作，則菜單消失，。一種圖標，其特徵是在激活之前可以移 動，在激活之後，對圖標的移動，點擊，按壓操作對應相應的功能。一種用於雙手操作 的控制方式，其特徵是一隻手用於確定操作位置，另一隻手或者兩隻手同時控制操作效 果。一種基於多點觸摸操作操作3D物體的方法，其特徵是基於準確觸摸圖像和其它預 置參數生成3D物體的基礎形狀，再對其進行控制，確定最終需要的3D圖形及其空間位 置。一種觸摸鍵盤，其特徵是鍵盤分為多個部分，分別位於屏幕中線兩側。一種觸摸 工具與手共同操作的界面，其特徵是手用於控制觸摸工具對應的功能。一種程序架構， 其特徵是根據觸摸圖像以及觸摸壓力生成相應物體，交由物理引擎等處理，以實現觸摸 效果的實時生成。一種多重指令機構，其特徵是允許使用者自定義每條指令的執行優先 級。一種自定義觸摸指令編輯器，其特徵是通過將觸摸操作分解為標準動作，使使用者 能夠基於標準動作自定義觸摸指令。


圖1到圖4是選單的幾種樣式
圖5是菜單出現在與呼出菜單命令發出不同位置的界面示意圖
圖6是觸摸筆界面的一個示意圖
圖7是一種選定目標的觸摸指令
圖8是五個手指的觸摸圖像
圖9是一個觸摸圖像
圖10是人的雙手
圖11是一種使用選單的觸摸指令
圖12是幾種選單的樣式
圖13幾種圖標的樣式
圖14是一種圖標或選單的樣式
圖15是4個手指壓住圖標的示意圖
圖16是雙手操作的一種形式的示意圖
圖17是出現了多個圖標，手指觸摸了其中的3個圖標的示意圖
圖18是雙手操作的另一示意圖
圖19是用雙手操作根據觸摸圖像生成的物體的示意圖。
圖20是觸摸指令編輯器的界面示意圖。
具體實施例方式
1，一種配合多點觸摸操作的菜單
菜單的樣式可以採用但不限於圖1，圖2，圖3，圖4的幾種樣式，
呼出菜單可以採用如下幾種方法
1，通過相應圖標
2，選定一個或多個對象之後菜單自動出現
3，通過相對應的觸摸指令
例如一隻手上一根或多根手指保持不動，其它手指進行滑動或敲擊，或用不同 大小的力量按壓屏幕。例如，圖8中，7，8，9，10是人的4根手指，6是大拇指，11 是手掌與屏幕接觸的區域。使用者可以以7，8，9，10中的一個或多個手指接觸屏幕 不動，一個或多個手指進行點擊或者滑動操作，或是不離開屏幕，但是用不同其中的壓 力按壓屏幕來呼出菜單，呼出菜單的觸摸指令不會很複雜，因為使用者要快速的呼出菜 單，例如圖8中，6，9，10保持不動，7，8滑動，或者是7，8，9，10不動，6滑動，來 呼出菜單。這都是人的自然操作，因為人的小拇指單獨移動起來很困難。
進一步的，可以設定為只有11觸摸了屏幕的時候才能執行以上觸摸指令。這樣 可以避免因為了防止誤觸摸而設置延時導致影響流暢的操作體驗。
也可以設定為16和11，6都接觸屏幕的時候在選定的對象或區域上即呼出菜
呼出菜單的相應的觸摸指令還可以包括但不限於如圖9中，17，171，172對 應使用者的3個手指或是觸摸工具，17保持與觸控螢幕觸摸，用171，172以一定組合敲擊 屏幕，不同的組合對應不同的菜單，例如保持17觸摸觸摸的情況下，171點擊一次或兩 次屏幕，或是171沿任意方向在屏幕上滑動，或是17與屏幕保持觸摸的情況下172點擊 一次或兩次屏幕，或是172沿任意方向在屏幕上滑動。或是17，171，172中的一個或多 個始終保持與屏幕的接觸，但是用不同的力度按壓屏幕，例如重輕重。
呼出菜單的觸摸指令同時也可以作為選定目標的觸摸指令，或者說，在呼出菜 單的過程中就選定了目標，7，8，9，10四根手指，也可以在加上6大拇指，11手掌，為 頂點或邊緣的區域可以視為一個選定區，選定區域內的一個或多個對象或者區域。
菜單的功能
可以進行的操作包括，但不限於
1，滑動菜單以顯示出其它圖標，
2，選定菜單上的圖標，敲擊菜單上的圖標啟動相應功能，
3，按住菜單上相應圖標後用壓力感應功能控制相應功能，
4，按住圖標將其拖出菜單，以展開圖標對應的相應功能的子菜單，或者是為其 創建快捷方式，
5，拖動其它圖標將其加入菜單。6，菜單可以根據一次要顯示的圖標的數量和每個圖標的大小調整大小，菜單的 大小和每個圖標的大小可以由使用者自行設定，也可以自動設定。7，如果菜單上的圖標很多，一次顯示不過來，菜單可以根據圖標的使用頻率決 定圖標的位置，或是形成一個常用列表，默認情況下優先顯示常用列表上的圖標。8，可以通過點擊菜單上的標籤或者在菜單的圖標上滑動，或是在菜單的特定位 置上滑動來切換不同版的菜單。例如圖3中，20是菜單的滑動區，在滑動區上沿Y方向 上滑動是在某一版內滑動圖標，圖標依次沿y方向移向菜單邊緣直至消失，沿χ 軸上滑動 圖標則是整版切換，所有圖標都被切換，例如本來顯示的是用於「審閱」的圖標，切換 之後就變成了用於調節字體的圖標。滑動區並不一定要和圖表顯示區在一起，也可以分 開，以便雙手操作9，菜單可以設定專門的滑動區，而將在相應的圖標上滑動視為調節圖標所對應 的功能，例如增大或減小音量，亮度，圖形的寬窄，3D圖形的高度等。如圖6，菜單可 以設置菜單控制區，用以提供設置菜單的選項，例如，1，釘住菜單，使所有操作菜單的 手指離開菜單之後菜單也不會消失，2，增加菜單的寬度，同時顯示更多的圖標。如果沒 有特別設定要求釘住菜單，菜單將在呼出菜單的觸摸點離開菜單後消失或是所有觸摸點 離開菜單後自動消失，這樣可為使用者提供流暢的操作體驗。10，菜單的圖標靠近使用者便於操作位置的圖標會變得比其它位置的圖標大， 以便於使用者操作。11，菜單並不一定出現在呼出菜單的操作發生的位置。呼出菜單的操作發生的 位置和菜單出現的位置位於屏幕中線的兩端，這樣便於雙手操作。圖1到圖4是菜單可以採用的幾種樣式圖1是一個基本的菜單，17代表了一根或多根用於呼出菜單的手指或觸摸物， 29是菜單的多個選項。適用於簡單操作，沿χ或y軸在圖標上滑動手指分別對應切換新 圖標，或是調節圖標所對應的功能，或是將圖標拖出菜單創建快捷方式三種功能之一。 按壓圖標也可以調節圖標所對應的選項，例如用力按住增加亮度的圖標圖2中，24是滑動區，27是菜單選項，25是菜單控制區。在27上以菜單的圓心為圓心滑動，可以用以調節選項所對應的功能，例如亮度，可以設定為順時針方向為增加亮度，擬時針方向為減小亮度。沿半徑方向向菜單外滑動圖標是將圖標拖出菜單以創建快捷方式，反之是向菜 單上添加圖標。25是菜單控制區，用於控制菜單，例如釘住菜單使菜單在手指離開之後也不會 消失或是使菜單上的圖標位置可調，例如，在設定為菜單上的圖標允許移動之後，可以 拖動圖標改變圖標在菜單上的位置。圖12中，203是選項，通過在203上沿順時針或是逆時針方向滑動觸摸點，例如 手指，啟動相應功能或增大減小相應參數，例如亮度，圖形高度等。通過在204上沿y 方向上下滑動觸摸點調節相應參數或是啟動想用功能。左右滑動觸摸點沒有任何效果， 這樣可以使觸摸點在不同選項間滑動而不引起誤操作。例如使用者用手持握屏幕時，手 指移動的時候用容易接觸屏幕。
呼出菜單後，呼出菜單的手指繼續按在屏幕上不動，用額外的手指在呼出的菜 單上操作。菜單並不一定出現在呼出菜單的操作發生的位置。菜單出現的位置可以由 使用者設定，固定於屏幕的某一區域，例如屏幕的左側上端，也可以是軟體根據當時使 用者手以及操作工具，例如手寫筆所處的位置及接觸圖像和使用者的習慣實時設定，例 如，當使用者將系統設定為右手習慣之後，控制區域就始終位於操作工具左端的與屏幕 發生觸摸的手指附近。或者是當呼出菜單的操作發生在屏幕一側時，菜單出現在屏幕中 線的另一側，尤其是另一側某空閒手指的附近。例如當使用者雙手持握設備兩側看電影 時，用一隻手的大拇指基於多重壓力點擊的方式呼出菜單之後，用另一隻手的大拇指就 可以滑動菜單的滑動區，使拇指放在對應音量的圖表上，然後滑動拇指調節音量。系統 也可以根據屏幕上各個區域手指的數量確定菜單出現的位置。系統可以通過重力傳感器 分辨 左右。當然，菜單可以出現在呼出菜單的操作發生的位置。例如圖5所示的樣式，171是左手的一根或多根手指，172是右手的一根或多根 手指。202是菜單201的控制區或滑動區。使用者通過171呼出菜單201，用172控 制201，201可以採用類似圖2的菜單的功能和樣式，也可以採用類似圖12所述樣式的選 單。202可以採用也可以不採用，其功能是放大201和切換201上的圖標。可以設定為 沿χ軸y軸滑動分別對應這兩項功能。圖5的樣式很適合在雙手持握設備的情況下操作屏幕，例如在看電影的時候， 可以用201調整亮度，對比度等。圖11是一種呼出和使用菜單的觸摸指令，173是一根或多根並齊在一起的手 指，使用173敲擊屏幕或是以大於一定數值的壓力按在屏幕不動一段時間，或是用不同 輕重按壓屏幕之後，呼出選單，173保持不動，使用174。菜單可以在下情況自動消失情況A:當呼出菜單的手指呼出菜單的觸摸點消失時菜單消失；情況B:或是當呼出菜單的觸摸點同時菜單上沒有觸摸點時菜單消失；情況C:當菜單被操作了規定次數之後菜單消失。2，觸摸工具及操作界面手寫筆在屏幕上進行書寫。在屏幕的另一區域，手指控制手寫筆所對應的功 能。例如，使用者一隻手拿著手寫筆在屏幕上書寫，當手寫筆與屏幕發生接觸時， 屏幕上適當的位置，這一位置可以由使用者設定，固定於屏幕的某一區域，例如屏幕的 左側上端，也可以是軟體根據當時使用者手和筆所處的位置及接觸圖像和使用者的習慣 實時設定，例如，當使用者將系統設定為右手習慣之後，控制區域就始終位於操作工具 左端的與屏幕發生觸摸的手指附近。系統可以通過重力傳感器分辨左右。控制區域同時顯示一個或多個備選圖標的菜單。菜單的樣式可以有多種樣式。例如，採用如圖1的樣式，71是控制區，72是觸控螢幕操作工具。71中顯示可能 的備選功能圖標，當使用者觸摸時提供相應的功能，例如審閱，批註，刪除，修改顏 色，插入等。菜單區是可以滑動的，當使用者的拇指在菜單上滑動時，菜單上的圖標便 向相應方向滑動，隱去舊的圖標，顯示出新的圖標可以將整個菜單想像成一個球心在屏幕下方的球體或者圓環，顯示的菜單部分是其一部分。菜單上的圖標和圖標位置是可以 人為編輯的，也可以由系統根據使用頻率自動排列位置，或者生成一個常用列表，默認 的情況下是顯示常用列表的圖標，其它的圖標需要滑動才顯示出來。菜單上的圖標可以 是點擊之後手寫筆切換至相應功能，也可以是按住不鬆手切換至相應功能，鬆手之後即 切換至其它預設狀態。菜單上的圖標也可以具有壓力感應，例如控制手寫筆筆跡顏色深 淺、粗細的按鈕便可以通過壓力感應來控制顏色、粗細，例如壓力大便是深、粗。為了 防止在滑動菜單的時候出現誤操作，可以設置獨立的滑動區，例如圖1是菜單的滑動操 作區。控制區也可以採用呼出式圖標等其它方式提供選項。甚至可以直接採用觸摸指令 而不採用任何方式對使用者提供引導。72控制區也可以採用如圖721的樣式，沿箭頭方 向滑動分另對應「剪切」和「黏貼」。控制區的圖標菜單是動態變化的。根據手寫筆的觸摸軌跡和觸摸位置，壓力， 所對應的功能切換不同組的菜單。例如將手寫筆設為批註之後就會出現新的對應批註中 可能用到的功能的菜單。控制區對專用操作工具的控制方式同樣可以應用於手指，例如，當手指選定一 片區域的文字等對象時，控制區同樣可以出現相應的菜單選項，其它功能依此類推。觸摸工具可以通過類似於光電滑鼠的方式，通過高速對比CCD掃描到的圖像， 確定自己的移動速度，因為屏幕自身能夠發光，因此手寫筆不需要像滑鼠那樣自行發 光，以避免屏幕反光影響使用者觀看屏幕上的內容。3，分體式鍵盤分體式鍵盤。鍵盤位於屏幕的邊緣，使使用者的手能在持握設備的同時操作鍵 盤，尤其是雙手同時操作鍵盤。例如圖「分體式鍵盤」，shift與數字鍵在屏幕中線的兩 邊，使用者可以在雙手持握設備的同時，用雙手同時按下shift和數字鍵。分體式鍵盤並 不限於計算機鍵盤的樣式，可以設定任意按鈕，甚至可以設置滑動區。4，自由式圖標 在使用者進行某項操作之後，屏幕上顯示出多個圖標，為了增強視覺效果，圖 標出現的方式可以是從某一區域，例如被選定的操作對象上飛出來，也可以是漸漸在某 一區域浮現出來。圖標被激活之後，使用者可以通過前後左右移動圖標，通過不同的壓 力按壓、敲擊、控制相應功能。圖標在屏幕上可以是允許移動的也可以是固定的。圖標 可以視為凸出於屏幕表面，觸摸點可以通過接觸圖標的邊緣推動圖標移動，就像移動玻 璃板上的玻璃塊一樣。使用者可以用手同時推動多個圖標或者把妨礙操作的圖標聚攏起 來推到一邊。圖17是操作界面上出現了多個自由式圖標，手指觸摸了其中的3個圖標的示意 圖。其中，42是圖標，17是手指，43是被觸摸的圖標。使用者可以通過以下方法呼出圖標1，通過使用特定的圖標2，在一定區域或對象上使用相應觸摸指令，例如呼出菜單的觸摸指令同樣可以 用於呼出圖標。3，選定一個區域或對象，在另一位置進行相應操作，例如觸摸指令或是點擊其 它圖標，或是同時選定另一個對象，呼出相應圖標。
4選定一個或多個對象之後圖標自動出現5.選 定一個或多個對象之後執行相應操作，例如觸摸指令或是將一根或多根手 指接觸屏幕並保持到圖標出現。或是其它方法呼出圖標。圖標的樣式如圖13所示，其中17是任意一根或多根手指或其它觸摸物形成的 觸摸點，30，31，32，33，34，35，36，37是提示使用者向各個方向移動圖標所對應的 功能，以及被調整參數此時的數值。它們是可以隨使用者的操作實時變化的。30到37 的顏色也是可以變化的，可以通過顏色定性的表示手指的壓力或是某項參數的數值。使用者將希望使用的圖標激活，然後使用多重點擊，前後左右移動圖標等方式 使用對應的功能。這類圖標多用於調整某項參數的大小，例如操作圖標的同時選定另一 個區域，圖標可以用以調整選定區域的顏色。在操作圖標的同時選定一個2D或3D圖 形，圖標可以調整它的形狀，X/Y/Z軸上高度，與X/Y/Z軸或是其它對象所成的角度等。激活圖標就是開始使用圖標對應的功能。圖標在被激活之後，將不可被移動， 移動圖標以及點擊圖標，對圖標施加不同壓力等都將被視為對圖標對應的功能的操作。圖標的樣式當手指接觸未激活的圖標時，圖標可以1，變大2，顯示被激活之後的樣子3，顯示有關圖標功能的詳細信息，圖標在被激活之後可以1，變大2，顯示出更多的提示內容，壓住圖標的手指的前端出現提示性標誌，告知使用 者前在X，y，ζ軸正負方向上移動圖標對應的功能。3，圖標分裂，也可能分裂成多個圖標。使用者激活了一個圖標，之後使用者與 屏幕接觸的手指2，3下都出現了子圖標，可以通過移動手指2，3調節相應功能。圖標也可以在被激活之後進行了某些操作之後進一步分裂，例如，在圖標被激 活之後，顯示出了對圖標進行進一步操作的提示，或是圖標出現的時候就處於激活狀 態，使用者通過對相應圖標進行操作，使其進一步分裂。圖標也可以在出現的時候就處於激活狀態。一個例子是使用者選定了一個區域，之後5個手指下方或附近都出現了 了相應 的已經激活的圖標，此時的圖標也可以被視為一種特殊的菜單的形式。例如，使用者激活了 「顯示」圖標，之後使用者與屏幕接觸的幾個手指下便出 現了調節飽和度，亮度，色偏，對比度的四個圖標，色偏圖標上提示使用者向下移動圖 標，使用者向下移動色偏圖標之後，三個手指下的圖標就變成了偏紅，偏綠，偏黃，以 供調節。圖標的激活1，可以設定為如果圖標被觸摸點壓住，就激活圖標，移動圖標只能通過接觸圖 標的邊緣推動圖標。
2，可以在圖標上設置專門的觸摸區和操作區，觸摸觸摸區是移動圖標，觸摸操 作區是開始使用圖標。3，可以設定專門的操作區，當圖標移入操作區之後激活圖標4，可以用特定的觸摸指令激活圖標。尤其用選定圖標的手的大拇指激活圖標， 「大拇指」通過圖形識別激活，例如，通過識別出選定圖標的手指所在的手的手掌壓住了 屏幕來激活圖標。5，可以用多重點擊的方式激活圖標。 6，可以在移動圖標和操作圖標時對圖標施加不同的壓力，例如在使用圖標時在 圖標上施加更大的壓力，以與移動圖標的操作相區分。7，可以如「激活圖標」所示，當兩個或兩個以上圖標被手指壓住時，激活被壓 住的圖標。這種情況下，需要一個專門的用於激活圖標的圖標，以便僅需要使用一個圖 標的時候激活圖標。8，可以設定一個專門的圖標，當它與其它圖標一起被手指壓住時，激活被壓住 的圖標。當使用者不需要繼續使用圖標之後，通過適當的操作使圖標消失。1，例如，如果呼出的圖標是用以調整屏幕亮度等參數，當圖標被使用完，操作 圖標的觸摸點消失之後，圖標即自動消失。2，可以使用特定的觸摸指令，圖「消除圖標」是所採用的觸摸指令對屏幕的觸 摸圖像，既使用者的部分手掌接觸屏幕，橫移手掌，同時漸漸豎起手掌，直至用手掌側 面接觸屏幕，就像要把圖標掃出屏幕一樣。也可以直接就用手掌側面在屏幕上橫移，以 此來使圖標消失或是切換一屏新的圖標。為防止誤操作，可以設定為只有手掌的運動速 度高於某一值時才視為此觸摸指令。3，如果圖標是用於操作選定的區域的，當區域被取消選定時，圖標即自動消失。4，也可以設定一個專門的區域，圖標進入此區域即消失。5，一種菜單或圖標樣式如圖14所示，它有多個選項231，232，233，允許多 個手指同時操作，在操作的時候，它會隨著手指的滑動扭曲，就像是一根柔軟的帶子一 樣。使用者可以通過特定操作，例如將幾個常常一起使用的圖標放進一個專特別的圖標 容器裡，使它們可以一同移動組成一個菜單或者圖標。可以對它重新命名和定義外觀。 如果它是一個自由式圖標，則當它被激活的時候應當根據使用者的手指間距變大，例如 採用圖14所示的樣式，以適應多個手指同同時操作。6，選定和激活操作1，如圖7所示，是一種選定一個區域或區域內對象的觸摸指令，131和141分別 是使用者的兩隻手掌的側邊。具體操作可以是兩個手掌進行一個減小兩者間中心區域， 選定或者剪切目標區域。可以配以相應的動態效果，例如在手掌向兩者之間的中心區域 移動一段距離之後保持靜止一段時間，激發相應操作，之後，手掌開始動作時所在的位 置的高亮印記漸變到手掌靜止的位置，表示系統確認操作激發。2，結合圖8，圖10介紹另一種選定區域的方式，7，8，9，10是人的4跟手指，6是大拇指，11是人的掌心。通過6，7，8，9，10，11中的任意三個或三個以上為
邊緣或邊緣頂點可以選定一個區域或一定區域內的對象。其中，大拇指6和手掌11可以 被設定為關鍵觸摸點，即只有當大拇指6或手掌之11 一或大拇指6和手掌11同時觸控螢幕 幕系統才認為使用者準備要進行選定操作，系統可以進行相應的提示，例如高亮被選定 或者可以被選定的區域或對象。也可以通過觸摸物觸摸圖像覆蓋的區域來選擇區域或對象。之後還可以 進行進一步的操作，包括但不限於1，大拇指6沿箭頭所示方向或反方向滑動，2手掌保持與觸控螢幕的接觸，用不同輕重的壓力按壓觸控螢幕，或者敲擊觸控螢幕。3，7，手指或8，手指中的一個或者兩個同時沿箭頭所示方向或者反方向滑動或 者沿X軸正/負方向，y軸正/負方向滑動。4，7，手指或8，手指中的一個或者兩個進行下列操作1，敲擊屏幕，2，在不離開屏幕的情況下用不同壓力在按壓屏幕，例如7，8同時依次以重， 輕，重的壓力按壓屏幕。5，保持所有用於選定操作的觸摸點不離開屏幕。以選定區域的中心為中心旋轉。這些操作可以用於1 確認選定，使用於選定的觸摸點離開之後依然保持對區域或對象的選定。2:剪切選定的對象3 呼出選單或者呼出式圖標等4，在選定的對象上執行已經設定好的操作。例如在選定的區域上進行黏貼。在 遊戲中對選定區域內的單位進行補給等。如果手指選定了對象，例如圖15，手指下有呼出式圖標，或者正在操作菜單， 或者選定了多個操作對象，可以採取以下操作1，大拇指6沿箭頭所示方向或反方向滑動，2手掌保持與觸控螢幕的接觸，用不同輕重的壓力按壓觸控螢幕，或者敲擊觸控螢幕。3，7，手指或8，手指中的一個或者兩個同時沿箭頭所示方向或者反方向滑動或 者沿X軸正/負方向，y軸正/負方向滑動。4，7，手指或8，手指中的一個或者兩個進行下列操作1，敲擊屏幕，2，在不離開屏幕的情況下用不同壓力在按壓屏幕，例如7，8同時依次以重， 輕，重的壓力按壓屏幕。5，保持所有用於選定操作的觸摸點不離開屏幕。以選定區域的中心為中心旋轉。這些操作可以1，激活/解除激活操作對象，例如激活自由圖標使之進入可以使用的狀態/進 入未使用的狀態/消失。2，切換至其它菜單。
3，釘住對象，使之在手指離開之後也不會消失。7，雙手操作包括三種情況1，一隻手用於選定對象或區域，另一隻手用於對選定的對象或區域進行操作。例如圖16中，6是大拇指，7，8，9，10是手指，11是手掌選定了多個對象 51，52，53。1，2，3，4是手指，5是大拇指，12是手掌。38，39，40，41是自由式 圖標，也可以使用選單或是圖14所示的樣式提供選項。使用者可以通過操作激活的自由 式圖標一樣的方式，通過前後左右移動，不同壓力按壓屏幕，敲擊屏幕的方式操作被選 定的對象。2，兩隻手同時用多個手指一同選定一個或多個對象/區域，然後用手指調整項參數。3，一隻手選定一個對象，兩隻手同時操作這個對象。例如圖18，通過16手 指，6，大拇指，11手掌控制3D物體61在觸控螢幕所在平面或曲面上的投影，通過16， 11，6的壓力控制61的顏色/厚度之一，通過15，6，11的按壓屏幕，在屏幕上滑動等控 制61的其它參數，例如它在ζ軸坐標上的坐標值，厚度，與坐標軸或某一參照物的角度 等。以此通過兩隻手來控制圖形61的空間位置以及形狀。還可以進一步控制61所對應 的功能等，例如61如果是一個刷子，15可以控制它刷出的顏色的濃度，16可以控制它不 同位置上刷出的顏色的濃度，例如16某根手指對屏幕壓力增大，則與其對應的部分刷出 的色彩濃度增大。一個雙手操作的應用實例是在遊戲中，用籠罩手勢選定一個後勤車，接觸屏幕 的手指下出現多個選項，用其中的一根或多根根手指選定它們所對應的選項，例如用它 們敲擊屏幕，選定了補充彈藥，以及維修，被選定的功能選項變成了滑動條，可以前後 移動手指以選定補充彈藥和維修程度的程度，例如是補充滿目標70%還是80%的彈藥。 如圖「遊戲」。之後用選定需要補充彈藥和維修的目標，如果要選定一片目標可以用籠 罩手勢，實施設定好的操作。有三種釋放方式。一種是使用者始終觸摸後勤車，此時被使用者觸摸的所有其他對象都會被實施 操作，當使用者不觸摸後勤車之後，所觸摸的對象就不會再被補給了。一種是設定為 僅僅對其後的第一個觸摸對象進行補給。還可以是在後勤車上進行完那些設定之後可以 設定保存或者系統自動保存，在之後選定其它的對象之後，便可以在選單中找到這個選 項，之後後勤車就會對其進行補給。這個過程也可以反過來，即選定對象之後保持對對象的觸摸再選定後勤車。可 以設定先被選定的對象要主動靠近後被選定的對象。8，一種控制根據觸摸圖像生成的圖形，尤其是3D圖形的方法通過觸摸圖像確定物體的外形，通過手指控制物體的姿態和位置。 例如使用者將一隻手放在觸控螢幕上，以此確定虛擬的手掌的狀態，是叉開手指 還是五隻併攏，還是屈起一隻手指。如果系統事先知道觸摸物體的大致形狀，例如事先 通過設置得知使用者會將一隻手放在屏幕上，則可以根據平面上的觸摸圖像來判斷手的 大致姿態，例如圖19所示的樣子就是使用者屈起了左手食指，因為4，食指和11，手掌 之間的觸摸圖像是不連續的。使用者還可以通過左右晃動來表示持續的按壓。例如，使用者可以以手掌側面接觸屏幕，保持手掌側面與觸控螢幕接觸，用力按壓觸控螢幕，在手掌所在的平面上快速的擺動手掌，在擺動過程中允許手掌側面的邊緣短時間因為擺動離開 觸控螢幕。此動作控制虛擬的手掌沿手掌側面方向下切。圖19中，使用者通過右手的手指16，大拇指6，以及整個手掌與χ軸所成的角 度控制系統根據左手的觸摸圖像生成的手掌在空間中的姿態。通過右手在屏幕上的旋轉 控制虛擬手掌相對於使用者左手以y軸為軸旋轉的角度，以大拇指控制其相對於使用者 左手以χ軸為軸旋轉的角度，以其它4個手指控制它沿垂直於屏幕所在平面的ζ軸旋轉的 角度。9，觸摸指令編輯器通過將手的動作分解為一系列標準化動作，使用戶可以自行定義觸摸指令。例如一種分類方法將觸摸指令分為多個時間段，分別定義每個時間段內的動作，一個觸摸指令可 以由多個時間段構成。每個手分為多個部分如圖10是人的雙手，以左手為例11，手掌下緣，13，整個手掌，151，小拇指，152，無名指，153，中指， 154，食指，155大拇指1，小拇指指尖，2，無名指指尖，3中指指尖，4食指指尖，5大拇指指尖。131，手掌中部。系統根據圖形識別以及各個觸摸點彼此之間相對位置的方法識別手掌的各個部 分。每個部分都有標準動作手指和手指尖的標準動作包括未參與觸摸，沿X軸 或y滑動，向鄰近手指滑動，敲擊屏幕及次數，按壓屏幕及輕重次序，持續時間，原地 扭轉，沿自定義方向滑動(以和χ軸y軸所成角度描述)，沿特定軌跡在屏幕上滑動，軌 跡包括圓，橢圓，三角形，梯形，平行四邊形，五角型，鋸齒形。以及自定義軌跡， 使用者可以用製圖工具自定義，使用標準圖形和折線，直線，曲線組成新的軌跡。手掌，手掌下緣，手掌中部，的標準動作包括未參與觸摸，沿X軸或y滑動， 敲擊屏幕及次數，按壓屏幕及輕重次序，持續時間，原地扭轉，沿自定義方向滑動(以 和X軸y軸所成角度描述)，沿特定軌跡在屏幕上滑動，軌跡包括圓，橢圓，三角形， 梯形，平行四邊形，五角型，鋸齒形。以及自定義軌跡，使用者可以用製圖工具自定 義，使用標準圖形和折線，直線，曲線組成新的軌跡。使用者可以採用編碼的形式自定義觸摸指令可以採用此種格式時間段手的哪一部分什麼動作有些觸摸指令並不限執行觸摸命令的手指，此時可以採用這種描述某手指或 手掌，手掌下緣，手掌中部起向左，向右，向上第幾根手指。各種動作和手的各個部分可以賦予相應代碼，如手上各部分以大寫字母，大拇 指以A代表，動作以小寫字母為代碼，軌跡以數字為代碼，如滑動為a，順時針橢圓軌跡 為2，則沿橢圓軌跡順時針滑動為(a2)，可以加以括號以防止混亂。
也可以以選單選擇的方式讓使用者自定義。這樣更加直觀且便於操作。如圖 20，其中71為選單，72為按鈕。由於採用了標準化，使用者可以使用鍵盤發出一些簡單的觸摸指令，實現了觸 摸指令和鍵盤操作的無縫銜接。同樣可以採取識別的方式，讓使用者在系統的引導下完成觸摸指令。根據系統提示的時間段，使用者將手勢分步實施。以便於系統識別。10，多重攻擊指令。 在對一個對象下達一個命令之後，在下達新的指令時可以設定新的指令相對於 已有指令的優先級。例如，在遊戲中命令一輛坦克移動之後，又向它命令向某一目標開 火，這時便可以設定開火相對於移動的優先級。之後又命令它規避某一區域，此時就可以設定規避某一區域這一操作相對於開 火和移動的優先級。11，觸摸引擎根據使用者的觸摸圖像，尤其是使用者手部的觸摸圖像、施加於屏幕的壓力， 以及其它的預置參數，生成一個與之對應的，能被物理引擎，特效引擎等處理的物體， 以此將使用者的觸摸效果交由物理引擎，特效引擎等進行處理，實時生成。。系統應內 置一系列默認參數，作為手及其它觸摸工具的沒有被賦予其它參數時使用。生成的虛擬 的物體並不需要顯示出來的，它僅僅是為了將觸摸信息轉換為物理引擎及其它引擎能處 理的信息而生成的。例如，觸摸的壓力大小用以決定生成的物體在ζ軸上的小範圍移動， 或者對其它物體施加的壓力。例如在遊戲中，使用者選定一挖土機，則系統將根據使用 者手指觸摸圖像生成的物體的物理材質設定為挖土機對應的物理材質，根據觸摸壓力確 定其對地面施加的壓力的大小以及挖掘深度，根據觸摸圖像確定它與地面的接觸面積。 此時，使用者用手指按壓遊戲中的地面，或與其它物體，如坦克碰撞，便可以產生挖土 機挖過的效果，而無需遊戲製作者事先設定，大大減輕了遊戲製作者的工作量。
權利要求
1.一種適用於多點觸摸操作的菜單，其特徵是呼出菜單的觸摸點消失，且菜單上沒 有觸摸點在對菜單進行操作，則菜單消失。
2.—種圖標，其特徵是在激活之前可以移動，在激活之後，對圖標的移動，點擊， 按壓操作對應相應的功能。
3.—種用於雙手操作的控制方式，其特徵是一隻手用於確定操作位置，另一隻手或 者兩隻手同時控制操作效果。
4.一種基於多點觸摸操作操作3D物體的方法，其特徵是基於準確觸摸圖像和其它預 置參數生成3D物體的基礎形狀，再對其進行控制，確定最終需要的3D圖形及其空間位 置。
5.—種觸摸鍵盤，其特徵是鍵盤分為多個部分，分別位於屏幕中線兩側。
6.一種觸摸工具與手共同操作的界面，其特徵是手用於控制觸摸工具對應的功能。
7.—種程序架構，其特徵是根據觸摸圖像以及觸摸壓力生成相應物體，交由物理引 擎等處理，以實現觸摸效果的實時生成。
8.一種多重指令機構，其特徵是允許使用者自定義每條指令的執行優先級。
9.一種自定義觸摸指令編輯器，其特徵是通過將觸摸操作分解為標準動作，使使用 者能夠基於標準動作自定義觸摸指令。
全文摘要
一套適用於多點觸摸系統的人機互動集。
文檔編號G06F3/048GK102023786SQ20091017658
公開日2011年4月20日 申請日期2009年9月23日 優先權日2009年9月23日
發明者韓鼎楠 申請人:韓鼎楠