使用狀態確定的交互繪圖識別的製作方法
2023-06-01 10:43:16 3
使用狀態確定的交互繪圖識別的製作方法
【專利摘要】描述了使用狀態確定來進行交互繪圖識別。在一個示例中，計算機系統狀態被確定，然後被用於確定繪圖的類型。觀察用戶繪圖，並訪問與確定的繪圖類型關聯的繪圖模板的庫。觀察的繪圖與繪圖模板比較，以識別觀察的繪圖，並且屬性被分配給識別的繪圖。
【專利說明】使用狀態確定的交互繪圖識別
【背景技術】
[0001] 計算系統經常依賴滑鼠和鍵盤輸入來確定用戶創建的數字對象的外形。鍵盤、鼠 標、和遊戲控制器輸入經常確定數字對象的行為。人們可以繪出對象並將其掃描至計算機， 雖然允許一些手繪輸入，但是掃描的繪圖然後成為一個單個對象。對於如何與對象交互，例 如重新測量和改變顏色，用戶具有有限的機會。更自然的輸入視覺信息的方法允許與計算 設備更豐富的圖形交互。
[0002] 平板已被用作輸入設備。典型地，平板在特殊的表面上感測觸筆的壓力，並在屏幕 上再現繪出的形狀。平板還可以被用於修改照片和繪圖，並作為類似於滑鼠的指向設備。在 一些版本中，筆而非繪圖表面對繪出的輸入進行數字地記錄。這些筆使用光學傳感器、有時 是特殊的標記的紙，以感測並存儲繪圖。
[0003] -些現有的計算系統將繪出的對象識別作為簡單的命令、作為字母數字字符、或 者作為系統中的匹配對象。這些系統對繪圖進行掃描以對其進行識別。然而，這些交互的 本質是受限的。
[0004] 一些現有的計算系統將"空氣姿態"識別為簡單的命令，或者更通常地作為向計算 機遊戲的輸入。空氣姿態可以通過由攝像頭觀察或者由用戶持有包含慣性傳感器的設備並 移動該設備來識別。
【專利附圖】
【附圖說明】
[0005] 以示例的方式而非以限制的方式示出了本發明的實施例，在附圖中，相似的參考 標記指代類似的元件。
[0006] 圖1是根據本發明的實施例，用戶正在繪出用於計算機系統的小鍵盤的圖。
[0007] 圖2是根據本發明的實施例，用戶正在繪出用於計算機系統的操縱杆的圖。
[0008] 圖3是根據本發明的另一個實施例，用戶正在繪出用於計算機系統的小鍵盤的 圖。
[0009] 圖4是根據本發明的實施例，用戶正在繪出用於計算機系統的媒體播放器控制項的 圖。
[0010] 圖5A是根據本發明的實施例，用戶正在繪出虛擬對象以虛擬地朝計算機系統中 描繪的場景發射的圖。
[0011] 圖5B是根據本發明的實施例，用戶正在繪出虛擬對象並虛擬地將其拾起以用於 計算機系統中描繪的場景的圖。
[0012] 圖5C是根據本發明的實施例，用戶繪出的虛擬對象放置在計算機系統中描繪的 場景的圖。
[0013] 圖6是根據本發明的實施例，用戶繪出的遊戲表面和物理命令的圖。
[0014] 圖7是根據本發明的另一個實施例，解釋用戶繪圖的計算機系統的處理流程圖。
[0015] 圖8是根據本發明的實施例，適於實現本公開的處理的計算機系統的框圖。
[0016] 圖9是根據本發明的實施例，適於實現本公開的處理的圖8的計算機系統的另一 視角的框圖。
【具體實施方式】
[0017] 本發明的實施例提供一種系統，用於以新的方式識別繪出的輸入。繪出的輸入例 如可以包含：繪出的用作小鍵盤的數字小鍵盤；繪出的用作指向和單擊設備的滑鼠或者鼠 標移動區域；以及繪出的遊戲"騎線人（line rider) "，其中線由手繪繪出，並且計算機產生 人物以騎在繪出的線上；等等。
[0018] 圖1示出適於用於本發明的實施例的計算機系統的示例。計算機系統100具有攝 像頭102和麥克風104,典型地用於聲音和視頻呼叫。攝像頭可以是用於三維視頻呼叫的立 體攝像頭，或者允許解釋三維空氣姿態。示出了筆記本式計算機，但平板觸摸計算機和平板 計算機典型地具有類似的硬體特徵。或者可以使用智慧型手機、智能電視、媒體播放器、或者 便攜遊戲設備。當根據需要配備有下述各種實施例需要的攝像頭和麥克風時，還可以使用 桌面計算機。
[0019] 在實施例中，本發明可以合併到個人計算機（PC)、膝上型計算機、超膝上型計算 機、平板、觸摸板、便攜計算機、手持型計算機、掌上計算機、個人數字助理（PDA)、蜂窩電話、 蜂窩電話與PDA的組合、電視、智能設備（例如智慧型手機、智能平板或者智能電視）、移動互 聯網設備（MID)、消息收發設備、數據通信設備等。
[0020] -張紙106放置在攝像頭102的視野內。該紙可以如圖所示在同一桌子上，或者 在附近的表面上。代替一張紙，可以使用任何書寫表面，諸如白板、黑板、或者電子表面，諸 如檢測繪圖輸入並在顯示器上示出結果的顯示器表面。使用紙或者類似的物品，用戶112 能夠繪出並書寫任何期望的字詞和形狀。在圖1中，用戶已繪出小鍵盤110的圖畫。
[0021] 計算機系統觀察該紙，並檢測在紙上繪出的小鍵盤。根據特定實施例，這可以使用 任何各種手寫、符號識別、和匹配模板實用程序來完成。系統然後嘗試識別繪圖。
[0022] 識別出已做出繪圖可以喚起計算系統來嘗試限制繪圖所表現的不同可能的項目 的數量。在圖1中，系統可以使用1個或者2個不同的方法來使識別繪圖更簡單。計算系 統的顯示器示出計算器程序108的活動前景窗口。由於計算器程序是活動的，因此計算系 統可以將可能的繪圖的範圍限制到與計算器程序相關的那些。針對計算器程序的一個相關 類型的繪圖是用戶已繪出的數字小鍵盤110。儘管出於說明的目的繪出的小鍵盤非常簡單， 但用戶可以繪出適於科學或者金融計算的非常複雜的小鍵盤。此外，用戶可以繪出表明不 同風格的數據條目的小鍵盤。計算器程序或者分離的I/O程序可以具有模板，以匹配範圍 廣泛的不同類型的小鍵盤和可以關於計算器程序的其他繪圖。
[0023] 替代地或者進一步地，計算系統可以評估其安裝的硬體。示出的計算機不具有數 字小鍵盤。雖然諸如示出的筆記本計算機可以在鍵盤的字母部分側包含數字小鍵盤，或者 其可以支持外部外圍小鍵盤，但示出的示例計算系統都不具有。相應地，由於計算系統看 到用戶已繪出外圍設備，其可以僅訪問針對沒有安裝諸如數字小鍵盤的外圍設備的繪圖模 板。
[0024] 使用活動的程序、或者系統硬體狀態、或者這兩者，允許系統將一組模板或者形狀 識別模式限制為可能對應於小鍵盤的那些。這增加了可靠性和繪圖識別的速度。識別繪圖 為小鍵盤後，用戶可以對於小鍵盤的繪圖表現姿態，就好像是小鍵盤那樣鍵入數字和字符。 示出了計算器程序，但可以使用任何其他程序。其他應用程式，諸如電子表格、報稅程序、和 費用追蹤程序都受益於專用的數字小鍵盤。對於其他類型的程序而言，可以識別其他類型 的外圍設備。例如，視頻編輯程序可以具有針對滑塊和滾輪的模板。
[0025] 圖2示出計算機系統的類似用途。在圖2的示例中，相同的計算機在運行飛行模 擬器或者飛機空中格鬥遊戲應用程式，如屏幕上的飛機128所示。計算系統然後觀察到用 戶122已在一張紙126上繪出對象120。計算機系統基於對於飛行模擬器程序的可能的繪 圖，能夠識別繪出的對象最像操縱杆。根據遊戲，還可以允許其他繪圖。根據飛機的類型，飛 行模擬器遊戲還可以支持無線電、定位儀器、以及各種杆和開關，包含開火和誘餌系統。確 定飛行模擬器遊戲是活動的程序允許計算機系統對於繪圖應用僅對相關設備的模板，使得 即使該繪圖不很像操縱杆也可以被解釋為操縱杆。在示出的示例中，例如把手可以被視為 具有推面和開火按鈕。然後用戶可以觸摸把手及其邊框，以在計算機系統上具有操縱杆命 令的效果。
[0026] 圖3示出另一個替代實施例，其中用戶132應用不同的方法來表明繪出的對象的 本質。用戶132已在一張紙136上繪出了小鍵盤130,然而，並非計算機確定哪個程序是活 動的，而是用戶選擇繪圖應用至的程序。應用程式選擇窗口 132具有用於2個應用程式的 圖塊（tile)，出於示出的目的，名為"遊戲"的遊戲133和名為"計算器"的計算器應用程式 134。用戶選擇2個程序中的一個來幫助計算機識別繪圖。計算機接收選擇並將其應用至 模板選擇系統，來識別應用於一張紙136上的繪圖130的一組模板。雖然僅示出了 2個應 用程序，但系統典型地能夠呈現更多選擇。根據實施例，應用程式可以使用軌跡板105或者 鍵盤103來選擇，或者以任何各種其他方式。
[0027] 選擇的程序向計算機系統提供關於繪出的對象的本質的指示。計算機系統可以用 其來選擇與計算器應用程式關聯的一組模板，進而識別對與計算器的適當的外圍設備的特 徵對應的繪圖的特徵，諸如小鍵盤。該程序選擇可以與上述硬體狀態技術組合的技術。
[0028] 圖4示出協助計算機識別繪圖的另一個示例。在圖4中，在屏幕上顯示有2個打開 的程序。計算器143是活動的並在前景中。媒體播放器應用程式141在背景中運行。在計 算系統的前面的一張紙146上，用戶已繪出用於控制媒體播放器的一組按鍵140。按鍵是： 上一首、倒回、播放、快進和下一首的特定的常見模式，具有音量向上和向下，然而替代地可 以繪出各種其他常規按鈕布局。在該示例中，計算機可能首先嘗試將繪圖與針對前景計算 器程序的模板匹配。失敗之後，然後計算機可以嘗試針對其他運行程序諸如媒體播放器應 用程序的模板。一旦計算機已觀察到該繪圖，並在紙146上對其進行識別，那麼計算機可以 向該繪圖分配性質，並且用戶可以使用該繪圖來控制媒體播放器。
[0029] 用戶可能希望通過在一張紙上的繪圖或者外部外圍設備使用計算器，然後繪出媒 體播放器控制項來根據期望調節背景音樂。然後當用戶繪出7個圖塊140時，計算機系統訪 問與運行程序關聯的模板庫。這導致將繪出的控制面板與媒體播放器關聯。
[0030] 模板的匹配可以通過用戶表明繪圖應用至的運行中的應用程式來更快速地做出。 用戶還可以設定偏好來嘗試首先匹配背景應用程式模板，而非用於在前景中運行的應用程 序的模板。
[0031] 圖5A示出不同方案，其中用戶155涉及在計算機系統屏幕上呈現場景的應用程 序。在這種情況下，場景在俯瞰海洋的山坡上具有城堡。用戶繪出箭150和大炮152,其在 前景應用程式的背景下被解釋為箭和大炮的虛擬對象。用戶能夠用他的手155虛擬地將箭 和大炮從頁156舉出，進而朝顯示器上的場景虛擬地發射這些對象。這可以以攻擊城堡或 者保衛城堡免受外部攻擊（未示出）的方式完成。
[0032] 該使用模型呈現紙和攝像頭系統102的若干用途。首先，計算機系統識別交互的 背景。該示例中的系統狀態是正在運行涉及正在保衛或者攻打城堡的特定遊戲。相同的方 法可以應用至很多不同的應用程式。例如，該背景中的用戶在紙上繪出系統攝像頭102觀 察並使用上述方法識別的對象。在這個和如上所示的其他背景中，對象的識別可以由計算 系統為用戶確認，例如通過示出繪圖中識別的對象的說明，諸如匹配的模板。在混淆的情況 下，系統可以替代地要求用戶確認選擇。
[0033] 在識別箭和大炮之後，用戶提供空氣姿態152、諸如拾起作為虛擬對象的繪出的對 象的手勢。該手勢被攝像頭102觀察，並可以使用姿態的庫來識別。識別的姿態然後可以 被用作向場景154中的城堡或者一些其他對象發射箭、炮彈、以及任何其他支持的武器的 命令。
[0034] 作為另一個替代，手152,而不是扔出拋射物的姿勢，可以使用鍵盤103或者軌跡 板105來向計算機系統表明命令。該命令可以以與拾起並扔出的手勢命令相同的方式使 用。特定的鍵盤或者軌跡板命令可以基於背景或者特殊的工具或者可以使用應用程式來做 出選擇。對於具有附加的或者不同的輸入設備，諸如滑鼠、滾輪、遊戲手柄或者其他設備的 計算系統而言，這些輸入設備可以被用於替代或者附加於示出的鍵盤和軌跡板。在計算機 系統顯示器上顯示的菜單系統可以被用來確定用於匹配繪出的對象的類別。例如，用戶可 以選擇遊戲模式。這將允許即使當繪圖不是很像操縱杆時，也將識別出繪出的操縱杆。
[0035] 繪圖或者補充繪圖、鍵盤、聲音或者寫入的命令還可以被用來給繪出的對象賦予 特定的物理性質。聲音命令、繪圖、姿態、或者觸摸輸入可以被用於與繪出的箭結合，以表明 箭具有火熱的頭部，或者表明該箭從複合弓或者常規弓射出，或者該箭的尺寸與長弓匹配 等。作為另一個示例，在飛彈的背景中，可能難以精確繪出特定的飛彈。然而，用戶可以繪 出一般化的飛彈，進而使用附加的命令來表明是否以及如何給它提供動力，其速度和範圍， 其如何發現其目標，例如熱跟蹤、無線電波跟蹤、位置引導、遠程瞄準等，其攜帶的彈頭的類 型，以及由應用程式支持的任何其他期望的參數。所有的這些特徵然後可以被用來確定箭、 或者炮彈、或者飛彈在其發射期間和在發射之後的物理性質。
[0036] 在圖5B中，用戶可以繪出並非在場景發射而是放置在場景中的不同類型的對象。 在這個示例中，用戶155在一張紙上繪出船158。用戶然後可以拾起船，並將其放置在由顯 示器呈現的場景中。如圖5C所示，用戶將船放置在場景的水上。這是通過攝像頭102觀察 的，並因此系統已將船增加至場景，並且場景現在包含船。一旦放置在場景內，船可以根據 應用程式的本質，以任何各種不同的方式被控制。類似的方法可以應用到遊戲中，其中組成 有對象，諸如建築、街道、或者機械。相同的方法還可以應用到照片、或者視頻編輯、以及各 種類型的計劃應用程式中。
[0037] 當與用於船繪圖的模板匹配時，作為繪出的對象的船被應用程式識別為船的繪 圖。例如，應用程式可以確認識別為船，並提供一些方式來確認其物理和其他特徵包括人 員、供給、原動力、和武器庫。用戶然後由姿態表明其希望將船從紙拾出，並將其放置在場景 中。根據特定實施方式，船可以表現為或不表現為從紙到顯示器的它的旅程的虛擬對象。然 而，當放置在屏幕上的地點時，其變成場景主題中渲染的對象，與渲染的場景和周圍顯示或 者遊戲空間中的其他對象服從相同的規則。
[0038] 圖6示出另一個示例，其中用戶在計算系統上遊玩騎線人遊戲。用戶已在一張紙 166上繪出曲線160。該曲線已被攝像頭102觀察，並渲染在顯示器上。由於活動的前景應 用程序是騎線人遊戲，因此繪出的對象將線160識別為騎手將騎上的線。用戶可以順序繪 出很多線供騎線人騎，直至做出錯誤且騎手掉落。用戶還已繪出在行進的方向的右手箭頭 162,表明向前加速；以及指向行進的相反方向的左手箭頭164,表明相反加速或者制動。這 些箭頭可以被用來表明應用至騎手的加速力。類似的方法可以被用來繪出代表其他虛擬或 者渲染對象（諸如上面提及的船、箭或者炮彈）的物理性質的符號。
[0039] 計算機狀態還允許用戶對於其繪圖採用速記的形式。在圖4和圖5A的示例中，繪 圖看起來不完全像實際項目。然而，通過已知的硬體或者軟體狀態或者兩者的協助，計算機 系統仍然能夠識別繪圖。該原理可以延伸至其他類型的繪圖。相應地，用戶可以繪出部分 鍵盤並說"鍵盤"，然後系統可以將繪圖解釋為全鍵盤。替代地，用戶可以為了類似的結果繪 出部分滑鼠並說"滑鼠"。繪出在紙的鍵盤或者滑鼠然後可以成為虛擬3D對象，隨著用戶做 出姿態朝著或者實際上物理地移動該繪圖，所述虛擬3D對象可以在計算機系統顯示器上 被虛擬地"移動"或者操縱。虛擬輸入設備可以被配置為適應用戶的手和其他位置的改變。
[0040] 上述處理可以重述並簡化如下。計算機確定其狀態，並使用該狀態作為用戶打算 做出的繪圖的類型的指示。響應於該識別的繪圖類型，計算機系統訪問模板庫。基於繪圖 類型來選擇模板，以便計算機系統具有供使用的有限組的模板。
[0041] 計算機系統然後觀察用戶的繪圖。繪圖可以通過攝像頭或者觸敏表面或者以另一 個方式觀察。繪圖可以針對繪圖中反射率的變化、針對梯形失真、針對由於使用了低劣或故 障的筆導致的不一致的線厚、並針對其他失真而進行校正。使用攝像頭允許用戶使用任何 期望的繪圖表面，同時使用已知的書寫表面和筆減小了圖像中的失真，以及可能與識別並 觀察繪圖的攝像頭關聯的錯誤。繪圖與選擇的模板進行比較。如果發現了匹配，那麼繪圖 已被識別。
[0042] 在上述示例中，繪圖被識別為小鍵盤、操縱杆、武器或者遊戲道具，然而，可以繪出 任何多種多樣的其他項目。識別繪圖後，計算機系統向識別的繪圖分配屬性。這些屬性可 以是可訪問的功能、用戶輸入能力等。屬性可以使用與模板關聯的信息來確定。因此，如果 繪圖與小鍵盤模板匹配，那麼模板可以包含觸摸繪圖的特定部分被分配給"9"數字鍵按下 的信息。模板可以包含"9"鍵的繪出的邊界作為模板的一部分。
[0043] 圖7是在上述使用示例中執行的過程的過程流程圖。在710,計算機系統啟動並 載入任何用於匹配的期望的模板。這些模板可以是用於匹配書寫的字詞、說出的發聲、以及 空氣姿態的模板，還有用於繪圖的模板。模板可以由作業系統、分離的繪圖識別應用程式供 應，供應模板的用戶、或者模板可以是遊戲或者生產力應用程式的一部分。
[0044] 在712,用戶繪出符號或者對象，諸如如上所示的小鍵盤或者操縱杆。繪圖不需要 精確匹配用於該對象的任何特定的模板或者規定形式。
[0045] 在714,計算機系統確定其狀態。如上所述，狀態可以是硬體配置，諸如存在或者不 存在安裝的外圍設備；或者軟體狀態，諸如是否在運行的前景或者背景應用程式。確定的狀 態向系統表明繪圖的類型，系統可以用其來減少可能的選擇或者甚至對系統加以選擇。在 712繪出對象並在714確定對象的類型這2個操作可以以任何順序執行。計算機系統接收 兩個輸入，進而相應地動作。
[0046] 在718,系統使用確定的狀態來訪問可以應用至繪圖的繪圖模板的庫。繪圖可以通 過使用耦合至計算機系統的攝像頭來捕捉繪圖的圖像而捕捉。以捕捉的圖像或者其他數字 文件形式的繪圖然後被轉換為可以匹配其他數字文件的數字形式。該形式可以是位圖或者 其他圖像文件，或者其可以是用戶的繪圖的主要特徵的抽象數學代表。
[0047] 在722,計算機系統將觀察到的繪圖與在718已訪問的那組繪圖模板進行比較。這 是基於在714確定的繪圖類型的有限組的模板。比較可以更快速完成，因為可能的模板的 數量大幅減小。在724,系統選擇模板並且如果其匹配觀察到的繪圖，那麼在728,系統向繪 圖的繪出的元件分配屬性。系統循環過所有的模板，如果沒有識別到匹配，那麼系統採取一 些其他動作。它可以簡單地忽略繪圖。稍後，在用戶已返回至繪圖之後，系統可以嘗試做出 另一個匹配，以提供更多細節或者對繪圖做出校正。系統還可以通過：示出一些模板給用戶 來選擇，或者通過要求用戶書寫、說出、或者鍵入對象是什麼，來要求用戶輔助。例如，系統 可以通過向繪圖示出兩個或更多的可能的匹配來詢問用戶，進而允許用戶選擇一個模板作 為正確的匹配。
[0048] 或者，系統可以做出其最佳猜測，並使用用戶已繪出的東西的近似。因為在714基 於狀態確定的繪圖類型，因此近似是可能的。作為結果，用戶可以使用飛行模擬器程序，進 而繪出不完全看起來像操縱杆的某物。計算機系統知道該繪圖涉及該程序，尋找操縱杆或 者其他航空儀器，然後可以將操縱杆設計施加到繪圖上，而非僅接受非常好地完成的繪圖。 計算機可以向與操縱杆屬性對應的5個圖塊的每個分配屬性。根據匹配的模板，圖塊可以 分配為按鈕、或者表面。以相同的方式，對於小鍵盤繪出的方形可以被分配各種數字鍵盤鍵 的屬性。例如，右邊的更大的方形可以分配為"+"鍵，而底邊的方形可以分配"〇"鍵。5個 圖塊的廣義模糊的繪圖可以被視為操縱杆按鈕或者表面，而不用看起來非常像它們。
[0049] 過程然後返回到712,用於下個用戶繪圖。過程流可以以完全不相關的繪圖而重新 開始。例如，用戶可能在紙上的一個地點繪出操縱杆，進而在紙上的另一個地點繪出WASD 按鍵組合或者箭頭鍵組合。用戶然後可以用一隻手操作按鍵，並用另一隻手操作操縱杆。
[0050] 過程返回還允許用戶增強繪圖。在操縱杆示例中，用戶可能向操縱杆鍵入操縱杆 命令並增加附加的觸發控制。計算機系統將接收該命令或者作為替代，可以識別了用戶向 操縱杆繪圖進行增加，進而尋找不同的模板來匹配增強的操縱杆繪圖。用鍵盤，用戶可以僅 以WASD開始，進而之後增加空格鍵、shift鍵或者可以期望更多功能的其他按鍵。
[0051] 圖8是能夠支持上面討論的操作的計算環境的框圖。模塊和系統可以以各種不同 硬體架構和形狀因子實現，包含圖9所示的。
[0052] 命令執行模塊801包含中央處理單元來緩存並執行命令，並在其他模塊與示出的 系統之間分配任務。其可以包含指令堆棧、存儲中間和最終結果的緩存存儲器、以及存儲應 用程序和作業系統的大容量存儲器。命令執行模塊還可以用作系統的中心協調和任務分配 單元。
[0053] 屏幕渲染模塊821在一個或多個多屏幕上繪出對象以供用戶看到。其可以適於從 下述繪圖追蹤模塊806接收數據，並在屏幕上渲染繪圖的代表。屏幕渲染模塊還將用戶與 繪圖之間的渲染交互，作為用於用戶正在操作的應用程式的命令。
[0054] 姿態識別模塊822可以適於識別並追蹤用戶的手和臂的姿態。該模塊可以被用於 識別手、手指、手指姿態、手移動、以及手相對於繪圖的地點。例如，姿態識別系統可以例如 確定用戶做出體部姿態來按下鍵盤上的虛擬按鈕，或者用戶做出體部姿態來移動繪圖的虛 擬控制表面。姿態識別系統可以耦合至攝像頭或者攝像頭陣列、麥克風或者麥克風陣列、觸 摸屏或者觸摸表面、或者指向設備、或者這些項目的一些組合，來從用戶檢測姿態和命令。
[0055] 可以使用用於姿態識別的任何各種技術。系統可以被用於識別手、手指、手指姿 態、手移動、以及手相對於繪圖表面的地點。如果以若干預定義的方式，姿態與之前繪出並 識別的對象交叉，那麼該模塊將該姿態與匹配的對象的屬性組合，來確定該計算系統將採 取的動作。如果否，那麼姿態作為純姿態命令。然後姿態可以轉換為向計算機系統的命令， 用於由命令執行模塊801執行。
[0056] 繪圖檢測模塊823可以配備有攝像頭或者其他傳感器，來追蹤用戶的手或者筆的 位置或者朝向。替代地，繪圖檢測模塊的觸控螢幕或者觸摸表面可以包含觸控螢幕傳感器。來 自傳感器的數據可以饋送至硬體、軟體、固件或者其組合，以在屏幕或者表面上映射用戶的 手的觸摸姿態至對應的繪圖或者圖像。當用戶暫停或者當用戶採取諸如姿態或者聲音命令 的明確動作時，繪出的輸入可以假定完成。
[0057] 繪圖識別模塊825識別繪出並書寫的輸入。其通過將繪圖的部分與存儲在計算設 備中的模板對象匹配，來解釋繪出的輸入。可以啟動該模塊來匹配模板的整個庫，或者其可 以使用其他視覺輸入或者用戶命令來匹配庫的子集。繪圖識別模塊還可以包含梯形校正。 當圖像以角度被捕捉時，在匹配該模板庫之前，針對因為角視圖導致的失真，它們必須進行 校正。梯形校正可以由與攝像頭和書寫表面的位置有關的知識來協助。對於示出的筆記本 計算機示例而言，計算機可以配置有如下值：從放在桌子上的殼體的底部起的在屏幕邊框 的頂部的攝像頭的近似高度。該值由殼體的設計確定，對於具有相同殼體的每個計算機相 同。
[0058] 繪圖對象模板模塊804存儲輸入設備，諸如小鍵盤、觸摸板和命令按鈕的模板。當 用戶繪出具有匹配特徵的輸入設備時，模板的屬性將確定繪圖的行為以及用戶交互是否將 會影響它。
[0059] 繪圖追蹤模塊806追蹤以階段和層形式的複雜的繪圖的發展。當用戶分階段增加 複雜對象的元件時，該模塊將確定當前與之前繪出的輸入之間的增量。如果繪圖已相對於 計算設備移動，那麼儘管移動了繪圖，該模塊將確定新的取向以允許連續輸入。
[0060] 對象和速率和方向模塊803可以適於通過從繪圖追蹤模塊806接收輸入，來估計 作為虛擬對象而被移動的繪圖的動態，諸如其軌道、速率（是線性速率還是角速率）、動量 (是線性動量還是角動量）等。對象和速率和方向模塊例如還可以適於通過估計用戶姿態 的加速度、偏轉等，來估計任何物理力的動態。對象和速率和方向模塊還可以使用圖像運 動、尺寸和角改變來估計對象的速率，諸如手和手指的速率。
[0061] 動量和慣性模塊802基於用戶輸入，允許各種"物理"行為。例如，快速或者慢速 滾動或者掃動可以具有動量屬性。該模塊將具有匹配用戶姿態和繪圖的物理模板，以增加 行為，諸如對象在屏幕上的加速度。其可以使用繪圖片的平面中的或者三維空間中的繪圖 運動和用戶運動，來估計與繪圖相關的虛擬對象的速率和方向。動量和慣性模塊耦合至對 象和姿態識別系統822,來估計由手、手指和其他體部執行的姿態的速率，進而應用這些估 計來確定要由姿態影響的虛擬對象的動量和速率。
[0062] 3D圖像交互和效果模塊805追蹤用戶與好像從一個或多個屏幕延伸出的3D圖像 的交互。z軸中的對象的影響（朝向並遠離屏幕的平面）可以與這些對象對彼此的相對影 響一起計算。例如，在該虛擬對象到達屏幕的平面之前，由用戶姿態扔出的對象可以被前景 中的3D對象影響。這些對象可以改變拋射物的方向或者速率或者將其完全毀壞。對象可 以在一個或多個顯示器的前景中被3D圖像交互和效果模塊渲染。
[0063] 與圖7關聯地更詳細地進行描述，圖8的計算系統用繪圖檢測模塊823的啟動來 操作。其通過啟用應用程式或者通過諸如聲音命令的其他用戶輸入而啟動。用戶創建繪圖， 進而表明（如上所述）繪出的輸入完成。繪圖識別模塊825將繪圖與模板庫匹配。當到達 可以隨應用程式變化的一定水平的肯定的匹配時，繪圖追蹤模塊806將繪圖與一組屬性關 聯。如果用戶接下來在匹配的繪圖上發出姿態，那麼系統根據匹配的屬性組運行命令。
[0064] 圖9是計算系統，諸如個人計算機、遊戲主機、智慧型電話或者便攜遊戲設備的框 圖。計算機系統900包含用於對信息進行通信的總線或者其他通信單元901 ;以及用於處 理信息的與總線901耦合的處理單元，諸如微處理器902。計算機系統可以增強有：圖形處 理器903,具體用於通過並行管道渲染圖形；以及物理處理器905,用於如上所述計算物理 交互。這些處理器可以整合到中央處理器902或者提供為一個或多個分離的處理器。
[0065] 計算機系統900還包含耦合至總線901的主存儲器904,諸如隨機存取存儲器 (RAM)或者其他動態數據存儲設備，用於存儲將由處理器902執行的信息和指令。主存儲器 還可以用於在通過處理器執行指令期間，存儲臨時變量或者其他中間信息。計算機系統還 可以包含非易失性存儲器906,諸如耦合至總線的只讀存儲器（ROM)或者其他靜態存儲設 備，存儲用於處理器的靜態信息和指令。
[0066] 諸如磁碟、光碟、或者固態陣列的大容量存儲器907及其對應的驅動器還可以耦 合至計算機系統的總線，用於存儲信息和指令。計算機系統還可以經由總線耦合至顯示器 設備或者監控器921，諸如液晶顯示器（LCD)、或者有機發光二極體（0LED)陣列，用於對用 戶顯示信息。例如，除了上述各種視圖和用戶交互外，安裝狀態、操作狀態和其他信息的圖 形和文本指示也可以在顯示器設備上被呈現給用戶。
[0067] 典型地，用戶輸入設備，諸如具有字母數字、功能和其他按鍵的鍵盤可以耦合至總 線，用於向處理器通信信息和命令選擇。附加的用戶輸入設備可以包含光標控制輸入設備， 諸如滑鼠、軌跡球、觸控板、或者光標方向鍵，可以耦合至總線，用於向處理器通信方向信息 和命令選擇，並控制在顯示器921上的光標移動。
[0068] 攝像頭和麥克風陣列923耦合至總線來觀察姿態、記錄音頻和視頻、以及接收如 上所述的視覺和音頻命令。
[0069] 通信接口 925也耦合至總線901。例如，通信接口可以包含數據機、網絡接 口卡、或者其他周知的接口設備，諸如用於耦合至乙太網、令牌環、或者其他類型的物理有 線或者無線連接的接口設備，出於提供通信鏈路的目的，以支持局域或者廣域網（LAN或者 WAN)。以該方式，例如，計算機系統還可以經由包含內部網或者網際網路的常規網絡基礎設 施，耦合至若干外圍設備、其他客戶端或者控制表面或者主機、或者伺服器。
[0070] 要理解的是對於某些實施方式，比上述示例配備得更少或更多的系統可以是優選 的。因此，根據大量因素，諸如價格限制、性能要求、技術改進、或者其他境況，示例性系統 800和900的配置從實施方式到實施方式會有變化。
[0071] 實施例可以以如下任何或者組合實現：使用母板互相連接的一個或多個微晶片或 者集成電路；硬連線邏輯；由存儲器設備存儲並由微處理器執行的軟體；固件；特定用途集 成電路（ASIC)、和/或現場可編程門陣列（FPGA)。以示例的方式，術語"邏輯"可以包含軟 件或者硬體和/或軟體和硬體的組合。
[0072] 例如，可以提供實施例作為電腦程式產品，其可以包含一個或多個機器可讀介 質，在其上已存儲了機器可執行指令，當由一個或多個機器，諸如計算機、計算機的網絡、或 者其他電子設備執行時，可以使得一個或多個機器依據本發明的實施例進行操作。機器可 讀介質可以包含但是不限於軟盤、光碟、CDR0M(光碟只讀存儲器）、以及光磁碟、ROM(只讀 存儲器）、RAM(隨機存取存儲器）、EPROM(可擦除可編程只讀存儲器）、EEPR0M(電可擦除 可編程只讀存儲器）、磁或者光卡、快閃記憶體、或者其他類型的適於存儲機器可執行指令的介質 /機器可讀介質。
[0073] 此外，實施例可以下載作為電腦程式產品，其中程序可以經由通信鏈路（例如 數據機和/或網絡連接），以體現為載波或者其他傳播介質和/或由載波或者其他傳播 介質調製的一個或多個數據信號的方式，從遠程計算機（例如伺服器）傳送至請求計算機 (例如客戶端）。相應地，如本文所使用的，機器可讀介質可以是但是不要求包括該載波。
[0074] 對於"一個實施例"、"實施例"、"示例實施例"、"各種實施例"等的參考表明了這樣 描述的本發明的實施例可以包含特定的特徵、構造、或者特性，但是並非每個實施例一定包 含該特定的特徵、構造、或者特性。此外，一些實施例可以具有一些、所有、或者不具有對於 其他實施例描述的特徵。
[0075] 在下面的描述和權利要求中，可以使用術語"耦合"以及其衍生詞。"耦合的"被用 於表明兩個或更多的元件互相操作或互相彼此交互，但是在其間其可能或者可能不具有介 入的物理或者電部件。
[0076] 如被用於權利要求的那樣，除非明確指明，否則使用序數形容詞"第一"、"第二"、 "第三"等來描述常見元件僅僅表明指代相似元件的不同實例，並非意圖暗指這樣描述的元 件無論在時間上、空間上、排名上、或者以任何其他方式必須具有給定的順序。
[0077] 附圖和前面的描述給出了實施例的示例。本領域的技術人員可以理解一個或多個 描述的元件可以合成為單個的功能元件。或者，某些元件可以被分離為多個功能元件。來 自一個實施例的元件可以增加至另一個實施例。例如，本文描述的過程的順序可以改變，而 不限於本文描述的方式。此外，任何流程圖需要的動作不必以示出的順序實現；也並非所 有的動作一定需要被執行。同樣，那些不依賴於其他動作的動作可以與其他動作平行執行。 實施例的範圍絕不被這些具體示例所限制。無論是否明確在說明書中給出的大量變化，諸 如構造、尺寸、以及使用材料的差異是可能的。實施例的範圍至少與通過下面的權利要求給 出的一樣寬。
【權利要求】
1. 一種方法，包括： 在計算機系統處確定表明繪圖的類型的所述計算機系統的狀態； 訪問與所述繪圖的類型關聯的繪圖模板的庫； 在計算機系統處觀察用戶繪圖； 比較所觀察的繪圖與所述繪圖模板，以識別所觀察的繪圖；以及 向所識別的繪圖分配屬性。
2. 如權利要求1所述的方法，其中確定狀態包括確定以下中的一個：安裝的硬體狀態、 活動的程序狀態、以及背景程序狀態。
3. 如權利要求1所述的方法，其中所述繪圖的類型是用戶輸入設備的類型。
4. 如權利要求3所述的方法，其中所述設備是小鍵盤。
5. 如權利要求1所述的方法，還包括載入多個繪圖模板，以與載入的應用程式一起使 用，其中確定狀態包括確定所述載入的應用程式是活動的，並且其中訪問庫包括訪問載入 的針對活動的應用程式的多個繪圖模板。
6. 如權利要求5所述的方法，其中所述繪圖模板對應於用戶輸入設備的不同配置和類 型。
7. 如權利要求1所述的方法，其中所述繪圖模板的庫由在所述計算機系統上運行的應 用程序提供。
8. 如權利要求1所述的方法，其中訪問庫包括基於所述繪圖的類型，從繪圖模板的多 個不同庫中選擇一個。
9. 如權利要求1所述的方法，其中觀察用戶繪圖包括使用耦合至所述計算機系統的攝 像頭來捕捉繪圖的圖像。
10. 如權利要求9所述的方法，還包括針對由所述攝像頭與所述繪圖的相對位置導致 的失真來校正所捕捉的圖像。
11. 如權利要求1所述的方法，其中分配屬性包括向所述繪圖分配控制表面。
12. 如權利要求1所述的方法，其中分配屬性包括向所述繪圖的部分分配按鍵。
13. -種計算機可讀介質，其上具有指令，當由所述計算機操作時，所述指令促使所述 計算機執行如下操作，包括： 在計算機系統處確定表明繪圖的類型的所述計算機系統的狀態； 訪問與所述繪圖的類型關聯的繪圖模板的庫； 在計算機系統處觀察用戶繪圖； 比較所觀察的繪圖與所述繪圖模板，以識別所觀察的繪圖；以及 向所識別的繪圖分配屬性。
14. 如權利要求13所述的介質，其中確定狀態包括確定以下中的一個：安裝的硬體狀 態、活動的程序狀態、以及背景程序狀態。
15. 如權利要求13所述的介質，其中訪問庫包括基於所述繪圖的類型，從繪圖模板的 多個不同庫中選擇一個。
16. -種系統，包括： 命令執行模塊，用於在計算機系統處確定表明繪圖的類型的所述計算機系統的狀態； 繪圖檢測模塊，用於觀察用戶繪圖； 繪圖對象模板模塊，用於：訪問與所述繪圖的類型關聯的繪圖模板的庫、比較所觀察的 繪圖與繪圖模板以識別所觀察的繪圖、以及向所識別的繪圖分配屬性。
17. 如權利要求16所述的系統，還包括攝像頭，用於捕捉由所述繪圖檢測模塊使用的 所述繪圖的圖像。
18. 如權利要求16所述的系統，還包括姿態識別模塊，用於將與所識別的繪圖關聯的 用戶姿態識別為命令，並將所述命令發送至所述命令執行模塊用於執行。
【文檔編號】G06F3/01GK104126161SQ201180076419
【公開日】2014年10月29日 申請日期:2011年12月30日 優先權日:2011年12月30日
【發明者】G·J·安德森, C·J·布思 申請人:英特爾公司