通過所識別文本和有界區域的設備用戶接口的製作方法
2023-09-20 14:12:00 2
專利名稱：通過所識別文本和有界區域的設備用戶接口的製作方法
技術領域：
在此描述的實施例涉及交互式設備、計算機、電子設備、器具、玩具等的控制和使用。本書面內容公開了一種用於通過所識別文本和有界區域來實施用於設備的用戶接口。
背景技術：
諸如光學讀取器或光學筆的設備常規上將反射離開表面的光發射到檢測器或成像器。在設備相對於表面移動(或反之亦然)時，相繼的圖像得以迅速捕獲。通過分析所述圖像，可對光學設備相對於表面的移動加以跟蹤。
一種類型的光學筆與其上列印了很小的點的紙張一起使用。所述點以具有大約0.3毫米(0.01英寸)的額定間距的圖案列印在頁面上。頁面上任何區內的點的圖案對於該區是唯一的。光學筆實質上獲取表面的快照，可能每秒100次或更多。通過解釋每個快照中所捕獲的點位置，光學筆可精確地確定其相對於頁面的位置。
已經或正在設計利用有關光學筆相對於表面的位置的信息的應用。具有藍牙或其他無線能力的光學筆可連結到其他設備並用於發送電子郵件(e-mail)或傳真。
嵌入式計算機系統增加的能力以及它們能夠實施的功能的複雜度已經產生了對一種訪問這種能力的較為直觀且用戶友好的方式。典型的現有技術光學筆將通過用戶操作光學筆的一個或多個按鈕/開關或控制以激活一個或多個軟體程序、例程、嵌入式設備等來實施其預期功能性。所述筆可以包含計算機系統或與之通信。一旦激勵了這樣的控制，筆設備就執行其預期功能。通過在筆本身上提供的有限數量和配置的開關、按鈕等或任何遠距離耦合的計算機系統設備來訪問日益強大的光學筆的能力並不是令人滿意的安排。
一個現有技術解決方案使用光學筆來識別用戶定義的命令，並且使用該命令來調用該筆的某種功能(例如PCT公布WO/01/48590A1)。例如用戶的書寫可以識別(例如實時地)和解釋為用於光學筆的命令。該解決方案的缺陷在於，筆功能的交互和控制需要對用戶手寫的實時識別(例如在用戶在紙張上寫下命令時)。該解決方案不令人滿意是因為與光學筆的較為複雜的功能性交互需要用戶重複寫下一個或多個命令來訪問筆所提供的不同選擇、選項或功能。儘管該解決方案對於極度簡單、單步驟類型的應用(例如「關斷」、「存儲」等)可能是令人滿意的，但是在需要較為複雜的、令人滿意的、豐富的功能性的情況下，該解決方案過於麻煩和有限。
發明內容
因此，這樣一種用戶接口方法和系統將是有價值的，其使能與具有與之關聯的計算機系統的筆設備的較複雜功能性的交互，並且使能對筆設備所提供的不同選擇、選項和功能的較為有效的訪問。進一步需要一種用戶接口及其使用技術，用於允許用戶與基於筆的計算機系統的作業系統交互。根據本發明的實施例提供了這些和其他優點。
在一個實施例中，本發明實施為一種用於通過所識別文本和有界區域來實施用於設備的用戶接口的方法。所述方法包括識別文本串(例如詞)並根據該識別來訪問與該文本串有關的功能。輸出根據所述功能來提供並且該功能與所述文本串關聯。應理解，在一個實施例中，功能與文本串是持久關聯的。因此，每次當文本串被筆設備選擇時，功能被單獨調用一次。在一個例子中，限定了圍繞文本串的有界區。筆設備對有界區內的任何點的選擇會指示文本串的選擇。示例性的功能可以是例如翻譯功能，其中文本串(例如詞)從一種語言(例如英語)翻譯成不同的語言；詞典功能，其中為詞提供了定義；辭典功能等。
所述方法包括識別有界區域內的激勵(例如用戶書寫)和基於所述激勵自動訪問與該有界區域有關的功能或應用程式。示例性的功能可以是例如計算器功能，其中在計算器有界區域內所輸入文本被識別為數值字符，等等。以這種方式，有界區域內所識別的文本字符或文本串根據文本串並且也根據與該有界區域關聯的功能的應用自動產生輸出。這是無需用戶另外選擇應用程式來完成的，所述應用程式響應於用戶在與該應用關聯的有界區域內書寫而自動變為被選擇。
所述輸出典型地是通過音頻輸出設備(例如耦合到設備的揚聲器)提供的音頻輸出。功能與文本串和/或有界區域持久地關聯，從而使能通過對文本串的隨後激勵(例如輕敲)對功能的隨後訪問(例如在某個以後的時間)。
廣義地，本書面內容公開了一種用於通過所識別文本和有界區域來實施用於筆設備的用戶接口的方法和系統。所述方法包括識別文本串和基於該識別來訪問與該文本串有關的功能或應用。根據所述功能提供輸出並且功能與所述文本串關聯。可替換地，對文本串的選擇將文本串的識別結果自動應用到當前活動的應用。所述方法包括識別有界區域內的激勵並且基於所述激勵來自動訪問與該有界區域有關的功能。有界區域內所識別的文本串根據所述文本串和有界區域產生輸出。
在閱讀了以下在各個附圖中示出的詳述之後，本領域的技術人員將認識到本發明的這些和其他目的和優點。
結合在本說明書中並形成其一部分的
了本發明的實施例並且與以下描述一起用來說明本發明的原理圖1是在其上可實施本發明實施例的設備的塊圖。
圖2是在其上可實施本發明實施例的另一個設備的塊圖。
圖3示出根據本發明一個實施例的帶有標記圖案的示例紙張。
圖4示出根據本發明一個實施例的示例紙張上的標記圖案的放大圖。
圖5示出根據本發明一個實施例的設備用戶接口過程步驟的計算機控制流程圖。
圖6示出根據本發明一個實施例的分層的設備用戶接口過程步驟的計算機控制流程圖。
圖7根據本發明一個實施例的菜單項目樹目錄。
圖8A示出根據本發明一個實施例的菜單項目可聽見提示過程。
圖8B示出根據本發明一個實施例的菜單項目選擇過程。
圖8C示出根據本發明一個實施例的子菜單項目選擇過程。
圖9示出根據本發明一個實施例的表面上的多個不同類型的圖形元素圖標。
圖10示出根據本發明一個實施例的有界區域用戶接口過程的計算機實施步驟的流程圖。
圖11示出根據本發明一個實施例的計算器有界區域應用。
圖12A示出根據本發明第一實施例的文本串識別用戶接口過程的計算機實施步驟的流程圖。
圖12B示出根據本發明第二實施例的文本串識別用戶接口過程的計算機實施步驟的流程圖。
圖13A示出根據本發明一個實施例的詞典文本串識別應用的第一例子。
圖13B示出根據本發明一個實施例的詞典文本串識別應用的第二例子。
具體實施例方式
現在將詳細參考本發明的優選實施例，其例子在附圖中說明。儘管將結合優選實施例來描述本發明，應理解它們並不是想要將本發明限制於這些實施例。相反，本發明旨在覆蓋可包括在所附權利要求所限定的本發明的精神和範圍內的替換、修改和等效物。此外，在以下對本發明實施例的詳述中，提出眾多特定細節是為了提供對本發明的全面理解。然而，本領域的技術人員將認識到，本發明可無需這些特定細節來實現。在其他實施例中，眾所周知的方法、過程、部件和電路未曾詳述是為了避免不必要的模糊本發明實施例的各個方面。
符號及術語以下詳述的一些部分是根據計算機存儲器內的數位的運算的過程、步驟、邏輯塊、處理和其他符號表示來提供的。這些描述和表示是數據處理領域內的技術人員用來將其工作的實質最有效地展示給本領域其他人員的方式。程序、計算機執行步驟、邏輯塊、過程等在此一般設想為導致所需結果的步驟或指令的自洽(self-consistent)序列。所述步驟是需要物理量的物理操縱的步驟。通常，儘管不是必要的，這些量採用能夠存儲、傳遞、組合、比較或操縱於計算機系統內的電或磁信號。主要為了共同使用，將這些信號稱為位、值、元素、符號、字符、術語、數字等有時是方便的。
然而，應當記住，所有這些和類似術語應當與適當的物理量關聯並且僅僅適用於這些量的方便標記。除非專門陳述或者從以下討論顯而易見，應理解在整個本發明中，利用諸如「處理」、「計算」、「配置」、「生成」等術語的討論指的是操縱寄存器和存儲器內表示為物理(電子)量的數據和將其變換成類似表示為物理量的其他數據的微控制器、計算機系統或類似電子計算設備的動作和過程。
本發明的實施例圖1是可在其上實施本發明實施例的筆設備100的塊圖。通常，筆設備100可以稱為光學設備，更具體地稱為光學讀取器、光學筆或數字筆。所述設備可包含計算機系統和駐留在其上的作業系統。應用程式亦可駐留在其上。
在圖1的實施例中，筆設備100包括殼體62內的處理器32。在一個實施例中，殼體62具有筆或者其他書寫或標記用具或工具的形式。處理器32可操作用於處理用來實施筆設備100的功能的信息和指令，如以下所述。
在本實施例中，筆設備100可包括耦合到處理器32的音頻輸出設備36和顯示設備40。在其他實施例中，音頻輸出設備和/或顯示設備在物理上與筆設備100分離，但通過有線或無線連接與筆設備100通信。對於無線通信，筆設備100可包括收發器或發送器(在圖1中未示出)。音頻輸出設備36可包括揚聲器或音頻插孔(例如用於耳機或頭戴受話器)。顯示設備40可以是液晶顯示器(LCD)或某種其他適合類型的顯示器。
在圖1的實施例中，筆設備100可包括耦合到處理器32的輸入按鈕38，用於激活和控制筆設備100。例如輸入按鈕38允許用戶將信息和命令輸入到筆設備100或者接通或關斷筆設備100。筆設備100亦包括電源34，如電池。
筆設備100亦包括耦合到處理器32的光源或光學發射器44和光傳感器或光學檢測器42。光學發射器44可以是例如光發射二極體(LED)，而光學檢測器42可以是例如電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)成像器陣列。光學發射器44照亮表面70或其部分。從表面70反射的光在光學檢測器42處接收並由其記錄。
表面70可以是紙張，儘管本發明並未如此限制。例如，表面70可包括LCD(液晶顯示器)、CRT(陰極射線管)、觸控螢幕、包括電子墨的表面、可再配置紙或其他類型的電子活性表面(例如膝上型或平板PC的顯示器)。
在一個實施例中，標記圖案列印在表面70上。持有光學發射器44和光學檢測器42的筆設備100的一端相對於或接近於表面70而放置。當筆設備100相對於表面70移動時，標記圖案由光學發射器44和光學檢測器42讀取和記錄。如以下更詳細討論的，在一個實施例中，表面70上的標記用來確定筆設備100相對於表面的位置(見圖3和4)。在另一個實施例中，表面70上的標記用來編碼信息(見圖5和6)。所捕獲的表面70的圖像可由筆設備100來分析(處理)以解碼所述標記並恢復所編碼的信息。
有關用於編碼信息的標記以及通過電子設備來讀取/記錄這種標記的附加描述可在轉讓給Anoto並且通過引用完整結合在此的以下專利和專利申請中找到美國專利No.6,502,756，美國申請No.101179,966，提交於2002年6月26日，WO 01/95559，WO 01/71473，WO 01/75723，WO 01/26032，WO 01/75780，WO 01/01670，WO 01/75773，WO 01/71475，WO 1000/73983和WO 01116691。
圖1的筆設備100還包括耦合到處理器32的存儲器單元48。在一個實施例中，存儲器單元48是實施為存儲器盒或存儲器卡的可移動存儲器單元。在另一個實施例中，存儲器單元48包括存儲用於處理器的信息和指令的隨機訪問(易失性)存儲器(RAM)和只讀(非易失性)存儲器(ROM)。
在圖1的實施例中，筆設備100包括書寫元件52，其位於筆設備100的與光學檢測器42和光學發射器44相同的一端。書寫元件52可以是例如鋼筆、鉛筆、記號筆等，並且可以是或者可以不是可縮回的。在某些應用中，不需要書寫元件52。在其他應用中，用戶可使用書寫元件52在表面70上做標記(例如圖形元素)，包括字符如字母、詞、數字、數學符號等。這些標記可以根據其在表面70上的位置由筆設備100來掃描(成像)和解釋。用戶產生的標記的位置可使用列印在表面70上的標記圖案來確定；參考以下對圖3和4的討論。在一個實施例中，用戶產生的標記可使用識別手寫字符的光學字符識別(OCR)技術由筆設備100來解釋。
如以上所述，表面70可以是適合於在其上書寫的任何表面，如例如紙張，儘管可以使用由除紙以外的材料構成的表面。而且，表面70可以是或可以不是平的。例如，表面70可以實施為球的表面。此外，表面70可以小於或大於常規(例如8.5×11英寸)紙頁。
圖2是可在其上實施本發明實施例的另一個設備200的塊圖。設備200包括在本文中先前所述的處理器32、電源34、音頻輸出設備36、輸入按鈕38、存儲器單元48、光學檢測器42、光學發射器44和書寫元件52。然而，在圖2的實施例中，光學檢測器42、光學發射器44和書寫元件52實施為殼體62中的光學設備201，而處理器32、電源34、音頻輸出設備36、輸入按鈕38和存儲器單元48實施為殼體74中的平臺202。在本實施例中，光學設備201通過線纜102耦合到平臺202；然而，無線連接可替代使用。圖2所示的元件可以以不同於以上所述的組合分布在光學設備201和平臺202之間。
圖3示出根據本發明一個實施例帶有標記圖案的紙張15。在圖3的實施例中，紙張15帶有以由標記18圖案構成的光學可讀位置碼17形式的編碼圖案。為清楚起見，大大地放大了圖3中的標記18。實際上，標記18可能不能由人的視覺系統容易地辨別，並且可在紙張15上作為灰度級出現。在一個實施例中，標記18實施為點；然而，本發明並不局限於此。
圖4示出圖3的位置碼17的放大部分19。對諸如設備100和200(圖1和2)的光學設備進行定位以記錄位置碼17的區的圖像。在一個實施例中，光學設備將標記18配合於基準系統，該基準系統採取具有在柵格點22相交的柵格線21的柵格的形式。每個標記18與一柵格點22關聯。例如，標記23與柵格點24關聯。對於圖像/柵格中的標記，確定標記距離與該標記關聯的柵格點的位移。通過使用這些位移，將圖像/柵格中的圖案與基準系統中的圖案進行比較。基準系統中的每個圖案與表面70上的特定位置關聯。這樣，通過將圖像/柵格中的圖案與基準系統中的圖案相匹配，可確定表面70上的圖案位置，並因此可確定光學設備相對於表面70的位置。
有關用於編碼信息的表面標記以及通過電子設備來讀取/記錄這種標記的附加描述可在轉讓給Anoto並且通過引用完整結合在此的以下專利和專利申請中找到美國專利No.6,502,756，美國申請No.10/1179,966，提交於2002年6月26日，WO 01/95559，WO 01/71473，WO 01/75723，WO 01/26032，WO 01/75780，WO 01/01670，WO 01/75773，WO 01/71475，WO 1000/73983和WO 01/16691。
返回來參考圖1，表面70上的四個位置或區由字母A、B、C和D(這些字符並不列印在表面70上，而是在此用於指示表面70上的位置)來指示。在表面70上可以有很多這樣的區。表面70上的每個區與唯一的標記圖案相關聯。表面70上的區可重疊，因為即使一些標記在重疊區之間共享，一個區內的標記圖案對於該區仍是唯一的。
在圖1的例子中，通過使用筆設備100(具體地，通過使用書寫元件52)，用戶可在表面70上的位置A創建由例如帶圈的字母「M」構成的字符(通常用戶可在表面70上的任何位置創建字符)。用戶可響應於來自筆設備100的提示(例如可聽見的提示)來創建這樣的字符。當用戶創建字符時，筆設備100記錄標記的圖案，所述標記唯一地存在於創建字符的位置。筆設備100將所述標記圖案與剛才創建的字符關聯。當筆設備100隨後定位在帶圈的「M」上時，筆設備100識別與之關聯的標記圖案並且將該位置識別為與帶圈「M」關聯。實際上，筆設備100是通過使用字符所處的位置處的標記圖案來識別該字符的，而不是通過識別字符本身。
在一個實施例中，以上所述的字符包括與筆設備100的一個或多個命令關聯的「圖形元素」。應指出，與包括命令的筆設備100實施的功能關聯並且用於對其進行訪問的這種圖形元素在以下稱為「圖形元素圖標」，以便區分於其它未與訪問筆設備100的功能或應用關聯的所寫字符、標記等。在剛才所述的例子中，用戶可創建(寫出)標識特定命令的圖形元素圖標，並且可通過簡單地將筆設備100定位於圖形元素圖標(例如所寫字符)上來重複調用該命令。在一個實施例中，將書寫工具定位於圖形字符上。換句話說，用戶不必在每次要由筆設備100調用命令時寫出用於該命令的字符；相反，用戶可寫出用於命令的圖形元素圖標一次，並且使用同一所寫圖形元素圖標來重複調用該命令。該屬性稱為「持久性」，並且在以下更詳細地描述。對於不是用戶寫出而是預列印在表面上、然而可由筆設備100選擇的圖形元素圖標也是這樣。
在一個實施例中，圖形元素圖標可包括一字母或數字，有一條線限定該字母或數字。限定字母或數字的線可以是圓形、橢圓形、方形、多邊形等。這樣的圖形元素看起來象是可由用戶選擇的「按鈕」，而不是普通的字母和數字。通過創建這種圖形元素圖標，用戶可將諸如功能圖標的圖形元素圖標在視覺上區分於可被筆設備100當做數據的普通字母和數字。而且，通過創建這種圖形元素圖標，筆設備100亦能夠較好地將功能或菜單項目類型的圖形元素區分於非功能或非菜單項目類型的圖形元素。例如，用戶可以創建作為圓形所包圍的字母「M」的圖形元素圖標來創建交互式「菜單」圖形元素圖標。
可將筆設備100編程為將其中有字母「M」的重疊圓形或方形識別為與詞中的字母「M」區分的功能圖形元素。圖形元素圖標亦可以包括在某個距離(例如1英寸、1.5英寸等)內與其相鄰的小「複選標記」符號。複選標記將與圖形元素圖標關聯。用於識別這種功能圖形元素並將其與其它非功能圖形元素區分的計算機代碼可駐留在筆設備的存儲器單元中。處理器可識別所述圖形元素圖標並且可辨識那些圖形元素圖標的位置以使筆設備100可執行與之關聯的各種功能、操作等。在這些實施例中，存儲器單元可包括用於將用戶所產生的任何圖形元素與其在表面上的位置相關的計算機代碼。筆設備100識別「下觸(down-touch)」或「下劃」或者向下放在表面上(例如當用戶開始書寫時)，並且識別「上劃」或從表面向上拾起(例如當用戶完成書寫時)。這樣的下劃和上劃可由筆設備100解釋為例如何時調用某些功能性以及調用什麼樣的特定功能/應用(例如觸發OCR處理)的指示器。特別地，下劃後迅速跟隨上劃(例如筆設備在表面上的輕敲)可與取決於應用的具體動作(例如選擇圖形元素圖標、文本串等)關聯。
應指出，通用術語「圖形元素」可包括用戶所創建的任何適合標記，並且可區分於涉及用於訪問設備的一個或多個功能的功能圖形元素的圖形元素圖標。
如以上所述，應指出圖形元素圖標可由筆設備100來創建(例如由用戶畫出)或可以是預先存在的(例如紙張上列印的元素)。示例的圖形元素包括但不限於符號、標誌如字母和/或數字、字符、詞、形狀、線等。它們在形狀上可以是規則或不規則的。用戶寫出/創建的圖形元素典型地使用筆設備100來創建。另外，對用戶和筆設備100兩者，圖形元素圖標通常但不總是結合圍繞字符(例如字母「M」)的限定線(例如圓形)以給予它們增加的區分度。例如，在一個實施例中，完成字符周圍的圓形之後的上劃可具體向筆設備100指示用戶剛剛創建了圖形元素圖標。
圖5示出根據本發明一個實施例的計算機實施過程550的步驟的流程圖。過程550描述了根據本發明一個實施例的由設備(例如筆設備100)在其解釋圖形元素、書寫、標記等形式的用戶輸入並且將所請求的功能性提供給用戶時所實施的用戶接口過程的基本操作步驟。
過程550開始於步驟551，其中筆設備100的計算機實施的功能性識別所創建的圖形元素圖標(例如由用戶創建)。可替換地，圖形元素可以預先列印在表面上並且其位置對於筆設備100是已知的。在步驟551，如果用戶第一次寫出圖形元素，則筆設備100使用光學傳感器和處理器來對所述書寫執行OCR(光學字符識別)以辨識用戶所寫的圖形元素。在一個實施例中，然後亦記錄其在表面上的唯一位置。在步驟552，一旦識別，則訪問涉及該圖形元素圖標的功能。該功能可以是例如菜單功能，該菜單功能可以宣布(例如在聽覺上再現)預定功能列表(例如菜單選擇或子菜單選項)以便於隨後由用戶激活。在步驟553，提供根據所述功能的音頻輸出。該音頻輸出可以是例如對在選擇的列表內用戶處於什麼樣的特定選擇的宣布。在步驟554，功能與圖形元素圖標持久關聯，從而使能通過對圖形元素圖標的隨後激勵(例如用筆設備100輕敲)對功能的隨後訪問(例如在某個以後的時間)。例如，在菜單功能的情況下，所列的菜單選擇可以通過簡單地激勵菜單圖形元素圖標(例如輕敲它)在某個以後的時間由用戶隨後訪問。
應指出，除音頻輸出以外或取代音頻輸出，筆設備100的輸出還可以是視覺輸出(例如經由顯示器、指示器燈等)。視覺輸出和/或音頻輸出可以直接來自筆設備100，或者可來自在通信上耦合到筆設備100的另一個設備(例如個人計算機、揚聲器、LCD顯示器等)。
應理解，多個不同的圖形元素可在表面上和任何時間存在，並且其選擇可提供待由筆設備100執行的各種功能，例如調用應用、調用子菜單選項等。
以這種方式，本發明的實施例實施了一種用戶接口裝置，用於導航計算機系統、特別是例如包括筆設備100的基於筆的計算機系統的功能性。圖形元素圖標所實施的用戶接口提供了與在筆設備100內執行的許多軟體應用交互的方法。如以上所述，來自筆設備100的輸出可包括音頻輸出，並因此，用戶接口裝置使用戶能與筆設備100的應用和功能性進行「對話」。換句話說，用戶接口使用戶能創建相互識別的項目，如允許用戶和筆設備100彼此交互的圖形元素圖標。如以上所述，相互識別的項目典型地是用戶在典型為紙張的表面上畫出的符號或標記或圖標。
不同的圖形元素圖標具有不同的含義和不同的與用戶交互的方式。通常，對於給定的圖形元素圖標，交互方式將調動筆設備的不同的計算機實施的功能性。為了說明的目的，在以上的菜單例子的情況下，菜單功能性允許用戶重複經過涉及圖形元素的功能的列表(例如，菜單圖形元素圖標上的輕敲的數目重複經過功能列表)。在完成輕敲時，來自筆設備的音頻可宣布功能或模式。所宣布的功能/模式之一然後可由用戶通過某種進一步的交互(例如畫出或選擇與所述圖形元素圖標關聯的先前畫出的複選標記圖形元素)來選擇。一旦選擇，功能性和選項以及特定所選功能的進一步子菜單則可由用戶來訪問。可替換地，如果可聽見地再現的子選項之一本身是菜單圖形圖標，則它可以通過用戶在表面上畫出其表示並且選擇它來選擇。
圖6示出根據本發明一個實施例的過程650的計算機實施步驟的流程圖。過程650描述了根據本發明一個實施例的用於訪問(例如導航經過)交互式設備(例如筆設備100)的許多嵌套、分層功能的用戶接口過程的基本操作步驟。過程650參照圖8A、8B和8C來描述。
過程650開始於步驟651，其中筆設備100的計算機實施的功能性識別所創建的圖形元素圖標，在圖8A中示為菜單圖標「M」。類似於步驟551，圖形元素圖標可由用戶寫或預先列印在表面上。在一種情況下，圖形元素圖標可提供與其關聯並且本身可提供另外選擇的另外圖形元素圖標(例如分層設置)的選擇列表。在步驟652並且如圖8A所示，一旦識別，則訪問與該圖形元素圖標有關的功能的第一分層菜單。在該例子中，一旦識別，在步驟651的菜單圖標「M」使子選項(例如系統「S」、遊戲「G」、參考「R」和工具「T」)可聽見地再現(例如通過可聽見的提示)，一次一個選項，如圖8A所示。所述選項響應於筆設備(例如筆設備100)對步驟651的菜單圖標的相繼選擇而再現。
在步驟653，並且如圖8B中所示，所宣布的功能之一，在該例子中為參考圖形元素圖標「R」，通過對菜單圖形元素圖標的適當數量的激勵(例如輕敲)和對關聯複選標記870的激勵來選擇。在步驟654，所激活的功能可提示創建用於功能的第二分層菜單的第二圖形元素圖標。第二圖形元素圖標，在該例子中為參考圖形「R」，然後可由用戶在表面上畫出。如圖8C所示，其選擇將使子菜單選項的第二列表以如上所述的方式(例如辭典「TH」、詞典「D」和幫助「H」)可聽見地再現(例如經由可聽見的提示)。隨後在步驟655，第二圖形元素圖標的所宣布的功能之一通過適當數量的激勵來激活以選擇第二分層層次功能之一。
以這種方式，一個菜單可以調用本身具有更進一步的子菜單的許多子菜單。這樣，不同層次的圖形元素圖標可以分層設置。通常，表示功能菜單的頂層圖形元素圖標稱為組圖形元素圖標。應用圖形元素圖標是第二層圖形元素圖標，其通常表示用於給定應用的配置選項或應用設置的菜單。例如，應用圖形元素圖標可以認為是組圖形元素圖標的特殊情況。通常，應用圖形元素圖標具有與之關聯的專門化的應用相關的預設行為。
以這種方式，用戶然後可從菜單項目列表中選擇菜單項目。菜單項目可包括目錄名稱、子目錄名稱、應用名稱或特定數據集的名稱。目錄或子目錄名稱的例子包括但不限於「工具」(例如，用於在許多不同環境下適用的交互式有用功能)、「參考」(例如，用於諸如詞典的參考材料)、「遊戲」(例如，用於不同遊戲)等。特定應用(或子目錄)名稱的例子包括「計算器」、「拼寫檢查器」以及「翻譯器」。數據集的特定例子可包括外來詞及其定義的集合、電話列表、日曆、行事列表(to-do list)等。圖7中示出菜單項目的附加例子。
可為各種菜單項目提供特定的音頻指令。例如，在用戶選擇「計算器」菜單項目之後，筆設備可指示用戶在紙張上畫出數字0-9以及運算符±、-、×、/和＝，然後選擇數字來執行數學計算。在另一個例子中，在用戶選擇「翻譯器」菜單項目之後，筆設備指示用戶寫出第二語言的名稱並將其圈起來。在用戶這樣做之後，筆設備可進一步指示用戶寫下英語詞，然後選擇所圈的第二語言以便聽取轉換成第二語言的所寫詞。在這樣做之後，筆設備中的音頻輸出設備可以第二語言來朗讀該詞。
圖7示出根據本發明一個實施例的菜單項目樹目錄，其包括每個選項的圖形元素圖標表示。所述菜單項目樹目錄可實施從菜單圖形元素圖標開始的音頻菜單。從圖7的頂部開始，第一音頻子目錄將是工具T子目錄。在工具T子目錄下，可以是翻譯器TR子目錄、計算器C子目錄、拼寫檢查器SC子目錄、個人助理PA子目錄、鬧鐘AL子目錄和導師TU功能。在翻譯器TR子目錄下，將有西班牙語SP、法語FR和德語GE翻譯器功能。在個人助理PA子目錄下，將有日曆C、電話列表FL、和行事列表TD功能或子目錄。在參考R子目錄下，可存在辭典TH功能、詞典D子目錄和幫助H功能。在詞典D子目錄下，可存在英語E功能、西班牙語SP功能和法語FR功能。在遊戲G子目錄下，可存在遊戲，如猜詞WS、怪味馬鈴薯FP和塗鴉DO。在本發明的其它實施例中還可存在其它遊戲。在系統S子目錄下，可存在安全SE功能以及個性化P功能。
以下提供有關一些關於以上目錄、子目錄和功能的細節。如菜單項目樹目錄所示，用戶可通過聽取各種菜單項目的朗讀並且然後選擇所需的菜單項目來沿著任何所需路徑前進或導航。對所需菜單項目的隨後選擇可以以任何合適的方式進行。例如，在一些實施例中，通過在所創建的圖形元素上「下觸」(例如下劃)，用戶可以使筆設備捲動經過音頻菜單。通過使用任何合適的機制，筆設備中的電子設備可將「下觸」識別為「激勵」。例如，可將筆設備編程為識別與其向著所選圖形元素的向下移動關聯的圖像變化。
在另一個例子中，筆設備中可提供壓敏開關，使得當筆設備的末端施加壓力於紙時，壓力開關得以激活。由此通知筆設備捲動經過音頻菜單。例如，在用筆設備選擇了帶圈的字母「M」(以由此使筆設備中的壓力開關得以激活)之後，筆設備中的音頻輸出設備可僅朗讀「工具」。用戶可第二次選擇帶圈的字母「M」，以使音頻輸出設備朗讀菜單項目「參考」。這可按所需頻率重複，以捲動經過所述音頻菜單。為選擇特定菜單項目，用戶可在紙上創建區別性標記或利用掃描裝置提供特定的姿態。例如，在聽到詞「工具」之後，用戶可緊鄰帶圈的字母「M」畫出「複選標記」(或其它圖形元素)，以選擇子目錄「工具」。通過使用如此的方法，用戶可向菜單項目樹中的預期目錄、子目錄和功能導航。不同圖形元素或不同姿態的創建可用來使筆設備向上捲動。可替換地，按鈕或其它激勵器可提供在筆設備中以捲動經過菜單。一旦選擇了「工具」，其將如上所述但針對其子目錄菜單起作用。
在其它實施例中，在創建菜單圖形元素圖標(如帶有圓形的字母「M」)之後，用戶可選擇菜單圖形元素圖標。掃描裝置中的軟體將帶圈的字母識別為菜單符號並使掃描裝置以間隔開的時序間隔依次朗讀菜單項目「工具」、「參考」、「遊戲」和「系統」，而無需用戶下觸。音頻指令可提供給用戶。例如，筆設備可以說「選擇『工具』目錄，寫出字母『T』並將其圈起來」。為了選擇菜單項目，用戶可創建字母「T」並將其圈起來。這指示筆設備用戶已經選擇子目錄「工具」。然後，筆設備可為用戶朗讀「工具」子目錄下的菜單項目。這樣，通過在片上創建表示特定目錄、子目錄或功能的圖形元素並與其交互，有可能直接前進到菜單項目樹中的該目錄、子目錄或功能。可替換地，如果菜單項目已駐留在表面上，用戶可在任何時間與其交互來選擇其功能。
應指出，圖7中所述的圖形元素圖標的目錄、子目錄、選項菜單等內項目的順序可由用戶改變。例如，用戶可訪問某個應用並使用該應用來改變可聽見地再現一個或多個目錄、子目錄等的項目的順序。類似地，用戶可改變與一個給定目錄/子目錄等內的一個或多個項目關聯的特定音頻輸出，例如，用戶可針對一項目記錄其自己的語音，使用預先記錄的歌曲(例如，MP3等)等等，並且用戶相應地用作該項目的可聽見地再現的輸出。另外，應指出，例如通過提供給筆設備的軟體/或固件更新(例如，上載新的基於軟體的功能性)，可為一個或多個目錄、子目錄等添加附加的項目。
應指出，圖形元素圖標(例如，多個菜單圖標)的多個實例的相應狀態可與每個特定實例持久地關聯。例如，在兩個或多個圖形元素圖標存在於共同表面上(例如，用戶創建、預列印等)的情況下，可為每個圖標獨立保持或記住其狀態或其在其選項目錄內的具體位置。例如，如果第一菜單圖標當前在選項三(例如「遊戲」)，而第二菜單圖標當前在選項一(例如「工具」)，用戶可離開並使用其它應用(例如，計算器、詞典等)來執行其它任務，並在某個以後的時間回到第一或第二菜單圖標，而它們將正確地保持其最後的狀態(例如，第一菜單圖標為「遊戲」，而第二菜單圖標為「工具」)。
類似地，應指出，圖形元素圖標(例如多個菜單圖標)的多個實例的相應狀態可在多個實例間協調並與每個特定實例持久地關聯。利用經協調的狀態，在兩個或多個圖形元素圖標存在於共同表面(例如，用戶創建、預列印等)上的情況下，可為每個圖標記住其狀態，但該狀態可加以協調以使選項跨越每個實例。例如，如果第一菜單圖標當前在選項二(例如，「系統」)，第二菜單圖標將使其狀態得到協調以使其將在選項三(例如，「工具」)。用戶可執行其它中間任務並在某個以後的時間回到第一或第二菜單圖標，而它們將正確地保持其協調狀態(例如，第一為「系統」而第二為「工具」)。
圖9示出根據本發明一個實施例的具有在其上寫出的許多圖形元素圖標的表面910(例如，紙張)。圖9示出組圖形元素圖標(例如，菜單圖標「M」和遊戲圖標「G」)以及應用圖標(例如，計算器圖標「C」)的例子。圖形元素圖標可由用戶寫在紙張910上，或者可預列印。如上所述，組圖形元素圖標通常可聽見地再現列表選項。例如，用筆設備100在位置901重複輕敲前進通過菜單目錄的選項(例如，系統、遊戲、參考和工具)，如在圖7的討論中所述。例如，在菜單圖標上輕敲兩次將使筆設備100可聽見地再現「系統」並且然後可聽見地再現「遊戲」，指示對遊戲子目錄的選擇。然後可通過接觸位置902(例如，複選標記)來激活遊戲子目錄並且該激活可通過一音頻音調而確認給用戶。
隨後，筆設備100可聽見地提示用戶創建(例如，畫出)如圖9中所示的遊戲圖形元素圖標。使用筆設備100重複輕敲位置903處的遊戲圖標則使筆設備100前進通過遊戲子目錄的選項(例如，猜詞、funky potatoes和塗鴉)，如在圖7的討論中所述。一個所選的遊戲子目錄項目然後可通過在位置904(例如與遊戲關聯的複選標記)的輕敲來選擇，或可替換地，如果那裡沒有複選標記，則畫出它。
仍參考圖9，在計算器圖標「C」的接觸啟動計算器應用。以這種方式，計算器圖標並不再現菜單項目的列表或子目錄選項，而是直接啟動應用本身，在此情況下是計算器應用。一旦調用了計算器應用，筆設備100確認激活(例如，通過再現音頻音調)並可聽見地提示用戶通過一系列動作來準備計算器以便於使用(例如，通過指示用戶在表面上畫出數字0-9、以及運算符±、-、×、/和＝，並且然後選擇數字來執行數學計算)。
圖9還示出使用筆設備100的「提示並相信」功能所創建的用戶所寫的詞906(例如文本串)。根據本發明的實施例，應指出，一些詞、文本串、標記、符號或其它圖形元素完全不需要使用OCR來處理。例如，用戶可響應於來自筆設備100的可聽見的提示來創建特定的詞、圖形元素等，其中筆設備提示用戶寫出特定的詞(例如，「president」)並且隨後存儲帶有關聯(例如，來自提示)的所寫詞的位置。以如上所述的方式，通過位置來識別對所創建的詞的隨後選擇。例如，筆設備100可指示用戶寫出詞「president」906。響應於該提示，用戶寫出詞「president」，而筆設備100將在對所述詞的隨後選擇時認為，或換言之相信，用戶響應於提示所寫的事實上是詞「president」。換句話說，筆設備100將標籤「president」與用戶響應於提示所寫的相關聯。依賴於應用，可提示用戶在詞下劃線、圍繞詞畫框或者另外以及一些區別標記/圖形元素。
當用戶寫完所提示的詞時，筆設備100通過例如將不活動(例如，用戶不再書寫)識別為數據輸入終止事件來識別用戶已完成的事實。以這種方式，「超時」機制可用來識別數據輸入的結束。另一個終止事件可以是如上所述的詞被下劃線或畫框的情況。終止事件的附加例子描述在2005年1月12日提交的代理人備案No.LEAP-P03020的由Marggraff等共同轉讓的美國專利申請「TERMINATION EVENTS」中，其全部內容結合於此。
以這種方式，本發明實施例的提示並相信特徵使能創建具有用戶和筆設備100之間相互理解的含義的圖形元素。重要的是，應理解對詞president沒有進行OCR處理。使用「提示並相信」功能創建的圖形元素可與用於其它應用、選項、菜單、功能等的標籤關聯，從而使對提示並相信圖形元素的選擇(例如，通過輕敲)可調用以上的任何一個。減少對OCR處理的需求降低了對筆設備100的計算要求並因此改善用戶接口的響應性。
圖10示出根據本發明一個實施例的過程570的步驟的流程圖。過程570描述根據本發明一個實施例的用於訪問交互式設備(例如筆設備100)的功能和應用的有界區域用戶接口過程的基本操作步驟。
過程570開始於步驟571，在此限定有界區域。在步驟572，筆設備100的計算機實施的功能性識別表面的有界區域內的激勵。所述激勵可以是有界區域內的筆設備的接觸(例如將筆尖放下)、有界區域內的筆設備的筆劃或標記(例如畫出字符或標記)等。如在此所指的，有界區域指的是邊界所包圍的表面區域。有界區域的一個例子是在紙表面上畫出的用戶創建的框。該框內的紙區域包括該有界區域。在步驟571，有界區域可由用戶響應於可聽見的命令來畫出或者由筆設備來提示這樣做。換句話說，選擇一應用之後用戶所理解的第一個動作可以是用戶畫出一個框。在畫出所述框或其它包圍之後，筆設備然後將該框與應用或功能相關聯。
在步驟573，當在有界區域內檢測到激勵時，與該有界區域相關的功能或應用程式得以自動調用。有界區域典型地與特定功能關聯，該特定功能影響當筆設備識別出有界區域內的激勵時所調用的特定功能性(或應用)。特定功能的一個例子是計算器功能，其中，到計算器有界區域內的用戶輸入優先識別為與字母相對照的數字，以便於改進識別過程。在該例子中，表示計算器的有界區域內的任何用戶書寫自動調用計算器功能，然後將該功能施加於所述書寫。這在書寫已經完成而用戶僅用書寫工具(例如筆設備100)來選擇它們時也是如此。
在步驟574，根據特定於有界區域的功能來提供輸出。例如，繼續以上所述的計算器例子，輸出將是描述用戶輸入的數學運算的結果的音頻輸出。隨後，在步驟575，將所述特定功能與有界區域關聯以便於實現持久性。如以上所述，該持久性屬性使用戶能執行其它中間任務和執行其它中間動作，並且在某個以後的時間點返回到有界區域並使其以其想要的方式來起作用(例如，有界區域仍表現為計算器)。有界區域的計算器例子在圖11的討論中進一步描述。
圖11示出根據本發明一個實施例的計算機有界區域應用。圖11說明用戶可從空白紙片創建紙計算器的方式。在該例子中，在用戶已經如上所述選擇了「計算器」應用之後，筆設備提示用戶畫出方形有界區域211並且提示用戶在該有界區域內寫下數字0-9和運算符+、-、×、/和＝。用戶創建圖形元素210，包括具有圍繞其的圓形的數字以及用於諸如加、減、乘、除和相等的運算的數學運算符。在其它實施例中，圓形不需要圍繞圖11中所示的數字而提供。筆設備100識別所創建的圖形元素並且識別所創建的實際圖形元素。
用戶然後可選擇至少兩個圖形元素來實現與該至少兩個圖形元素的選擇相關的音頻輸出。例如，用戶可選擇圖形元素「4」「+」「7」「＝」的序列來聽取筆設備朗讀「十一」。如以上所述，紙計算器是持久的，並因此可在以後的時間再使用，這是因為筆設備已將圖形元素的位置存儲在其存儲器單元中。該實施例在學生沒有可用的實際計算器的學校中是有用的。
應指出，有界區域可預列印或由用戶畫出。例如，紙計算器可以是以上述方式響應於提示由用戶創建的，或者紙計算器可以預先列印在紙張213上。在任何一種情況下，當用戶在該有界區域211中書寫時，僅計算器應用是激活的並且筆設備僅看到數字而不是字母，以便於使識別過程簡化。
另外，應指出，用戶不需要選擇圖形元素圖標來激活指定給所述有界區域的應用或功能。根據創建有界區域的方式，與有界區域關聯的功能(例如計算器)持續存在並且在隨後的激勵時自動得以自調用。亦應指出，用戶可限定多個有界區域，每個區域指定一不同的應用。例如，仍參考圖11，用戶可以如上所述的方式來限定計算器有界區域211，並且亦在同一紙張213上限定詞典有界區域212(例如從參考子菜單「R」和工具子菜單「T」)。詞典有界區域212通過可聽見地再現在有界區域212內輸入的文本串(例如詞「rampart」)的定義來起作用。這樣，在有界區域212內輸入的文本與詞典功能關聯並且被識別為詞(例如字母)，而在有界區域211內輸入的文本與計算器功能關聯並且被識別為數字(例如相等)。可替換地，用戶可限定多個有界區域，其中它們的兩個或多個是同一功能的實例。
圖12A示出根據本發明一個實施例的計算機實施的過程580的步驟流程圖。過程580描述根據本發明一個實施例的用於訪問筆設備(例如設備100)的功能的文本串識別用戶接口過程的基本操作步驟。該過程580描述稱為「活動文本」的基於筆的計算機系統的工作模式。
過程580開始於步驟581，在此設備100的計算機實施的功能性識別可由用戶用筆設備寫出的文本串(例如詞)。在步驟582，一旦識別，得以訪問當前選擇或相關於該文本串的功能。在步驟583，根據該功能和根據該文本串來提供輸出。示例的功能可以是例如翻譯功能，其中詞從一種語言(例如英語)翻譯成不同的語言；詞典功能，其中為該詞提供定義；辭典功能等。隨後，在步驟584，將所述特定功能與所述文本串關聯以便於實現持久性。如以上所述，該持久性屬性使用戶能執行其它中間任務和執行其它中間動作，並且在某個以後的時間點通過由筆設備僅選擇該文本串而返回到該文本串並使其以其想要的方式來起作用(例如，文本串仍表現為辭典、詞典、翻譯器等)。在步驟585，在某個以後的時間，用戶可以用筆設備來選擇所述文本串(例如通過在該文本串上接觸)。隨後，在步驟586，響應於所述選擇，筆設備自動選擇與該文本串關聯的功能並且再次提供輸出(例如提供翻譯輸出、提供定義等)。
以這種方式，用戶能夠寫出文本(例如詞)，並且筆設備記住該詞和它在紙上的位置。所述文本由此成為能夠調用不同功能的紙上的活動區域(例如象圖形元素圖標)。
圖12B示出根據本發明一個實施例的計算機實施的過程590的步驟流程圖。在過程590的實施例中，對文本所執行的功能僅取決於當前選擇的應用，並且文本串則僅被當做數據。這由過程590來描述。
過程590開始於步驟591，在此用戶寫出文本串。在步驟592，筆設備自動將該文本串識別為特定的詞。在步驟593，第一應用(其是當前活動的)施加到所述特定詞並且應用(對所述特定詞操作)的結果由筆設備可聽見地再現。例如，當用戶選擇所述文本時，可啟動特定的專用功能，其中不同的功能依賴於所選應用來調用。在步驟594激活第二應用。在步驟595，用戶再次選擇所述文本串並且所述特定詞得以自動再調用。並且在步驟596，第二應用自動施加到所述特定詞並且第二應用(對所述特定詞操作)的結果可聽見地再現。
在該實施例中，應指出一個或多個圖形元素圖標可用於改變與文本串(例如詞)關聯的功能。例如，詞典應用、翻譯應用等可通過其相應的圖形元素圖標來選擇。類似地，多個圖形元素圖標可從同一詞來調用對應的多個不同的功能(例如以獲取定義、獲取翻譯等)。
這樣，例如，過程590實現了接口方法，由此在翻譯應用活動(例如通過接觸翻譯圖形項目圖標)時，對詞的選擇調用特定詞到另一種語言的翻譯。但當詞典應用活動(例如通過接觸詞典圖形項目圖標)時，當用戶選擇特定詞時，筆設備提供用於該特定詞的定義。以這種方式，用戶使多個應用與特定的詞關聯。與之相對照，藉助過程580，在翻譯應用活動時，對詞的選擇調用該特定詞到另一種語言的翻譯。用戶然後可繼續執行其它中間任務(例如計算器應用、遊戲等)。且然後在某個以後的時間，由於所述一個應用保持與所述文本串關聯，當用戶想要再次聽取所述特定詞的翻譯(例如筆設備可聽見地再現所述特定詞的翻譯)時，用戶僅再次選擇所述文本串(例如通過接觸它)即可。由於僅單個應用已經與所述特定詞關聯，翻譯得以自動再現。
重要的是，在以上例子中，應指出，對標記、單個字符或文本串(例如詞)，在其首次由用戶寫出(例如圖11中所示的「rampart」)時，僅需要執行一次OCR(光學字符識別)過程。如以上所述，筆設備100包括可確定圖形元素在表面213上的位置的功能性(例如通過筆設備100讀取在表面213上編碼的數據)。這使筆設備100能夠記住特定詞的位置。筆設備100可由此通過識別表面213上的特定詞的同一位置(例如當用戶在某個以後的時間將筆設備100接觸到特定詞上)來辨識特定詞的選擇。在用戶對所述詞的隨後選擇時，對較早執行的OCR過程的結果進行再調用，並且這些結果由例如活動的應用(例如詞典)來使用。這樣，存儲OCR過程(例如關於詞、字符、數字等)的結果並且在以後的時間隨後再調用這些結果以便用於一個或多個應用的能力大大改善了由本發明實施例所實施的用戶接口的響應性和性能。資源密集的OCR處理僅需要由筆設備100的計算機系統資源執行一次。
應指出，有界區域可用於影響或改變與文本串(例如詞)關聯的功能。例如，對應於詞典應用的有界區域可能在詞書寫(或選擇，如果已經書寫)於該有界區域內時總是提供該詞的定義。類似地，文本串可用於改變或影響與有界區域關聯的功能。
圖13A和13B示出根據本發明一個實施例的文本串識別應用的例子。如圖13A和圖13B中所述，用戶可寫下由圓形包圍的圖形元素302D。在筆設備100朗讀詞「詞典」之後，用戶可以用筆設備100來創建複選標記304以指示選擇了詞典功能。在創建圖形元素302之後，筆設備100可進一步提示用戶創建另一個圖形元素305，包括由線306(例如有界區域)包圍的詞「法語」。然後筆設備100可提示用戶寫出一詞，並且用戶可寫出文本串「Hello」310。然後用戶可選擇詞「Hello」，然後選擇圖形元素305以聽取由設備100朗讀的詞「Bonjour」。
如以上例子所說明的，用戶所創建的至少兩個圖形元素可包括第一圖形元素(例如文本串)，包括語言的名稱；以及第二圖形元素，包括與所述語言不同的語言的詞。用戶可選擇該詞，然後選擇語言的名稱，並且然後可聽取至少一個音頻示出，包括聽取以所述語言說出所述詞的合成語音。所述語言可以是非英語語言，如西班牙語、法語、德語、漢語、日語等，並且所述詞可以是英語。英語到外語詞典可以在筆設備的存儲器單元中存儲為計算機代碼。
對本發明特定實施例的以上描述僅僅是為了說明和描述的目的而提出的。它們並不是想要窮盡或將本發明限制於所公開的精確的形式，並且顯然按照以上教導，許多修改和變化是可能的。選擇和描述實施例是為了最好地說明本發明的原理及其實際應用，由此使本領域的其他技術人員能夠以適合於所設想的特定用途的各種修改來最好地利用本發明和各種實施例。所希望的是，本發明的範圍由所附權利要求及其等效形式來限定。
權利要求
1.一種解釋用戶命令的方法，包括識別可寫表面的有界區域內的筆設備的激勵；基於所述激勵來訪問與所述有界區域有關的筆設備的功能；根據所述功能來提供輸出；以及將所述功能與所述有界區域關聯。
2.權利要求1的方法，其中所述輸出包括與所述功能有關的音頻輸出。
3.權利要求1的方法，進一步包括通過存儲所述功能與所述有界區域的關聯來使能對所述功能的隨後訪問。
4.權利要求3的方法，其中對所述功能與所述有界區域的關聯的所述存儲實現了經由所述筆設備與所述有界區域的交互、在預定時間量內的所述功能性的持久可用性。
5.權利要求1的方法，其中所述有界區域是用戶在所述表面上用所述筆設備畫出的。
6.權利要求5的方法，其中所述表面包括紙張。
7.權利要求1的方法，進一步包括通過首先選擇所述表面上的圖形元素圖標的多個選項之一來確定與所述有界區域有關的功能。
8.權利要求7的方法，進一步包括根據對所述多個選項之一的選擇來提示創建所述有界區域。
9.權利要求1的方法，其中所述有界區域是預列印的有界區域，並且與所述有界區域有關的功能是預定的。
10.權利要求1的方法，進一步包括其中所述激勵包括所述有界區域內的用戶所寫的文本，並且進一步包括將所述用戶所寫的文本自動識別為特定的詞。
11.權利要求10的方法，其中所述提供輸出包括將所述特定詞自動應用到與所述有界區域有關的功能以產生其結果。
12.權利要求11的方法，其中所述結果可聽見地再現。
13.權利要求1的方法，進一步包括使能隨後訪問對應於多個有界區域的多個功能，這是通過分別存儲多個功能與多個有界區域的關聯來實現的。
14.一種解釋用戶命令的方法，包括識別可寫表面上的文本串；基於所述識別來訪問與所述文本串有關的筆設備的功能；根據所述功能來提供輸出；以及將所述功能與所述文本串關聯。
15.權利要求14的方法，其中所述輸出包括與所述功能有關的音頻輸出。
16.權利要求14的方法，進一步包括通過存儲所述功能與所述文本串的關聯來使能對所述功能的隨後訪問。
17.權利要求16的方法，其中對所述功能與所述文本串的關聯的所述存儲實現了經由所述文本串與所述筆設備的交互、在預定時間量內的所述功能性的持久可用性。
18.權利要求14的方法，其中所述文本串是用戶在書寫表面上用所述筆設備畫出的。
19.權利要求18的方法，其中所述書寫表面包括紙張。
20.權利要求14的方法，進一步包括通過選擇圖形元素圖標的多個選項之一來確定與所述文本串有關的功能。
21.權利要求19的方法，進一步包括根據對所述多個選項之一的選擇來提示創建所述文本串。
22.權利要求14的方法，其中所述文本串在具有與所述有界區域有關的並且是預定的功能的預列印有界區域內被識別。
23.權利要求14的方法，進一步包括根據與所述有界區域有關的功能來選擇與在所述有界區域內輸入的文本串有關的功能。
24.權利要求14的方法，進一步包括通過選擇圖形元素圖標的多個選項之一來選擇與所述文本串一起使用的多個功能之一。
25.權利要求14的方法，進一步包括識別通過所述筆設備對所述文本串的選擇；訪問與所述文本串有關的所述功能；以及根據所述功能來提供輸出。
26.一種解釋用戶命令的方法，包括將用戶所寫的文本串識別為特定詞，其中所述用戶所寫的文本串是使用筆設備寫在可寫表面上的；將所述特定詞應用到第一應用以產生其第一結果，其中所述第一應用是可操作以在所述筆設備上執行的多個應用之一；以及使用所述筆設備可聽見地再現所述結果。
27.權利要求26的方法，進一步包括識別響應於所述筆設備與所述可寫表面上的圖像交互而選擇了第二應用；識別響應於所述筆設備與其交互而選擇了所述用戶所寫的文本串；將所述特定詞自動應用到所述第二應用以產生其第二結果；以及使用所述筆設備可聽見地再現所述第二結果。
28.一種設備，包括光學傳感器，用於檢測來自可寫表面的圖像；處理器，耦合到所述傳感器；以及存儲器，耦合到所述處理器，該存儲器存儲當執行時使處理器實施解釋用戶命令的方法的指令，所述方法包括識別所述表面上的所創建的圖形元素圖標；訪問與所述圖形元素圖標有關的功能；將用戶所寫的文本串識別為特定詞；根據所述特定詞並且根據所述功能來提供輸出；以及將所述功能與用戶所寫的文本串關聯。
29.權利要求28的設備，其中所述輸出包括與所述功能有關並且與所述用戶所寫的文本有關的音頻輸出。
30.權利要求28的設備，進一步包括通過存儲所述功能與所述用戶所寫的文本串的關聯來使能對所述功能的隨後訪問。
31.權利要求30的設備，其中對所述功能與所述用戶所寫的文本串的關聯的所述存儲實現了經由使用所述筆設備與所述文本串的交互、在預定時間量內的所述功能性的持久可用性。
32.權利要求28的設備，其中所述用戶所寫的文本串是在所述表面上用所述筆設備創建的。
33.權利要求32的設備，其中所述表面包括紙張。
34.權利要求28的設備，進一步包括通過選擇圖形元素圖標的多個選項之一來確定與所述文本串有關的功能。
35.權利要求28的設備，進一步包括根據所述功能來提示創建所述文本串。
36.權利要求28的設備，進一步包括根據所述功能來提示創建有界區域；以及提示在所述有界區域內創建所述文本串以實施所述功能。
37.權利要求36的設備，進一步包括根據與所述有界區域有關的功能來選擇與在所述有界區域內輸入的文本串有關的功能。
38.權利要求28的設備，進一步包括通過選擇圖形元素圖標的多個選項之一來選擇與所述文本串一起使用的多個功能之一。
39.一種筆設備，包括光學傳感器，用於感測可寫表面上的圖像；書寫工具；處理器，耦合到總線；揚聲器；存儲器，耦合到所述總線，並且包括當執行時實施解釋用戶命令的方法的指令，所述方法包括將用戶所寫的文本串識別為特定詞，其中所述用戶所寫的文本串是使用所述書寫裝置寫在所述可寫表面上的；將所述特定詞應用到第一應用以產生其第一結果，其中所述第一應用是可操作以在所述筆設備上執行的多個應用之一；以及使用所述揚聲器可聽見地再現所述結果。
40.權利要求39的設備，其中所述方法進一步包括識別響應於所述筆設備與所述可寫表面上的圖像交互而選擇了第二應用；識別響應於所述筆設備與其交互而選擇了所述用戶所寫的文本串；將所述特定詞自動應用到所述第二應用以產生其第二結果；以及使用所述筆設備可聽見地再現所述第二結果。
41.一種筆設備，包括光學傳感器，用於感測可寫表面上的圖像；書寫工具；處理器，耦合到總線；揚聲器；存儲器，耦合到所述總線，並且包括當執行時實施解釋用戶命令的方法的指令，所述方法包括將所述可寫表面的第一有界區域限定給第一應用；將所述可寫表面的第二有界區域限定給第二應用，其中所述第一和第二應用可操作以在所述筆設備上執行；響應於所述第一有界區域中的第一用戶書寫數據，將所述第一用戶書寫數據識別為第一表達，並且將所述第一表達自動應用到所述第一應用以產生其第一結果；以及使用所述揚聲器可聽見地再現所述第一結果。
42.權利要求41的筆設備，其中所述方法進一步包括響應於所述第二有界區域中的第二用戶書寫數據，將所述用戶第二書寫數據識別為第二表達，並且將所述第二表達自動應用到所述第二應用以產生其第二結果；以及使用所述揚聲器可聽見地再現所述第二結果。
43.權利要求41的筆設備，其中所述將所述第一有界區域限定給所述第一應用包括識別響應於所述筆設備與所述可寫表面上的圖像交互而選擇了所述第一應用；使用所述揚聲器來提示在所述表面上畫出所述第一有界區域；響應於使用所述筆設備對其畫出來限定所述第一有界區域；以及將所述第一有界區域與所述第一應用關聯。
44.權利要求43的筆設備，其中所述將所述第二有界區域限定給所述第二應用包括識別響應於所述筆設備與所述可寫表面上的圖像交互而選擇了所述第二應用；使用所述揚聲器來提示在所述表面上畫出所述第二有界區域；響應於使用所述筆設備對其畫出來限定所述第二有界區域；以及將所述第二有界區域與所述第二應用關聯。
45.一種接受來自用戶的輸入的方法，包括識別可寫表面的有界區域內的筆設備的激勵；基於所述激勵來訪問與所述有界區域有關的筆設備的功能；根據所述功能來提供輸出；以及將所述功能與所述有界區域關聯。
46.權利要求45的方法，其中所述輸出包括與所述功能有關的音頻輸出。
47.權利要求46的方法，其中所述音頻輸出是通過筆設備提供的。
48.權利要求47的方法，其中所述音頻輸出是通過與所述筆設備通信的第二設備來提供的。
49.權利要求45的方法，其中所述輸出包括與所述功能有關的視覺輸出。
50.權利要求49的方法，其中所述視覺輸出是通過筆設備提供的。
51.權利要求50的方法，其中所述視覺輸出是通過與所述筆設備通信的第二設備來提供的。
全文摘要
一種用於通過所識別文本和有界區域來實施用於筆設備的用戶接口的方法和系統。所述方法包括識別文本串和基於該識別來訪問與該文本串有關的功能或應用。根據所述功能提供輸出並且功能與所述文本串關聯。可替換地，對文本串的選擇將文本串的識別結果自動應用到當前活動的應用。所述方法包括識別有界區域內的激勵並且基於所述激勵來自動訪問與該有界區域有關的功能。有界區域內所識別的文本串根據所述文本串和有界區域產生輸出。
文檔編號G06F3/048GK1855014SQ20061000056
公開日2006年11月1日 申請日期2006年1月11日 優先權日2005年1月12日
發明者詹姆斯·馬格拉夫, 亞歷山大·奇澤姆, 特拉西·L·埃奇庫姆 申請人:跳蛙企業股份有限公司