基於指示設備的用戶接口系統的製作方法

2023-07-15 23:41:11

專利名稱：基於指示設備的用戶接口系統的製作方法
技術領域：
本發明涉及一種用戶交互系統，該系統包括 一電子設備；
一可攜式指示設備，該可攜式指示設備是用戶可操作的以指向空 間中的區域；
一照相機，該照相機用於拍照；以及
一數位訊號處理器，該數位訊號處理器可接收圖像並對其進行處 理並且可將來源於該圖像的用戶接口信息傳送到電子設備。 本發明還涉及一種供用戶交互系統之用的指示設備。 本發明還涉及一種供上述用戶交互系統之用的電子設備。
背景技術：
從US-A- 2001 / 0030668中可以得知這種系統。該文獻描述了這 樣一種通用遠程控制系統，在該系統中用戶利用其可顯示可識別特徵 的指示設備來標記顯示器上的一位置，所述指示設備例如是其可發射 出紅斑的雷射指示器，並且照相機拍攝該顯示器且計算用戶所指向的 位置。此後諸如計算機或者電視這樣的電子設備執行其與用戶進行標 記相對應的動作。例如如果通過使雷射指示器閃光兩次來標記顯示器 上一圖標，那麼開始相應電腦程式。
巳知系統的缺點在於該系統是為特定顯示所定製的。例如該顯示 可以是其基於前部投影儀的LCD在屏幕上的投影，其中該投影儀與膝 上型電腦相連。已知系統中照相機具有其可使屏幕成像的位置及視 角。接下來，對DSP進行訓練以對照相機圖像中的一區域進行辯別， 所述區域與屏幕的位置相對應。在現有技術中這是按照一簡單方式來 進行的。首先在具有和沒有照明的情況下利用投影儀的圖像來捕獲屏 幕的圖像。通過對這兩個圖像的不同之處進行比較，可獲得通過照相 機所觀看到的該顯示在空間中的區域。其次獲得膝上型電腦幀緩衝器 中的透視轉換，該透視轉換可確定在顯示上所指向的位置與投影圖像 中的位置之間的關係。巳知文獻還描述了通過首先手動選擇虛擬顯示 的轉角而指向諸如牆這樣的虛擬顯示。然而總是為了 一個顯示要對該
系統進行校準並且在用戶想要與另 一顯示進行交互的情況下，他必須 再次建立該系統或者4吏用第二系統。

發明內容
本發明的第一個目的就是提供一種在開始段落中所描述的這類用 戶交互系統，該系統可相對容易的與多個可用電子設備進行交互，尤 其是可與顯示器進行交互。
本發明的第二個目的就是提供一種在開始段落中所描述的這類指 示設備，該指示設備相對容易的與多個可用電子設備進行交互。
本發明的第三個目的就是提供一種供上述用戶交互系統之用的電 子設備。
第一個目的是可以實現的，因為照相機與指示設備相連以便在操 作過程中其可使所指向的區域成像。固定照相機僅使空間的某個區域 成像。在已知的用戶交互系統中用戶的指示設備或者所指向的對象甚 至不在固定照相機的視野之內。其具有附裝照相機的指示設備的主要 優點在於照相機基本上總是使所指向的區域最佳的成像，所述照相機 例如可以位於其最靠近所指向區域的指示設備的前端。所指向的對象 一般是要將諸如設備控制數據這樣的用戶接口信息發送到其上的電子
設備，但是可以是用戶所駐房間中的任何對象，只要它可以被DSP識 別。此後例如通過預先指向所要控制的設備來對其進行標識。
在根據權利要求2的實施例中，用戶接口信息包括用於對電子設 備的操作進行控制的設備控制數據。起居室中可存在其可產生聲音的 多個設備。這些設備的每一個均具有用於增加或者降低音量的控制。 通過指示指示設備的照相機朝著特定設備的方向並且例如通過按下指 示設備上的按鈕或者使指示設備進行特定移動來執行"音量增加"命 令，所指向設備的音量將增加。使用巳知通用遠程控制具有這樣的缺 點，例如設備應答是用戶所不想要的，因為它使用相同遠程控制代碼。
有利的是如權利要求3的數位訊號處理器包括一對象表徵裝置， 該對象表徵裝置通過將第一對象表徵特性提供給所包含的用於對該對 象進行標識的對象標識裝置來對存在於照相機所成像區域的圖像之中 的對象或者對象的一部分進行表徵，所述對象標識裝置可輸出根據其 可構造出用戶接口信息的對象標識數據。
在對不同電子設備進行控制的情況下，它們全部都被自動識別。
DSP例如可以是用於表徵設備的一般處理器運行算法，或者它可以是 專用集成電路。典型的對象表徵裝置對設備的圖像執行成像處理算 法。例如可計算設備的相對尺寸並且可對該設備上的按鈕數目及位置 進行分析。對象標識裝置與特定設備的這些最終第一對象表徵特性有 關聯，例如與設備表格中的信息有關聯。與設備所知曉的設備控制數 據一樣，可存在與該設備有關的諸如"公司X所生產的其序列號為Y的 第一電視"這樣的信息。
此外有利的是如權利要求4所述的數位訊號處理器包括
運動軌道估計裝置，用於估計指示設備的運動軌道並且輸出第一 運動表徵標記，該標記是運動軌道的數學抽象；以及
標記標識裝置，用於對第一運動表徵標記進行標識並且輸出與第 一運動表徵標記相對應的其表示用戶交互命令的命令標識數據，用戶 接口信息是根據所述命令標識數據構造而成的。
為了避免對於發送到所有不同設備的所有不同命令而言需要指示 設備上的大量按鈕，並且為了使用戶交互系統更對用戶友好，因此有 利是至少一些設備控制數據是根據典型的指示設備在其手中的用戶使 指示設備移動而產生的。向上移動的標記是指"音量增加"，但是與標 準遠程控制完全不同，根據本發明的音量變化取決於運動的粗率性。 如果用戶使他的手臂慢慢向上移動，那麼音量例如僅略微改變，並且 相反如果他使他的手臂快速向上移動，那麼音量將增長很多。根據諸 如海量變形檢測器、迴轉器、差轉GPS定位系統等等這樣的運動檢測 裝置來確定指示設備的運動。然而因為已存在照相機，因此還可通過 使連續的圖像成像並且應用運動估計算法來確定該運動。因為除了多 對象的精確運動估計之外全程運動估計是很簡單的，因此照相機可以 是其基於簡單CMOS的照相機或者甚至可以是少量光敏元件的二維陣 列。
此外有利的是如權利要求5所述的數位訊號處理器包括標識改進 裝置，該裝置可進一步提高根據預定規則來對其被表示為對象標識數
識的概率，這可產生更可靠的用戶接口信息。因為對象標識以及運動 標記不總是很理想的，因此給定房間中的狀態可變性，採用這樣的標 識改進裝置，該裝置例如對所標識對象的標識數據以及命令標識數據
運用人工智慧規則組，還儘可能的考慮到表徵特性第一對象表徵特性 以及第一運動表徵標記。例如，用於確定所指向設備的規則可考慮到 指示設備所在的房間或者日時。例如如果他回家了並且撿起指示設
備，那麼用戶典型的會做的第一件事情是打開燈。通過DSP根據這些 燈的圖像來驗證他的意圖。
進一步有利的是如權利要求6所述的預定規則包括考慮到下述先 驗巳知信息單元{指示設備所駐房間，用戶所發布的先前命令，用戶 發布特定命令的統計頻率以及日時}的至少一個的成對{對象標識數 據，命令標識數據)的似然性的概率計算。例如根據用戶通常所使用
外，根據其內;在有指示設備的房間來更新該設備的似然性r用戶在
星期五8點鐘也許想要觀看他喜愛的電視節目。
此外有利的是如要求7所述的數位訊號處理器包括對象關聯裝 置，該裝置為對象標識裝置提供了其包括有至少一個數據實體的對象 關聯數據，所述數據實體是關聯對象表徵特性以及對象相關數據，
對象關聯數據是從對象存儲器中的其得自於至少一個方法的對象 模板數據得來的；
對象模板數據是從下述對象訓練裝置中獲得的，所述對象訓練裝 置對對象表徵裝置所輸出的第二對象表徵特性執行預定計算；並且
對象模板數據是從所輸入的對象數據得來的。
如果反而其是廠家所預先構造的用於對固定數目的設備進行控 制，那麼該用戶交互系統更加通用，用戶可使它適用於他的變化環境。 例如他購買了的新設備，那麼他想藉助於相同系統來控制該設備。此 外如果他購買了掛在牆上的日程表，並且利用他的指示設備而指向 它，那麼他想動作，例如在他的PC上起動日程表工具。為此需要對象 關聯裝置。用戶例如在很少的不同角度之下使新設備成像。儘可能的 在首先計算恆定設備特定特性之後，在對象表徵裝置上所運行的許多 圖像處理算法提取該對象的其被存儲為對象模板的特性。此後他利用 選擇用戶接口來選擇與該對象模板相對應的設備。這就是所謂的系統 的訓練階段。當後來系統用於所謂的命令階段以將設備控制數據發送 到標識設備時，藉助於存儲在對象關聯裝置中的數據來幫助對象識別 裝置的對象識別。例如根據對象模板數據，可將下述多個關聯對象表
徵特性發送到對象標識裝置，所述多個對象表徵特性與其作為第"T"對 象表徵特性的對象表徵裝置的輸出相對應，此後對象標識裝置執行比 較以選擇正確的標識設備。還可以將這些特性預加載在對象標識裝置 中。對象關聯裝置還可以將下述對象相關數據發送到對象標識裝置， 所述對象相關數據至少包括設備的標識符並且可能進一步的包括諸如 支持命令這樣的數據。在可替換實現中，對象關聯裝置還可以執行本 身的對象標識，在這種情況下只是將對象相關數據發送給對象標識裝 置。為了避免用戶必須通過選擇用戶接口來輸入大量信息，還可通過 對象數據輸入而輸入對象相關數據。例如直接從所標識的且受控的設 備輸入。通過該輸入，還可以輸入特徵對象模板數據，例如設備的廠 家可以提供在很好受控成像條件下所拍攝的圖像。
此外有利的是如權利要求8所述的數位訊號處理器包括用於將其 包括有至少 一個數據實體的標記關聯數據提供給標記標識裝置的標記 關聯裝置，所述數據實體是關聯標記特性以及命令相關數據，
標記關聯數據是從標記存儲器中的其得自於至少一個方法的標記 模板數據而得來的；
標記模板數據是從下述標記訓練裝置中獲得的，所述標記訓練裝 置對運動軌道估計裝置所輸出的第二運動表徵標記執行預定計算；並 且
命令模板數據是從所輸入的命令數據而得來的。
根據類似基本原理，可以包括標記關聯裝置以可對用戶施加到指 示設備上的其被表徵為標記的新運動軌道進行訓練。在這些實現中， 例如通過下述設備來輸入命令數據，所述設備可提供其支持命令的一菜單。
此外有利的是如權利要求9所述的第一運動表徵標記是根據照相 機在各個時間情況所成像的連續圖像而得到的。因為照相機附連在指 示設備上以使其每個移動成像，並且通過簡單運動估計算法來估計全 程運動，因此使用連續成像的圖像以得到想要的用戶接口命令。
第二個目的是可以實現的，因為根據權利要求10的指示設備包括 一照相機並且可將一圖像發送到DSP。如上所述，由於這種指示設備
而使用戶交互系統變得更通用。
權利要求ll中的指示設備的實施例的特徵在於其可將一圖像發送
到數位訊號處理器，該數位訊號處理器可根據該圖像而將用戶接口信 息發送到電子設備。
在根據權利要求12的實施例中，DSP包含在指示設備之內。此後 指示設備還與用戶交互系統相分離的操作。例如使指示設備使用於超 級市場、對所成像的圖像進行處理、並且存儲相應笫一對象表徵特性。 此後最後執行家用設備的控制動作。
有利的是權利要求13所述的指示設備包括用於對指示設備的運動 軌道進行檢測的運動檢測裝置。不管該設備是否用於識別對象，它也 可用於對其與通過用戶的特定移動相對應的設備控制數據進行發送。 指示設備這種應用中的期望設備例如可以是固定的或者由按鈕來表 示。
有利的是如權利要求14所述的指示設備包括一特徵投影儀，該投 影儀用於朝所指向區域的方向來對特徵模式進行光學投影。有利的是 用戶可得到他所指向的設備或者設備一部分的反饋。否則，如果他未 正確的對準，那麼他例如實際上按下該設備的錯誤按鈕。反饋的一個 形式就是指示設備顯示上的很小圖像，該圖像示出了照相機所成像區 域的中心。所希望的位於顯示中間的一個是設備或者設備上的按鈕。 反饋的另一形式包括諸如白十字或者雷射點這樣的其使所想要的設備 部分發亮的特徵模式的投影。諸如行的二維網格這樣的更複雜的模式 有助於DSP對所成像設備的幾何圖形進行標識。
有利的是如權利要求15所述指示設備包括一可編程用戶接口代碼 發生器以及用於將該代碼傳送到電子設備的無線電發射機。代替用於 將設備控制數據發送到該設備的DSP，例如藉助於其基於藍牙的無線 本地網絡，指示設備本身例如藉助於紅外線輻射可直接發送適當遠程 控制命令。與典型的通用遠程控制相比的優點在於DSP可自動的根據 照相4幾圖^f象來對該設備進行標識並且產生正確的代碼。
有利的是具有如權利要求16所述的反饋裝置以用於對用戶接口信 息的反饋。例如顯示是很有用的。另一反饋例如藉助於移動的物質可 提供某類力反饋。這例如可以模擬相對於TV屏幕的傾翻。
第三目的是可實現的，因為包括這樣的接口裝置，該接口裝置根 據送至該設備的指示設備的"標識支持命令"請求而可使設備將與支持 命令有關的信息發送到如權利要求l所述的指示設備上。DSP或者部分
DSP功能也可包含在該設備之內。該設備還傳送對象表徵特性等等。


參考下面的描述以及附圖而顯而易見的得知並闡明了本發明，所 述附圖示意性的給出了根據發明的用戶交互系統以及指示設備的部件 示例。在這些附圖中
圖l示意性的給出了根據本發明的用戶交互系統所在的房間； 圖2示意性的給出了根據本發明的數位訊號處理器； 圖3示意性的給出了根據本發明的指示設備；以及 圖4給出了運動軌道以及相應標記的兩個示例。
具體實施例方式
在圖l中示出了房間不但包括有諸如其即就是等離子顯示器的電 子設備110這樣的其可接收用戶接口信息I的各種電子設備，並且還具 有用戶100可與其相交互的個人錄^f象才幾、或者電話、或者洗衣才幾。該 房間還包括有藉助於指示設備101可指向的其即就是電子設備的各種 對象或者類似於例如窗戶、音頻設備這樣的對象130、花瓶170、以及 電子設備110這樣的僅是任何物理對象。
根據本發明，該指示設備101包括照相機102，並且可將房間區域 的圖像或者那些區域中的對象發送到數位訊號處理器(DSP) 120，該 數位訊號處理器120可根據照相機102所成像的一個或多個圖像來標識 該區域或者對象。照相機按照下述方式而與指示設備101相連，該方 式即就是照相機可很好使所指向的區域成像。例如它典型的位於指示 設備101的遠端，但是也可以一角度而裝配在外側上。用戶100具有可 指向他所希望的任何對象這樣的自由度，並且按照這種方式可實現非 常友好且強大的用戶交互系統。
DSP 120例如可以是本地網絡中的家用計算才幾控制設備，或者可 以是併入在指示設備101之中。照相機102可以是CCD照相機或者CM0S 照相機。如果照相機102與DSP 120是獨立的，那麼其之間的連接可以 是無線的。指示設備101已經可執行DSP 120所執行的用於對對象進行 標識的部分算法，以便例如僅需將一小組特性發送給外部DSP 120以 用於進一步處理。事實上可以將就其功能所示的DSP 200分配在指示 設備101的多個部件、房間、不同設備等等中。
將DSP 120設計成將諸如設備控制數據ac這樣的用戶接口信息I發
送到所標識的設備。-例如用戶1 OO可以使指示設備1 Ol指向燈160並且 按下指示設備101上的接通按鈕，這可使DSP 120將一接通命令發送到 所標識的燈160。所標識的對象不必是其本身受控的設備。例如指向 花瓶170可啟動下述p. c.上的特定程序，顯示設備100示出了所述p. c. 的輸出。根據諸如按下按鈕或者使指示設備101移動這樣的附加動作， 可指向對象的一部分，例如指向對象130的音量按鈕134可使該音頻設 備的音量增加或者減小。指向通道選擇顯示132並且使其橫向移動這 可改變通道。DSP 120還可對對象一部分的狀態進4於識別，例如4吏盒 式磁帶裝入器136脫離打開狀態，並且發布"閉合"命令。還可以對其 他特定情況進行檢測或者監控。用戶100還可指向一件家具140或者其 一部分142。如果這個家具140是一廚拒。那麼指向不同廚拒可產生不 同動作。如果這個家具140是智能電水箱，那麼指向它可導致用戶通 過網際網路來訂購啤酒這樣的已定義動作。除了設備控制數據ac之外， 可以發送諸如圖《象數據pd這樣的其他用戶接口信息I。例如第一電子 著色150以及第二電子著色152可顯示一可變圖^f象。它們是利用電泳電 子墨汁顯示來實現的。用戶100可捕獲在第一電子著色上所顯示的圖 像，或者甚至可捕獲其掛在牆上的日程表上的圖像，並且儘可能的在 諸如透視校正這樣的某些圖像處理之後，將其作為圖像數據pd而傳送 到笫二電子著色152。
圖2示意性的給出了數位訊號處理器200 -即圖1中的具體設備120
中的功能部件。並不是這裡所描述的所有部件必須存在於用戶交互系 統的特定實施例中。DSP 200可以是以一般處理器、專用集成電路、 或者電路板上的獨立部件實現的。DSP 200例如可從運動檢測裝置304 接收照相機輸入c以及傳感器輸入s。 DSP 200包括一對象表徵單元202， 該對象表徵單元202用於對照相機12所成^[象的對象13或者對象130的 一部分的圖像進行表徵。對象表徵單元2(^可將第一對象表徵特性fl 提供給對象標識單元204。根據對象標識單元204中所包含的圖像處理 算法，第一對象表徵特性fl可以是不同類型。典型的首先使對象與所 成像圖像的剩餘部分相分離。這例如是根據對該圖像進行邊緣及曲線 檢測來進行的。另一可選方案是例如利用所投射的格網或者第二照相 機來對所成像的區域進行3D分析。根據相關技術來對對象的一部分進 行檢測，並且此後對對象的剩餘部分進行檢驗。
說明書第9/15頁
-其次計算第一對象表徵特性fl。例如藉助於曲率與角度的特性比 來表徵對象的外形以及其組成部分。或者可以計算寬度/高度比值。 此外，典型的在首先執行透視校正之後，可以使用所分離的對象區域 本身或者其轉換。
此後對象標識單元204根據從對象表徵單元202所接收到的第一對 象表徵特性fl來對該對象進行標識。例如可使用多維特性空間中的任 何已知分類技術。對象標識單元204的輸出是對象標識數據oi,該數
據可以是單值或者其包括有與所標識對象有關的附加信息的數據結 構。例如通過其包括有DSP200的指示設備的廠家可以將多個設備的表 徵特性以及進一步數據先驗的存儲在對象特徵存儲器230中，或者如 果DSP 200是計算才/L，那麼從網際網路對其進4亍預加載。代替對對象進 行標識，DSP還可對房間的一區域進行標識。例如使指示設備101指向 天花板可發布命令"開燈"，然而指向地板這可關燈。或者指向一個轉 角這可調用相關命令。根據所存在的對象，例如根據左側是一植物並 且右邊是一櫥櫃來對該轉角進行標識。
然而如果用戶自己可對諸如花瓶170這樣的新對象進行訓練，那 麼該用戶交互系統更加有用。因此可以包括一對象相關單元212，該 對象相關單元可向對象標識單元204提供對象相關數據oad。與第一對 象表徵特性fl相類似，根據對象模板，對象相關數據oad可包括對象 的表徵特性fa。通過應用訓練階段可獲得對象模板。照相機102可在 諸如不同角度、燈光等等這樣的多個條件下使新對象成像。對象表徵 單元202產生了所有圖像的笫二對象表徵特性f2。對象關聯單元212 中的對象訓練單元221產生了其與存儲在對象存儲器"0中的對象相對 應的一對象模板。該模板例如可以是所有圖像的笫二對象表徵特性f2 的群集，或者平均特性、或者根據可變第二對象表徵特性f2所計算的 某些恆定特性。此外對象訓練單元221根據從外部所進入的其作為對 象數據od的表徵特性可獲得對象模板。該對象數據可來自於下述設 備，該設備可輸入例如廠商從不同角度所拍攝的其圖像。對象數據od 以及對象關聯數據oad還可包括對象相關數據id,也就是說包括與例 如支持命令相類似的與一設備有關的各類信息。
為了便於對象識別，與例如設備110相類似的某些對象可顯示特 徵模式116，例如它們利用不同開/關間隔來使紅十字閃動預定時間以說明書第10/15頁
響應指示設備的"對象標識"請求。設備110還可包括一接口單元190， 該接口單元190可使其在根據本發明的用戶交互系統中更有用。例如 與網際網路收音機相類似的設備具有"服務發現"功能，該功能可將其所 支持的命令發送到指示設備IOI。其甚至可以傳送與這些命令相對應 的紅外遠程控制序列等等。這便於用戶100對DSP 120，200進行訓練。 例如為響應該傳送，該命令表現為指示設備101顯示316上的預定圖標 的一菜單。還可以單獨的實現接口單元190。例如洗衣機不具有複雜 的遠程控制功能。可提供插頭盒，該插頭盒可按照例如啟動它這樣的 簡單方式而利用該設備接收來自DSP 200以及接口的標準命令。
DSP 200同時可包括用於對用戶IOO利用指示設備101所做出的姿 勢進行分析。為此，使用指示設備101的圖4中的運動軌道400，該運 動軌道400是根據來自照相機102的圖像所計算的。圖4a給出了三維坐 標系統404中的向上運動軌道400。通過向上運動軌道的數學表達式這 樣的標記402來對其進行總結。例如在用戶100可保留"容量增加"命令 的情況下，例如藉助於其具有命令標識數據ci的命令表格來連結該標 記402。圓形運動軌道410以及圓形標記412是指一個用戶"倒帶 (rewind)"，反之另一用戶對DSP 200進行訓練以使該圓形標記412 與"接通設備"命令相關。用戶例如可使他的指示設備101大致的面向 燈160並且進行"接通設備"運動，DSP 200根據該運動可接通燈160。 或者用戶IOO還可以在空中某處進行"接通設備"運動並且此後指向燈 160、或者電視、或者他想要接通的任何對象。可按照任何方式來使 該標記402，412參數化並通過任何巳知曲線擬合才支術而使其相匹配。 例如將標記402編碼成具有指定長度及節間角度的多個連接線段。
運動軌道估計單元206根據運動檢測裝置304或者來自照相機102 的連續圖像來計算運動軌道400。例如可將其基於運動估算技術的光 流或者光塊應用到兩個連續的圖像上以獲得運動軌道400的一部份 401。運動矢量場的擴散用於對朝向接通物體的運動進行估計，即對 典型的沿著指示設備101軸的運動進行估計。根據運動軌道400，標記 產生單元209輸出第 一運動表徵標記s 1 。標記標識單元208對第 一運動 表徵標記sl進行標識並且將其與下述命令標識數據ci相連結，所述命 令標識數據即就是用戶IOO所企圖的用戶交互命令的數值表示。將第 一運動表徵標記與標記特徵存儲器232中所存儲的不同標記的標記特 徵進行比較。例如如果僅大致圓形或者甚至任何返回運動，那麼與線 性標記模板相比，所存儲的圓形標記模板產生了更好的匹配。在相似 性計算中可應用幾何及結構曲線對比技術。
正如具有其可學習以對新對象進行標識的DSP 200這樣的優點一 樣，有利的是DSP 200可對用戶100所優選的新移動進行標識。因此可 以包括用於將標記關聯數據SAD提供給標記標識單元208的標記關聯單 元214。標記關聯數據SAD可以包括諸如圓形標記412和/或命令相關數 據cid的數學表達式這樣的關聯標記特性sa，所述圓形標記412和/或 命令相關數據cid例如是從用於將其支持命令作為命令數據cd而發送 到DSP 200的設備所接收到的。根據來自於運動軌道估計單元206或者 命令數據cd的第 一運動表徵標記s2可從標記訓練單元22 3中獲得標記 存儲器222中的標記模板。
因為用戶的環境是非常易變的，例如燈光在白天變化，因此對對 象130或者命令的標識，即標記402有時是4晉誤的。因此DSP 200可包 括標識改進單元210。所想要的命令例如取決於所指向的對象130，或 者可以取決於預先所發出的命令等等。如果對象不存在於指示設備所 在的房間中，那麼將會不正確的標識對象。因此存在諸如閃爍LEDs這 樣的房間識別裝置185。當用戶進入房間時，他可利用指示設備101來 掃視房間識別裝置185。除了照相機102之外，指示設備101中還包含 有光電二極體以對房間識別裝置185進行檢測。還存在房間定位信標 180， 181， 182，以《更DSP 200可識別出指示設備指向了房間的哪一部 分。在照相機102對信標進行識別的情況下，該信標是其可光發射， 但是它們例如還可以發射出電磁輻射。存在於房間之中的對象還可有 助於對一對象的識別。例如如果花瓶170緊接於對象130，那麼其識別 有助於對對象130的識別。甚至使用對指示設備的過去軌道的分析。 如果指示設備預先指向對象130並且其已移動到右邊，那麼應該指向 設備IIO。考慮到所有信息，標識改進單元210例如可計算貝葉斯概率 或者使用模糊邏輯以取得對象130進一步的某些標識以及所想要命 令。
DSP 200所輸出的用戶交互信息I典型的包括控制設備數據ac，該 控制設備數據例如是其包括有對象表示數據oi以及命令標識數據ci或 者基於其的新標識符的 一 結構以對特定設備110的想要命令進行標
識。用戶交互信息I還可包括圖像數據pd。 -圖3示意性的給出了根據本發明的指示設備300 -圖1中的實施 例。並不是需要呈現出這裡所示出的所有特性簡單指示設備可僅包 括照相機302以及例如用於反饋的顯示316。可以呈現出例如按鈕308 這樣的多個按鈕。這可僅發出用於按下按鈕的某些命令。此外指示設 備300的類似移動可用於兩個不同命令， 一次是要同時按下按鈕308並 且另一次無需同時按下按鈕308。可存在例如用於將雷射光點投向所 指向位置的特徵投影器320。指示設備的照相機可將圖像發送到外部 DSP 120，但是其本身也可包括DSP 200。按照這種方法，還可在戶外 使用該指示設備。用戶100所未攜帶的指示設備103還可用於對設備110 或者房間進行監控。除了藉助於照相機來檢測運動之外，還可包括諸 如迴旋器或者差轉GPS定位系統這樣的其他運動檢測裝置304。還存在 可編程代碼發生器309以及用於將一命令直接發送到設備110的無線發 送器310。存在用於向用戶提供附加信息的反饋裝置。可包括例如燈 312、發聲設備314、力反饋裝置306、以及尤其是顯示器316。力反饋 裝置可包括很小的可移動物質，該物質可模擬設備的振動或者觸摸。 該顯示器可顯示例如所指向區域的中心，以儘可能將所產生的圖解十 字疊加在所成像圖像的中心。還可將其顯示在電視上。類似的燈160 用於提供反饋以代替燈312。顯示器316上的反饋示出了例如運動軌道 400以及其與運動軌道訓練階段過程中的先前運動軌道的類似程度， 這有助於用戶100學習DSP 200以識別穩定的姿勢。顯示器316還可通 過在對例如其包括有所檢測邊緣的圖像進行多個圖像處理步驟之後顯 示一圖像並且包括其對所標識設備進行命名的文本來表示DSP 200所
了解的。
還可存在諸如指紋傳感器或者用於口令或個人智慧卡的輸入這樣 的用戶標識裝置330。按照這種方法，DSP 200可將其本身設置為用戶 IOO所特有的操作模式。用戶甚至可以根據他所處的房間而給出不同 命令。還可存在語音識別裝置340以添加通過指示設備300的移動所給 出的命令。通過使指示設備101作為某種到現實世界的接口設備而用 於來玩遊戲。
以下實施例給出了本發明所包含的技術的舉例性的組合 1.用戶交互系統，包括
一電子設備； -.
一可攜式指示設備，該可攜式指示設備是用戶可操作的以指向空 間中的一區域；
一照相才幾，該照相機用於拍照；以及
一數位訊號處理器，該數位訊號處理器可接收圖像並對其進行處 理，並且可將來源於該圖像的用戶接口信息傳送到電子設備， 其特徵在於，
照相機與指示設備相連以便在操作過程中它使所指向的區域成像。
2. 如上述第l項中所述的用戶交互系統，其中用戶接口信息包括 用於對電子設備的操作進行控制的設備控制數據。
3. 如上述第l項中所述的用戶交互系統，其中數位訊號處理器包 括一對象表徵裝置，該對象表徵裝置通過將第一對象表徵特性提供給 所包含的用於對該對象進行標識的對象標識裝置來對存在於照相機所 成像區域的圖像之中的對象或者對象的 一部分進行表徵，所述對象標 識裝置可輸出根據其可構造出用戶接口信息的對象標識數據。
4. 如上述第l項中所述的用戶交互系統，其中數位訊號處理器包
括
運動軌道估計裝置，用於估計指示設備的運動軌道並且輸出第一
運動表徵標記，該標記是運動軌道的數學抽象；以及
標記標識裝置，用於對第一運動表徵標記進4亍標識並且輸出與第 一運動表徵標記相對應的其表示用戶交互命令的命令標識數據，用戶 接口信息是根據所述命令標識數據構造而成的。
5. 如上述笫3和4項中所述的用戶交互系統，其中數位訊號處理 器包括標識改進裝置，該裝置可進一步提高根據預定規則來對其被表 示為對象標識數據的對象以及其被表示為命令標識數據的用戶交互命 令進行更可靠標識的概率，這可產生更可靠的用戶接口信息。
6. 如上述第5項中所述的用戶交互系統，其中預定規則包括考慮 到下述先驗巳知信息單元{指示設備所駐房間，用戶所發布的先前命 令，用戶發布特定命令的統計頻率以及日時}的至少一個的成對{對象 標識數據，命令標識數據}的似然性的概率計算。
7. 如上述第3項中所述的用戶交互系統，其中數位訊號處理器包
括對象關聯裝置，該裝置為對象標識裝置提供了其包括有至少 一個數
據實體的相關數據，所述數據實體是關聯對象表徵特性以及對象相 關數據，
對象關聯數據是從對象存儲器中的其得自於至少一個方法的對象 模板數據而得來的；
對象模板數據是從下述對象訓練裝置中獲得的，所述對象訓練裝 置對對象表徵裝置所輸出的第二對象表徵特性執行預定計算；並且
對象模板數據是從所輸入的對象數據而來的
8. 如上述第4項中所述的用戶交互系統，其中數位訊號處理器包
括用於將其包括有至少一個數據實體的標記關聯數據提供給標記標識 裝置的標記關聯裝置，所述數據實體是關聯標記特性以及命令相關 數據，
標記關聯數據是從標記存儲器中的其得自於至少一個方法的標記 模板數據而得來的；
標記模板數據是從下述標記訓練裝置中獲得的，所述標記訓練裝 置對運動軌道估計裝置所輸出的第二運動表徵標記執行預定計算；並 且
命令模板數據是從所輸入的命令數據而來的。
9. 如上述第4項中所述的用戶交互系統，其中第一運動表徵標記 是根據照相機在各個時間情況所成像的連續圖像而得到的。
10. 供上述第l項中所述的用戶交互系統之用的指示設備，其特 徵在於該指示設備包括一照相機並且可將一圖像發送到數位訊號處理 器。
11. 如上述第10項中所述的指示設備，其中該指示設備可將一圖 像發送到數位訊號處理器，該數位訊號處理器可根據該圖像而將用戶 接口信息發送到電子設備。
12. 如上述第10項中所述的指示設備，其中數位訊號處理器包含 在指示設備之中。
13. 如上述第10項中所述的指示設備，包括用於對指示設備的運 動軌道進行檢測的運動檢測裝置。
14. 如上述第10項中所述的指示設備，包括一特徵投影儀，該投 影儀用於朝著所指向區域的方向光學投影特徵模式。
15. 如上述第10項中所述的指示設備，其中包括一可編程用戶接
口代碼發生器以及用於將該代碼傳送到電子設備的無線電發射器。
16. 如上述第10項中所述的指示設備，其中包括反饋裝置以用於
對用戶接口信息的反饋。
17. 供上述第l項中所述的用戶交互系統之用的電子設備，其特 徵在於包括這樣的接口裝置，該接口裝置根據送至該電子設備的指示 設備的"標識支持命令"請求而可使設備將與支持命令有關的信息發送 到如權利要求1所述的指示設備上。
權利要求
1.一種用戶交互系統，包括一個電子設備(110)；一個可攜式指示設備(101)，該指示設備是用戶可操作的以指向空間中的一個區域；一個照相機(102)，與所述指示設備(101)相連，以在操作時使所指向的區域成像而進行拍照；一個運動檢測裝置，用於對所述指示設備的運動進行估計；以及一個數位訊號處理器(120)，該處理器可接收和處理圖像數據，並且可將根據該圖像數據獲得的用戶接口信息(I)傳送到所述電子設備(110)。
2. 如權利要求l所述的用戶交互系統，還包括用於根據所述運動 檢測裝置的輸出來估計運動軌道(400 )的裝置。
3. 如權利要求l所述的用戶交互系統，其中指示設備的運動是根 據在各個瞬時由照相機(102)成像的連續圖像來估計的。
4. 如權利要求l所述的用戶交互系統，其中運動檢測裝置是從海 量變形檢測器、迴轉器和差轉GPS構成的組中選擇的。
5. 如權利要求l所述的用戶交互系統，其中傳送的用戶接口信息 (I)包括選自由指示設備(101)的運動速度、運動方向和加速度構成的組中的至少一個特性。
6. 如權利要求2所述的用戶交互系統，其中傳送的用戶接口信息 (I)包括選自由指示設備(101)的運動軌道(400 )和從該指示設備(101 )的運動軌道(400 )獲得的表徵標記構成的組中的至少一個。
7. 如權利要求l所述的用戶交互系統，還包括房間定位信標(180， 181， 182)，用於發射電磁輻射，其中數位訊號處理器(120)設置 成識別指示設備(101)正在指示房間的哪一部分。
8. 如權利要求l所述的用戶交互系統，其中指示設備(101)還 包括反饋裝置，用於向用戶提供附加信息。
9. 如權利要求8所述的用戶交互系統，其中所述反饋裝置是從燈 (312 )、發聲設備(314 )、顯示器(316 )和力反饋裝置(306 )構成的組中選擇的。
10. 供權利要求l所述用戶交互系統用的指示設備(300 )，其特 徵在於，該設備包括一個照相機(102)並且可發送一個圖像給數字信 號處理器(120)。
11. 如權利要求10所述的指示設備(300 )，其中該指示設備(300 ) 可發送一個圖像給數位訊號處理器(200 )，該處理器可根據該圖像發 送用戶接口信息(I)給一個電子設備(110)。
12. 如權利要求10所述的指示設備(300 )，其中數位訊號處理器 (120)包含在該指示設備(300 )中。
13. 如權利要求10所述的指示設備(300 ),該指示設備包括運動 檢測裝置(304 )，用於檢測指示設備(300 )的運動軌道(400 )。
14. 如權利要求10所述的指示設備(300 )，該指示設備包括一個 特徵投影器(320 )，用於向所指向的區域光學投射一個特徵圖案。
15. 如權利要求10所述的指示設備(300 )，該指示設備包括一個 可編程用戶接口代碼發生器(309 )，以及一個無線發送器(310)， 用於將所述代碼傳送給電子設備(110)。
16. 如權利要求10所述的指示設備(300 )，該指示設備包括反饋 裝置(306， 312， 314， 316)，用於反饋用戶接口信息。
17. 供權利要求l所述用戶交互系統用的電子設備(110)，其特 徵在於，其中包括接口裝置(190)，該接口裝置允許電子設備(110) 根據指示設備(101)給電子設備(110)的一個"標識支持命令"的 呼叫，發送關於支持命令的信息給如權利要求l所述的指示設備(101 )。
全文摘要
一種基於指示設備的用戶接口系統，其中用戶交互系統包括其與照相機(102)相連的且可將圖像發送到數位訊號處理器(120)的可攜式指示設備(101)，該可攜式指示設備可識別對象(130)以及通過使指示設備(101)按照特定方式移動而由用戶給出的命令，並且可根據該識別來控制電子設備(110)。
文檔編號G06F3/0346GK101101512SQ20071012785
公開日2008年1月9日 申請日期2003年10月28日 優先權日2002年11月20日
發明者G·E·梅肯坎, T·德克 申請人:皇家飛利浦電子股份有限公司