自動確定操作模式的行動裝置的製作方法

2023-10-10 12:38:39 2

專利名稱：自動確定操作模式的行動裝置的製作方法
自動確定操作模式的行動裝置背景諸如蜂窩電話之類的移動通信設備已經變得無所不在。可以通過諸如全球移動通信系統(GSM)網絡之類的蜂窩電話網絡來提供語音通信及諸如web瀏覽之類的其他數據通信。此外，行動裝置通常還具有用於其他應用的許多內嵌式組件。例如，內嵌式相機可以用來捕捉靜止和視頻圖像。可以使用紅外發射器來來往於個人數字助理(PDA)、膝上型計算機或銷售點終端傳輸數據。RF發射器和接收器可供用來通過諸如Wi-Fi網絡之類的無線區域網(WLAN)以及通過諸如Bluetooth網絡之類的個人區域網進行無線通信。此外，最近還開發出了可使行動裝置充當電視機或視頻遊戲控制臺的手持式遙控器的應用。如此，行動裝置可以以各種模式來進行操作。然而，用戶具有配置行動裝置來識別其當前上下文並以適當的模式進行操作的負擔。概述提供了通過無線信號進行通信的行動裝置，其中，行動裝置通過可視地感應其環境來自動確定操作模式，還提供了處理器實現的用於配置這樣的行動裝置的方法。行動裝置可以是諸如蜂窩電話、啟用web的智慧型電話、個人數字助理、掌上電腦、可攜式計算機之類的手持式行動裝置，或通過無線信號進行通信的類似的設備。行動裝置可以被用來使用行動裝置中的相機來控制諸如電視機或個人計算機(PC)之類的電子設備。具體而言，用戶可以進入行動裝置中的設置模式，在該模式，捕捉並存儲電子設備以及周圍的區域的圖像。行動裝置將圖像與用戶界面配置和/或用於控制電子設備的通信協議相關聯。例如， 用戶界面配置可以是行動裝置的用戶界面屏幕上的軟鍵的排列，而通信協議可包括行動裝置(諸如通過選擇要在電子設備上顯示的內容)發送到電子設備以控制它的命令。一旦設置了行動裝置，當用戶以後再者希望控制電子設備時，它就可以自動配置其本身。可以激活相機以捕捉周圍的區域的圖像，並處理該圖像以確定它是否匹配預先存儲的圖像數據。激活可以基於指示行動裝置處於圖像拍攝定向的物理傳感器來自動地進行。如果行動裝置識別它處於與之前相同的環境，則它自動配置其本身以控制與環境相關聯的電子設備。行動裝置還可以在輪詢和答覆過程中從電子設備其本身獲取用於控制電子設備的信息。在一個實施例中，手持式行動裝置包括圖像傳感器、用戶界面(UI)、存儲處理器可讀代碼的存儲器，以及執行處理器可讀代碼的處理器。處理器配置行動裝置以控制電子設備。具體而言，處理器在第一時間使用圖像傳感器來捕捉電子設備的第一圖像，基於第一圖像，將第一數據存儲在存儲器中，並且在第二時間，使用圖像傳感器捕捉電子設備的第二圖像。處理器還基於第二圖像來提供第二數據，確定第一數據是否匹配第二數據，並且如果第一數據匹配第二數據，則配置用戶界面與電子設備一起使用。提供本發明內容以便以簡化形式介紹將在以下的具體實施方式
中進一步描述的一些概念。本概述並不旨在標識所要求保護主題的關鍵特徵或必要特徵，也不旨在用於限制所要求保護主題的範圍。附圖簡述
圖Ia描繪了行動裝置的觸敏皮膚。圖Ib描繪了通過無線信號與不同的電子設備進行通信的行動裝置。圖加描繪了帶有顯示設備的電子設備的行動裝置捕捉到的圖像。圖2b描繪了行動裝置的第一圖像拍攝定向準則。圖2c描繪了行動裝置的第二圖像拍攝定向準則。圖2d描繪了在行動裝置處於圖像拍攝定向的情況下自動激活行動裝置的輪詢過程的過程。圖2e描繪了包括多個帶有相關聯的顯示設備的電子設備的環境的行動裝置捕捉到的圖像。圖2f描繪了從電子設備傳送的圖像數據與從行動裝置的相機捕捉的圖像數據的比較。圖3a描繪了帶有被配置成用作蜂窩電話的觸控螢幕用戶界面的行動裝置。圖北描繪了帶有被配置成用作TV遙控器的觸控螢幕用戶界面的行動裝置。圖3c描繪了帶有被配置成用作個人計算機(PC)遙控器的觸控螢幕用戶界面的行動裝置。圖如描繪了其中行動裝置通過比較電子設備的行動裝置捕捉到的圖像與由電子設備傳送的圖像數據來自動配置其本身以便與電子設備一起使用的方法。圖4b描繪了響應於從行動裝置接收到無線信號而在電子設備的顯示設備上顯示的預定義圖像。圖如描繪了其中行動裝置通過比較多個電子設備的行動裝置捕捉到的圖像與由電子設備傳送的圖像數據並選擇多個電子設備之中的最佳匹配來自動配置其本身以便與電子設備一起使用的方法。圖5描繪了其中在行動裝置的用戶界面被配置成與電子設備一起使用之後行動裝置控制電子設備的方法。圖6a描繪了行動裝置感測在電子設備的顯示設備上提供的同步圖像。圖6b描繪了其中行動裝置通過感測在電子設備的顯示設備上提供的同步圖像來自動配置其本身以便與電子設備一起使用的方法。圖7a描繪了從不同的角度和距離獲取的環境的行動裝置捕捉到的圖像，其中，環境包括帶有顯示設備的電子設備。圖7b描繪了方法的設置階段，其中，行動裝置通過捕捉包括電子設備的環境的圖像並將該圖像與從不同的角度和距離獲取的環境的前面捕捉到的圖像進行比較，來自動配置其本身以便與電子設備一起使用。圖7c描繪了在圖7b的方法的設置階段之後的實現階段。圖7d描繪了帶有被配置成用於在圖7b的方法的設置階段捕捉電子設備的圖像的觸控螢幕用戶界面的行動裝置。圖7e描繪了用於確定圖像的比例不變特徵的過程。圖7f描繪了用於基於圖像的比例不變特徵來匹配圖像的過程的第一部分。圖7g描繪了用於基於圖像的比例不變特徵來匹配圖像的過程的第二部分。圖8a描繪了在行動裝置被自動配置成與電子設備一起使用之後電子設備顯示信息以鏡像行動裝置的用戶界面。圖8b描繪了其中在行動裝置被自動配置成與電子設備一起使用之後電子設備向行動裝置顯示呼叫者的聯繫人信息的方法。圖8c描繪了其中在行動裝置被自動配置成與電子設備一起使用之後電子設備鏡像行動裝置的用戶界面的方法。圖9a描繪了行動裝置的示例框圖。圖9b描繪了示例行動裝置網絡。

圖10描繪了電視機的示例框圖。圖11描繪了個人計算機(PC)的示例框圖。圖12描繪了適於實現各實施例的計算機硬體的示例框圖。詳細描述提供了通過無線信號進行通信的行動裝置，其中，行動裝置通過可視地感測其環境來自動確定操作模式——除了提供處理器實現的用於配置這樣的行動裝置的方法之外。 通常，用戶具有配置行動裝置以在特定模式下進行操作的負擔。配置過程是耗時的，困難的，並且，在很多情況下，超出了用戶的能力。此外，還有當行動裝置需要在不同的模式之間切換時反覆地改變配置的負擔。例如，用戶可能希望將行動裝置作為電視機的遙控器來操作。這可以通過用戶按下行動裝置上的啟動適當的電視機遙控器應用程式的鍵序列來實現。如果用戶希望將行動裝置作為PC的遙控器來操作，則需要按下行動裝置上的啟動適當的PC遙控器應用程式的另一鍵序列。此外，在任一種情況下，都可能有附加的設置要求，其中，用戶按下行動裝置上的鍵序列以標識電視機型號、PC型號、在PC上運行的作業系統和應用程式。在某些情況下，電視機和PC連接，以使得PC向電視機提供視頻信號。行動裝置必須被切換到TV模式以，例如，控制電視機來調節由電視機的硬體實現的音頻和顏色設置， 以及切換到PC模式以，例如，控制PC在電視機上運行媒體中心應用程式，該應用程式播放諸如電影之類的視頻，或顯示網頁，或照片編輯應用程式中的數字照片。這樣的情況還可以要求行動裝置被在不同的控制模式之間來回切換。要求行動裝置的鍵或其他控制輸入的大量的手動協商。因此，需要提供這樣的一種技術其中，行動裝置自動識別用戶希望控制的電子設備，並針對該上下文配置其本身，諸如通過配置用戶界面設置以控制電子設備。此處所提供的技術涉及上下文識別。上下文識別具有許多不同的方面。一般而言， 可以使用行動裝置中的物理傳感器來確定各種類型的信息。例如，可以確定行動裝置的定向，以使得行動裝置的用戶界面(UI)顯示被垂直地或水平地定向，以便最方便地使用。其他傳感器可以確定行動裝置的位置，並修改行動裝置的配置以適合該位置。例如，行動裝置可以確定它是位於用戶的家庭還是工作場所，並更改其設置和功能。例如，如果位置傳感器 (例如，GPS、GSM和/或Wi-Fi網絡傳感器)指示行動裝置位於用戶的家庭，或者甚至在諸如起居室之類的特定房間，則行動裝置可以更改其功能以當它被拾取時變為TV遙控器。行動裝置還可以具有活動的紅外傳感器，這些紅外傳感器檢測來自遊戲控制臺的導致行動裝置自動進入「遊戲模式」以在電視機上玩視頻遊戲的紅外信號。行動裝置可以保持在該模式，直到它接收到傳入電話呼叫，然後，再次切換回電話模式。類似地，如果行動裝置被在家庭外面拾取，則它可以更改功能並進入電話模式。用戶還應該具有手動更改行動裝置的功能以在不同的模式(如電話、TV遠程和遊戲控制器模式)之間切換的能力。行動裝置可以具有基於意圖的模式切換，該功能導致它基於傳感器輸入來更改模式。例如，行動裝置可以充噹噹接收到傳入呼叫時響鈴的蜂窩電話，並基於由運動傳感器的確定，當它被拾取時自動停止響鈴。作為另一個示例，如果行動裝置在沒有傳入呼叫的空閒狀態被拾取，則可以確定用戶打算撥出電話呼叫並立即進入呼叫模式。在另一種方法中，行動裝置在該行動裝置的周邊或其他位置具有諸如許多離散傳感器之類的傳感器，或在行動裝置的側面和背面具有觸敏皮膚，該皮膚可以提供觸摸行動裝置的手的整個部分的電容性圖像。觸敏皮膚允許行動裝置感測它正在被持握的方式，以便確定它是被右手還是左手拾取的，並相應地更改諸如顯示定向和/或撥出電話呼叫的方法之類的特徵。還可以使用觸敏皮膚來確定用戶是否正在以圖像拍攝定向握住行動裝置，並採取如此處所描述的相對應的動作。參見下面的圖la。一般而言，行動裝置可以確定用戶何時執行了與行動裝置的非功能性交互，或計劃的使用交互。非功能性交互是不涉及使用被設計到行動裝置中的功能的交互。一個示例是從桌子中拾取行動裝置。相比之下，當用戶與行動裝置進行交互以使用其功能時，發生計劃的使用交互。一個示例是在圖像-定向握住行動裝置，以使用行動裝置的相機來拍攝照片。另一個示例是將行動裝置置於耳邊在電話上講話。可以例如通過解釋用戶對行動裝置施加的握力，除使用諸如光傳感器、接近度傳感器和/或加速度計之類的其他傳感器之外， 還使用行動裝置周圍的觸摸/握力傳感器，來檢測這些交互。例如，當行動裝置被置於用戶的耳邊，握力傳感器可以感測相對應的握力，光傳感器可以感測光的變暗，接近度傳感器可以感測用戶的頭的接近度，而加速度計可以感測相對應的定向。如此，行動裝置可以使用適當的傳感器來檢測它正在被握住，以及它正在被握住的方式，並標識和激活行動裝置的相對應的功能。還可以基於諸如幾何形狀和施加的壓力之類的條件來標識特定用戶的手的唯一特徵。可以使用此信息來標識哪一個用戶當前正在使用行動裝置，並執行諸如對行動裝置進行鎖定或解除鎖定之類的功能，或修改用戶界面以為年長的用戶在UI顯示上使用更大的數字和符號，還有許多可能。作為另一個示例，如果行動裝置具有帶有投射的鍵盤的大顯示器，則它可以感測手的手指的位置，並定位投射的鍵盤以便通過移動布局以針對手的位置進行調整來使得它最方便用於鍵入。另一個可能的方法是讓傳感器檢測行動裝置是位於口袋中、抽屜中、錢包還是其他套中。這可以使用溫度感測和/或光感測來進行。如果行動裝置確定它位於套中，則它可以開始響鈴，並在短時間內，開始將其鈴聲改變為更大聲音，和/或以不同頻率進行，並持續直到用戶抽出行動裝置。還可以使用光傳感器來檢測房間內或建築物外面的環境光， 並改變行動裝置的用戶界面顯示的亮度或對比度設置，以給出最佳的查看質量。圖Ia描繪了行動裝置的觸敏皮膚。觸摸傳感器通過電阻性的、電容性的表面波、紅外線、應變儀、光學成像、耗散的成像技術，以及聲學脈衝識別技術，來進行操作。例如，參見描述了電子設備的自適應表層的通過援引併入本文中的美國專利申請出版物 no· 20070220427oaS#Htosenberg·入的 IMPAD—An Inexpensive Multi-Touch PressureAcquisition Device (廉價多觸摸壓力獲取設備)——第27界有關計算系統中的人為因素的國際會議的會議記錄，第3217-3222頁，2009年4月4-9日——該文通過援引併入本文中。諸如由Rosenberg等人所描述的行動裝置的觸敏皮膚使用可以輕鬆地縮小以安裝在可攜式設備上的極薄的柔性壓力獲取設備。這些設備可以以足夠高的解析度感測壓力的不同級別，以感測和區別多個指尖、筆或筆尖，及其他對象。示例觸敏皮膚在概念上具有五層。 第一和第五層是具有允許與外部電子器件接口的平行線路的外層。示例線路120位於第一層，而示例線路IM位於第五層。層中的線路彼此平行，而層1中的線路在垂直於層5上的平行線路的方向的方向上布線。第二層121和第四層123包括允許相鄰的線路之間的電流滴流並負責設備的雙線性特徵的電阻材料。第三(中間)層122包括其當被壓縮時電阻降低的材料，如此可以感測外力。在操作期間，沿著層1每次一個線路被通向正電壓，而所有其他線路都被設置為地線。然後，在層5上的所有其他線路都被設置為地線時，一次一個地測量層5上的每一個線路上的電壓。重複此過程，直到獲取了行和列線路之間的每一個交叉的電壓讀數。為提高掃描速度，還可以同時讀取所有偶數號碼的線路電壓，然後，讀取所有奇數號碼的線路的電壓。這會導致隨著傳感器的頂層上的線路的數量線性地增長的掃描速率。當向傳感器施加外壓力時，產生可使電流從層1流向層5的通路。電流沿著層2 流動，然後，穿過層3中的接觸點，然後，沿著層4，最後穿過層5中的電極。交叉處的結果電壓取決於該電流通路的電阻，該電阻取決於接觸點與交叉處的接近度和此時施加的壓力。實驗可以揭示行動裝置的觸敏皮膚的與特定的計劃使用交互相關聯的觸摸模式。圖Ib描繪了通過無線信號與不同的電子設備進行通信的行動裝置。在諸如用戶的家庭中的一個房間之類的環境102中，可以存在許多電子設備，可以由來自行動裝置100 的無線信號對這些電子設備進行控制。這樣的電子設備的示例包括具有顯示設備或屏幕 105的電視機104，可以與電視機104進行通信的視頻遊戲控制臺106，具有顯示設備109的膝上型計算機108，以及包括具有顯示設備111的監視器110的PC 112。電子設備的另一個示例是與電視機104進行通信的機頂盒。儘管行動裝置100通常包括蜂窩電話功能，諸如Wi-Fi、Bluetooth和IrDA(紅外線數據協會)之類的其他通信技術當前也被合併到許多行動裝置中，以進行聲音及其他數據通信。行動裝置一般可包括蜂窩電話(包括啟用web的智慧型電話)、個人數字助理(PDA)/ 掌上電腦、可攜式媒體播放器(例如，MICROSOFT ZUNE 、APPLE IPOD )，以及諸如上網本、圖形輸入板計算機，及其他設備之類的膝上型計算機。蜂窩電話功能不一定是執行此處所描述的自動配置所必需的。電子設備包括與行動裝置兼容的相對應的無線發射和接收組件。這樣的組件可以被嵌入到電子設備中，或作為外圍設備來連接。關於電視機104，某種電視機具有嵌入式 Wi-Fi功能，以使得可以通過例如家庭網絡向電視機無線地流送內容。Wi-Fi是Wi-Fi聯盟基於IEEE 802. 11標準認證的產品的證書，並確保不同的無線設備之間的互操作性。Wi-Fi 是一種類型的無線區域網(WLAN)。電視機所使用的其他無線技術包括基於WiMedia標準的 WiMAX、超寬頻帶(UWB)，WHDI特殊興趣組的無線家庭數字接口(WHDI) TM、WireleSSHD 聯盟的 Wireless HD ，以及來自 Monster Cable Products 有限公司和 Sigma Designs 有限公司的無線數字Express HD。這些無線技術是可以提供的RF無線通信的示例。膝上型計算機和PC通常包括嵌入式Wi-Fi功能或接受Wi-Fi卡。此外，還可以使用紅外信號來在行動裝置100和電子設備104、106、108和112中的任何一個之間提供通信。電子設備也可以彼此無線地進行通信。添加Wi-Fi功能的示例電視機外圍設備包括來自Sling Media的Slingbox、來自 Apple 有限公司的 Apple TV，以及來自 MediaGate USA 的 MediaGate Network Multimedia Center。在某些情況下，電子設備彼此之間以及與行動裝置足夠近，以使得多個電子設備從行動裝置接收無線信號。在其他情況下，只有一個電子設備從行動裝置接收無線信號。此外，電子設備彼此之間以及與行動裝置足夠近，以使得行動裝置的相機或其他圖像傳感器同時從多個電子設備捕捉圖像或光信號。在其他情況下，一次只有一個電子設備被行動裝置的相機或其他圖像傳感器感測到。下面將描述行動裝置使用相機或其他圖像傳感器來標識電子設備。圖加描繪了包括一種帶有顯示設備的電子設備的環境的移動顯示設備捕捉到的圖像。許多行動裝置具有嵌入式相機，這些相機檢測可見光來使用CMOS多兆像素圖像傳感器捕捉靜止或視頻數字圖像，並以JPG、GIF、PNG或其他格式存儲數字圖像。由行動裝置的相機捕捉到的一個或多個圖像可以被用來標識處於圖像中的電子設備。在此方法中，用戶瞄準行動裝置，以使得它拍攝包括電子設備的圖像。為較好地識別電子設備，它在圖像中應該是突出的。圖像200可以由例如坐在電子設備104前面的沙發上的用戶來拍攝的。圖像 200包括電視機104以及其示出了當前描繪了在公路上行駛的汽車的示例顯示的顯示設備 105。圖像200還包括電子設備所在的環境中的諸如桌子206、花瓶204和壁掛202之類的其他組件。這是一個可能的環境的簡化示例。可以激活行動裝置以便以不同的方式捕捉圖像200。如上文所提及的，在一種方法中，用戶可以瞄準行動裝置並在進入輪詢模式之後手動拍攝照片。圖像可以被作為輪詢過程的一部分來捕捉，其中，行動裝置發射無線信號以確定哪些電子設備在行動裝置的範圍之內。範圍之內的任何電子設備利用它們自己的無線信號來對輪詢信號作出響應，該無線信號由行動裝置接收。此外，來自電子設備的無線信號還可包括表示當前在它們的相關聯的顯示設備上顯示的圖像的圖像數據，以及標識電子設備的類型和/或可以被行動裝置用來控制電子設備的用戶界面(UI)的控制數據。行動裝置將它利用其相機捕捉到的圖像與從電子設備接收到的經過編碼的圖像數據進行比較，以確定行動裝置是否瞄準特定電子設備。如果有多個匹配，則諸如基於哪一個電子設備位於捕捉到的圖像中的最中間，來確定最佳匹配。在一種可能的方法中，用戶使用還觸發無線輪詢信號的命令來捕捉圖像。此命令可以與用於一般性地使用相機而沒有輪詢的命令區別開來。在另一種可能的方法中，無需由用戶手動輸入命令即可捕捉圖像。例如，行動裝置可以使用加速度計和/或其他物理傳感器來確定行動裝置何時已經移動，諸如被從桌子中拾取，和/或何時行動裝置被保持在指示它正在被用作相機的定向，如下面所討論的。圖2b描繪了行動裝置的第一圖像拍攝定向準則。圖2c描繪了行動裝置的第二圖像拍攝定向準則。在一種可能的實現中，當行動裝置處於一種定向達某一時間段(例如，幾秒)時，這被解釋為其中正在被瞄準行動裝置將用作相機的定向，輪詢和圖像捕捉過程被激活。在另一種可能的方法中，行動裝置確定在它被處於圖像拍攝定向之前它已經被固定了達某一時間段。例如，如果行動裝置位於桌子上，坐在沙發上的用戶拾取行動裝置，並將它瞄準在電視機104上，會發生這種情況。可以在輪詢和圖像捕捉過程中以視頻類似地捕捉多個圖像。也可以使用接近度傳感器來推斷行動裝置沒有被置於用戶的頭部來用作電話。也可以使用諸如握力傳感器和光傳感器之類的其他傳感器來確定行動裝置的定向，或者以別的方式標識計劃的使用交互。例如，可以使用如上文結合圖Ia所提及的行動裝置的觸敏皮膚。典型的行動裝置101包括後面板上的照相機鏡頭101，以使得當照相機鏡頭軸被水平地瞄準，如當拍攝圖像時所常見的那樣，行動裝置被基本上垂直地放置。此定向可以由行動裝置中的傳感器來確定。例如，如果行動裝置的與垂直線208的前到後傾斜角在指定的邊界+/_ θ工內，則可以滿足第一圖像拍攝定向準則，而如果行動裝置與垂直線208的面對面傾斜角在指定的邊界+/_ θ 2內，則可以滿足第二圖像拍攝定向準則。圖2d描繪了在行動裝置處於圖像拍攝定向的情況下自動激活行動裝置的輪詢過程的過程。在步驟210中，感測行動裝置的運動。可另選地，或另外，行動裝置上的電容式觸摸傳感器可以確定用戶已經拾取並握住行動裝置。在步驟212中，就行動裝置是否處於圖像拍攝定向達一段時間tl (例如，幾秒)作出確定。如果是，則在步驟214中自動激活行動裝置的輪詢模式。如果行動裝置沒有處於圖像拍攝定向達一段時間tl，則在步驟216中不自動激活行動裝置的輪詢模式。用戶還可以具有諸如通過按下行動裝置上的鍵來手動激活輪詢模式的選項。圖2e描繪了包括多個帶有相關聯的顯示設備的電子設備的環境的行動裝置捕捉到的圖像。在圖像202中，電視機104附有第二電子設備PC 112和帶有顯示設備111的監視器110。顯示設備被描繪成示出了由PC 112中的軟體運行的媒體中心應用程式。媒體中心應用程式的示例包括來自微軟公司的Windows Media Center、來自Apple有限公司 ^ Front Row>Linux Media Center Edition ( —ft^ !^ ^ α ) >XBMC Media Center 界面(也是一種開放原始碼平臺)。PC 112可以獨立於電視機104地操作，或者可以與電視機104進行通信(通過有線或無線)以顯示圖像。媒體中心應用程式也可以由諸如某些 DVD播放器、機頂盒，以及視頻遊戲控制臺之類的提供網絡服務的其他設備來提供。媒體中心應用程式可以具有圖形用戶界面(GUI)，該界面被設計成從幾英尺以外觀看，以允許用戶使用遙控裝置與該⑶I進行交互。例如，用戶可以遠程控制諸如照片、音樂、DVD以及視頻之類的媒體文件的顯示。注意，遠程PC控制也可以用於除媒體中心應用程式以外的應用程式，如用於訪問文件夾或文檔的應用程式。在此情況下，由行動裝置捕捉到的圖像202包括一般位於圖像的中心的電子設備，以及遠離圖像的側面的電視機104的一部分。圖2f描繪了從電子設備發射的圖像數據215與從行動裝置的相機捕捉的圖像數據200在行動裝置的比較功能216處的比較。可以產生匹配或不匹配判定。圖3a描繪了帶有被配置成用作蜂窩電話的觸控螢幕用戶界面的行動裝置。如上文所提及的，行動裝置100可以被配置成在不同的模式下進行操作。在一種可能的方法中，行動裝置具有用戶界面顯示300，該顯示300可以使用軟體來配置，以顯示某些鍵，用戶通過將他的或她的指尖放在鍵上來選擇鍵。顯示可以是顯示軟鍵的觸控螢幕。然而，用戶界面也可以使用硬鍵，另選地或另外地，以控制行動裝置和電子設備。這裡，用戶界面顯示300處於電話模式，其中，行動裝置充當蜂窩電話。用戶界面顯示300的區域302提供信號強度指示符、時間、電池強度指示符、讀取「電話模式」的模式指示符以及窗口 301。區域304提供可以被用來輸入例如電話號碼的數字鍵。數字可以出現在窗口 301中。區域306包括用於撥出呼叫的呼叫按鈕和結束呼叫按鈕。可以給硬鍵 308指定用於電話模式的附加功能。電話模式可以是行動裝置採取的默認模式。圖北描繪了帶有被配置成用作TV遙控器的觸控螢幕用戶界面的行動裝置。用戶界面顯示300的區域310指示行動裝置被配置在「電視模式」。在區域310中還提供了 on/ off(開/關)按鈕。區域312提供可以被用來輸入例如頻道號的數字鍵。區域314包括用於選擇條目或調用電視機的屏幕菜單的中心按鈕(「確定/菜單」)，以及音量增大/減小箭頭和頻道向前/向後箭頭。可以給硬鍵308指定用於電視模式的附加功能。當行動裝置使用此處所描述的技術檢測到它已經指向電視機時，行動裝置可以自動進入電視模式。圖3c描繪了帶有被配置成用作個人計算機(PC)遙控器的觸控螢幕用戶界面的行動裝置。用戶界面顯示300的區域320指示行動裝置被配置在「PC模式」，其中行動裝置充當 PC遙控器，如用於媒體中心應用程式。區域320中的軟鍵命令包括記錄(Rec)、播放、暫停和停止。區域322中的命令包括倒退(Rew)、快進(FFwd)、重播和跳過。區域324中的命令包括導致PC顯示例如前一頁的「後退」按鈕，調用幫助屏幕的「信息」按鈕，以及啟動應用程式和任務的「開始」按鈕。區域3M還包括用於選擇條目的中心按鈕(「確定」)，以及音量增大/減小箭頭和頻道或節目(Pgm)向前/向後箭頭。可以給硬鍵308指定用於PC模式的附加功能。當行動裝置使用此處所描述的技術檢測到它已經指向PC時，行動裝置可以自動進入PC模式。圖如描繪了其中行動裝置通過比較電子設備的行動裝置捕捉到的圖像與由電子設備發射的圖像數據來自動配置其本身以便與電子設備一起使用的方法。注意，在此流程圖及其他中所描繪的步驟不一定作為不連續的步驟和/或按所描繪的順序執行，而是可以同時和/或按不同的順序進行。在步驟400中，如前面所討論的，諸如通過用戶命令或響應於運動/定向傳感器來激活行動裝置。在步驟402中，行動裝置向一個或多個電子設備， 即，具有相關聯的顯示器的任何支持網絡的電子設備，發射諸如RF或紅外信號之類的無線信號。在步驟404中，電子設備從行動裝置接收無線信號。此時，電子設備可以在將圖像顯示在其顯示設備中的過程中。例如，電視機可以顯示現場廣播電視節目或來自DVD的記錄的電影。PC可以顯示來自諸如媒體中心應用程式、網頁之類的應用程式，諸如文字處理應用程式或電子表格應用程式等等之類的桌面應用程式的靜態或運動圖像。在一種方法中，電子設備可以如在沒有從行動裝置接收無線信號的情況下執行的那樣繼續顯示圖像。或者，在步驟406中，電子設備可以響應於從行動裝置接收無線信號來顯示新圖像。例如，這可以是可以由行動裝置的相機輕鬆地檢測到的預定義圖像，諸如寬條帶的模式，如在圖4b中所描繪的。圖4b描繪了響應於從行動裝置接收到無線信號而在電子設備的顯示設備上顯示的預定義圖像。預定義圖像可在短時間內被顯示，大約一秒，其足以允許行動裝置捕捉圖像而不會干擾現有電視節目或其他內容。此外，預定義圖像的出現將通知用戶，輪詢過程已經成功地啟動。通知用戶輪詢過程已經成功地啟動的其他方式包括電子設備臨時凍結當前圖像，或者向當前圖像提供某種其他可見的效果，如使圖像變黑，或提供諸如「檢測到控制請求」之類的圖形，或提供諸如鳴叫之類的音頻反饋。行動裝置也可以提供音頻或可視反饋以通知用戶，輪詢過程已經成功地啟動。由行動裝置所提供的無線信號可以利用用於控制電子設備以採取如此處所描述的適當動作的命令來編碼。在圖如中的步驟408中，電子設備從所顯示的圖像獲取圖像數據。例如，這可以涉及獲取當前在顯示設備上顯示的像素的幀的圖像數據。可以以任何指定格式提供圖像數據。可以通過將數據從不兼容格式代碼轉換為與行動裝置兼容的格式來提供圖像數據。此外，還可以諸如通過標識圖像的某些特徵，來處理圖像數據，以促進在行動裝置上發生的隨後的圖像關聯過程。一個示例將是使用SIFT來處理圖像，如下面進一步討論的，以獲取定義圖像的比例不變特徵的組件子區域描述符，並存儲描述符來代替像素數據。在步驟410中，電子設備向行動裝置發射帶有圖像數據和控制信息的答覆無線信號。圖像數據可以是或者也可以不是可以被用來重新創建相對應的所顯示的圖像的格式。 答覆無線信號可以例如作為RF或紅外信號來發射。控制信息可以標識，例如，諸如電視機型號或PC型號之類的電子設備類型，或者只是電子設備是電視機還是PC這一事實，以及當前在PC中處於活動的作業系統和應用程式。控制信息也可以標識提供圖像數據所採用的格式，例如，通過編碼格式或解析度。控制信息也可以標識可以被行動裝置用來控制電子設備的用戶界面配置和通信協議。例如，不同類型的電子設備可能要求不同的用戶界面配置和通信協議。用戶界面配置可包括鍵在用戶界面顯示中的外觀(如所描繪的，例如，在圖北和3c中)，而通信協議可包括對用於控制電子設備的代碼字的指定。在某些情況下，常見的UI外觀可以用於控制一種類型的電子設備，如電視機，但是，不同的通信協議和不同的電視機型號和/或製造商一起使用。例如，可以使用不同的頻率、代碼字等等來實現不同的命令。從電子設備接收到的控制信息可以直接標識通信協議，如通過指定頻率和代碼字，或間接地，如通過指定行動裝置可以用來映射到通信協議的標識符。標識符可以指示，例如，「使用通信協議#10」，在這樣的情況下，行動裝置基於標識符來訪問用於實現協議的必要的信息，無論是在行動裝置本地還是從遠程或本地伺服器。控制信息也可以標識電子設備的類型，例如，電視機或PC， 在這樣的情況下，行動裝置實現適用於例如電視機(例如，圖北)或PC(例如，圖3c)的用戶界面顯示。在步驟412中，行動裝置接收帶有圖像數據和控制信息的答覆無線信號。在步驟 414中，行動裝置使用行動裝置的相機來捕捉，例如，拍攝包括電子設備和其所顯示的圖像的圖像的照片。捕捉到的圖像被用來提供參考圖像數據。如同由電子設備所提供的圖像數據，由行動裝置所提供的圖像數據可以經歷促進隨後的圖像關聯過程的某些處理，如獲取由SIFT算法所使用的組件子區域描述符的處理。如此，所獲取的圖像數據可以是或者也可以不是可被用來重新創建相對應的捕捉到的圖像的格式。關於步驟414的定時，在行動裝置捕捉圖像的情況下，這可以通過不同的前兆事件來觸發。例如，圖像捕捉可以由行動裝置發射無線信號(步驟40 來觸發，而無需等待來自電子設備的答覆信號(步驟41幻。或者，圖像捕捉也可以接收到答覆信號來觸發。在步驟416中，行動裝置將參考圖像數據與從電子設備接收到的圖像數據進行比較。這可以涉及執行任何類型的圖像關聯算法。例如，可以將參考圖像與跨來自電子設備的圖像的連續的像素位置以及為每一個位置確定的關聯分數進行比較。帶有最高分數的位置可以表示與參考圖像的匹配。匹配可以涉及概率性度量，以使得匹配可以以不同的概率或確定性級別發生。被視為可以接受的匹配可以與最小概率相關聯。步驟416的比較可以替代地涉及SIFT算法，如下面進一步地討論的。在判定步驟418，如果確定匹配，則在步驟 422中，基於從電子設備接收到的控制信息，來標識用戶界面配置和/或通信協議，諸如通過將控制信息的標識符映射到UI顯示配置和/或通信協議。步驟4M包括利用所標識的用戶界面配置和/或通信協議來配置行動裝置。可以向用戶提供行動裝置已經成功地與電子設備相關聯的反饋(例如，鳴叫或可視消息)，以使得用戶知道他或她可以停止將行動裝置瞄準電子設備，並可以開始使用行動裝置作為電子設備的遙控器。如果在判定步驟418中沒有匹配，則在步驟420中通過行動裝置向用戶顯示錯誤消息。例如，消息可以說「沒有標識電子設備，請再試一次」，在這樣的情況下，可以在步驟 400中重複過程。用戶可以嘗試改善成功的機會，諸如通過與電子設備站得更靠近些，諸如通過打開燈來改變照明條件，設置相機的放大功能，或以其他方式調整相機設置，或將相機更準確地瞄準用戶希望控制的電子設備。如此，用戶可以將行動裝置瞄準電子設備，並讓行動裝置自動將其本身與電子設備相關聯。此外，由於使用了行動裝置和電子設備的顯示設備之間的視線，因此，這避免了行動裝置與位於行動裝置的鄰近區但不在視線內的另一個電子設備相關聯的可能性。這可以在其中有許多電子設備在行動裝置的範圍之內的環境中發生。還避免了在答覆電子設備的範圍之內的其他行動裝置無意地被配置成與答覆電子設備一起使用的可能性。圖如描繪了其中行動裝置通過比較多個電子設備的行動裝置捕捉到的圖像與由電子設備發射的圖像數據並選擇多個電子設備之中的最佳匹配來自動配置其本身以便與電子設備一起使用的方法。該方法類似於圖如中的方法，只是涉及了多個電子設備。在步驟430中，激活行動裝置。在步驟432中，行動裝置向一個或多個電子設備發射無線信號。在步驟434中，多個電子設備接收無線信號。在一種方法中，電子設備可以如在它們沒有從行動裝置接收無線信號的情況下執行的那樣持續顯示圖像。或者，在步驟436中，電子設備可以顯示預定義圖像。不同的電子設備也可以顯示不同的預定義圖像。例如，電視機可以顯示一個圖像，而 PC顯示另一個圖像。或者，可以由每一個電子設備從一組圖像中隨機地選擇預定義圖像，以使得每一個電子設備都顯示不同的預定義圖像。在此情況下，彼此緊挨著的多個電子將顯示不同的預定義圖像，以使得它們可以彼此區別開來。在步驟438中，多個電子設備從它們的相關聯的顯示的圖像獲取圖像數據。在步驟440中，多個電子設備向行動裝置發射帶有圖像數據和控制信息的答覆無線信號。在步驟442中，行動裝置接收多個帶有圖像數據和控制信息的答覆無線信號。在步驟444中，行動裝置捕捉包括某些或全部電子設備以及它們的所顯示的圖像的圖像，以提供參考圖像數據。在步驟446中，行動裝置將參考圖像數據與從多個電子設備接收到的圖像數據進行比較。根據這些比較，在步驟448中確定匹配的電子設備，並在步驟450中確定最佳匹配。例如，可以基於用戶將相機最直接地瞄準他或她希望控制的電子設備的假設，選擇位於參考圖像數據的最中心的電子設備的圖像。在步驟452中，基於從最佳匹配電子設備接收到的控制信息，來標識UI配置和/或通信協議。步驟妨4包括利用已標識的UI配置和/ 或通信協議來配置行動裝置。圖5描繪了其中在行動裝置的用戶界面被配置成與電子設備一起使用之後行動裝置控制電子設備的方法。一旦標識了控制特定電子設備所需的UI配置和/或通信協議， 就可以利用虛擬鍵區來配置UI顯示/觸控螢幕300，以控制電子設備，如前面結合圖北或3c 所討論的。在步驟502中，用戶從虛擬鍵區選擇命令。例如，用戶可以從圖北的界面選擇 「頻道向前1 鈕以控制電視機。在步驟504中，行動裝置根據適用於電子設備的通信協議， 向電子設備發射帶有標識命令的數據的無線信號。在步驟506中，電子設備接收無線信號並執行命令。有益地，用戶能夠控制電子設備，好像行動裝置是該電子設備的專用遙控設備。行動裝置可以充當能夠控制許多電子設備的通用遙控器。此外，還可以自動而快速地實現電子設備之間的切換。圖6a描繪了行動裝置感應在電子設備的顯示設備上提供的同步圖像。在此方法中，當電子設備從行動裝置接收到無線輪詢信號時，它指令其顯示設備顯示可以由行動裝置感測的同步圖像。同步圖像可以是諸如短的白色或其他亮的閃爍串之類的可視圖像。行動裝置可以使用可以與相機分開的光傳感器，或者也可以是在光感測模式下進行操作的相機。光傳感器以指定的重複頻率或其他模式來檢測指定頻率/顏色的光。此方法可以降低成本，因為傳感器可以是比相機較低的成本項目，並減少處理，因為不必執行圖像關聯。然而，也可以使用在處於視頻捕捉模式下行動裝置中進行操作的或以其他方式使其快門打開達足夠的時間長度的現有相機。在電子設備/電視機104的顯示設備105中，使用顯示設備105的區域600來發出由行動裝置感測的亮的閃光。區域600隻佔用顯示設備的一部分，並與現有顯示相組合或被其覆蓋，該顯示沒有響應從行動裝置接收到無線信號而顯示。響應於從行動裝置接收到無線信號，顯示區域600。閃爍還可以佔用整個顯示設備105。此外，閃光可以遵循向行動裝置傳遞信息的模式。即，閃爍可以表示行動裝置可以解碼的代碼字。例如，信息可以標識電子設備的類型，例如，電視機或PC，和/或行動裝置可以用來控制電子設備的通信協議。圖6b描繪了其中行動裝置通過感測在電子設備的顯示設備上提供的同步圖像來自動配置其本身以便與電子設備一起使用的方法。在步驟610中，激活行動裝置。在步驟 612中，行動裝置向一個或多個電子設備發射無線信號。在步驟614中，電子設備接收無線信號。在步驟616中，電子設備顯示同步圖像。在步驟618中，行動裝置使用光傳感器來感測同步圖像。在步驟620中，基於同步圖像來標識UI配置和/或通信協議。在步驟622中， 利用UI配置和/或通信協議來配置行動裝置。圖7a描繪了從不同的角度和距離獲取的環境的行動裝置捕捉到的圖像，其中，環境包括帶有顯示設備的電子設備。此方法不要求輪詢和從電子設備接收到答覆，並可以由行動裝置單獨完成。行動裝置IOOa在第一時間在設置階段捕捉環境的圖像200(與圖加中的相同)。描繪了電子設備104。用戶可以利用用於控制電子設備的信息來手動配置行動裝置，諸如通過訪問電子設備的菜單和型號並選擇電子設備104的適當的條目，例如， "Samsung FP-T5894W」——一個示例電視機。菜單可以是，例如，基於web的。然後，圖像 200被存儲在行動裝置中，與控制和配置信息交叉引用。隨後，在實現階段，當用戶靠近電子設備104時，行動裝置被激活，例如，如前面所討論的，基於用戶命令或運動/定向傳感器，以捕捉電子設備的另一個圖像。具體而言，同一個行動裝置在以後的第二時間，諸如在由行動裝置IOOb所標識的數小時、數天或數周以後，捕捉電子設備的圖像700。可以將兩個圖像彼此進行比較以確定是否有匹配。如果有匹配，則行動裝置自動配置其本身以控制電子設備。匹配指示圖像是同一個電子設備的。在電子設備的顯示設備上所顯示的特定圖像不是重要的，因為在不同的時間顯示不同的圖像。圖像不必從相同角度和距離捕捉，因為各種圖像處理算法可以檢測甚至帶有這些變化的匹配。例如，可以使用標題為「Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image (用於標識圖像中的比例不變特徵以及使用其來定位圖像中的對象的方法安和裝置)」的美國專利6，711，293 (David G. Lowe, 2004年3月23日)中所描述的比例不變特徵變換(SIFT)算法來處理第二圖像，該專利通過援引全部併入本文中。SIFT算法檢測並描述了圖像中的局部特徵。此外，SIFT特徵是局部的，並基於對象在特定興趣點的外觀，並不隨圖像比例和旋轉而變化。如此，電子設備的不同的圖像可以被關聯，即使它們是，例如，從電子設備的左側和右側，以及從不同的距離拍攝的。SIFT特徵還不隨照明、噪聲，以及視點的微小變化而變化。SIFT特徵高度與眾不同，相對來說容易提取，並允許以低失配的概率進行正確的對象標識，並容易與局部特徵的(大型)資料庫進行匹配。通過SIFT特徵組的對象描述對於部分遮蔽也是穩健的。一個對象的少至三個SIFT特徵即可足以計算其位置和姿勢。此外，還可以幾乎實時地執行識別。也可以使用其他圖像處理算法。注意，環境中的由圖像處理算法所標識的特徵可以與電子設備和/或環境中的其他特徵相關聯，以確定行動裝置處於與第一圖像被捕捉時的相同的位置。例如，電子設備的物理外觀，如其形狀，以及環境中的其他物品的外觀，例如，花瓶204、桌子206和壁掛202， 可以被用來標識特徵，並確定兩個圖像是否匹配。圖7b描繪了方法的設置階段，其中，行動裝置通過捕捉包括電子設備的環境的圖像並將該圖像與從不同的角度和距離獲取的環境的前面捕捉到的圖像進行比較，來自動配置其本身以便與電子設備一起使用。設置階段從步驟710開始。在步驟712中，激活行動裝置。這可以自動發生，諸如基於行動裝置的定向和/或通過使用諸如握力傳感器和光傳感器之類的其他傳感器。或者，用戶可以輸入導致行動裝置呈現適當的用戶界面的命令，如結合圖7d所討論的。在步驟714中，行動裝置使用其相機來捕捉包括電子設備的環境的第一圖像。在一種可能的實現中，在步驟716中，確定第一圖像的比例不變特徵。有關附加細節，參見圖 7e。在步驟718中，行動裝置將表示第一圖像的比例不變特徵的第一數據存儲在庫中。在步驟720中，用戶諸如通過按下結合圖7d所討論的UI中的鍵，來提供選擇電子設備的類型 (例如，TV或PC)的命令。在步驟722中，行動裝置基於電子設備的類型，存儲將用戶界面配置和/或通信協議與第一圖像相關聯的數據。如上文所提及的，這可包括用戶手動配置行動裝置，諸如通過訪問電子設備的菜單和型號，並基於電子設備的類型，來選擇電子設備的適當的條目。在某些情況下，一旦知道了電子設備的類型，就可以標識適當的UI配置和/ 或通信協議，無需用戶的其他輸入。例如，可以對於電視機使用一種UI配置和/或通信協議，而可以對於PC使用另一種UI配置和/或通信協議。行動裝置還可以在設置階段之後與電子設備進行通信，以獲取用於控制電子設備的更進一步的信息。
圖7c描繪了在圖7b的方法的設置階段之後的實現階段。實現階段在步驟730中開始。在步驟732中，行動裝置使用其相機來捕捉包括電子設備的環境的第二圖像。在一種可能的實現中，在步驟734中，確定表示第二圖像的比例不變特徵的第二數據。有關附加細節，參見圖7e。在步驟736中，行動裝置確定第二數據是否匹配庫中的數據，庫中的數據可包括諸如不同的電視機和PC之類的電子設備，以及它們的環境的一個或多個參考圖像的比例不變特徵。有關附加細節，參見圖7f和7g。如果在判定步驟738中有匹配，則在步驟742中利用與庫中的匹配的參考圖像相關聯的UI配置和/或通信協議配置行動裝置。 如果在判定步驟738中沒有匹配，則在步驟732中通過行動裝置向用戶顯示錯誤消息。例如，消息可以說「沒有標識電子設備，請再試一次」，在這樣的情況下，可以在步驟720中重複過程。用戶可以嘗試改善成功的機會，諸如通過與獲取第一圖像的位置站得更靠近些，諸如通過打開燈來改變照明條件，將相機握得更穩些，或以其他方式調整相機設置，或將相機更準確地瞄準用戶希望控制的電子設備。圖7d描繪了帶有被配置成用於在圖7b的方法的設置階段捕捉電子設備的圖像的觸控螢幕用戶界面的行動裝置。行動裝置100包括帶有虛擬鍵750的用戶界面顯示300，用戶選擇虛擬鍵750來拍攝電子設備的照片。區域752描繪了結果圖像。可以由用戶選擇虛擬鍵7M和756，以例如，分別將電子設備的類型標識為電視機或PC。用戶還可以在菜單中導航以具體地諸如按製造商和型號來標識電子設備的類型。「下一」鍵758可使用戶對於另一個電子設備繼續設置階段。也可以使用硬鍵308。圖7e描繪了用於確定圖像的比例不變特徵的過程。可以使用該過程來實現圖7b 的步驟716和圖7c的步驟734。在一種可能的實現中，可以使用比例不變特徵變換(SIFT) 算法來比較兩個圖像。也可以使用其他圖像比較算法。步驟760是過程的開始。在步驟 762中，訪問相機中的圖像數據。步驟764包括通過連續地使圖像模糊以產生模糊圖像，並將初始圖像減去模糊圖像，來產生與初始圖像的差異圖像。可以使用連續的模糊和減法操作來產生連續的差異圖像，其中，連續的模糊步驟中所使用的初始圖像包括在前導模糊步驟中所產生的模糊圖像。步驟766包括定位差異圖像中的像素振幅極值。這可包括將考慮中的圖像中的每一個像素的振幅與考慮中的圖像中的每一個像素周圍的區域的像素的振幅進行比較，以標識局部最大和最小振幅像素。考慮中的像素周圍的區域可以涉及同一個圖像中的像素的區域，以及至少一個相鄰的圖像(如前導圖像或後繼圖像，或兩者)中的像素的區域。步驟768包括在給定差異圖像中定義振幅極值周圍的像素區。區域被定義為在相對應的極值周圍的定向排列的多個位置。取決於應用所需的解析度，區域可以是任何大小。 在某些情況下，16x16像素的網格中所定義的區域是合適的。步驟770包括將一個像素區分割為多個子區域。步驟772包括產生從圖像產生的多個差異圖像中的像素振幅極值周圍的像素區的每一個子區域的多個組件子區域描述符。多個組件子區域描述符定義由行動裝置的相機捕捉的圖像的比例不變特徵。圖7f描繪了用於基於圖像的比例不變特徵來匹配圖像的過程的第一部分。步驟 774是用於確定考慮中的圖像是否匹配庫中的數據的過程的開始。步驟776包括檢索一組， 例如，8個表示考慮中的圖像的比例不變特徵的組件子區域描述符集合。步驟778包括從庫中檢索最匹配的一組8個表示比例不變特徵的組件子區域描述符集合，比例不變特徵被定義為具有每一個集中的每一個描述符的最小差平方和(sum of squared differences)的特徵。這又可以通過計算到每一個描述符的距離來求出。這也可以通過應用已知的k-d樹算法來執行。步驟780包括將表示庫的比例不變特徵和考慮的圖像比例不變特徵的組應用到霍夫變換。判定步驟782確定是否已經考慮了表示最後的圖像比例不變特徵的最後的組， 如果沒有，則步驟784包括尋址(address)表示考慮中的圖像的下一比例不變特徵的下一組，並在步驟776中恢復處理。如果在判定步驟782中已經考慮了最後的比例不變特徵，則步驟786包括讀取霍夫變換輸出，以標識包含在圖像和庫之間匹配的三個或更多比例不變特徵的可能的對象。有效地，霍夫變換基於與庫中的可能的對象相關聯的比例不變特徵，提供可能的對象的列表，以及考慮中的圖像裡匹配庫中的比例不變特徵的比例不變特徵的列表。在產生了可能的對象和匹配的特徵的列表之後，將列表上的每一對象應用於如圖7g所示的過程。圖7g描繪了用於基於圖像的比例不變特徵來匹配圖像的過程的第二部分。霍夫變換可以產生考慮中的圖像內對象的參考組件描述符的列表，以及來自比例不變特徵的庫的匹配的參考組件描述符的列表。這些列表可以適用於最小平方擬合算法，該算法嘗試標識多個標識可能的對象中的一個的最佳擬合參考組件描述符。發現了最佳擬合子區域描述符之後，可以輕鬆地標識從其產生了參考組件描述符的圖像，並由此可確定與這樣的參考組件描述符相關聯的對象的比例和定向以及標識，以準確地標識考慮中的圖像中的對象、 其定向，其比例以及其位置。具體而言，該過程的第二部分將最小平方數據擬合算法應用到表示與對象相關聯的比例不變特徵的組件描述符組，並應用於表示考慮中的圖像的比例不變特徵的匹配的組件描述符組，以確定匹配/關聯度。如果匹配度高，那麼，指示對象在圖像中存在，如果不， 則考慮列表中的其他對象。步驟788包括從比例不變特徵庫中的組件描述符組檢索表示由霍夫變換所產生的可能的對象的比例不變特徵的組件描述符組。步驟790包括從考慮中的圖像檢索組件描述符的匹配比例不變特徵組。步驟792包括將檢索到的表示可能的對象的比例不變特徵的組件描述符組和檢索到的表示考慮中的圖像的比例不變特徵的匹配的組件描述符組應用到最小平方數據擬合算法，確定對象的位置，對象相對於來自庫中的比例不變特徵的圖像的比例的大小，對象的定向，以及誤差殘餘值或關聯度。在判定步驟794，如果誤差殘餘值或關聯度大於預定義閾值，那麼，認為對象不太可能是考慮中的圖像中所描繪的，且判定步驟796確定是否已經考慮了列表中的最後一個對象。如果已經考慮了列表中的最後一個對象，則過程在步驟797中結束。如果列表中的最後一個對象沒有被考慮，則步驟798包括尋址列表中的下一對象，並在步驟788中恢復處理。如果在判定步驟794中誤差殘餘被確定為小於預定閾值，則步驟795包括指示可能的對象的位置、大小和定向。以上面的方式，指示了其在參考庫中有存儲的圖像的對象的存在或不存在，以及關於對象的其他物理信息。如此，在發生了其中比例不變特徵被標識並存儲在一個或多個電子設備的庫中的設置階段之後，可以發生實現階段，在該階段，捕捉並處理電子設備中的一個的圖像，以便與庫中的一個或多個候選進行比較，以標識匹配。基於該匹配，利用相對應的UI配置和/或通信協議來配置行動裝置。圖8a描繪了在行動裝置被自動配置成與電子設備一起使用之後電子設備顯示信息以鏡像行動裝置的用戶界面。一旦行動裝置100具有控制電子設備104的能力，它就可以充當該電子設備的常規遙控裝置，以控制由電子設備的顯示設備105顯示什麼。在另一方面，行動裝置100向電子設備傳遞數據，供顯示在顯示設備上。例如，顯示設備105的全部或一部分810可以鏡像(複製)在行動裝置100的用戶界面顯示300上顯示的內容。顯示設備105的其餘部分812可以繼續提供由顯示設備所提供的普通的內容。此外，各種觸發器還可以導致行動裝置指示電子設備顯示信息。例如，當行動裝置接收到傳入電話呼叫時，行動裝置可以控制顯示設備以鏡像用戶界面顯示300，該顯示300包括帶有信號強度計、時間顯示和電池強度指示器的區域802。 行動裝置可以具有使用呼叫者標識特徵來訪問聯繫人的能力，其中，呼叫者的電話號碼被感測，並用來查找和顯示預先存儲的記錄。例如，區域804提供呼叫者的名稱和圖像，而區域806提供關於呼叫者的個人信息，包括由用戶作出的附註，以及用於結束呼叫的軟鍵。也可以使用硬鍵308。在用戶界面顯示300上顯示的信息與傳入電話呼叫有關。當用戶與行動裝置進行交互時發生另一個可能的觸發，導致它顯示新信息，或者當行動裝置顯示新信息而用戶不與它進行交互時，如當顯示日曆提醒信號系統上的事件的提醒信號時。例如，用戶可以查看存儲在行動裝置中的照片，在這樣的情況下，照片也在顯示設備105上顯示。注意，顯示設備105的鏡像在用戶界面顯示300上顯示的內容的部分810可以在消失之前保持指定的時間段，或者，它可以保持直到用戶輸入刪除它的命令。此外，顯示設備105不需要鏡像UI顯示300，因為可以在顯示設備105上以不同的格式提供有關UI顯示 300的信息。例如，可以在顯示設備105的底部顯示對聯繫人的文字描述。在另一個可能的方面，某些類型的聯繫人，例如，個人、同事、家庭或某些單個聯繫人，可以由用戶來配置，以觸發顯示810，而其他聯繫人不觸發顯示810。此外，除傳入電話呼叫之外，還可以觸發諸如 SMS文本消息和電子郵件之類的其他傳入消息。圖8b描繪了其中在行動裝置被自動配置成與電子設備一起使用之後電子設備向行動裝置顯示呼叫者的聯繫人信息的方法。在步驟820中，行動裝置的用戶界面(UI)被配置成控制電子設備，例如，使用此處所描述的技術。在步驟822中，由行動裝置接收傳入電話呼叫。在步驟824中，行動裝置使用呼叫者id功能來獲取呼叫者的電話號碼。在步驟 826中，行動裝置基於電話號碼來訪問聯繫人信息。在步驟828中，行動裝置在其UI顯示上顯示聯繫人信息(圖8a)。請注意，當接收到呼叫並在呼叫被應答之前會發生這種情況。 用戶可以基於聯繫人信息來決定不應答呼叫。在步驟830中，行動裝置向電子設備發射帶有來自UI顯示的圖像數據的無線信號。這可以使用與電子設備兼容的任何格式的圖像數據來實現。在步驟832中，電子設備接收無線信號，並在顯示設備上提供UI顯示(圖Sb)。圖8c描繪了其中在行動裝置被自動配置成與電子設備一起使用之後電子設備鏡像行動裝置的用戶界面的方法。此方法涉及每當更新UI顯示300時向電子設備發射UI數據。在步驟840中，行動裝置的UI被配置成控制電子設備。在步驟842中，用戶與行動裝置進行交互，以使得在步驟844中，行動裝置更新其UI顯示。作為響應，在步驟846中，行動裝置向電子設備發射帶有來自UI顯示的圖像數據的無線信號。在步驟848中，電子設備接收無線信號，並在顯示設備上提供UI顯示(圖8b)。圖9a描繪行動裝置的示例框圖。描繪了典型的蜂窩電話的示例性電子電路。電路900包括可包含一個或多個微處理器的一個或多個控制電路912，以及存儲由控制電路 912的一個或多個處理器執行來實現此處所述的功能的處理器可讀代碼的存儲器910 (例如，諸如ROM等非易失性存儲器和諸如RAM等易失性存儲器)。控制電路912還與RF發射 /接收電路906進行通信，該電路906又耦合到天線902，帶有紅外線發射器/接收器908， 並帶有諸如加速度計之類的移動/定向傳感器914。加速計被包括到行動裝置中，以啟用諸如讓用戶通過姿勢輸入命令的智能用戶界面之類的應用程式，在與GPS衛星斷開聯繫之後計算設備的移動和方向的室內GPS功能，並檢測設備的定向，並且，當旋轉電話時自動地將顯示從縱向變為橫向。可以，例如，通過微機電系統(MEMS)來提供加速度計，該微機電系統是構建在半導體晶片上的微小機械設備(微米尺寸)。可以感應加速方向、以及定向、振動和震動。控制電路912進一步與響鈴器/振動器916、用戶界面鍵區/屏幕918、揚聲器 920、話筒922、相機924、光傳感器擬6和溫度傳感器擬8進行通信。控制電路912控制無線信號的發射和接收。在發射模式期間，控制電路912向發射/接收電路906提供來自話筒922的語音信號或其它數據信號。發射/接收電路906將該信號發射到遠程站(例如固定站、運營商、其他蜂窩電話等)來通過天線902進行通信。 響鈴器/振動器916被用於向用戶發傳入呼叫、文本消息、日曆提醒、鬧鐘提醒或其他通知等信號。在接收模式期間，發射/接收電路906通過天線902接收來自遠程站的語音或其他數據信號。所接收到的語音信號被提供給揚聲器920，同時所接收到的其它數據信號也被適當地處理。控制電路912可以實現如此處所討論的通信，以及圖像處理和關聯算法。圖9b描繪了示例行動裝置網絡。如上文所提及的，行動裝置可以訪問一個或多個伺服器以獲取用於配置其本身以控制電子設備的信息。行動裝置100可以經由網絡950，通過行動裝置伺服器％4和諸如資料庫伺服器952之類的後端伺服器來進行通信。行動裝置伺服器％4負責處理往返於行動裝置的通信，而資料庫伺服器952可以存儲用於配置行動裝置的信息。例如，由行動裝置100從電子設備接收到的控制信息可以被轉發到資料庫伺服器952，以獲取關於用戶界面設置和用來與電子設備一起使用的通信協議的信息。此數據可以另選地或另外地存儲在行動裝置100處。圖10描繪了電視的示例框圖。電路1000包括控制電路1012，該控制電路1012 可包括一個或多個微處理器，以及存儲處理器可讀代碼的存儲器1010 (例如，諸如ROM之類的非易失性存儲器和諸如RAM之類的易失性存儲器)，處理器可讀代碼由控制電路1012的一個或多個處理器執行以實現此處所描述的功能。控制電路1012還與RF發射/接收電路 1006進行通信，該電路1006又耦合到天線1002，諸如以從行動裝置，或WLAN中的其他組件接收RF信號，以及向它們發送RF信號。紅外發射器/接收器1008可以類似地用於向行動裝置發射信號或從行動裝置接收信號。到TV信號源1014的接口可以從地面電視天線、有線廣播系統、衛星發射器，以及乙太網廣播系統接收播放的視頻內容，乙太網廣播系統是使用通過光纖、銅扭絞線對或同軸電纜發送到用戶的家庭的乙太網網際網路協議(IP)廣播數據包來組合了網際網路、電話，以及電視服務的捆綁式服務。視頻輸出1016可包括顯示設備(例如，圖Ib中的電視機105的顯示設備104)。還可提供音頻輸出1018，與數字視頻記錄器(DVR) 1020的接口以及與PC 1022的接口。控制電路1012可以實現如此處所討論的通信和圖像處理。圖11描繪了個人計算機(PC)的示例框圖。電路1100包括控制電路1112，該控制電路1112可包括一個或多個微處理器，以及存儲處理器可讀代碼的存儲器1110(例如，諸如ROM之類的非易失性存儲器和諸如RAM之類的易失性存儲器)，代碼由控制電路1112的一個或多個處理器執行以實現此處所描述的功能。控制電路1112還與RF發射/接收電路 1106進行通信，該電路1106又耦合到天線1102，以便從行動裝置，或WLAN中的其他組件接收RF信號，以及向它們發送RF信號。紅外發射器/接收器1108可以類似地用於向行動裝置發射信號或從行動裝置接收信號。視頻輸出1116可包括顯示設備(例如，圖Ib中的監視器110的顯示設備111)。還可提供音頻輸出1118以及與TV 1122的接口。控制電路1112可以實現如此處所討論的通信和圖像處理。圖12描繪了適於實現各實施例的計算機硬體的示例框圖。計算機硬體可以表示， 例如，圖4的行動裝置。用於實現各個實施例的示例性系統包括通用計算設備1210。計算設備1210的組件可包括處理單元1220、系統存儲器1230以及將包括系統存儲器的各類系統組件耦合至處理單元1220的系統總線1221。系統總線1221可以是例如存儲器總線或存儲器控制器、外圍總線、以及使用各種總線體系結構中的任一種的局部總線。計算設備1210可包括各種計算機或處理器可讀介質。計算機可讀介質可以是可由計算設備1210訪問的任何可用介質，而且包含易失性和非易失性介質、可移動和不可移動介質。計算機可讀介質可包括計算機存儲介質，諸如以用於存儲諸如計算機可讀指令、數據結構、程序模塊或其它數據等信息的任何方法或技術實現的易失性和非易失性、可移動和不可移動介質。計算機存儲介質包括但不限於，RAM、ROM、EEPR0M、快閃記憶體或其他存儲器技術、CD-ROM、數字多功能盤(DVD)或其他光學存儲、磁帶盒、磁帶、磁碟存儲或其他磁存儲設備、或能用於存儲所需信息且可以由計算設備1210訪問的任何其他介質。以上的任一種的組合也包括在計算機可讀介質的範圍之內。系統存儲器1230包括易失性和/或非易失性存儲器形式的計算機存儲介質，如只讀存儲器(ROM) 1231和隨機存取存儲器(RAM) 1232。基本輸入/輸出系統1233 (BIOS)包含有助於諸如啟動時在計算設備1210中元件之間傳遞信息的基本例程，它通常存儲在ROM 1231中。RAM 1232通常包含處理單元1220可立即訪問和/或目前正在操作的數據和/ 或程序模塊。例如，可提供作業系統1234、應用程式1235、其它程序模塊1236和程序數據 1237。計算機系統1210還可包括其它可移動/不可移動、易失性/非易失性計算機存儲介質。僅作為示例，圖12圖解了不可移動、非易失性存儲器1240，諸如固態存儲器，以及從或向可移動、非易失性存儲器卡1250讀取的存儲器卡(例如，SD卡)接口 /讀取器1252。 可以在示例性操作環境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質包括但不限於，快閃記憶體卡、數字多功能盤、數字錄像帶、固態RAM、固態ROM等等。計算機存儲介質提供對計算機可讀指令、數據結構、程序模塊、和計算設備1210 的其它數據的存儲。例如，不可移動、非易失性存儲器1240被示為存儲作業系統1M4、應用程式1M5、其它程序模塊1246和程序數據1247。這些組件可以與系統存儲器1234中的作業系統1235、應用程式1236、其他程序模塊1230和程序數據1237相同，也可以與它們不同。在此作業系統1M4、應用程式1M5、其他程序模塊1246以及程序數據1247被給予了不同的編號，以說明至少它們是不同的副本。用戶可通過諸如鍵盤/觸控螢幕1262和話筒 1261等輸入設備將命令和信息輸入到計算設備1210中。其它輸入設備(未示出)可以包括操縱杆、遊戲手柄、圓盤式衛星天線、掃描儀等。這些和其他輸入設備通常通過耦合至系統總線的用戶輸入接口 1260連接至處理單元1220，但也可以由其他接口和總線結構，例如並行埠、遊戲埠或通用串行總線(USB)來連接。顯示器/監視器1291也經由接口，諸如視頻接口 1290連接至系統總線1221。相機/光傳感器1202通過接口 1201連接到系統總線1221。諸如音頻輸出1297等其它外圍輸出設備可通過輸出外圍接口 1295來連接。計算設備1210可使用至諸如遠程計算設備1280等一個或多個遠程計算設備的邏輯連接在網絡化環境中操作。遠程計算設備1280可以是另一行動裝置、個人計算機、伺服器、路由器、網絡PC、對等設備或其它常見的網絡節點，並且一般包括上面就計算設備1210 描述的許多或全部元件。這些聯網環境在辦公室、企業範圍計算機網絡、內聯網和網際網路中是常見的。當在聯網環境中使用時，計算設備1210通過網絡接口或適配器1270連接至另一網絡。在網絡化環境中，相對於計算設備1210描繪的程序模塊或其部分可被儲存在遠程存儲器存儲設備中。例如，遠程應用程式1285可駐留在存儲器設備1281上。所示的網絡連接是示例性的，並且可以使用在計算設備之間建立通信鏈路的其它手段。前面的對本技術的詳細描述只是為了說明和描述。它不是為了詳盡的解釋或將本技術限制在所公開的準確的形式。鑑於上述教導，許多修改和變型都是可能的。所描述的實施例只是為了最好地說明本技術的原理以及其實際應用，從而使精通本技術的其他人在各種實施例中最佳地利用本技術，適合於特定用途的各種修改也是可以的。本技術的範圍由所附的權利要求進行定義。
權利要求
1.一種通過無線信號進行通信的手持式行動裝置，包括圖像傳感器(924)；用戶界面(918)；存儲處理器可讀代碼的存儲器(910)；以及執行所述處理器可讀代碼的至少一個處理器(912)，所述至少一個處理器在第一時間使用所述圖像傳感器來捕捉所述電子設備的至少第一圖像，基於所述至少第一圖像，將第一數據存儲在所述存儲器中，在所述第一時間之後的第二時間，使用所述圖像傳感器捕捉所述電子設備的至少第二圖像，基於所述至少第二圖像，提供第二數據，確定所述第一數據是否匹配所述第二數據，並且如果所述第一數據匹配所述第二數據，則配置所述用戶界面來與所述電子設備一起使用。
2.如權利要求1所述的手持式行動裝置，其特徵在於所述第一數據標識所述至少第一圖像的比例不變特徵，所述第二數據標識所述至少第二圖像的比例不變特徵，而所述至少一個處理器確定所述至少第一圖像的所述比例不變特徵和所述至少第二圖像的所述比例不變特徵之間的關聯是否大於預定義閾值。
3.如權利要求1所述的手持式行動裝置，其特徵在於為配置所述用戶界面，所述至少一個處理器訪問所述存儲器中的將用戶界面配置與所述至少第一圖像相關聯的數據。
4.如權利要求1所述的手持式行動裝置，其特徵在於所述至少一個處理器通過所述用戶界面接收標識所述電子設備的類型的用戶命令，並基於所標識的所述電子設備的類型來配置所述用戶界面。
5.如權利要求4所述的手持式行動裝置，其特徵在於所標識的類型是電視機和個人計算機中的至少一種。
6.如權利要求1所述的手持式行動裝置，其特徵在於所述圖像傳感器是檢測可見光的相機。
7.如權利要求1所述的手持式行動裝置，其特徵在於為配置所述用戶界面，所述至少一個處理器提供顯示允許用戶控制所述電子設備的按鈕的觸控螢幕。
8.如權利要求1所述的手持式行動裝置，其特徵在於，在所述用戶界面被配置成與所述電子設備一起使用之後，所述至少一個處理器激活所述行動裝置，以向所述電子設備發射帶有要在所述電子設備的顯示設備上顯示的信息的無線信號。
9.如權利要求8所述的手持式行動裝置，其特徵在於所述至少一個處理器激活所述行動裝置以發射響應於由所述行動裝置接收到的傳入電話呼叫的所述無線信號，而要在所述顯示設備上顯示的所述信息與所述傳入電話呼叫有關。
10.如權利要求8所述的手持式行動裝置，其特徵在於要在所述顯示設備上顯示的所述信息鏡像在所述用戶界面上顯示的信息。
11.如權利要求8所述的手持式行動裝置，其特徵在於，還包括至少一個傳感器，所述至少一個傳感器指示何時所述行動裝置處於圖像拍攝定向，並且所述至少一個處理器響應於所述至少一個傳感器激活所述行動裝置以發射所述無線信號。
12.一種用於配置通過無線信號進行通信的行動裝置的處理器實現的方法，包括在第一時間，使用圖像傳感器(924)捕捉電子設備的至少第一圖像(714)；基於所述至少第一圖像存儲第一數據(718)；在所述第一時間之後的第二時間，使用所述圖像傳感器捕捉所述電子設備的至少第二圖像(732)；基於所述至少第二圖像，提供第二數據(734)；確定所述第一數據是否匹配所述第二數據(736)；以及如果所述第一數據匹配所述第二數據，則配置所述用戶界面來與所述電子設備一起使用(742)。
13.如權利要求12所述的處理器實現的方法，其特徵在於所述第一數據標識所述至少第一圖像的比例不變特徵，所述第二數據標識所述至少第二圖像的比例不變特徵，並且所述確定包括確定所述至少第一圖像的所述比例不變特徵和所述至少第二圖像的所述比例不變特徵之間的關聯是否大於預定義閾值。
14.如權利要求12所述的處理器實現的方法，其特徵在於通過配置所述用戶界面以提供顯示允許用戶控制所述電子設備的觸控螢幕，所述用戶界面被配置成與所述電子設備一起使用。
15.如權利要求12所述的處理器實現的方法，其特徵在於，在所述用戶界面與所述電子設備一起使用之後，所述方法還包括激活所述行動裝置以向所述電子設備發射帶有要在所述電子設備的顯示設備上顯示的信息的無線信號。
全文摘要
使用諸如蜂窩電話之類的行動裝置來遠程控制諸如電視機或個人計算機之類的電子設備。在設置階段，行動裝置捕捉電子設備的圖像，並標識和存儲圖像的比例不變特徵。諸如虛擬鍵區配置之類的用戶界面配置，以及通信協議可以與所存儲的數據相關聯。隨後，在實現階段，捕捉電子設備的另一個圖像，並將其與庫中的所存儲的特徵進行比較以標識匹配。作為響應，實現相關聯的用戶界面配置和通信協議以控制電子設備。在輪詢和答覆過程中，行動裝置捕捉電子設備的顯示器的圖像，並將它與由電子設備傳輸的圖像數據進行比較。
文檔編號H04W88/02GK102498725SQ201080026392
公開日2012年6月13日 申請日期2010年6月9日 優先權日2009年6月12日
發明者C·J·米戈斯, J·埃斯特拉達, M·T·阿貝爾, S·N·巴斯徹, W·J·威斯特瑞恩 申請人:微軟公司