用於頭戴式顯示器的具有電源管理的藍牙或其他無線接口的製作方法
2023-06-03 08:23:31 3
用於頭戴式顯示器的具有電源管理的藍牙或其他無線接口的製作方法
【專利摘要】一種頭戴式顯示器(HMD)系統，該系統包括無線前端，該無線前端解釋口頭命令和/或手部動作和/或身體姿勢，以選擇性地僅根據需要激活子系統組件以執行特定的命令。
【專利說明】用於頭戴式顯示器的具有電源管理的藍牙或其他無線接口
[0001]相關申請的交叉引用
[0002]本申請要求於2010年9月20日提交的美國臨時申請號61/384，419以及於2010年9月20日提交的美國臨時申請號61/384，543的權益。通過引用將以上一項或多項申請的全部教導結合在此。
【技術領域】
[0003]本公開內容涉及一種頭戴式顯示器(HMD)系統或其他視頻眼鏡裝置，其具有控制其他系統組件的激活的無線前端。
【背景技術】
[0004]近期研發的微型顯示器可以在非常小的形狀因素中提供大幅面、高解析度的彩色圖片和視頻流。此類顯示器的一個用途是戴在用戶臉部或頭部的頭戴式顯示器(HMD)裝置，類似一副眼鏡或耳機。附裝在此類裝置中的電子元件已經變得非常複雜，並且現在可以包括集成數據處理器、無線接口及其他輸入設備，如頭部跟蹤加速計、攝像機、語音識別電路和軟體及其他組件。
【發明內容】
[0005]在優選的環境中，頭戴式顯示器(HMD)系統包括高解析度微型顯示器、(多個)麥克風和(多個)揚聲器、多個輔助接口(如無線接口)、多個無線網絡接口、多個攝像機(可見光、紅外線等)、多個音頻設備、多個鍵盤、多個遊戲控制器設備及其他外設。
[0006]無線接口(如藍牙、WiF1、蜂窩或其他無線接口)成為該系統的前端並控制其他系統組件何時被激活。當該HMD系統第一次接通電源時，它可以例如類似於藍牙耳機以最小功能起作用，從而只提供揚聲器和麥克風的功能。成對的裝置(如藍牙兼容的行動電話(即Apple iPhone或Google Android智慧型電話))可以在免提模式下用於饋送音頻對話並且被饋送音頻對話。在此模式下，該HMD系統的其他功能保持在休眠模式，直到耳機識別出喚醒其他系統組件及功能的口頭命令。
[0007]例如，當該藍牙前端用特定的音頻組件檢測到傳入的數據流時，該音頻組件被傳到體現為電路或軟體的語音識別功能。如果該語音識別功能確定該音頻組件是向需要視頻輸出的該系統的口頭命令，該前端將導致該嵌入式數據處理器開啟任何其他外圍設備，如視頻顯示器。當不再需要該視頻顯示器時，該處理器及視頻驅動電路被放回睡眠模式。
[0008]在另一個示例中，該用戶可以說出需要該板載處理器的更複雜功能的命令。例如，該用戶可以請求讀取今天的「待辦」任務清單。該清單可以由如在主計算機上運行的Microsoft Outlook的應用程式生成。執行此命令不僅需要喚醒該嵌入式處理器以訪問本地大容量存儲設備從而取得該待辦清單信息，還需要生成與該口頭語言相對應的音頻信號的文字至語音電路。
[0009]在另一個示例中，該用戶可以請求查看作為Microsoft Word文件附在網頁郵件消息中的議程文件。這可能需要喚醒該嵌入式處理器，激活該本地微型顯示器，並且與外部網絡建立連接，例如通過藍牙、無線區域網(WLAN)電路和/或蜂窩數據機電路。然後，這些電路將僅在那時被通電。然後，該嵌入式處理器與主機(如個人計算機)聯繫，從而檢索和顯不網絡彳目息。
[0010]為了支持此功能，該無線前端其中已包含了表格或其他邏輯，使它不僅能夠執行語音至文字的功能，或將姿勢轉換成文字，然後還能夠解釋這些語音或姿勢命令並諮詢一列需要通電的組件以執行這些口頭或姿勢命令。
【專利附圖】
【附圖說明】
[0011]根據本發明的示例實施例的以下更具體的說明，上述內容將是清楚的，如在這些附圖中展示的，其中貫穿這些不同的視圖，相同的附圖標記是指相同的部分。這些圖不一定是按比例繪出，而是著重展示本發明的實施例。
[0012]圖1是包括微型顯示器以及其他外圍接口的頭戴式顯示器(HMD)系統。
[0013]圖2是另一個透視圖，示出了戴在用戶頭部的安裝了攝像機外設的HMD系統。
[0014]圖3是高層次功能圖，示出了該HMD及其作為如個人計算機的主機處理器的控制器的用途。
[0015]圖4是該HMD組件內部的組件的高層次方框圖。
[0016]圖5是更詳細的圖，示出了在特定的實施例中使用的電子組件。
[0017]圖6是高層次流程圖，示出了該藍牙前端如何作為系統控制器起作用從而控制其他各種HMD系統組件何時變得有效的一個示例。
[0018]圖7是口頭命令、姿勢命令或頭部動作命令的列表以及該子系統的那些被激活的部分。
【具體實施方式】
[0019]下面是對示例實施例的說明。
[0020]圖1示出了頭戴式顯示器(HMD)系統100，該系統通常包括框架1000、條帶1002、背部1004、揚聲器1006、懸臂或臂1008和微型顯示器子組件1010。
[0021]HMD 100 可以是基於從 Massachusetts 的 Taunton 的 Kopin Corporation 可得的Golden-1?免提通訊及控制裝置。該裝置的一側(特別是與微型顯示器子組件1010相對的一側)可包括「熱靴」外圍埠 1020，其如下面進一步解釋的可以向配件提供相應的連接，以便用戶可以刪除各種附裝到HMD 100的組件。
[0022]圖2是戴在用戶頭部的HMD 100的視圖，其中攝像機配件1060已經放置在埠1020中。攝像機1060可以包括音頻和視頻傳感和記錄兩個能力，並且可以是例如在類似「子彈凸輪」的小外形因素中。如將在下面進一步解釋的，該用戶提供了用戶命令(可以是頭部動作或語音命令)來控制顯示器1010、攝像機1020的設置並執行其他功能。
[0023]該HMD系統可以主要作為或者獨立個人計算機或者「智慧型電話」裝置和/或作為主機個人計算機或其他裝置的遠程控制發揮作用。為此目的，包括在該殼體中的是各種電子電路，包括如將要很快理解的微型計算機、一個或多個無線接口、相關聯的存儲器或其他存儲裝置、位置、動作和/或姿勢傳感器。這些攝像機位置、動作和/或姿勢傳感器被用來跟蹤該用戶的頭部或手部的位置、動作和/或姿勢，並且該麥克風接收音頻輸入命令。
[0024]該無線接口使HMD系統100能夠被用作智慧型電話本身或用作主機計算裝置200(參見圖3)的遠程控制。例如，主機200可以是膝上計算機、手機、RM Blackberry,Apple iPhone、Google Android或其他智慧型電話設備，具有與遠程控制HMD系統100本身類似或更高的計算複雜性和類似或更大的網絡連通性。主機200可以進一步連接到其他網絡，如通過廣域網(WAN)連接210連接到網際網路。HMD系統100和主機200通過如由藍牙鏈路或無線區域網(WLAN) 150所提供的適當的無線連接彼此連接。
[0025]如圖3所示，HMD系統100接收來自該用戶的輸入，如經由麥克風的語音輸入、經由攝像機或其他光學傳感器的手部運動和/或經由加速計或其他頭部動作跟蹤電路的頭部動作輸入。由系統100中的軟體(和/或與主機200中的軟體合作)把這些內容翻譯成裝置100和/或主機200系統能夠識別的命令。如果這些內容是針對HMD系統100的命令，它會攜帶著它們，並且如果它們是針對主機200的命令，它們被通過藍牙和/或WiFi接口150發送到主機200。然後，主機200按照其自己的作業系統/應用軟體解釋這些已翻譯的命令從而執行各種功能。
[0026]在這些命令中可能有獲取和顯示文件的命令。
[0027]這些命令可能是接聽電話呼叫。
[0028]其他的命令可能是檢索來自網際網路的信息並將其顯示，如電子郵件或網頁。
[0029]其他的命令可能是在虛擬顯示器內選擇視野，然後向該遠程設備返回所選擇的屏幕。還應當理解的是，虛擬顯示區域的非常大的幅面可能與在主機200上運行的作業系統上或內運行的應用軟體相關聯，因為提供給HMD 100上的顯示器1010的各種語音命令和/或頭部動作只選擇了該視野內該大型虛擬顯示區域的一部分。
[0030]關於HMD 100響應於檢測到語音輸入、動作和/或姿勢而能夠執行的功能的更多信息，在於2010年5月5日提交的標題為「使用動作與語音命令的主機應用程式的遠程控制(Remote Control of Host Application Using Motion and Voice Commands)，，(序列號12/774，179，代理人案卷號0717.2098-001)以及於2011年2月I日提交的標題為「由動作、身體姿勢或聲音命令控制的具有可拆卸配件的無線免持式計算耳機(WirelessHands-Free Computing Headset with Detachable Accessories Controlled by Motion，Body Gesture, or Vocal Commands) 」(序列號 13/018，999，代理人案卷號 0717.2102-001)的共同未決的美國專利申請中做出了解釋，其中每個文件的全部內容通過引用結合在此。
[0031]HMD系統100可以向攝像機以外的其他配件提供其他功能，如額外的揚聲器、額外的攝像機、光源及能夠放進熱靴1020或自供電電池中的任何其他電子組件。
[0032]圖4是HMD系統100的非限制性示例實施例的簡化的高層次方框圖。這些組件被集成到如圖1中所示的HMD外殼的各種地方中。HMD系統100可以包括眼容器(eye pod)組件4000，該組件包括上述微型顯示器4010及一個或多個麥克風4020。一個或多個揚聲器4030被放置在靠近用戶耳朵的殼體聽筒中(參見圖1中的項1006)。系統電子元件可以放在該框架上或該框架中的適當位置(如背部1004)，並且包括開放式媒體應用平臺(OMAP)處理器4110、電源/音頻同伴晶片4102、顯示器驅動器4104、頭部跟蹤器4105、電路板4106及無線LAN/藍牙接口 4108。該殼體中還設置有電源，例如鋰離子電池4200。
[0033]頭部跟蹤器電路4106可以包括使用霍爾效應傳感器、MM 二極體、加速計、陀螺儀和/或變頻器檢測頭部動作和姿勢的電路，如沿著或繞著X軸、Y軸和Z軸的橫向運動及旋轉姿勢。
[0034]HMD系統100還可以從外部輸入設備(如無線滑鼠、軌跡球或可以通過藍牙接口4108無線連接的鍵盤)接收輸入。WLAN/BT前端4108、OMAP 4100和/或主機中的軟體可以用於解釋該攝像機檢測到的手勢。攝像機板4060可以任選地提供視頻輸入。
[0035]OMAP處理器可包括中央處理單元，以及可能包括非易失性存儲器和/或只讀存儲器(ROM)的片上存儲器，諸如隨機存取存儲器(RAM)。該OMAP可以是由Texas Instruments,Inc.銷售並使用了多媒體處理器的Texas Instruments型號OMAP 3530的處理器或更新版本。該OMAP通常是比WLAN/BT接口 4108更強大、更耗電的處理器。
[0036]在此示例中，也是從Texas Instruments可得的TPS 65950電源/音頻同伴晶片向該系統提供了音頻、USB、鍵盤控制和電池充電功能。
[0037]WLAN/BT接口 4108可以是型號LBEE 1W8NEC接口的電路或具有類似或更強能力的更新的無線模塊。
[0038]該顯不器驅動器可以是從Massachusetts 的 Westborough 的 Kopin Corporation可得的型號K⑶-A 910的顯不器驅動器。
[0039]也是從Kopin可得的微型顯示器4010可以包括型號113LV、152LV、230LV、WQVGA或其他製造商可接受的微型顯示器。
[0040]NCS模塊4400處理所接收的麥克風信號，以提供語音識別功能並向音頻同伴晶片4102產生音頻信號。
[0041]圖5是更詳細的方框圖，示出了圖4的各種組件之間的連通性。
[0042]從此圖中可以更容易地看到，WLAN/BT前端4108可以用作UART接口。它被編程來控制OMAP處理器4100和相應地音頻和電源同伴晶片4102的通電或斷電狀態，以及施加到其他外圍功能(如攝像機、顯示器、WLAN數據機等)的電力。
[0043]圖6是圖示了幾個示例功能的流程圖，其中WLAN/藍牙前端4108可以控制向其他系統組件的通電。圖7是不例表，該表可以由如端4108保持以確定何時開啟/關閉各種裝置的電源，並且應當在下面圖6的討論中進行參考。
[0044]在第一示例中，在狀態6000下，系統組件最初可能是在休眠模式，只啟用了藍牙耳機的功能(例如麥克風4020和揚聲器4030)。當HMD系統100第一次接通電源時可以進入此狀態6000。因此，例如在狀態6100，如果發生來電電話呼叫，這些音頻輸入和輸出功能在狀態6110保持活躍(例如使麥克風4020處於開啟狀態並啟用揚聲器4030)。但在狀態6120，OMAP 4100、顯示器4010、攝像機4060及其他組件保持在休眠模式。呼叫結束時，處理返回到狀態6000。
[0045]在另一個示例中，從休眠狀態6000，該音頻電路可檢測到特定的用戶語音命令，如「讀取我的待辦清單」。從此狀態6200，該OMAP在狀態6210下被啟用。然後，該OMAP在狀態6220可以訪問本地存儲區域(如SDRAM存儲器)來訪問與用戶的本地任務清單相關聯的文件，從而獲得當日待辦的詳細任務清單。該待辦清單數據在狀態6240(此時該待辦清單文字轉換成了語音)從OMAP 4100返回該音頻接口，並且然後被從耳機100的揚聲器中聽到。一旦完成此功能便進入狀態6500，然後此時該系統返回休眠狀態6000，此時該系統再次只作為藍牙耳機發揮作用，等待另一個用戶命令。[0046]在另一個示例中，在狀態6300,用戶說出命令指示她希望查看www.NYTimes.com上的New York Times主頁。在收到這條命令時，該OMAP在狀態6310被啟用。WLAN接口被激活，使該OMAP能夠向該主處理器發出命令(如結合圖3中所描述的)從而獲得New YorkTimes主頁的HTML內容。在進入狀態6330的某一時刻還啟用了微型顯示器1010，預期該用戶希望顯示網頁。可以用其他方式獲取New York Times, com的該HTML網頁,例如如果該耳機本身有能力通過板載藍牙、WLAN電路(WiFi)或通過輔助蜂窩數據機訪問網際網路。無論如何，一旦獲得了該內容，然後就在狀態6350對其進行格式化並在該微型顯示器上顯示。在某一時刻，該用戶可以發出另一個命令以禁用該顯示器(或者該命令可能超時)，在這一時刻再次進入休眠功能6000。
[0047]因此，當該藍牙和/或WiFi前端用用戶語音命令檢測到傳入的音頻流時，該藍牙和/或WiFi電路自動喚醒該OMAP及其他外圍設備，但只是執行該命令實際必須的那些設備。因此，該藍牙和/或WiFi前端如以表格或資料庫條目的形式保留信息，指示哪些外圍設備和/或OMAP(如果有的話)需要通電以執行許多不同用戶命令中的每一個。
[0048]在又一個示例中(參見圖7)，該攝像機可以檢測用戶的手勢，並提供輸入以控制對系統100的特定組件的通電。在此狀態下，首先啟用了這些音頻組件，但檢測到口頭命令以通過激活至少攝像機4060和OMAP 4100來讀取和解釋手勢。
[0049]在另一個示例中，該用戶可以把頭部運動用作輸入。在此模式下，例如當該用戶正在使用頭部運動平移、縮放或以其他方式導航大幅面虛擬顯示區域時，可能只有頭部動作跟蹤4106及顯示器是被啟用的相關組件。
[0050]這樣，該HMD系統的功能是通過適當口頭命令、姿勢命令或來自主計算機的命令控制的，並且是由該藍牙和/或WiFi接口解釋的，僅根據需要喚醒子系統電子元件的該部分。當完成該活動後，另一個口頭命令或超時可以將該HMD系統返回到睡眠模式。此時，該藍牙和/或WiFi電路回到休眠狀態等待外部接觸信號，如電話呼叫、另一個語音命令或通過WLAN的計算機接口命令。
[0051]在此引用的所有專利、公開申請以及參考文獻的教導都通過引用以其全部內容結合在此。
[0052]雖然已經參考其示例實施例具體地展示和描述了本發明，但是本領域普通技術人員應當理解的是，在不偏離由所附權利要求所包括的本發明的範圍的情況下，其中可以在形式和細節方面進行各種改變。
【權利要求】
1.一種用於控制頭戴式顯示器(HMD)系統的方法，所述系統包括微型顯示器、用戶輸入設備、第一處理器以及兩個或更多個其他外圍電路，所述方法包括: 在第一狀態僅啟用所述第一處理器及所述用戶輸入設備； 檢測用戶輸入； 使用所述處理器將所述用戶輸入解釋為口頭命令或姿勢命令；以及根據所述口頭命令或所述姿勢命令，進入第二狀態，其中啟用兩個或更多個其他外設中所選的外設並且禁用其他外設。
2.根據權利要求1所述的方法，其中所述兩個或更多個其他外設包括第二處理器。
3.根據權利要求2所述的方法，其中所述第二處理器比所述第一處理器更耗電。
4.根據權利要求1所述的方法，其中所述兩個或更多個其他外設選自下組，所述組由廣域網接口、第二處理器、顯示器、攝像機和頭部動作跟蹤器構成。
5.根據權利要求2所述的方法，其中所述用戶輸入是用於訪問文件的口頭命令，並且在所述第二狀態中向所述第二處理器和所述微型顯示器施加電力，然後顯示所述文件。
6.根據權利要求5所述的方法，其中所述用戶輸入是用於訪問網頁的口頭命令，並且所述第二狀態進一步使無線接口能夠連接到網絡以獲取所述網頁。
7.根據權利要求2所述的方法，其中所述外設包括在所述第一狀態啟用的攝像機和第二處理器，所述用戶輸入是手勢，並且所述第二處理器在進入所述第二狀態前解釋所述手勢。
8.根據權利要求2所述的 方法，其中所述外設包括無線接口，並且所述第二狀態通過所述無線接口將所述用戶命令發送到主機。
9.根據權利要求7所述的方法，其中所述用戶命令是用於操縱所述顯示器的一個方面的請求，並且所述第二狀態修改所述顯示器上的信息呈現。
10.一種可攜式耳機裝置，包括: 微型顯示器，用於顯示視覺信息； 兩個或更多個外圍設備，提供一個或多個外設輸入信號，所述一個或多個外設輸入信號指不傳感器輸入或者用戶動作和/或聲音輸入中的至少一個； 第一處理器，用於將指示傳感器輸入或者用戶動作和/或聲音輸入中的至少一個的所述外設輸入信號翻譯成一個或多個檢測到的命令；以及 處理器控制器，用於根據所述一個或多個檢測到的命令選擇性地啟用所述微型顯示器以及所述外設中的一個或多個。
11.根據權利要求10所述的裝置，其中所述一個或多個外圍設備包括: 一個或多個麥克風，用於從所述用戶接收音頻信號，以及 並且所述第一處理器進一步包括: 語音識別器，用於處理音頻信號以檢測聲音命令。
12.根據權利要求10所述的裝置，其中所述一個或多個外圍設備是動作檢測器，並且所述動作檢測器提供兩個或更多個動作輸入，所述兩個或更多個動作輸入指示沿兩個或更多個軸的用戶動作。
13.根據權利要求12所述的裝置，其中所述動作檢測器是用於檢測所述用戶的手部和/或身體姿勢運動的攝像機。
14.根據權利要求12所述的裝置，其中所述動作檢測是用於檢測所述用戶的頭部運動的頭部運動跟蹤設備。
15.根據權利要求1所述的裝置，其中所述外設進一步包括通信接口，所述通信接口在所述可攜式耳機設備與另一個數據處理設備之間提供一個或多個無線鏈路。
16.根據權利要求1所述的裝置，其中所述用戶命令由所述第一處理器處理以控制所述微型顯示器上視覺信息的呈現的多個方面。
17.根據權利要求16所述的裝置，其中所述用戶命令控制視野。
18.根據權利要求17所述的裝置，其中所述用戶命令控制縮放因子、平移因子或比例因子。
19.根據權利要求16所 述的裝置，其中所述用戶命令在網頁顯示中選擇超連結項。
【文檔編號】G09G5/00GK103890836SQ201180050791
【公開日】2014年6月25日 申請日期:2011年9月15日 優先權日:2010年9月20日
【發明者】J·J·雅各布森, C·帕金森, S·A·波姆博 申請人:寇平公司