在可穿戴計算系統上操縱和顯示圖像的製作方法
2023-07-31 06:52:06 1
在可穿戴計算系統上操縱和顯示圖像的製作方法
【專利摘要】公開了用於在可穿戴計算系統上操縱和顯示實時圖像和/或照片的示例方法和系統。可穿戴計算系統可提供可穿戴計算系統的真實世界環境的視圖。可穿戴計算系統可對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像。可穿戴計算系統可接收與對實時圖像的期望操縱相關聯的至少一個輸入命令。該至少一個輸入命令可以是手部姿勢。然後，基於接收到的至少一個輸入命令，可穿戴計算系統可依據期望操縱來操縱實時圖像。在操縱實時圖像之後，可穿戴計算系統可在可穿戴計算系統的顯示器中顯示被操縱的實時圖像。
【專利說明】在可穿戴計算系統上操縱和顯示圖像
[0001]相關申請的交叉引用
[0002]本申請要求於2011年7月20日遞交的題為「Method and System forManipulating and Displaying an Image on a Wearable Computing System(用於在可穿戴計算系統上操縱和顯示圖像的方法和系統)」的第61/509，833號美國臨時專利申請和於2011 年 11 月 8 日遞交的題為 「Manipulating and Displaying an Image on a WearableComputing System (在可穿戴計算系統上操縱和顯示圖像)」的第12/291，416號美國專利申請的優先權，這裡通過引用併入這些申請中的每一個的全部內容。
【背景技術】
[0003]除非本文另外指出，否則本部分中描述的材料並不是本申請中的權利要求的現有技術，並且並不因為被包括在本部分中就被承認為是現有技術。
[0004]諸如個人計算機、膝上型計算機、平板計算機、蜂窩電話和無數類型的具備聯網能力的設備之類的計算設備在現代生活的許多方面中正越來越普遍。隨著計算機變得更先進，預期將計算機生成的信息與用戶對物理世界的感知相混合的增強現實設備會變得更普遍。
【發明內容】
[0005]在一個方面中，一種示例方法包括:(i)可穿戴計算系統提供可穿戴計算系統的真實世界環境的視圖；(ii)對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像；(iii)可穿戴計算系統接收與對實時圖像的期望操縱相關聯的輸入命令；(iv)基於接收到的輸入命令，可穿戴計算系統依據期望操縱來操縱實時圖像；以及(V)可穿戴計算系統在可穿戴計算系統的顯示器中顯示被操縱的實時圖像。
[0006]在示例實施例中，對圖像的期望操縱可從由以下各項構成的組中選擇:在實時圖像的至少一部分上拉近(zoom in)、在實時圖像的至少一部分上平移(pan)、旋轉實時圖像的至少一部分以及編輯實時圖像的至少一部分。
[0007]在示例實施例中，該方法可包括:可穿戴計算系統提供可穿戴計算系統的真實世界環境的視圖；(i)對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像；(ii)可穿戴計算系統接收與對實時圖像的期望操縱相關聯的至少一個輸入命令，其中，至少一個輸入命令包括識別實時圖像的要被操縱的部分的輸入命令，其中，識別實時圖像的要被操縱的部分的輸入命令包括在真實世界環境的一區域中檢測到的手部姿勢，其中，該區域對應於實時圖像的要被操縱的部分；(iii)基於所接收到的至少一個輸入命令，可穿戴計算系統依據期望操縱來操縱實時圖像；以及(iv)可穿戴計算系統在可穿戴計算系統的顯示器中顯示被操縱的實時圖像。
[0008]在另一方面中，公開了一種非暫態計算機可讀介質，其上存儲有指令，所述指令響應於被處理器執行而使得該處理器執行操作。根據示例實施例，所述指令包括:(i)用於提供可穿戴計算系統的真實世界環境的視圖的指令；(ii)用於對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像的指令；(iii)用於接收與對實時圖像的期望操縱相關聯的輸入命令的指令；(iv)用於基於接收到的輸入命令，依據期望操縱來操縱實時圖像的指令；以及(V)用於在可穿戴計算系統的顯示器中顯示被操縱的實時圖像的指令。
[0009]在另外一方面中，公開了一種可穿戴計算系統。示例可穿戴計算系統包括:(i)頭戴式顯示器，其中，頭戴式顯示器被配置為提供可穿戴計算系統的真實世界環境的視圖，其中，提供真實世界環境的視圖包括顯示由計算機生成的信息並允許對真實世界環境的視覺感知；(ii)成像系統，其中，成像系統被配置為對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像；(iii)控制器，其中，控制器被配置為(a)接收與對實時圖像的期望操縱相關聯的輸入命令，以及(b)基於所接收到的輸入命令，依據期望操縱來操縱實時圖像；以及(iv)顯示系統，其中，顯示系統被配置為在可穿戴計算系統的顯示器中顯示被操縱的實時圖像。
[0010]通過閱讀在適當時參考附圖的以下詳細描述，本領域普通技術人員將清楚這些以及其他方面、優點和替換。
【專利附圖】
【附圖說明】
[0011]圖1是依據示例實施例的用於接收、發送和顯示數據的可穿戴計算設備的第一視圖。
[0012]圖2是依據示例實施例的圖1的可穿戴計算設備的第二視圖。
[0013]圖3是依據示例實施例的計算機網絡基礎設施的簡化框圖。
[0014]圖4是圖示根據示例實施例的方法的流程圖。
[0015]圖5a是根據示例實施例的可穿戴計算系統的真實世界環境的示例視圖的圖示。
[0016]圖5b是根據示例實施例的用於選擇實時圖像的一部分來操縱的示例輸入命令的圖示。
[0017]圖5c是根據示例實施例的示例的所顯示的被操縱的實時圖像的圖示。
[0018]圖5d是根據另一示例實施例的另一示例所顯示被操縱實時圖像的圖示。
[0019]圖6a是根據示例實施例的示例手部姿勢的圖示。
[0020]圖6b是根據示例實施例的另一示例手部姿勢的圖示。
【具體實施方式】
[0021]以下詳細描述參考附圖描述了所公開的系統和方法的各種特徵和功能。在圖中，相似的符號一般識別相似的成分，除非上下文另有規定。本文描述的說明性系統和方法實施例並不打算進行限定。將容易理解，所公開的系統和方法的某些方面可按許多種不同的配置來布置和組合，所有這些在本文都已被設想到。
[0022]1.概沭
[0023]可穿戴計算設備可被配置為允許對真實世界環境的視覺感知並且顯示與對真實世界環境的視覺感知有關的計算機生成的信息。有利地，計算機生成的信息可與用戶對真實世界環境的感知相集成。例如，計算機生成的信息可利用與用戶在給定時刻正在感知或經歷的東西有關的有用的計算機生成信息或視圖來補充用戶對物理世界的感知。
[0024]在一些情形中，操縱真實世界環境的視圖對於用戶可能是有益的。例如，放大真實世界環境的視圖的一部分對於用戶可能是有益的。例如，用戶可能正看著一路標，但用戶可能沒有足夠靠近該路標到能夠清楚閱讀路標上顯示的街道名稱。從而，能夠在路標上拉近以便清楚閱讀街道名稱對於用戶可能是有益的。作為另一個示例，旋轉真實世界環境的視圖的一部分對於用戶可能是有益的。例如，用戶可能正查看具有顛倒的或向著側面的文本的某個東西。在這種情形中，旋轉該視圖的一部分使得文本正向直立對於用戶可能是有益的。
[0025]本文描述的方法和系統可促進操縱用戶對真實世界環境的視圖的至少一部分以便實現用戶期望的環境的視圖。具體地，所公開的方法和系統可依據期望的操縱來操縱真實世界環境的實時圖像。示例方法可包括:(i)可穿戴計算系統提供可穿戴計算系統的真實世界環境的視圖；(ii)對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像；
(iii)可穿戴計算系統接收與對實時圖像的期望操縱相關聯的輸入命令；(iv)基於接收到的輸入命令，可穿戴計算系統依據期望操縱來操縱實時圖像；以及(V)可穿戴計算系統在可穿戴計算系統的顯示器中顯示被操縱的實時圖像。
[0026]依據示例實施例，可穿戴計算系統可以以多種方式操縱實時圖像。例如，可穿戴計算系統可在實時圖像的至少一部分上拉近，在實時圖像的至少一部分上平移，旋轉實時圖像的至少一部分，和/或編輯實時圖像的至少一部分。通過提供以這樣的方式操縱實時圖像的能力，用戶可以有益地實時實現用戶期望的環境的視圖。
[0027]I1.示例系統和設各
[0028]圖1圖示了用於接收、發送和顯示數據的示例系統100。系統100是以可穿戴計算設備的形式示出的。儘管圖1圖示了眼鏡102作為可穿戴計算設備的示例，但可以額外地或可替換地使用其他類型的可穿戴計算設備。如圖1中圖示的，眼鏡102包括框架元件、透鏡元件110和112以及延伸側臂114和116，其中框架元件包括透鏡框架104和106以及中央框架支撐108。中央框架支撐108以及延伸側臂114和116被配置為分別經由用戶的鼻子和耳朵將眼鏡102固定到用戶的臉部。框架元件104、106和108以及延伸側臂114和116中的每一個可由塑料和/或金屬的實心結構形成，或者可由類似材料的中空結構形成，以允許配線和組件互連在內部按一定路線經過眼鏡102。透鏡元件110和112中的每一個可由能夠適當地顯示投影的圖像或圖形的任何材料形成。此外，透鏡元件110和112中的每一個的至少一部分也可充分地透明以允許用戶看穿透鏡元件。結合透鏡元件的這兩個特徵可促進增強現實或抬頭顯示，其中投影的圖像或圖形被疊加在用戶透過透鏡元件感知到的真實世界視圖上或者連同該真實世界視圖一起來提供。
[0029]延伸側臂114和116各自是分別從框架元件104和106延伸開的突起物，並且可被定位在用戶的耳後以將眼鏡102固定到用戶。延伸側臂114和116還可通過繞著用戶的頭的後部延伸來將眼鏡102固定到用戶。額外地或可替換地，例如，系統100可連接到頭戴式頭盔結構或附於頭戴式頭盔結構內。其他可能性也是存在的。
[0030]系統100還可包括機載計算系統118、視頻相機120、傳感器122以及手指可操作觸摸板124和126。機載計算系統118被示為定位在眼鏡102的延伸側臂114上；然而，機載計算系統118可設在眼鏡102的其他部分上或者甚至遠離眼鏡(例如，計算系統118可無線或有線地連接到眼鏡102)。機載計算系統118例如可包括處理器和存儲器。機載計算系統118可被配置為接收和分析來自視頻相機120、手指可操作觸摸板124和126、傳感器122 (以及可能來自其他傳感設備、用戶接口元素或者這兩者)的數據並且生成用於輸出到透鏡元件110和112的圖像。
[0031]視頻相機120被示為定位在眼鏡102的延伸側臂114上；然而，視頻相機120可設在眼鏡102的其他部分上。視頻相機120可被配置為以各種解析度或者以不同的幀率捕捉圖像。例如，許多具有小外形參數的視頻相機——比如蜂窩電話或網絡攝像頭中使用的那些一可被包含到系統100的示例中。雖然圖1圖示了一個視頻相機120，但可以使用更多視頻相機，並且每一個可被配置為捕捉相同的視圖，或者捕捉不同的視圖。例如，視頻相機120可以是前向的以捕捉用戶感知到的真實世界視圖的至少一部分。這個由視頻相機120捕捉到的前向圖像隨後可用於生成增強現實，其中計算機生成的圖像看起來與用戶感知到的真實世界視圖交互。
[0032]傳感器122被示為安裝在眼鏡102的延伸側臂116上；然而，傳感器122可設在眼鏡102的其他部分上。傳感器122例如可包括加速度計或陀螺儀中的一個或多個。傳感器122內可包括其他感測設備，或者傳感器122可執行其他感測功能。
[0033]手指可操作觸摸板124和126被示為安裝在眼鏡102的延伸側臂114、116上。手指可操作觸摸板124和126中的每一個可被用戶用來輸入命令。手指可操作觸摸板124和126可經由電容感測、電阻感測或表面聲波過程等等來感測手指的位置和移動中的至少一者。手指可操作觸摸板124和126可能夠感測在與板表面平行或在同一平面內的方向上、在與板表面垂直的方向上或者在這兩個方向上的手指移動，並且還可能夠感測施加的壓力的水平。手指可操作觸摸板124和126可由一個或多個半透明或透明絕緣層和一個或多個半透明或透明導電層形成。手指可操作觸摸板124和126的邊緣可形成為具有凸起的、凹陷的或粗糙的表面，從而在用戶的手指到達手指可操作觸摸板124和126的邊緣時向用戶提供觸覺反饋。手指可操作觸摸板124和126中的每一個可被獨立操作，並且可提供不同的功能。另外，系統100可包括被配置為從用戶接收語音命令的麥克風。此外，系統100可包括允許各種類型的外部用戶接口設備連接到可穿戴計算設備的一個或多個通信接口。例如，系統100可被配置用於與各種手持鍵盤和/或指點設備的連通。
[0034]圖2圖示了圖1的系統100的替換視圖。如圖2中所示，透鏡元件110和112可充當顯示元件。眼鏡102可包括第一投影儀128，該第一投影儀128耦合到延伸側臂116的內表面並且被配置為將顯示130投影到透鏡元件112的內表面上。額外地或可替換地，第
二投影儀132可耦合到延伸側臂114的內表面並被配置為將顯示134投影到透鏡元件110的內表面上。
[0035]透鏡元件110和112可充當光投影系統中的組合器並且可包括塗層，該塗層反射從投影儀128和132投影到其上的光。或者，投影儀128和132可以是與用戶的視網膜直接交互的掃描雷射設備。
[0036]在替換實施例中，也可使用其他類型的顯示元件。例如，透鏡元件110、112本身可包括:諸如電致發光顯示器或液晶顯示器之類的透明或半透明的矩陣顯示器，用於將圖像輸送到用戶的眼睛的一個或多個波導，或者能夠將焦點對準的近眼圖像輸送到用戶的其他光學元件。相應的顯示驅動器可布置在框架元件104和106內以用於驅動這種矩陣顯示器。可替換地或額外地，可以用雷射或LED源和掃描系統來將光柵顯示直接繪製到用戶的一隻或兩隻眼睛的視網膜上。其他可能性也是存在的。[0037]圖3圖示了計算機網絡基礎設施的示例示意圖。在示例系統136中，設備138能夠利用通信鏈路140 (例如，有線或無線連接)與遠程設備142通信。設備138可以是任何類型的可接收數據並顯示與數據相對應或相關聯的信息的設備。例如，設備138可以是抬頭顯示系統，比如參考圖1和圖2描述的眼鏡102。
[0038]設備138可包括顯不系統144,顯不系統144包括處理器146和顯不器148。顯示器148例如可以是光學透視顯示器(optical see-through display)、光學環視顯示器(optical see-around display)或視頻透視顯示器。處理器146可從遠程設備142接收數據，並且將該數據配置用於在顯示器148上顯示。處理器146可以是任何類型的處理器，諸如例如微處理器或數位訊號處理器。
[0039]設備138還可包括機載數據存儲裝置，比如耦合到處理器146的存儲器150。存儲器150例如可存儲可被處理器146訪問和執行的軟體。
[0040]遠程設備142可以是被配置為向設備138發送數據的任何類型的計算設備或發送器，包括膝上型計算機、行動電話等等。遠程設備142也可以是伺服器或伺服器的系統。遠程設備142和設備138可包含用於使能通信鏈路140的硬體，比如處理器、發送器、接收器，
天線等等。
[0041]在圖3中，通信鏈路140被圖示為無線連接；然而，也可使用有線連接。例如，通信鏈路140可以是經由諸如通用串行總線之類的串行總線或者並行總線的有線鏈路。有線連接也可以是專有連接。通信鏈路140也可以是使用例如藍牙?無線電技術、IEEE802.11(包括任何IEEE802.11修訂版)中描述的通信協議、蜂窩技術(比如GSM、CDMA、UMTS、EV_DO、WiMAX或LTE)或紫蜂⑧技術等等的無線連接。遠程設備142可經由網際網路來訪問並且例如可對應於與特定的web服務(例如，社交網絡、照片共享、地址簿，等等)相關聯的計算集群。
[0042]II1.示範件方法
[0043]示範性方法可包括比如系統100這樣的可穿戴計算系統以期望的方式操縱用戶對真實世界環境的視圖。圖4是圖示根據示例實施例的方法的流程圖。更具體而言，示例方法400包括可穿戴計算系統提供可穿戴計算系統的真實世界環境的視圖，如塊402所示。可穿戴計算系統可對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像，如塊404所示。另外，可穿戴計算系統可接收與對實時圖像的期望操縱相關聯的輸入命令，如塊406所示。
[0044]基於接收到的輸入命令，可穿戴計算系統可依據期望操縱來操縱實時圖像，如塊408所示。可穿戴計算系統隨後可在可穿戴計算系統的顯示器中顯示被操縱的實時圖像，如塊410所示。雖然示範性方法400被以示例方式描述為由可穿戴計算系統100執行，但應當理解示例方法可由可穿戴計算設備與一個或多個其他實體相結合來執行，所述其他實體比如是與可穿戴計算系統通信的遠程伺服器。
[0045]參考圖3，設備138可執行方法400的步驟。具體地，方法400可對應於由處理器146在執行非暫態計算機可讀介質中存儲的指令時執行的操作。在示例中，非暫態計算機可讀介質可以是存儲器150的一部分。非暫態計算機可讀介質上可存儲有指令，所述指令響應於被處理器146執行而使得處理器146執行各種操作。所述指令可包括:(i)用於提供可穿戴計算系統的真實世界環境的視圖的指令；(ii)用於對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像的指令；(iii)用於接收與對實時圖像的期望操縱相關聯的輸入命令的指令；(iv)用於基於接收到的輸入命令依據期望操縱來操縱實時圖像的指令；以及(V)用於在可穿戴計算系統的顯示器中顯示被操縱的實時圖像的指令。
[0046]A.提供可穿戴計算系統的真實世界環境的視圖
[0047]如上所敘述的，在塊402，可穿戴計算系統可提供可穿戴計算系統的真實世界環境的視圖。如上所敘述的，參考圖1和圖2，可穿戴計算系統的顯示器148例如可以是光學透視(see-through)顯示器、光學環視(see-around)顯示器或視頻透視顯示器。這樣的顯示器可允許用戶感知可穿戴計算系統的真實世界環境的視圖並且還可能夠顯示看起來與用戶感知到的真實世界視圖交互的計算機生成圖像。具體地，「透視」可穿戴計算系統可在透明表面上顯示圖形，以使得用戶看到覆蓋在物理世界上的圖形。另一方面，「環視」可穿戴計算系統可通過將不透明顯示器放置得靠近用戶的眼睛來將圖形覆蓋在物理世界上，以便利用用戶的雙眼之間的視覺共享並且產生顯示是用戶看到的世界的一部分的效果。
[0048]在一些情形中，修改或操縱所提供的真實世界環境的視圖的至少一部分對於用戶可能是有益的。通過操縱所提供的真實世界環境的視圖，用戶將能夠以期望的方式控制用戶對真實世界的感知。因此，依據示範性實施例的可穿戴計算系統向用戶提供了可使得用戶對真實世界的視圖對於用戶的需求更有用的功能。
[0049]真實世界環境504的示例提供視圖502在圖5a中示出。具體地，此示例說明了當可穿戴計算系統的用戶在駕駛汽車並且正接近一紅燈506時該用戶看到的視圖502。鄰近紅燈506的是路標508。在一示例中，路標可能離用戶太遠以至於用戶不能清楚辨認出路標508上顯示的街道名稱510。在路標508上拉近以便閱讀路標508上顯示了什麼街道名稱510，對於用戶可能是有益的。從而，診據示範性實施例，用戶可輸入一個或多個輸入命令以指示可穿戴計算系統操縱該視圖以使得用戶能夠閱讀街道名稱510。示例輸入命令和期望的操縱在接下來的小節中描述。
[0050]B.獲得真實世界視圖的至少一部分的實時圖像、接收與期望操縱相關聯的輸入命令並且操縱實時圖像
[0051]為了操縱真實世界環境的視圖，可穿戴計算系統可在塊404對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像。可穿戴計算系統隨後可依據用戶期望的操縱來操縱實時圖像。具體地，在塊406，可穿戴計算系統可接收與對實時圖像的期望操縱相關聯的輸入命令，並且在塊408，可穿戴計算系統可依據該期望操縱來操縱實時圖像。通過獲得真實世界環境的視圖的至少一部分的實時圖像並且操縱該實時圖像，用戶可以選擇性地實時補充用戶對真實世界的視圖。
[0052]在一示例中，對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像的步驟404發生在用戶輸入與對實時圖像的期望操縱相關聯的命令之前。例如，視頻相機120可在取景器模式中操作。從而，相機可連續地對真實世界環境的至少一部分成像以獲得實時圖像，並且可穿戴計算系統可在可穿戴計算系統的顯示器中顯示該實時圖像。
[0053]然而，在另一示例中，可穿戴計算系統可在可穿戴計算系統對真實世界環境的視圖的至少一部分實時成像以獲得實時圖像之前接收與對實時圖像的期望操縱(例如，拉近)相關聯的輸入命令。在這種示例中，輸入命令可發起視頻相機在取景器模式中操作以獲得真實世界環境的視圖的至少一部分的實時圖像。用戶可向可穿戴計算系統指出用戶想要操縱用戶的真實世界視圖502的哪個部分。可穿戴計算系統隨後可確定與用戶的真實世界視圖相關聯的實時圖像的那部分是什麼。
[0054]在另一示例中，用戶可能正在查看實時圖像(例如，來自相機的取景器可能正在向用戶顯示實時圖像)。在這種情況下，用戶可以指示可穿戴計算系統用戶想要操縱實時圖像的哪個部分。
[0055]可穿戴計算系統可被配置為從用戶接收指出對圖像的期望操縱的輸入命令。具體地，該輸入命令可指示可穿戴計算系統如何操縱用戶的視圖的至少一部分。此外，該輸入命令可指示可穿戴計算系統用戶想要操縱該視圖的哪個部分。在一示例中，單個輸入命令既可指示可穿戴計算系統(i)要操縱視圖的哪個部分，又可指示(ii)如何操縱所識別的部分。然而，在另一示例中，用戶可輸入第一輸入命令來識別要操縱視圖的哪個部分，並且輸入第二輸入命令來指出如何操縱所識別的部分。可穿戴計算系統可被配置為以多種方式從用戶接收輸入命令，這些方式的示例在下文論述。
[0056]1.示例觸摸板輸入命令
[0057]在一示例中，用戶可經由可穿戴計算系統的觸摸板——比如觸摸板124或觸摸板126——來輸入輸入命令。用戶可以以各種方式與觸摸板交互以便輸入用於操縱圖像的命令。例如，用戶可在觸摸板上執行捏拉縮放(Pinch-zoom)動作以在圖像上拉近。視頻相機可配備有光學變焦能力和數字變焦能力兩者，視頻相機利用這些能力來在圖像上拉近。
[0058]在一示例中，當用戶執行捏拉縮放動作時，可穿戴計算系統朝著實時圖像的中心拉近給定量(例如，2X倍率、3X倍率等等)。然而，在另一示例中，不是朝著圖像的中心拉近，而是用戶可指示系統朝著實時圖像的特定部分拉近。用戶可以以多種方式來指出要操縱(例如拉近)的圖像的特定部分，並且指出要操縱圖像的哪個部分的示例在下文論述。
[0059]作為另一示例觸摸板輸入命令，用戶可在觸摸板用兩根手指作出轉動動作。可穿戴計算系統可將這樣的輸入命令等同為將圖像旋轉給定度數(例如，與用戶轉動手指的度數相對應的度數)的命令。作為另一示例觸摸板輸入命令，可穿戴計算系統可將觸摸板上的雙叩擊等同為在圖像上拉近預定量(例如，2x倍率)的命令。作為又一個示例，可穿戴計算系統可將觸摸板上的三叩擊等同為在圖像上拉近另一預定量(例如，3x倍率)的命令。
[0060]i1.示例姿勢輸入命令
[0061]在另一示例中，用戶可通過利用給定姿勢(例如，手部運動)來輸入操縱圖像的命令。因此，可穿戴計算系統可被配置為跟蹤用戶的姿勢。例如，用戶可在可穿戴計算系統前方進行手部運動，比如在真實世界環境的區域周圍形成邊界。例如，用戶可圈出用戶想要操縱(例如，拉近)的區域。在圈出該區域之後，可穿戴計算系統可以以期望的方式操縱圈出的區域(例如，在圈出的區域上拉近給定量)。在另一示例中，用戶可在用戶想要操縱的區域周圍形成框(例如，矩形框)。用戶可用單手或用雙手形成邊界。另外，所述邊界可以是多種形狀(例如，圓形或基本為圓形的邊界；矩形或基本為矩形的邊界；等等)。
[0062]為了檢測用戶的姿勢，可穿戴計算系統可包括姿勢跟蹤系統。依據一實施例，姿勢跟蹤系統可跟蹤並分析各種移動，比如手部移動和/或附於用戶手部的物體(例如，諸如戒指之類的物體)或者握在用戶手中的物體(例如，諸如手寫筆之類的物體)的移動。
[0063]姿勢跟蹤系統可以以多種方式跟蹤並分析用戶的姿勢。在一示例中，姿勢跟蹤系統可包括視頻相機。例如，姿勢跟蹤系統可包括視頻相機120。這種姿勢跟蹤系統可記錄與用戶的姿勢有關的數據。此視頻相機可以是與用於捕捉真實世界的實時圖像的那個相機相同的視頻相機。可穿戴計算系統可分析記錄的數據以便確定姿勢，隨後可穿戴計算系統可識別出哪個操縱與所確定的姿勢相關聯。可穿戴計算系統可執行光流分析以便跟蹤並分析用戶的姿勢。為了執行光流分析，可穿戴計算系統可分析所獲得的圖像以確定用戶是否在作出手部姿勢。具體地，可穿戴計算系統可分析圖像幀以確定幀中什麼在移動以及什麼沒有在移動。系統還可分析圖像幀以確定用戶正在作出的手部姿勢的類型(例如，形狀)。為了確定手部姿勢的形狀，可穿戴計算系統可執行形狀識別分析。例如，可穿戴計算系統可識別手部姿勢的形狀並將所確定的形狀與各種手部姿勢形狀的資料庫中的形狀相比較。
[0064]在另一示例中，手部姿勢檢測系統可以是雷射二極體檢測系統。例如，手部姿勢檢測系統可以是基於衍射圖樣來檢測手部姿勢的類型的雷射二極體系統。在此示例中，雷射二極體系統可包括被配置為產生給定衍射圖樣的雷射二極體。當用戶執行手部姿勢時，手部姿勢可中斷該衍射圖樣。可穿戴計算系統可分析中斷的衍射圖樣以便確定手部姿勢。在一示例中，傳感器122可包括雷射二極體檢測系統。另外，雷射二極體系統可放置在可穿戴計算系統上的任何適當位置。
[0065]可替換地，手部姿勢檢測系統可包括閉環雷射二極體檢測系統。這種閉環雷射二極體檢測系統可包括雷射二極體和光子檢測器。在此示例中，雷射二極體可發出光，該光隨後可從用戶的手反射回到雷射二極體檢測系統。光子檢測器隨後可檢測到反射的光。基於反射的光，系統可確定手部姿勢的類型。
[0066]在另一示例中，姿勢跟蹤系統可包括被配置為識別用戶的姿勢的掃描儀系統(例如，具有雷射掃描鏡的3D掃描儀系統)。作為又一個示例，手部姿勢檢測系統可包括紅外相機系統。紅外相機系統可被配置為檢測來自手部姿勢的移動並且可分析該移動以確定手部姿勢的類型。
[0067]作為一具體操縱示例，參考圖5b，用戶可能想要在路標508上拉近以便獲得更好的路標508中顯示的街道名稱510的視圖。用戶可作出手部姿勢以圈出路標508周圍的區域520。用戶可在可穿戴計算機前方並且在用戶對真實世界環境的視圖中作出此畫圈手部姿勢。如上所論述的，可穿戴計算系統隨後可對真實世界環境的與用戶圈出的區域相對應的至少一部分成像或者已經有了該部分的圖像。可穿戴計算系統隨後可識別實時圖像的與視圖502的圈出區域520相對應的區域。計算系統隨後可在實時圖像的該部分上拉近並且顯示實時圖像的被拉近部分。例如，圖5c示出了所顯示的被操縱(例如，被放大)的部分540。所顯示的被放大部分540極詳細地示出了路標508,從而使得用戶能夠容易地閱讀街道名稱510。
[0068]在一示例中，圈出區域520可以是僅僅識別出真實世界視圖或實時圖像中用戶想要操縱的的部分的輸入命令。用戶隨後可輸入第二命令來指出期望的操縱。例如，在圈出區域520之後，為了在部分520上拉近，用戶可捏拉縮放或叩擊(例如雙叩擊、三叩擊等等)觸摸板。在另一示例中，用戶可輸入語音命令(例如，用戶可以說出「放大」)以指示可穿戴計算系統在區域520上拉近。另一方面，在另一示例中，圈出區域520的動作可充當既指出
(i)要操縱視圖的哪個部分、又指出(ii)如何操縱所識別的部分的輸入命令。例如，可穿戴計算系統可將用戶圈出視圖的一區域視為拉近到圈出的區域中的命令。其他手部姿勢可指出其他期望操縱。例如，可穿戴計算系統可將用戶在給定區域周圍繪出一方形視為將該給定區域旋轉90度的命令。其他示例輸入命令也是可能的。圖6a和圖6b描繪了可穿戴計算系統可檢測的示例手部姿勢。具體地，圖6a描繪了真實世界視圖602，其中用戶在真實世界環境的一區域中利用手604和606作出手部姿勢。該手部姿勢是形成一矩形框，該矩形框形成真實世界環境的一部分610周圍的邊界608。另外，圖6b描繪了真實世界視圖620，其中用戶利用手622作出手部姿勢。該手部姿勢是用戶的手622的畫圈運動(開始於位置(I)並朝著位置(4)移動)，並且該姿勢形成真實世界環境的一部分626周圍的橢圓邊界624。在這些示例中，所形成的邊界包圍真實世界環境中的一區域，並且實時圖像的要被操縱的部分可對應於所包圍的區域。例如，參考圖6a，實時圖像的要被操縱的部分可對應於被包圍的區域610。類似地，參考圖6b，實時圖像的要被操縱的部分可對應於被包圍的區域626。
[0069]如上所敘述的，手部姿勢還可識別出期望的操縱。例如，手部姿勢的形狀可指出期望的操縱。例如，可穿戴計算系統可將用戶圈出視圖的一區域視為拉近到所圈出的區域中的命令。作為另一示例，手部姿勢可以是捏拉縮放手部姿勢。捏拉縮放手部姿勢可用於既指出用戶想要拉近的區域，又指出用戶想要在該區域上拉近。作為又一個示例，期望的操縱可以是在實時圖像的至少一部分上平移。在這種情況下，手部姿勢可以是揮掃手部運動，其中揮掃手部運動識別期望的平移的方向。揮掃手部姿勢可包括看起來像兩指滾動的手部姿勢。作為又一個示例，期望的操縱可以是旋轉實時圖像的給定部分。在這種情況下，手部姿勢可包括(i )在真實世界環境中的一區域周圍形成邊界，其中，實時圖像的要被操縱的給定部分對應於被包圍的區域，以及(ii)在期望旋轉的方向旋轉所形成的邊界。指出期望的操縱和/或要操縱的圖像的部分的其他示例手部姿勢也是可能的。
[0070]ii1.確定用戶所聚焦的區域
[0071]在另一示例實施例中，可穿戴計算系統可通過確定用戶正聚焦於其上的圖像區域來確定要操縱實時圖像的哪個區域。從而，可穿戴計算系統可被配置為識別真實世界視圖或實時圖像中的用戶所聚焦的區域。為了確定用戶正聚焦在圖像的哪個部分上，可穿戴計算系統可配備有眼睛跟蹤系統。能夠確定用戶所聚焦的圖像區域的眼睛跟蹤系統是本領域公知的。給定的輸入命令可與對用戶所聚焦的區域的給定操縱相關聯。例如，觸摸板上的
三叩擊可與放大用戶所聚焦的區域相關聯。作為另一示例，語音命令可與對用戶所聚焦的區域的給定操縱相關聯。
[0072]iv.示例語音輸入命令
[0073]在又一示例中，用戶可基於指出要操縱什麼區域的語音命令來識別要操縱的區域。例如，參考圖5a，用戶可以簡單地說出「在路標上拉近」。可穿戴計算系統一一可能聯合外部伺服器——可分析實時圖像(或者可替換地基於實時圖像的靜止圖像)以識別路標在圖像中的何處。在識別出路標之後，系統可操縱圖像以在路標上拉近，如圖5c中所示。
[0074]在一示例中，基於語音命令可能不清楚要操縱什麼區域。例如，可穿戴計算系統可在其上拉近的路標可能有兩個或更多個。在這種示例中，系統可拉近到所有這些路標中。可替換地，在另一示例中，系統可向用戶發送消息以詢問用戶想要在哪個路標上縮放。
[0075]V.示例遠程設備輸入命令
[0076]在又一個示例中，用戶可經由遠程設備輸入操縱圖像的輸入命令。例如，關於圖3，用戶可使用遠程設備142來執行圖像的操縱。例如，遠程設備142可以是具有觸控螢幕的電話，其中該電話與可穿戴計算系統無線地配對。遠程設備142可顯示實時圖像，並且用戶可使用觸控螢幕來輸入操縱該實時圖像的輸入命令。遠程設備和/或可穿戴計算系統隨後可依據(一個或多個)輸入命令來操縱圖像。在圖像被操縱之後，可穿戴計算系統和/或遠程設備可顯示被操縱的圖像。除了無線電話以外，其他示例遠程設備也是可能的。
[0077]應當理解，上述輸入命令和用於跟蹤或識別輸入命令的方法只打算作為示例。其他輸入命令和用於跟蹤輸入命令的方法也是可能的。
[0078]C.在可穿戴計算系統的顯示器中顯示被操縱的圖像
[0079]在以期望的方式操縱實時圖像之後，可穿戴計算設備可在可穿戴計算系統的顯示器中顯示被操縱的實時圖像，如塊410所示。在一示例中，可穿戴計算系統可將被操縱的實時圖像覆蓋在用戶對真實世界環境的視圖上。例如，圖5c描繪了所顯示的被操縱實時圖像540。在此示例中，所顯示的被操縱實時圖像被覆蓋在路標510上。在另一示例中，所顯示的被操縱實時圖像可被覆蓋在用戶的真實世界視圖的另一部分上，比如被覆蓋在在用戶的真實世界視圖的外圍上。
[0080]D.實時圖像的其他示例操縱
[0081]除了在圖像的期望部分上拉近以外，對實時圖像的其他操縱也是可能的。例如，其他示例可能操縱包括平移圖像、編輯圖像和旋轉圖像。
[0082]例如，在在圖像的一區域上拉近之後，用戶可平移圖像以看到被拉近的部分周圍的區域。參考圖5a，鄰近路標508的可以有用戶不能閱讀的某種類型的另一標誌514。用戶隨後可指示可穿戴計算系統平移被拉近的實時圖像540。圖5d描繪了被平移的圖像542 ；這個被平移的圖像542揭示了另一路標514的細節，以便用戶可以清楚地閱讀路標514的文本。有益地，通過在被拉近的部分周圍平移，用戶將不需要指示可穿戴計算系統拉遠然後又在圖像的鄰近部分上拉近。實時平移圖像的能力從而可在實時操縱圖像時節省用戶的時間。
[0083]為了在圖像上平移，用戶可輸入各種輸入命令，比如觸摸板輸入命令、姿勢輸入命令和/或語音輸入命令。作為示例觸摸板輸入命令，用戶可在用戶想要在圖像上平移的方向上、在觸摸板上作出揮掃運動。作為示例姿勢輸入命令，用戶可在用戶視圖的用戶想要平移的區域上用用戶的手部作出揮掃姿勢(例如，從左向右移動手指)。在一示例中，揮掃姿勢可包括兩指滾動。
[0084]作為示例語音輸入命令，用戶可以大聲說出「平移圖像」。另外，用戶可給出具體的平移指示，例如「平移路標」、「向右平移兩英尺」和「向上平移三英寸」。從而，用戶可以以期望的具體度來指示可穿戴計算系統。應當理解，上述輸入命令只打算作為示例，而其他輸入命令和輸入命令的類型也是可能的。
[0085]作為另一示例，用戶可通過調整圖像的對比度來編輯圖像。例如，如果圖像昏暗並且由於圖像的昏暗難以解讀細節，則編輯圖像可能是有益的。為了旋轉圖像，用戶可輸入各種輸入命令，比如觸摸板輸入命令、姿勢輸入命令和/或語音輸入命令。例如，用戶可以大聲說出「增大圖像的對比度」。其他示例也是可能的。
[0086]作為另一示例，如果需要，用戶可旋轉圖像。例如，用戶可能正看著顛倒的或向著側面的文本。用戶隨後可旋轉圖像使得該文本正向直立。為了旋轉圖像，用戶可輸入各種輸入命令，比如觸摸板輸入命令、姿勢輸入命令和/或語音輸入命令。作為示例觸摸板輸入命令，用戶可在觸摸板上用用戶的手指作出轉動動作。作為示例姿勢輸入命令，用戶可識別要旋轉的區域，然後作出與期望的旋轉量相對應的轉動或扭曲動作。作為示例語音輸入命令，用戶可大聲說出「將圖像旋轉X度」，其中X是期望的旋轉度數。應當理解，上述輸入命令只打算作為示例，而其他輸入命令和輸入命令的類型也是可能的。
[0087]E.照片的操縱和顯示
[0088]除了操縱實時圖像並顯示被操縱的實時圖像以外，可穿戴計算系統還可被配置為操縱照片並且利用被操縱的照片來補充用戶對物理世界的視圖。
[0089]可穿戴計算系統可拍攝給定圖像的照片，並且可穿戴計算系統可在可穿戴計算系統的顯示器中顯示該照片。用戶隨後可根據需要操縱該照片。操縱照片在許多方面可與操縱實時圖像類似。從而，以上論述的關於操縱實時圖像的許多可能性對於操縱照片也是可能的。對於流式視頻也可執行類似的操縱。
[0090]操縱照片並且在用戶對物理世界的視圖中顯示被操縱的照片可基本上實時地發生。操縱靜止圖像時的延遲可稍長於操縱實時圖像時的延遲。然而，因為靜止圖像可具有比實時圖像更高的解析度，所以靜止圖像的解析度可以有益地更大。例如，如果用戶在在實時圖像上拉近時不能實現期望的放大質量，則用戶可指示計算系統改為操縱該視圖的照片以便改善放大質量。
[0091]IV.結論
[0092]應當理解，本文描述的布置只是為了示例。這樣，本領域技術人員將會明白，可以改為使用其他布置和其他元素(例如，機器、接口、功能、順序和功能的分組等等)，並且根據期望的結果可以完全省略一些元素。另外，所描述的元素中許多是可按任何適當的組合和位置實現為分立或分布的組件或者與其他組件結合實現的功能實體。
[0093]應當理解，對於本文論述的系統和方法收集和/或使用關於用戶的任何個人信息或者可能與用戶的個人信息有關的信息的情形，可以向用戶提供選擇參與或不參與涉及這種個人信息(例如，關於用戶的偏好的信息)的項目或特徵的機會。此外，在存儲或使用某些數據之前，可通過一種或多種方式使其匿名，從而去除個人可識別信息。例如，可以隱匿用戶的身份，從而不能對用戶確定個人可識別信息，並且從而任何所識別的用戶偏好或用戶交互都是一般化的(例如，基於用戶人口統計資料來一般化的)，而不是與特定用戶相關聯的。
[0094]儘管本文已公開了各種方面和實施例，但本領域技術人員將會清楚其他方面和實施例。本文公開的各種方面和實施例是為了說明，而並不打算進行限定，真實的範圍和精神由權利要求以及這種權利要求所應享有的完整等同範圍來指出。還要理解，本文使用的術語只是為了描述特定實施例，而並不打算進行限定。
【權利要求】
1.一種方法，包括: 可穿戴計算系統，提供所述可穿戴計算系統的真實世界環境的視圖； 對所述真實世界環境的視圖的至少一部分實時成像以獲得實時圖像； 所述可穿戴計算系統接收與對所述實時圖像的期望操縱相關聯的至少一個輸入命令，其中，所述至少一個輸入命令包括識別所述實時圖像的要被操縱的部分的輸入命令，其中，識別所述實時圖像的要被操縱的部分的輸入命令包括在所述真實世界環境的一區域中檢測到的手部姿勢，其中，所述區域對應於所述實時圖像的要被操縱的部分； 基於所接收到的所述至少一個輸入命令，所述可穿戴計算系統依據所述期望操縱來操縱所述實時圖像；以及 所述可穿戴計算系統在所述可穿戴計算系統的顯示器中顯示被操縱的實時圖像。
2.如權利要求1所述的方法，其中，所述手部姿勢還識別所述期望操縱。
3.如權利要求1所述的方法，其中，所述手部姿勢形成邊界。
4.如權利要求3所述的方法，其中，所述邊界包圍所述真實世界環境中的一區域，並且其中，所述實時圖像的要被操縱的部分對應於被包圍的區域。
5.如權利要求4所述的方法，其中，所述手部姿勢的形狀識別所述期望操縱。
6.如權利要求3所述的方 法，其中，所述邊界是從由基本為圓形的邊界和基本為矩形的邊界構成的組中選擇的。
7.如權利要求1所述的方法，其中，所述手部姿勢包括捏拉縮放手部姿勢。
8.如權利要求1所述的方法，其中，所述期望操縱是從由以下各項構成的組中選擇的:在所述實時圖像的至少一部分上拉近、在所述實時圖像的至少一部分上平移、旋轉所述實時圖像的至少一部分以及編輯所述實時圖像的至少一部分。
9.如權利要求1所述的方法，其中，所述期望操縱是在所述實時圖像的至少一部分上平移，並且其中，所述手部姿勢包括揮掃手部運動，其中，所述揮掃手部運動識別期望平移的方向。
10.如權利要求1所述的方法，其中，所述期望操縱是旋轉所述實時圖像的給定部分，並且其中，所述手部姿勢包括(i)在所述真實世界環境中的一區域周圍形成邊界，其中，所述實時圖像的要被操縱的給定部分對應於被包圍的區域，和(ii )在期望旋轉的方向上旋轉所形成的邊界。
11.如權利要求1所述的方法，其中，所述可穿戴計算系統接收與對所述實時圖像的期望操縱相關聯的至少一個輸入命令包括: 手部姿勢檢測系統接收與所述手部姿勢相對應的數據； 所述手部姿勢檢測系統分析接收到的數據以確定所述手部姿勢。
12.如權利要求11所述的方法，其中，所述手部姿勢檢測系統包括被配置為檢測所述手部姿勢的雷射二極體系統。
13.如權利要求11所述的方法，其中，所述手部姿勢檢測系統包括從由視頻相機和紅外相機構成的組中選擇的相機。
14.如權利要求1所述的方法，其中，所述至少一個輸入命令還包括語音命令，其中，所述語音命令識別對所述實時圖像的期望操縱。
15.如權利要求1所述的方法，其中，對所述真實世界環境的視圖的至少一部分實時成像以獲得實時圖像包括視頻相機在取景器模式中操作以獲得實時圖像。
16.如權利要求1所述的方法，其中，在所述可穿戴計算系統的顯示器中顯示被操縱的實時圖像包括把被操縱的實時圖像覆蓋在所述可穿戴計算系統的真實世界環境的視圖上。
17.一種非暫態計算機可讀介質，其上存儲有指令，所述指令響應於被處理器執行而使得該處理器執行操作，所述指令包括: 用於提供可穿戴計算系統的真實世界環境的視圖的指令； 用於對所述真實世界環境的視圖的至少一部分實時成像以獲得實時圖像的指令； 用於接收與對所述實時圖像的期望操縱相關聯的至少一個輸入命令的指令，其中，所述至少一個輸入命令包括識別所述實時圖像的要被操縱的部分的輸入命令，其中識別所述實時圖像的要被操縱的部分的輸入命令包括在所述真實世界環境的一區域中檢測到的手部姿勢，其中，所述區域對應於所述實時圖像的要被操縱的部分； 用於基於所接收到的所述至少一個輸入命令，依據所述期望操縱來操縱所述實時圖像的指令；以及 用於在所述可穿戴計算系統的顯示器中顯示被操縱的實時圖像的指令。
18.一種可穿戴計算系統，包括: 頭戴式顯示器，其中，所述頭戴式顯示器被配置為提供所述可穿戴計算系統的真實世界環境的視圖，其中，提供所述真實世界環境的視圖包括顯示由計算機生成的信息並允許對所述真實世界環境的視覺感知； 成像系統，其中，所述成像系統被配置為對所述真實世界環境的視圖的至少一部分實時成像以獲得實時圖像； 控制器，其中，所述控制器被配置為(i )接收與對所述實時圖像的期望操縱相關聯的至少一個輸入命令，以及(ii)基於所接收到的所述至少一個輸入命令，依據所述期望操縱來操縱所述實時圖像，其中，所述至少一個輸入命令包括識別所述實時圖像的要被操縱的部分的輸入命令，其中，識別所述實時圖像的要被操縱的部分的輸入命令包括在所述真實世界環境的一區域中檢測到的手部姿勢，其中，所述區域對應於所述實時圖像的要被操縱的部分；以及 顯示系統，其中所述顯示系統被配置為在所述可穿戴計算系統的顯示器中顯示被操縱的實時圖像。
19.如權利要求18所述的可穿戴計算系統，還包括手部姿勢檢測系統，其中，所述手部姿勢檢測系統被配置為檢測手部姿勢。
20.如權利要求19所述的可穿戴計算系統，其中，所述手部姿勢檢測系統包括雷射二極體。
【文檔編號】G02B27/01GK103814343SQ201280045891
【公開日】2014年5月21日 申請日期:2012年7月10日 優先權日:2011年7月20日
【發明者】X.苗, M.J.海因裡希 申請人:谷歌公司