安全可佩戴計算機接口的製作方法

2023-10-21 20:41:52 10

本發明的各實施例涉及可佩戴計算機接口。

背景

移動通信和計算設備(諸如行動電話、平板、電子閱讀器、膝上型計算機、以及個人數字助理)以讓人眼花繚亂的速度激增並滲透入人類文明。如今，幾乎所有的文化(跨越從技術不成熟的社會到處於當今科學和技術的前沿的社會的整個範圍)都通曉移動通信/計算設備。單單在2013年，約18億臺行動電話(其中10億臺行動電話是智慧型電話)被製造商交付給消費者——地球上的每一個男性、女性和兒童有令人驚訝的約2臺行動電話。在同一年，還賣出了另外的5億臺平板電腦和膝上型計算機。並且，通信/計算設備(此後被一般地稱為計算機)正快速地變形成大量不同形式，這使得它們更易於使用和攜帶，並且甚至成為日常生活的更密切的一部分。計算機正被配置作為可佩戴附件，諸如眼鏡、手錶和手環，並且被集成到衣物中。

各種新的和不同形式的計算機以及它們相關聯的附件和移動應用(「App」)的無所不在、以及世界人口以及所導致的密度的增加已將個人和公共隱私破壞到一定程度，使得維護和保護一點點的安靜、隱私和機密性都變成煩擾、頭條的擔憂。例如，將膝上型、平板、手腕或手中的計算機屏幕無意地視覺洩露給地鐵、公交車、飛機或購物中心中的繁雜的旁人常常是對一個人的個人隱私區域的頻繁侵犯，而這如果可能的話可能需要相當靈巧的不停地動才能避免。

概述

本發明的實施例的一個方面涉及提供一種用於提供和保護用戶的隱私區域的可佩戴計算機接口。在一個實施例中，計算機接口用於確定用戶是否正面向該接口，並且如果是的話，確定用戶的身份。如果所確定的身份是被授權訪問該接口對接的計算機所提供的功能的用戶，則接口使得該用戶能夠訪問該功能。可選地，接口基本上僅在用戶面向並看著該接口時維持訪問，這樣的接口此後被稱為「Watch-It接口」(注視接口)或簡稱為「Watch-It」。

在本發明的一個實施例中，「Watch-It」包括三維(3D)相機系統，該3D相機系統可被控制來獲取相機系統的視場(FOV)中的場景的3D範圍圖像，並且可選地獲取對比度圖像，此後也被稱為場景的「圖片圖像」或「圖片」。3D範圍圖像提供場景的各特徵的3D空間坐標。圖片圖像提供可被用於標識特徵和特徵的特性的圖片。可選地，Watch-It和3D相機系統通常被關閉，並且Watch-It反覆地開啟(周期性地或間歇性地)以使用3D相機系統來對其環境成像並且處理3D相機系統所獲取的圖像來確定用戶是否在FOV中並且是否正面對Watch-It。可選地，Watch-It包括加速度計並且響應於加速度計生成的指示將該Watch-It變為面對用戶的運動的信號來開啟以對其環境成像。如果Watch-It確定它正被用戶「注視」，則Watch-It處理3D相機系統所提供的用戶圖像以確定用戶的身份。如果該身份是被授權訪問Watch-It對接的計算機的功能的用戶，則Watch-It使得該用戶能夠訪問所述功能。

可選地，Watch-It包括視頻屏幕並且可在屏幕上基本僅顯示屏保或者保持屏幕空白，直到Watch-It確定它正被授權用戶注視著。在作出這一判斷之際，Watch-It可在屏幕上生成交互式顯示以供用戶使用。Watch-It 3D相機系統的FOV的立體角和FOV的景深定義了Watch-It提供給用戶的隱私區域。在一個實施例中，立體角和/或景深是可調整的以使FOV以及由此的隱私區域適配於授權用戶的偏好和/或需求。在一個實施例中，Watch-It包括隱私過濾器，該隱私過濾器用於遮蔽Watch-It屏幕上顯示的圖像免於被視覺窺探。

在本發明的一個實施例中，Watch-It被配置成獲取用戶發出的語音的聲紋並且處理由3D相機系統提供的圖像以標識聲紋中期望用戶發出的諸如口令或口令短語之類的單詞以獲得對功能的訪問和/或與計算機交互。在本發明的一個實施例中，3D相機系統在用戶發出聲紋中的語音的同時對用戶的臉部成像，並且處理該圖像以讀取用戶的唇語以協助標識單詞。

在本發明的一個實施例中，Watch-It接口被包括在佩戴在手臂或手腕上的設備中，該設備具有類似於腕錶形狀的外形。可選地，Watch-It被佩戴在腿上以使得用戶能夠在坐下時使用該接口。計算機可以是Watch-It可與之通信以與用戶對接的各種計算設備和/或處理器中的任意一種。作為示例，計算機可包括智慧型電話、膝上型計算機、筆記本計算機、PC、個人數字助理(PDA)、晶片組、以及專用集成電路(ASIC)中的任意一個、或組合、或不止一個。可選地，Watch-It和該接口與用戶對接的計算機被集成在同一個可佩戴設備中。

在討論中，除非另行說明，修改本發明的實施例的一個或多個特徵的條件或關係特性的諸如「基本上」和「大約」的副詞應被理解為該條件或特性被定義為針對該實施例所意圖的應用在該實施例的操作可接受的容差範圍以內。除非另外指示，本說明書和/或權利要求書中的單詞「或」被認為是包含性「或」而不是排他性或，並且指示其結合的各項目中的至少一者或其組合。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述並不旨在標識所要求保護主題的關鍵特徵或必要特徵，也不旨在用於限制所要求保護主題的範圍。

附圖說明

下面將參考在此所附的在此段落之後列出的附圖來描述本發明的實施例的非限制性示例。在多於一幅附圖中出現的相同的特徵通常在其出現的所有附圖中都以相同的數字來標記。標記表示附圖中的本發明的實施例的一個給定特徵的圖標或其他圖形指示的標記可被用於參考該給定的特徵。附圖中所示的組件的尺寸和特徵是為了方便和清楚呈現而選擇的，並且不一定按比例顯示。

圖1A示意性地示出了根據本發明的實施例的正佩戴著具有類似於腕錶的形狀的Watch-It的用戶；

圖1B示意性地大幅放大地示出根據本發明的實施例的圖1A中所示的Watch-It以方便查看Watch-It的細節；

圖1C示出根據本發明的實施例的Watch-It的各組件的框圖；

圖2A示意性地示出根據本發明的實施例的圖1A中示出的用戶正將Watch-It拿到他的面前使得Watch-It能夠標識該用戶；

圖2B示意性地示出根據本發明的實施例的圖2A中示出的Watch-It的FOV和用戶的臉部的放大視圖，以及用於確定用戶的頭部朝向以及用戶是否正看著Watch-It的參數；以及

圖3A、3B以及3C示意性地解說根據本發明的實施例的Watch-It的3D相機系統所獲取的圖像中用戶眼睛的圖像可如何被用於確定用戶的凝視方向以及用戶是否正看著Watch-It。

詳細描述

圖1A示意性地示出了根據本發明的實施例的正佩戴著具有腕錶形狀的Watch-It 20的用戶10。圖1B示意性地示出根據本發明的實施例的圖1A中所示的Watch-It 20的放大圖像，而圖1C示出Watch-It 20可包括的各組件的框圖50。在圖1A中，佩戴著Watch-It的用戶的手腕11沿用戶身體旁下垂，且用戶並未看著Watch-It。

Watch-It 20可選地包括用於與用戶10交互的顯示屏幕22以及框圖60(圖1C)中示出的3D相機系統30，圖1A和1B中僅示出了3D相機系統30在Watch-It的一個面24上的光學孔徑32。顯示屏幕22可被合適的衍射或散射隱私屏幕(未示出)覆蓋以限制屏幕22的可視錐並保護Watch-It 20不被視覺窺探。如框圖60中示意性示出的3D相機系統30包括3D範圍相機34和圖片相機36。3D相機系統30具有視場(FOV)，在圖1A和1B中由虛線38示意性地概示出，並且在以下可被稱為FOV 38。3D範圍相機34獲取FOV 38中的場景的範圍圖像，而圖片相機36獲取FOV中的場景的對比度圖像、圖片。3D範圍相機34所獲取的範圍圖像提供場景中的各特徵的3D空間坐標。圖片相機36所獲取的場景的圖片提供特徵的圖片，該圖片可被用於標識該特徵。控制器40(圖1C)控制Watch-It 20和3D相機系統30的操作並且處理由3D相機系統中的3D範圍相機34和/或圖片相機36所提供的圖像以標識可能被成像在各圖像中的用戶，如以下所描述的。

3D範圍相機34可以是任何適合的3D範圍相機，並且可例如包括飛行時間(TOF)3D相機或立體三角測量3D相機。TOF-3D相機可確定光脈衝從TOF-3D相機到相機所成像的場景中的特徵並返回到相機的往返程所耗費的「往返時間」以確定到該特徵的距離。立體三角測量3D相機獲取場景中的特徵的立體圖像，該立體圖像包括來自兩個不同視角的特徵圖像並從特徵的圖像在各圖像中的位置的差異中確定到特徵的距離。

作為示例，Watch-It 20中包括的3D範圍相機34被假設為TOF 3D範圍相機。Watch-It 20包括IR(紅外)光源35，控制器40控制該IR光源35來發射相對短的IR光脈衝以照亮3D相機系統30的FOV 38中的場景。對於每一個發射的光脈衝，響應於IR光脈衝的發射時間控制器40快門式地開關3D範圍相機34達對應的短曝光時間段以對特徵從光脈衝反射回3D範圍相機34的光成像。控制器40響應於所成像的光來確定往返時間和到特徵的距離。圖片相機36可選地響應於環境IR光和/或由場景中的特徵反射的來自光源35生成的IR光脈衝的IR光來獲取場景的圖像。可選地，圖片相機36響應於可見光來獲取場景的圖像。

儘管圖1C中的Watch-It的框圖60指示3D相機系統30包括與圖片相機分開的3D範圍相機，但是在一個實施例中，Watch-It 20可包括同一個多用途相機，該多用途相機由控制器40控制以用作TOF-3D範圍相機和圖片相機。控制器40可通過控制光源35發射短IR光脈衝來照亮場景並快門式開關該多用途相機以恰當地確定對應曝光時間段的時長來操作該多用途相機作為TOF-3D範圍相機來確定到場景中的特徵的距離。控制器40可通過在相對長的曝光時間段期間對場景成像來對來自光源35發射的多個IR光脈衝、環境IR光、或可見光的光成像來操作該多用途相機作為圖片相機。

在一個實施例中，該多用途相機可包括第一和第二光傳感器並且通過對場景中的特徵所反射的(可選地)分別來自第一和第二光傳感器上的相同的光脈衝的光成像來基本同時地獲取場景的範圍圖像和圖片圖像。第一和第二光傳感器可共享相同的光學器件，該光學器件收集場景的特徵所反射的來自光源35所發射的光脈衝，並且將反射自每一個光脈衝的光的第一和第二部分分別引導向第一和第二光傳感器。控制器40可快門式地開關第一光傳感器以提供針對每一個IR光的對應的短曝光時間段以對來自第一光傳感器上的光脈衝的光的第一部分成像以獲取該光脈衝的往返時間。控制器可快門式地開關第二光傳感器達相對長的曝光時間段以對第二光傳感器上的多個光脈衝的第二部分成像以獲取場景的圖片圖像。

在一個實施例中，控制器40將Watch-It 20維護在默認的休眠狀態，在該休眠狀態下，Watch-It的操作的特徵是相對小的能量消耗並且3D相機系統30關閉。在該默認休眠狀態下，控制器40可在屏幕22上生成屏保顯示或者維持屏幕空白。控制器40可周期性地或間歇性地將Watch-It 20開啟到激活狀態以使用3D相機系統30來對Watch-It的環境成像並處理3D相機系統所獲取的圖像以確定用戶是否處於FOV 38中並且正面向Watch-It 20。

可選地，Watch-It 20包括加速度計42，並且當加速度計42響應於用戶10的手腕11的移動而生成的信號指示用戶將Watch-It 20帶至面對他或她的臉部時，控制器40將Watch-It 20開啟至激活狀態。在本發明的實施例中，Watch-It 20包括用於實現分類器(未示出)的指令集，該分類器可包括例如支持向量機、回歸機、貝葉斯引擎、和/或神經網絡，用於確定加速度計42所提供的信號是否指示用戶已將Watch-It 20帶至面對用戶的臉部。為了作出該判斷，分類器可被教示以將加速度計所提供的指示手腕11的將Watch-It 20帶至面向用戶的臉部的移動的信號與指示手的其它移動(諸如指示可伴隨步行的正常的搖擺運動的移動)的信號區分開來。

在被例如圖2A中示意性地示出的響應於用戶10將Watch-It 20帶至面向他或她的臉部而被開啟至激活狀態之際，控制器40操作3D相機系統30來獲取位於3D相機系統的FOV 38中的場景的3D範圍圖像和圖片圖像。控制器40處理場景的圖像以確定場景是否包括用戶的圖像，並且如果是的話，處理該圖像以確定用戶的身份並且確定該用戶是否正看著Watch-It 20。

在本發明的實施例中，控制器40可被控制以將FOV 38的維度配置成期望或有利的維度以確定FOV中用戶的存在和/或以將用戶與Watch-It對接或經由Watch-It對接用戶。例如，3D相機系統30對其對象進行成像的FOV 38的景深(DOF)或最大成像範圍可被變得更小或更大以適應用戶10認為與Watch-It 20交互是舒適的距離。FOV 38可被調整以在用戶10與Watch-It 20交互時限制用戶10周圍的無關特徵被成像。FOV 38的立體角可類似地被變得更大或更小以適應用戶。立體角可變得更大以適應較大的臉，或者變得更小以限制對無關對象成像。FOV的方向也可被調整。例如，儘管相機系統的FOV一般關於相機系統的光學軸對稱，如以下討論的圖2B中示意性地示出的，但是在本發明的一個實施例中，FOV 38可被調整使其不關於3D相機系統30的光學軸的方向對稱，而是歪斜遠離光學軸的方向。將FOV歪斜以適應用戶 10在與Watch-It 20交互時看Watch-It 20的偏好方向可能是期望的。對於佩戴在手腕的Watch-It 20，用戶可能傾向於從與光學軸成角度的舒適的視角來看Watch-It。控制器40可配置FOV 38的維度使其具有相對小的體積以為Watch-It 20和用戶10提供具有對於視角窺探的增加的免疫性的特徵的隱私區域。例如，FOV 38可具有在FOV 38的最大成像範圍處的剛好足夠包含用戶的臉部的截面。

對於包括TOF-3D範圍相機的3D相機系統30，FOV 38的DOF或最大成像範圍可選地通過相對於光源35所發射的IR脈衝的發射時間和脈衝寬度調整曝光周期的定時和/或持續時間來調整。FOV 38的立體角可通過合適的縮放透鏡系統或通過裁剪3D相機系統30所獲取的圖像來調整。裁剪可通過對3D相機系統30所獲取的圖像進行圖像處理和/或控制對於光傳感器中包括的像素(這些像素上的由3D相機系統收集的光被成像)的光的靈敏度來執行。

控制器40可通過響應於根據各種圖案識別算法中的任意一種或這些圖案識別算法中不止一種的任意組合來對圖像進行處理來確定圖像是否包括人臉圖像來確定用戶(諸如用戶 10)在所成像的場景的圖像中的存在。控制器40可例如包括用於執行被配置成確定圖像是否包括人臉的「基於形狀」和/或「基於紋理」的算法的可執行指令集。

基於形狀的檢測算法可包括至少一個分類器，該分類器通過訓練檢測系統辨別一組3D範圍和圖片訓練圖像(訓練圖像中的一些包含人臉圖像而其它則不包含)中的人臉形狀而被訓練成識別人臉的形狀。可選地，基於形狀的檢測算法是一種被訓練成在3D範圍和圖片圖像中整體地檢測人臉形狀的全局的基於形狀的檢測系統。可選地，基於形狀的檢測算法是一種基於組成部分的基於形狀的檢測算法。基於組成部分的檢測系統通過提供由組成部分分類器所提供的針對人臉的各組成部分(諸如眼睛、耳朵、鼻子以及嘴)是否在圖像中存在的評估來確定人臉的圖像在3D範圍和圖片圖像中的存在。評估隨後被整體分類器組合以提供對於圖像是否能證明人臉的整體評估。組成部分和整體分類器可用合適的訓練集來訓練。

基於紋理的分類器響應於3D相機系統所提供的圖片圖像的密度的空間變化和/或3D範圍圖像中到場景中的各特徵的距離的空間變化來確定人臉在圖像中的存在。就像基於形狀的分類器的情形一樣，基於紋理的分類器可用圖片和3D範圍圖像的合適的訓練集來訓練。

在本發明的實施例中，在確定臉在FOV 38中存在之際，控制器40處理圖片和3D範圍圖像以確定用戶 10的頭部的朝向以及該朝向是否與用戶看向Watch-It 20相一致。在本發明的實施例中，頭部朝向被用於確定用戶的凝視方向並且確定該凝視方向是否指示用戶正看著Watch-It 20。可選地，朝向與3D相機系統30的光學軸比照並且可響應於在3D相機系統30所提供的圖像中被成像的用戶的頭部和臉部的基準點特徵的3D空間坐標來確定。基準點特徵是其圖像和3D空間坐標有利於指示頭部的朝向的特徵，並且可包括諸如前額、眼睛、鼻子、嘴唇和下巴、以及耳朵之類的特徵。

圖2B示意性地示出圖1A和2A中所示的用戶10的頭部和臉部的基準點特徵，這些基準點特徵可被Watch-It 20用於確定用戶的頭部朝向以及用戶是否正面向3D相機系統30和Watch-It 20。在圖2B中，Watch-It的3D相機系統30由標記為「30」的圓(從該圖的視角看該圓看上去像是橢圓)來表示，並且該圖示出了3D相機系統的FOV 38的光學軸37。用戶10的頭部和臉部位於FOV 38中。用戶10的頭部的朝向可通過由關於分別圍繞光學軸37、以及與該光學軸垂直的X和Y正交軸的旋轉的方位角ω、傾斜角θ、以及偏斜角φ來定義。標記為ω、θ、和φ的彎曲的塊箭頭分別指示圍繞光學軸37、X軸、以及Y軸的旋轉的方位角、傾斜角、以及偏斜角。用戶10的臉部和頭部的3D範圍圖像和/或圖片圖像所提供的用戶10的兩個或更多個基準點特徵(諸如分別是右耳和左耳14和15、右眼和左眼12和13、前額16、以及下巴17)的組合的3D空間坐標可被用於確定ω、θ、和φ，以及確定用戶是否正面向3D相機系統30。

作為一個簡單示例，假設用戶10已將他的頭部僅圍繞Y軸轉動。右耳和左耳14和15和/或右眼和左眼12和13的3D空間坐標可被用於確定旋轉角度φ。如果用戶的頭部僅沿X軸位移，則根據3D空間坐標確定的位移的量和φ一般可足以確定用戶10是否正面向Watch-It 20。如果頭部的位移也沿Y軸，則角度θ也可有利於確定用戶10是否正面向Watch-It 20。類似的，傾斜角θ可響應於前額16和下巴17的3D空間坐標來確定。

儘管根據本發明的實施例，頭部朝向可被用於指示用戶 10是否正面向Watch-It 20，但是用戶可能面向Watch-It 20但是卻將他或她的凝視指向別處。在本發明的實施例中，Watch-It控制器40處理由3D相機系統30獲取的圖像以確定3D相機系統30所成像的用戶的凝視方向並且確定該凝視方向是否被指向Watch-It 20以確定用戶是否正嘗試使用Watch-It 20。

在本發明的實施例中，為了確定凝視方向，控制器40處理圖像以定位和確定可被用來確定眼睛的凝視方向的來自眼睛的不同結構的一個或多個表面的反射的相對位置。來自眼睛的結構的表面的反射被通常稱為「普爾基涅反射」。第一、第二、第三、和第四普爾基涅反射分別指來自角膜的前表面、角膜的後表面、晶狀體的前表面以及晶狀體的後表面的反射。

對於給定的靜態光源，來自角膜的前表面的反射(即第一普爾基涅反射)是最強的，且按照慣例被稱為「閃爍(glint)」。閃爍的圖像在相機獲取的眼睛圖像中的位置相對獨立於中等眼睛轉動(眼睛轉動多達約±15°)的眼睛凝視方向以及頭部和相機的固定位置。閃爍的圖像的位置可被用於參照眼睛的特徵或其它普爾基涅反射的圖像的運動來確定人的凝視方向。可選地，控制器40響應於3D相機系統30所獲取的用戶的圖像中用戶的頭部朝向和眼睛的瞳孔的圖像相對於來自眼睛的閃爍的圖像的位置來確定用戶(諸如圖1A和圖2A中的用戶10)的眼睛的凝視方向。可選地，如以上所描述的，頭部朝向由控制器40確定。

圖3A、3B和3C示意性地解說了對於一些非常簡單的情形下閃爍相對於眼睛的瞳孔的位置可如何指示眼睛的凝視方向。這些附圖中的每一幅圖示出用戶10的右眼14和眼睛的閃爍101、瞳孔102、虹膜103、以及鞏膜104的示意性圖像。在這些附圖中的每一幅圖中，眼睛14被定向關於通過眼睛中心的水平軸160成一個不同角度。在圖3B中，眼睛12筆直地沿著3D相機系統30(圖2B)的光學軸37看，並且眼睛的光學軸(未示出)與光學軸37對準。作為結果，閃爍101位於眼睛的瞳孔102的圖像的中心。在圖3A中，用戶10正「向上」看，並且沿圓形箭頭161所指示的方向旋轉眼睛14達角度α。作為結果，閃爍101相對於瞳孔102向下移位。在圖3C中，用戶10正「向下」看，並且沿圓形箭頭162所指示的方向旋轉眼睛14達角度α，該方向與圖3A中的圓形箭頭161所指示的旋轉相反。作為結果，閃爍101相對於瞳孔102向上移位。閃爍101和瞳孔102之間的距離可被用於確定角度α的幅值。

響應於確定用戶10的頭部朝向指示用戶10正面向Watch-It 20和/或響應於確定用戶10的凝視方向指示用戶正看著Watch-It，控制器40可在屏幕22(圖1B、2A)上生成一個指示來提醒用戶10用戶存在已被識別。該指示當然可以是任何適合的圖形顯示，諸如舉例而言眼睛、臉、或忙碌圖標的顯示。可選地，Watch-It 20包括揚聲器並且通過生成音頻提醒來通知用戶10他的存在已被注意到。在識別用戶存在並可選地為該用戶生成視覺和或聽覺響應之後，控制器可進一步確定用戶10的身份以及用戶10是否被授權訪問Watch-It 20所提供的功能和/或可經由Watch-It訪問的設備。例如，Watch-It 20可包括機密信息資料庫和/或APP(應用)庫，和/或支持Watch-It 20僅在用戶10是授權用戶的情況下變得可用的通信服務。並且/或者，Watch-It 20可僅在用戶10是授權用戶的情況下允許對提供一個或多個功能(諸如以上提到的示例功能中的一個或多個)的另一設備(諸如行動電話、平板、或膝上型計算機)的使用。

Watch-It 20可通過將3D相機系統30所獲取的用戶的圖形中包括的數據與包括在Watch-It 20中的參考資料庫(未示出)或Watch-It能夠訪問的參考資料庫中包括的數據作比較來確定用戶 10的身份。可選地，資料庫包括與至少一個授權用戶的3D範圍和圖片「參考圖像」相關聯的數據。在本發明的實施例中，參考圖像可包括可選地由3D相機系統30所獲取的該至少一個授權用戶的標準姿勢的3D範圍和圖片圖像。用戶標準姿勢可例如是完整的正面姿勢，其中用戶的頭部朝向角度ω、θ、和φ都基本等於零，並且在3D相機系統成像時，用戶的臉基本位於3D相機系統30(圖2B)的FOV 38的中心。為了將3D相機系統30所獲取的用戶10的3D範圍和圖片圖像中的數據與參考圖像中的數據作比較，控制器40可選地確定一個變換(例如仿射變換)，該變換將用戶10的圖像變換為以標準姿勢朝向的圖像。該變換可選地響應於3D相機系統30所獲取的用戶10的圖像所提供的3D空間坐標來確定。控制器40將用戶10的圖像變換為標準姿勢，並且將經變換的圖像與參考圖像作比較以確定用戶10是否是授權用戶。

在本發明的實施例中，Watch-It 20要求用戶10說出包括口令或口令短語的語音，同時3D相機系統30對用戶10成像以標識和授權該用戶。Watch-It 20可包括話筒(未示出)並且可選地使用該話筒來記錄用戶語音的聲紋。可選地，控制器40處理該聲紋以確定該口令或口令短語是否在聲紋中存在。在本發明的實施例中，控制器40使用3D相機系統30在用戶說出記錄在聲紋中的語音時所獲取的3D範圍圖像和圖片圖像中包括的用戶嘴唇、牙齒和舌頭的圖像來讀取用戶的唇語。控制器40將唇語讀取與聲紋相關以協助標識音素以及由此標識可能被說出並記錄在聲紋中的口令或口令短語。

一旦被授權，Watch-It 20可不僅使用話筒還可使用由控制器40響應於對3D相機系統30提供的3D範圍圖像和/或圖片圖像進行圖像處理來執行的唇語讀取來通過語音將用戶10對接到Watch-It 20或Watch-It 20對接的設備。在本發明的實施例中，為了促進對用戶10的唇語讀取，控制器40可可選地使用以上所討論的方法來調整FOV 38的DOF或最大成像範圍以約束用戶10將其嘴巴定位在相對於Watch-It 20的有利位置，使得用戶的嘴唇、牙齒和舌頭被3D相機系統有利地成像以供唇語讀取。例如，控制器40可控制FOV 38來約束用戶10以將他或她的嘴巴保持在一距離範圍內，可選地從約5cm到約50cm，對於該距離範圍，3D相機系統30能夠獲取具有有利解析度的用戶的嘴巴的圖像。在一個實施例中，控制器40可提示用戶10將其頭部定向到相對於光學軸37(圖2B)有利地朝向以促進唇語讀取。例如，控制器40可分別確定用戶10的頭部的偏斜角φ和傾斜角θ(可選地如以上所討論的)，並且提示用戶調整他的頭部朝向以偏斜和傾斜有利於唇語讀取的角度。提示用戶10可通過在屏幕22上顯示合適的圖標以指示方法或有利地指示偏斜角和傾斜角來實現。類似的，控制器40可響應於3D相機系統30所獲取的範圍圖像來確定用戶10的嘴巴與Watch-It 20的距離，並且提示用戶10放置其頭部以將嘴巴定位到有利於唇語讀取的距離處。

因此，根據本發明的實施例，提供了一種被配置成由用戶佩戴並且將用戶與計算機對接的計算機接口，所述接口包括：三維(3D)相機系統，所述3D相機系統具有光學軸和視場(FOV)，所述3D相機系統包括：3D範圍相機，所述3D範圍相機可被控制以獲取所述FOV中的場景的範圍圖像，所述範圍圖像提供特徵在所述場景中的3D空間坐標；以及圖片相機，所述圖片相機可被控制以獲取所述場景的圖片圖像；以及控制器，所述控制器處理所述圖像中的一者或兩者以確定用戶是否被成像在所述FOV中並且正看著所述接口，並且如果是的話，確定所述用戶的身份，並且如果所述身份是被授權使用所述接口的用戶的身份，則所述控制器使得所述用戶能夠訪問由所述計算機所提供的功能。

可選地，所述控制器將所述接口維持在其中所述3D相機系統被關閉的默認狀態。可選地，所述控制器周期性地或間歇性地開啟所述3D相機系統以獲取所述3D範圍圖像和圖片圖像。附加地或替代地，所述接口可包括加速度計，所述加速度計響應於所述接口的運動來生成信號，所述控制器處理所述信號以確定所述用戶是否移動了所述接口以將所述用戶定位在所述FOV中。如果所述控制器確定所述用戶已移動了所述接口以將所述用戶定位在所述FOV中，所述控制器可開啟所述3D相機系統以獲取所述3D範圍圖像和圖片圖像。

在本發明的實施例中，為了確定所述用戶是否正看著所述接口，所述控制器處理所述3D範圍圖像和圖片圖像中的至少一者或兩者以確定所述用戶的頭部是否在FOV中。

在本發明的實施例中，為了確定所述用戶是否正看著所述接口，所述控制器處理所述3D範圍圖像和圖片圖像中的至少一者或兩者以確定所述用戶的頭部的朝向。根據本發明的實施例，為了確定所述用戶是否正看著所述接口，所述控制器處理所述3D範圍圖像和圖片圖像中的至少一者或兩者以標識所述用戶的眼睛的圖像並且響應於所述圖像標識所述眼睛的凝視方向。

在本發明的實施例中，所述接口包括或能夠訪問具有與至少一個授權用戶的參考圖像相關聯的數據的資料庫，並且所述控制器將與所述參考圖像相關聯的數據同與所述3D範圍圖像和圖片圖像中的至少一者或兩者相關聯的數據作比較以確定所述用戶的身份並且確定所確定的身份是否是授權用戶的身份。可選地，授權用戶的參考圖像是授權用戶處於標準姿勢下的圖像。可選地，所述標準姿勢是完整正面姿勢，其中用戶基本筆直地沿著獲取參考圖像的相機的光學軸看。控制器可對3D範圍圖像和圖片圖像中的至少一者應用變換以將圖像變換為標準姿勢以確定用戶的身份。控制器可響應於3D範圍圖像來確定變換。

在本發明的實施例中，所述接口包括話筒，並且所述控制器控制所述話筒來獲取所述用戶說出的語音的聲紋，同時控制所述3D相機系統獲取所述用戶的嘴說出所述語音時的3D範圍和圖片圖像。可選地，所述控制器處理所述用戶的嘴的圖像以讀取所述用戶的唇語並且將所述唇語讀取與所述聲紋相關以標識所述聲紋中的單詞。

所述控制器可處理所述3D相機系統所提供的圖像以作出對於所述用戶的嘴距所述接口的距離、所述用戶的頭部相對於所述光學軸的傾斜角、歪斜角以及方位角中的至少一個或不止一個的任意組合的確定，並且可使用所述確定來提示所述用戶將嘴定位在所述FOV中的有利於唇語讀取的位置。

在本發明的實施例中，所述控制器控制所述FOV的立體角、景深、以及最大成像範圍中的至少一個或兩個或更多個的組合來提供期望的FOV的大小。

在本發明的實施例中，所述控制器控制所述FOV相對於所述光學軸的方向以提供所述3D相機系統的期望的成像方向。

所述接口可以是腕帶式接口。所述接口可被佩戴在所述用戶的腿上。

在本申請的說明書和權利要求書中，動詞「包括」、「包含」和「具有」及其組合中的每一個是用來指示該動詞的一個或多個賓語不一定是該動詞的一個或多個主語的組件、元素、或部分的完整列表。

在本申請中作為示例提供了對本發明的各實施例的描述，而不旨在限制本發明的範圍。所描述的實施例包括不同的特徵，對於本發明的所有實施例來說並不是所有的特徵都是必需的。一些實施例只利用部分特徵或特徵的可能組合。本領域的技術人員會想到所描述的本發明的各實施例的變型以及本發明的各實施例包括在所描述的各實施例中註明的特徵的不同組合。本發明的範圍僅受權利要求書的限定。