改進型用戶接口的製作方法

2023-04-23 11:17:01

專利名稱：：改進型用戶接口的製作方法
技術領域：
：本發明涉及一種用於將姿勢(gesture)映射到通信終端的特定功能的方法。具體地，本發明涉及一種響應於登記和解釋對象的預定動作或模式而調用通信終端的:^作的方法。此外，本發明還涉及被安排來實現所述方法的計算枳4呈序。背景絲在與電子設備(例如計算機終端、照相機、行動電話和電視機)進行交互時，人們已經習慣通過鍵盤、觸敏顯示器等來輸入信息和操縱這些電子設備。隨著手持設備的逐漸普及以及這些設備的小型化，由於這些設備的輸入裝置的尺寸的縮小而引起的使用性問題變得明顯。因此，正在尋找一種向電子設備(特別是手持電子設備)提供輸入的可選方案。此外，另一目標是找到在人類和計算設備之間更加自然的交互。經過試驗的各種輸入技術包括與計算設備連接的輔助傳感器模態(modality)，例如用於獲取特定姿勢的動作傳感器、表面肌肉或神經傳感器等。然而，由於使用這樣的傳感器需要大量的計算能力這一缺陷，因而與此相關的是相當大的成本。因此，期望開發出一種輸入技術，其能夠解決由於輸入設備的小型化而帶來的使用性問題。
發明內容在下文中，提供了一種基於從一個或多個照相機捕獲的手勢的自然UI交互系統。利用在行動裝置中集成的系統，其將有效地解決小型化硬體和最大化軟體輸入的衝突，同時，通過手勢的交互將大大增強行動裝置的使用性。本發明的一個目的在於提供一種通信終端，其能夠通過檢測和識別用於控制所述通信終端的預定動作來建立與外部對象的交互。本發明的目的還在於提供一種具有接近度檢測(proximitydetection)的通信終端，其針對對於預定動作的檢測和識別，用於激活與外部對象的交互。根據本發明的第一方面通過一種方法來實現以上目的之一，所述方法用於響應於登記和解釋對象的預定動作或模式而調用通信終端的操作。因此，實現了一種用於對通信終端(例如行動電話)實現命令輸入的方便的解決方案。作為其它優點，提供了一種針對設備小型化和使用性的衝突的直接解決方案。交互更加自然，並且輸入不受到設備硬體的小型化的限制。術語"調用"還可解釋為關聯。有利地，例如可以通過捕獲對象的圖像來在視覺上登記和解釋動作或模式。有利地，通過例如在通信終端中集成的照相機，容易提供圖像輸入。根據一個實施例，所述對象包括手，並且所述預定動作或模式包括手勢。作為優點，可以通過使用對於設備的用戶接口進行命令輸入和導航的手勢，實現在人類與計算設備之間的自然交互。此外，用戶可以根據預定模式來移動手，所述預定模式可以在先前時刻已經由用戶設置，由此調用行動電話的不同操作，例如呼叫消息的發送方，到達下一消息，等等。根據各個實施例，措辭"登記"可理解為捕獲圖像數據，並且措辭"解釋"可理解為將對象識別為手，以及識別手的姿勢並將其與參考姿勢關聯。根據本發明的一個實施例，措辭"解釋"可理解為包括以下步驟標識對象，識別所述對象，確定其定向，識別對象並將其與手勢關聯。可以通過終端的軟體來進行解釋。此外，根據本發明的方法的另一實施例，所述操作涉及使用手勢向通信終端提供命令輸入，並且所述方法包括-捕獲手勢的圖^象數據201;-在所述圖像數據中標識對象202;-將對象識別為手203;-識別所述手的所述對象的特徵，並將其與來自一組預定參考姿勢中的第一參考姿勢關聯205;-提供與所述參考姿勢關聯的命令輸入206。措辭"捕獲圖像數據"可理解為利用圖像捕獲設備(例如像行動電話的照相機)簡單地拍照。通過措辭"在所述圖像數據中標識對象，，，其可理解為在圖片中找到對象。根據一個實施例，所述標識涉及對膚色分類。作為優點，可以從圖像識別出諸如手這樣的類似人類的對象。根據另一實施例，膚色分類包括實現高斯混合建模(Gaussianmixturemodelling)。因此，模擬5雖度語(intensityspectra)和人類膚色的混合特性，並且作為優點，增加在圖像中識別包括人類皮膚的對象的精確度。有利地，可以採取各種技術來改進從姿勢的期望區域分離噪聲區域的過程。例如，根據一個實施例，顏色分類可以涉及顏色空間分析和/或概率分析。此外，根據另一實施例，所述顏色空間分析可以涉及將圖像數據轉換成色度平面(CbCr)顏色空間圖像數據。根據又一實施例，所述對象識別可以涉及使用連通分量(connectedcomponent)提取來消除視覺噪聲。根據一個實施例，所述連通分量提取可以包括以下內容中的任何一個畫確定對象的縱橫比(aspectratio);-確定與圖像大小相比的對象大小；-確定與輸入圖像的邊界相連的區域；並且其中，在滿足以下要求的情況下消除所迷噪聲-所述縱橫比在10以內；-所述對象大小大於關於輸入圖像大小所設置的預定值；以及7-存在與所述輸入圖像的邊界相連的僅一個區域，或者存在不滿足其它要求的多個區域。根據一個實施例，所述關聯可以涉及確定所述手的定向的步驟，以及涉及-確定所述對象的Karhunen-Loe6(KL)軸定向；-確定所述對象的第一幾何中心點；以及-確定所述對象的凸多邊形的第二幾何中心點，並且其中，使用所述KL軸的定向來確定所述第一和第二中心點的位置關係。因此，第一幾何中心點表示被分割的手區域的幾何中心，即手區域的重心。第二幾何中心點表示(優選地通過凸多邊形來表示的)手區域輪廓的幾何中心。通常，第一幾何中心點不包括手形的信息。然而，第二幾何中心點的位置反映了區域的凸度。因此，通過確定手區域的KL軸，可以確定第一和第二幾何中心點相對於彼此的位置關係。已知在兩個中心點(或中心)之間的相對位置，可以確定手的位置並識別姿勢。根據另一實施例，所述定向的確定得出以下之一-如果所述KL軸沿第一方向延伸，並且所述第一和第二中心點在基本沿所述第一方向的第一移置(displacement)方向上相對於彼此被移置，則進行笫一操作，即，例如UP(向上)；-如果所述KL軸沿所述第一方向延伸，並且所述第一和第二中心點在基本沿所述第一方向的所述移置方向上相對於彼此,H向移置，則進行第二操作，即，例如DOWN(向下)；-如果所述KL軸沿基本垂直於所述第一方向的第二方向延伸，並且所述第一和第二中心點在基本沿所述第二方向的第二移置方向上相對於彼此被移置，則進行第三操作，即，例如RIGHT(向右)；畫如果所述KL軸沿所述第二方向延伸，並且所述第一和第二中心點在基本沿所述第二方向的所述移置方向上相對於彼此被反向移置，則進4亍第四操作，即，例如LEFT(向左)；畫如果所述中心點基本重合，並且所述姿勢的所迷對象的第一面積小於先前所識別姿勢的先前所確定對象的第二面積的至少一半，則進行第五操作，即，例如OPEN(打開)；-如果所述中心點基本重合，並且所述姿勢的所述對象的第一面積大於先前所識別姿勢的先前所確定對象的第二面積的至少兩倍，並且所述姿勢對應於所述先前所識別姿勢，則進行第六操作，即，例如CLOSE(關閉)；-如果所述中心點基本重合，並且所述姿勢的所述對象的第一面積大於先前所識別姿勢的先前所確定對象的第二面積的至少兩倍，並且所述姿勢不對應於所述先前所識別姿勢，則進行第七操作，即，例如STOP(停止)。根據優選實施例，在共同、一般的參考幀中，所述第一、第二、第三、和第四操作分別對應於向上、向下、向左和向右移動焦點，並且所述第五、第六和第七操作分別對應於打開項目(例如文件、文件夾或圖像)、關閉文件夾或圖像，以及停止焦點動作。措辭"焦點"涉及項目(例如圖像、文件、聯繫人、細節條目、電話號碼等)的焦點。此外，根據本發明的一個優選實施例，第一KL軸方向垂直向上，並且第二KL軸方向水平向左。在基本重合的情況下，可以理解為兩個中心點彼此鄰近並且不必要完全重合。根據本發明的一個實施例，可以使用所述通信終端所包括的照相機來實現所述登記。根據本發明的另一實施例，所述通信終端可以包括行動電話。在該上下文中，措辭"姿勢"應當理解為利用手所產生的姿勢的單個形式或形狀，例如閉合的拳頭、張開的手、閉合的手而拇指伸開並且指著一方向。措辭"姿勢"還可理解為一組包括一連串在彼此之後的單個姿勢，此外還可理解為包括移動的手的姿勢，例如用手指在空中打勾(ticking-in-the-air)。措辭"圖像數據"可理解為靜態圖像或一系列靜態圖像，例如視頻序列。根據本發明的又一實施例，所述方法還包括步驟通過接近度檢測來進行激活。因此，通過配備有接近度傳感器(其檢測達到附近對象的範圍)，可以通過接近度檢測來激活用於登記動作的裝置，導致其足夠使終端接近對象，而不需要令它們進行機械接觸。可用的接近度開關可以包括電感類型、電容類型、電磁輻射或超聲波類型。檢測電磁輻射包括根據從例如用戶的手發出的熱來檢測的光學傳感和紅外輻射。根據本發明的第二方面，通過一種具有計算機可執行組件的計算機可讀介質來獲得上述目的、優點和特徵以及將從以下詳細描述中變得明顯的各種其他目的、優點和特徵，所述計算機可讀介質適於響應於登記和解釋對象的預定動作或模式，調用通信終端的操作。特別地，根據一個實施例，所述計算機可讀介質還可適於-接收輸入；-捕獲所述對象的圖像數據；-在所述圖像數據中標識所述對象；-將所述對象識別為手；-將所述對象的特徵識別為所迷手的姿勢，並將其與來自一組預定參考姿勢中的笫一參考姿勢關聯；-提供與所述參考對象關聯的命令輸入。因此，作為優點，本發明的這些特徵可在具有下栽和運行這樣的電腦程式的能力的任何移動通信裝置中實現。換句話說，本發明提供了一種方法，用於通過識別對象的預定動作來控制通信終端的不同操作。在將例如用戶的手用作對象的情況下，預定動作可以包括將手閉合成拳頭、抓握、揮手、用一個或多個手指進行指點，或者就像沖莫式(例如包括一系列動作)。因此，預定動作可以與通信終端執行的行為、命令或任務相結合或成對。在該上下文中，措辭"控制，，還可理解為調用或執行移動通信終端的不同操作。預定動作可以被識別以便控制打開和/或關閉媒體內容的項目、訪問10在項目列表或堆棧中的媒體內容的上一項目或下一項目、刪,體內容的項目、滾動通過媒體內容的項目的內容、應答輸入語音呼叫；在從項目列表中選擇的項目上採取措施，呼叫SMS的發送方或結束投影。輸入通信可以包括消息，例如SMS或MMS。而媒體內容或消息可以包括文本、圖像、視頻或其任意組合。儘管這些消息傳遞服務是如今最常用的，然而本發明還旨在與其它類型的文本或多媒體消息一起使用。所述方法還包括步驟沿著投影光錐(projectedconeoflight)將對象從投影儀移開，直到獲得圖像的優選大小。通過實際上將信息保持在手中，用戶感覺到在控制呈遞(presentation)，且僅對他或她自身顯露數據。姿勢的特性對於用戶來說是直觀上獲得這樣的印象和感覺，即，在通信終端外部用手取得圖像，並且在已經回顧了信息之後，將其再次放回終端。所述方法還可以包括以下步驟將對象移回到設備和/或檢測笫二錐(secondtap)以便結束對所述圖像的投影。因此，以直觀的方式，用戶將僅以相反的順序來實現與當啟動該過程時相同的步驟。所提及的對象可以是例如通信終端的用戶的手。使用手的優點尤其是直接有可能略微將手合攏便將圖像從環境中擋住(shieldoff)。可以使用的其他對象包括才艮紙、鉛筆或者甚至是傘。預定動作可以通過使用圖像獲取裝置來檢測和識別。圖像獲取裝置可以是例如任何類型的數位照相機，例如CMOS照相機。措辭"解釋，，還可解釋為識別。可以通過使用對於設備的用戶接口進行導航和命令輸入的手勢來實現在人類與計算設備之間的自然交互。特別地，利用移動照相機設備的可用性，並且通過照相機輸入經由手勢來實現命令輸入的模式識別技術以及強大的圖像/視頻內容分析是一種便捷的解決方案，期望得到終端用戶的高度讚許。換句話說，通過文中所公開的本發明，輸入技術能夠提供一種針對設備小型化和使用性的衝突的直接解決方案。交互更加自然。輸入不受到設備硬體的小型化的限制。因此，通過本發明所提供的交互方式，提供了一種具有諸多優點的有利的、手部自由的(handsfree)解決方案，特別用於手持式通信i殳備。參照附圖，通過以下說明性和非限制性的對本發明優選實施例的具體描述，本發明的上述以及其他目的、特徵和優點將被更好地理解，其中圖1示意性地示出了根據本發明的姿勢識別過程的流程圖；圖2示意性地示出了根據本發明的方法的框圖；圖3示出了多個手勢的示意性例子(從a)至f)部分)；以及圖4示意性地示出了根據本發明用於手勢識別的幾何方法的各個定向(從a)至f)部分)。蔣實施方式在對各個實施例的以下描述中，參照形成各個實施例的一部分的附圖，解，在不背離本發明的範圍的情況下，可以利用其它實施例並且可以進行結構和功能的^"改。圖1示意性地示出了在其中實現本發明的通信終端101。終端101能夠經由空中接口103與無線電通信網絡105(例如/>知的系統CDMA2000、D-AMPS、GSM、UMTS、EDGE等)進行通信。該終端包括處理器107、存儲器109，以及作為擴音器lll、揚聲器113、顯示器115和鍵盤117的形式的輸入/輸出單元。通過無線電電路119和天線121實現無線電通信。連接至無線電通信網絡105的是控制器123。關於這些單元如何通信的細節對於本領域的技術人員來說是已知的，並且因此不再進一步討論。終端101還包括用於捕獲圖像數據的成像單元124。在圖2中，描繪了用於使用手勢來向通信終端提供命令輸入的方法的流程圖。特別地，其示出了根據本發明的姿勢識別過程。在所示方法的第一步201,利用圖像獲取裝置(優選地，利用行動電話的數位照相機)來捕獲手勢的圖像數據。圖像獲取裝置可以是例如任何類型的數位照相機，如用於圖像記錄的基於CCD(電荷耦合器件)或CMOS(互補金屬氧化物半導體)的照相機。在該方法的第二步202中，從圖像數據中標識一個或多個對象。關於如何實現對象標識的其它細節分別在以下用於膚色劃分以及連通分量標記和合併(mergence)208的步驟207和208中進行了概括。在該方法的第三步203中，檢查是否有任何對象對應於手。為此，必須滿足多個手勢要求，下面結合用於噪聲區域消除的步驟209給出了其中的細節。在該方法的第四步204中，確定手的定向。這是在使用Karhunen-LoW定向的基於定向的幾何方法中實現的，將在下面結合步驟210對其進行進一步詳細描述。在該方法的第五步205中，識別手的姿勢，並將其與一組預定姿勢中的一個相關聯。下面結合步驟211至217進一步詳細描述了該步驟的過程。在該方法的第六步206中，提供與所識別的姿勢對應的輸入。下面結合步驟218至224較為詳細地描述了各種輸入備選方案。關於圖2中所示的方法的步驟202，對象標識的過程涉及膚色劃分步驟207，用於標識圖像中具有膚色的區域。膚色劃分或膚色分類的技術可以淨皮描述為將各個圖像像素分成皮膚種類和非皮膚種類。為此，使用顏色空間分析。在皮膚劃分中已使用了各種各樣的顏色空間，例如RGB、HSV和YCbCr等。RGB顏色空間是用於處理和存儲彩色圖像數據的最廣泛使用的顏色空間之一，但是由於在色度和亮度數據的混合與通道之間的高度相關性，因此其通常不適合用於顏色分析和基於顏色的識別。基於色調-飽和度(Hue-saturation)的顏色空間(如HSV、HSI、HSL)是這樣的模型，即該模型符合人類的直觀感知並且類似於藝術家實際如何混合顏色。特別地，色調具有對白光源和環境光以;M^面定向的不變特性。YCbCr是面向硬體的模型。在該顏色空間中，亮度從色度數據中分離。通過從RGB的紅和藍分量減去亮度來形成Cb和Cr值。亮度和色度分量的轉換簡單性和明顯的分離使得這種顏色空間適合於膚色建模[Hsu等人，2002]。為了選擇基於色調的顏色空間或YCbCr空間來使得膚色檢測對於亮度不變，利用一組膚色訓練數據來分別評估YCbCr和HSV，所述數據包括從各個靜態圖像和視頻幀中提取的550個膚色樣本，覆蓋大範圍的膚色外觀(在皮膚樣本數據中總共超過2000萬個膚色像素)。在圖5中，分別在YCbCr空間a)部分和HSV空間b)部分中繪製了膚色樣本500。清楚可見的是，在YCbCr和HSV兩個顏色空間中，膚色樣本形成單個且緊密的群集501和502。在YCbCr顏色空間中，觀察到強度值Y對於CbCr平面上的分布具有很小的影響，並且在CbCr平面中，樣本膚色形成更小的和更緊密的群集。因此，在本發明中，將色度平面(CbCr)直接用於膚色分類，而不考慮強度值。因而，圖5的比較"i兌明了為何可優選地選棒YCrCb空間用於膚色區域劃分。此外，還可以採用該數據來訓練用於手區域劃分的膚色模型。為了對膚色劃分建模，使用高斯混合模型和期望值最大化(EM)估計。高斯密度函數以及高斯混合常被用於對膚色進行建模Yang等人，20021。通常使用最大似然來估計在單峰高斯分布中的參數。使用高斯混合的動機是基於以下觀察對於具有不同種族背景的人類皮膚的顏色柱狀圖沒有形成單峰分布，但卻形成多峰分布。利用單峰高斯，通過參數化的函數形式來近似計算膚色的類條件(class-conditional)概率分布函數(PDF)[Yang，Waiblel996j。P(xIW")=,C,)=(2;rmC」—'"exp{—"-m》rC;'-)}(工)其中，^是特徵向量的維度，附,是均值向量，c;是皮膚類別的協方差矩陣。在多峰分布的情況下，通過GMM(高斯混合模型)來近似計算膚色分布。14'=1(2)通常，使用期望值最大化(EM)算法[Bilmes1998得到高斯混合的參數(即，權重o,均值附，協方差C)。當數據不完整或具有遺漏的值時，EM算法是從給定數據集得到基本分布的參數的最大似然估計的通用方法。混合密度參數估計問題是EM算法的最廣泛4吏用的應用之一[Xu，Jordan1996。在本發明中，使用YCbCr顏色空間和GMM來實現膚色分類。為了構建GMM模型，使用K-均值[Duda，Hart2001算法來設置群集中心，並且然後利用EM算法來估計每個高斯分量的參數。在這種情況下，用於膚色分類的GMM模型包括20個高斯分量。每個分量是2-元素(Cb和Cr元素)高斯分布。20個高斯分量的參數列出如下。編號權重中心協方差10.0702(109.8462,151.5873)(5.2380,6.2722)20.0657(99.9267,159.2890)(2.6080,6.9135)30.0861(112.8403,144.3406)(9.1854，16.0524)40.0737(107.4903,157.2522)(6.6948,5.4418)0.0393(96.5935,152,4062)(31,4322,44.6357)60.0128(82.6950,157.0569)(25.4192,25.2871)70.0351(94.6656,170.6002)(4.7205,16.8803)80.0626(116.0954,146.3582)(8.8988,15.1916)90.0645(95.1594,160.7084)(3.7062,15.6597)100.0203(79.6508,170.3406)(31.2517,39.3632)110.0552(120.2977,138.1978)(9.4732,15.4720)120.0623(102.9900,157.9256)(0,8807,4.7835)130.0184(84.0346,181.6167)(100.3211,52.0002)15tableseeoriginaldocumentpage16在膚色分類之後，需要後處理一連通分量提取Gonzalez，Woods2002]，用於噪聲區域移除。在"連通分量標記和合併"的步驟208中，合併應當屬於一個對象的相鄰區域或分量，並計算區域的大小。基於標記對象的大小信息，實現"噪聲區域消除，，的步驟209，以便移除那些類似噪聲的小區域以及具有規則形狀(人為對象)的那些區域。因此，在劃分之後，原始圖像變成黑/白圖像，其中白色區域代表對象，而黑色區域4戈表背景。然而，此時白色區域的大小和形狀未知。利用連通分量標記，計算對象區域的大小和形狀，並且根據一些給定的先驗準則，合併屬於相同對象的相鄰對象區域。在標記和合併的步驟之後，實現噪聲區域移除的步驟，以便移除那些小區域以及具有規則形狀(人為對象)的那些區域。根據本發明，在任何的輸入姿勢圖像中應當存在唯一的手區域。在基於顏色皮膚的劃分之後，有時候，不僅可以劃分手區域，還可以劃分其它噪聲區域。因而，其中將對象識別為手的步驟203涉及噪聲消除的步驟209。因此，如果存在被提取的任何噪聲區域，則根據以下規則對其進行移除-手區,當具有IO以內的縱橫比(步驟210);-與輸入圖像大小相比，手區域應當具有足夠的大小(步驟211)。可以4吏用形態上開方文的操作(morphologicalopenoperation)來移除那些小的孤立區域。-與輸入圖像的邊界相連的所有區域都可以看作噪聲區域，除非僅存在一個滿足以上兩個規則的被分割的區域(步驟212)。在噪聲區域移除之後，剩餘的區域是手區域。姿勢定向分析作為將對象與預定對象關聯的步驟204的一部分，在步驟210中確定手的定向，以便確定Karhunen-Loe^(KL)定向。這種用於手勢識別的基於定向的幾何方法包括確定Karhunen-Loe^(KL)定向，以及確定手區域及其凸包(convexhull)的質心(centroid)。KL定向圖4示出了如a)至f)部分中所示的KL定向[Pratt2001]以及在各個定向上手區域的質心。下面進一步給出圖4的詳細描述。如下導出KL定向假設在輸入姿勢圖像的膚色像素集A中每個像素坐標是(&，，那麼《=[;^凡,=(義、.,,乂,)7"'=1...^狄色像素的坐標。屍,的均值是s二[^j;]7，其中5=1:乇/^，K-Zx/w。對應的協方差矩陣定義為從協方差矩陣Cs可容易地計算出特徵值￡,=[ej和對應的特徵向f^t=[ev9l，2]。因此，與較大的特徵值e、，相對應的特徵向量，，確定了在圖像坐標平面中的KL定向，參見圖4中的短劃線407至412。手區域及其凸包的質心在圖4的d)部分中所示的被分割的手區域的情況下，可以分別計算手區域及其凸多邊形的質心-6;"乂)和(:2(^義)。formulaseeoriginaldocumentpage17=1...W是手區域中的第《個膚色像素。導出C2(X2,^)為formulaseeoriginaldocumentpage18(S-皮膚面積，A-皮膚面積元素)基於格林定理，工油=-1辦,={x*辦，丄-/er!Vw"e/"o//o(ygow(￡-多邊形的周長)對於作為一系列線段的多邊形，這正好可以;故簡化成求和，x=_-_■:''—--------■■■'■■■'十力"l十凡,義,十l)(Xw—^,)j少232(O,,+工，,+1)O,w-y"))通過"簡化(shortcutting)"連接手區域的邊緣來創建第二質心C2的形狀。因而，效果是塗抹(smear)手區域的輪廓(conture)，以便使得拇指與手的主體接合(coalesce)，並且圖像對象的"重心"被移置(displace)。關於圖2中所示的方法的第五步205，以下概括了用於識別以及將手勢與一組預定姿勢之一進行關聯的過程。還包括在以下概括內容中的是如何將姿勢映射到各個輸入備選方案，如以上步驟206所示，以便提供與所識別的姿勢對應的輸入。如果已經計算了手區域的KL定向以及該區域及其凸包的質心，那麼可以參照手區域的KL定向，通過這兩個質心的位置關係來估計手形狀的定向。根據這裡概括的本發明實施例，可用的輸入備選方案是UP(向上)、DOWN(向下)、RIGHT(向右)、LEFT(向左)、OPEN(打開)、CLOSE(關閉)和STOP(停止)。然而，可以採用其它的輸入備選方案。此外，還可以具有能夠與所提供的姿勢匹配的其它預定姿勢。用戶可以例如向系統所識別的一組預定姿勢提供各個姿勢。因此，提供了一種學習系統，能夠根據每個用戶的選擇和偏好對其進行個性化。下面可以描述將輸入姿勢與參考姿勢對象進行匹配的原理通過消除不太可能的備選方案，從預定數目的可用參考對象中選擇參考姿勢對象，從而選擇剩餘的最後一個。也就是，例如，已知存在六個不同的備選方案來從中進行選擇，那麼選擇具有最佳對應性的一個。參照圖2，對於步驟211中分離的質心和中心點以及步驟212中接近垂直的KL定向的情況，如果在步驟213中質心第一中心點在質心第二中心點以上，則姿勢對應於操作DOWN218，而如果在步驟213中質心第一中心點在質心第二中心點以下，則姿勢對應於操作UP219。此外，對於步驟211中分離的質心和中心點而在步驟212中卻具有接近水平的KL定向的情況，如果在步驟214中質心第一中心點在質心第二中心點的左邊，則姿勢對應於操作RIGHT220，而如果在步驟214中質心第一中心點在質心第二中心點的右邊，則姿勢對應於操作LEFT221。為了優化有限數目的姿勢的使用，可以將各種輸入與單個姿勢關聯。因此，根據該例，操作CLOSE和STOP都可以與閉合的拳頭關聯。取決於先前的行為或操作，在步驟217中閉合的拳頭的姿勢導致不同的操作，例如，如果上一輸入是STOP並且上一姿勢是張開的手，則導致CLOSE,如步驟223中所示。否則，得到的操作是步驟224所示的STOP.在姿勢的凸包的面積是先前姿勢的面積的至少兩倍(如步驟215所示)並且先前操作是STOP(如步驟216所示)的情況下，那麼當前操作是步驟222所示的OPEN。在前一例子中，當最後的操作不是OPEN的情況下，當前操作完全是NO(否)操作，如步驟216所示。5S^隞不同地，如果手區域的KL定向接近水平並且兩個質心彼此分離，則姿勢意味著LEFT或RIGHT。而在接近垂直的KL定向的情況下，姿勢意味著UP或DOWN。然後使用兩個質心的位置關係來確定姿勢含義。容易理解，兩個質心的差別受到伸開的拇指的影響。如果拇指向左伸開，則凸包的質心位於手區域的質心的左邊。對於姿勢RIGHT、UP和DOWN,19兩個質心的位置關係類似於LEFT。另一方面，如果存在手的突出拇指，則凸包的質心將會處於與手區域的質心不同的位置。根據本發明的另一實施例，應用以下規範-使用與UP、DOWN、LEFT和RIGHT相關的姿勢來將焦點從一個項目移至另一項目。隱使用OPEN姿勢來打開項目，而使用CLOSE姿勢來關閉打開的項目。-從姿勢順序的觀點來看，CLOSE姿勢應當在OPEN姿勢之後。然而，如果存在一個或多個其它姿勢，例如在UP/DOWN/LEFT/RIGHT之間，則這些姿勢被禁用，並且系統將僅接受OPEN/CLOSE姿勢。畫使用STOP姿勢來使得焦點停止在項目上。-STOP姿勢和CLOSE姿勢具有相同的手勢。-如果系統檢測到OPEN姿勢，則會登記姿勢信息，例如手區域大小、手勢(OPEN)。直到系統檢測到CLOSE姿勢，將不接受其它姿勢。-對於STOP/CLOSE姿勢和OPEN姿勢，手區域及其凸包的中心點不必完全地重合，但卻幾乎重合。-對於CLOSE姿勢，手的大小近似小於OPEN姿勢的手的大小的兩倍。-如果不存在被登記的OPEN姿勢，並且如果系統檢測到拳頭狀姿勢，則系統將認為它是STOP姿勢，而不是CLOSE姿勢。項目可以包括文檔、文件夾、聯繫人、收件人、多媒體內容(例如圖像、音頻或視頻序列)、提醒、多媒體消息等。圖4將用作說明性例子400,其在a)至f)部分中描述了各個KL定向以及手區域及其凸包的質心。例如，如果手區域的KL定向接近水平407，如圖4的a)部分中所示，其中拇指401指向左，並且凸包的質心C2413位於手區域的質心C,414的左邊時，那麼姿勢對應於LEFT符號。在b)部分中，在拇指指向右的情況下，其兩個質心4"和416的位置顛倒。如果手區域的KL定向接近垂直409，如圖4的c)部分中所示，其中拇指訓S指向上，而C2"位於C"18之上時，那麼姿勢對應於UP符號。在d)部分中，在拇指指向下的情況下，其兩個質心419和420的位置顛倒。如果手區域的兩個質心d和C2(421和422)幾乎重疊，如e)部分中以張開的手405並且基本垂直的KL軸411所描繪的，以及如圖4的f)部分中以閉合的拳頭406並且基本水平的KL軸412所描繪的，將姿勢分別識別為OPEN和STOP。為了區分是將姿勢識別為OPEN還是STOP,頭的姿勢的面積的兩倍大小。用於進行區分的;它啟發式方^包括在STOP之後應當實現OPEN,而CLOSE應當在OPEN之後，等等。圖3描繪了一組預定的固定參考手勢300。圖3的a)至d)部分示出了拇指指向以下方向的閉合的手a)指向右301，用於指示向右運動；b)指向左302,用於指示向左運動；c)指向上303，用於指示向上運動；d)指向下304，用於指示向下運動。圖3的e)部分示出了閉合的手305，用於指示停止或關閉。圖3的f)部分示出了張開的手306，用於指示打開或接受。對於運動的指示可以指的是菜單中的操縱、在項目(例如消息、圖像、聯繫人細節、Web頁面、文件等)之間的切換，或者滾動通過項目。其它手勢(未示出)包括移動手勢，例如用食指在空中畫勾，用於指示選擇；用食指在空中畫叉，用於指示對活動對象(例如消息、圖像、高亮區域等)的刪除。可以將終端分發給終端用戶(包括一組預定手勢)用戶還可以根據需要和個人選擇來定義個人手勢，或者配置手勢與關聯行為之間的映射。換句話說，通過提供某些被定義的手勢，能夠實現用戶接口交互。因此，可以將手勢用於命令輸入以及對字母和數字的錄入等。根據一個應用，即媒體庫導航，其中使用"Up"來向上移動焦點，使用"Down"來向下移動焦點，使用"Left"來向左移動焦點，使用"Right"來向右移動焦點，"Stop"意味著停止焦點移動，使用"Open"來打開焦點所在的圖片，以及^f吏用"Close"來關閉在庫中打開的圖片。手勢還可以用於在圖形用戶接口上控制對象的移動，例如，在已知的貪吃蟲遊戲中控制蟲子的移動。根據本發明的一個實施方案，通信終端淨皮配置以便登記和解釋對象的動作(優選地，利用內置式照相機並結合用於登記和分析在其前面的動作/模式的軟體)。然後，該終端被配置以便響應於用戶的手的預定動作或模式，例如選擇和執行一些行為(例如打開和/或關閉媒體內容的項目，訪問在項目列表或堆棧中的媒體內容的上一項目或下一項目，刪,體內容的項目，滾動通過媒體內容的項目的內容，應答輸入語音呼叫)，在從項目列表中選擇的項目上採取措施，呼叫SMS的發送方，或者結合輸入通信(例如SMS(短消息服務)或MMS(多媒體消息傳遞服務))來採取一些措施。在最後兩種所討論的情況下，先前所提及的動作或模式可以包括可由通信終端解釋成刪除消息的閉合的拳頭，可使用手的斜置(tilting)來到達消息文件夾或列表中的下一消息，向上斜置可指示在列表中前進，並且向下斜置可指示在列表中後退。通過使得手旋轉、斜置、繞圏或者來回或上下簡單移動，可以將多個行為與不同模式關聯。模式還可以包括一系列或一連串的動作。通信終端可^t配置以使z汰別多個預i殳動作。然而，對於用戶來說，也可以配置各個動作，或者調節動作以便更好地匹配現有模式。因此，使用接近度檢測，利用對象的靠近終端的姿勢可以觸發終端激活投影儀來呈遞輸入通信的信息。接近度傳感器檢測何時有物體接近。在檢測到有物體接近時給予開關輸出的這樣的傳感器稱為接近度開關。最後，上述發明提供了一種向通信終端提供輸入的方便和直觀的方式。其很好地適用於結合縮小尺寸的設備來進行提供。特別地，在人的手暴露於液體或其它物質的情形和環境中，其也是方〗更的，從而不需要與終端的直接物理接觸。2權利要求1.一種方法，用於響應於登記和解釋對象的預定動作或模式，調用通信終端的操作。2.根據權利要求1的方法，其中所述對象包括手，並且所述預定動作或模式包括手勢。3.根據權利要求1的方法，其中通過所述終端的軟體來實現對動作或模式的所述解釋。4.根據權利要求1的方法，其中所述操作涉及使用手勢來向所述通信終端提供命令輸入，並且所迷方法包括-捕獲所述手勢的圖像數據201;-在所述圖像數據中標識對象202;-將對象識別為手203;-將所述對象的特徵識別為所述手的姿勢，並將其與來自一組預定參考姿勢中的第一參考姿勢關聯205;-提供與所述參考姿勢關聯的命令輸入206。5.根據權利要求4的方法，其中所述標識涉及對膚色進行分類。6.根據權利要求5的方法，其中所述膚色的分類包括進行高斯混合建模。7.根據權利要求5的方法，其中所述膚色的分類涉及顏色空間分析和/或概率分析。8.根據權利要求7的方法，其中所述顏色空間分析涉及將圖像數據轉換成色度平面(CbCr)顏色空間圖像數據。9.根據權利要求4的方法，其中所述對象識別涉及使用連通分量提取來消除視覺噪聲。10.根據權利要求9的方法，其中所述連通分量提取包括以下中的任何一個-確定所述對象的縱橫比；-確定與圖像大小相比的對象大小；-確定與輸入圖像的邊界相連的區域；並且其中，在滿足以下要求的情況下消除所述噪聲-所述縱橫比在10以內；-所述對象大小大於關於輸入圖像大小所設置的預定值；以及-存在與所述輸入圖像的邊界相連的僅一個區域，或者存在不滿足其它要求的多個區域。11.根據權利要求4的方法，其進一步包括確定所迷手的定向204,以及涉及-確定所iW象的Karhunen-Lo"(KL)軸定向；一確定所i^j"象的第一幾何中心點；以及-確定所述對象的凸多邊形的第二幾何中心點，並且其中，使用所述KL軸的定向來確定所述第一和第二中心點的位置關係。12.根據權利要求11的方法，其中所述定向的確定得出以下之一-如果所述KL軸沿第一方向延伸，並且所述第一和第二中心點在基本沿所述第一方向的第一移置方向上相對於彼此被移置，則進行第一操作；-如果所迷KL軸沿所述第一方向延伸，並且所述第一和笫二中心點在基本沿所述第一方向的所述移置方向上相對於彼此亂良向移置，則進行第二操作；-如果所述KL軸沿基本垂直於所述第一方向的笫二方向延伸，並且所迷第一和第二中心點在基本沿所述第二方向的第二移置方向上相對於彼此被移置，則進行第三操作；-如果所述KL軸沿所述第二方向延伸，並且所述第一和第二中心點在基本沿所述第二方向的所述移置方向上相對於彼此淨it良向移置，則進行第四操作；-如果所述中心點基本重合，並且所述姿勢的所述對象的第一面積小於先前所識別姿勢的先前所確定對象的第二面積的至少一半，則進行第五搮作；-如果所述中心點基本重合，所述姿勢的所迷對象的笫一面積大於先前所識別姿勢的先前所確定對象的第二面積的至少兩倍，並且所述姿勢對應於所述先前所識別姿勢，則進行第六操作；-如果所述中心點基本重合，所述姿勢的所述對象的笫一面積大於先前所識別姿勢的先前所確定對象的第二面積的至少兩倍，並且所述姿勢不對應於所述先前的姿勢，則進行第七操作。13.根據權利要求12的方法，其中所述第一、第二、第三和第四操作分別對應於向上、向下、向左和向右移動焦點，所述第五、第六和第七操作分別對應於打開項目、關閉項目和停止焦點動作。14.根據權利要求1的方法，其中使用所述通信終端的照相機來實現所述登記。15.根據4又利要求1的方法，其中所述通信終端是行動電話。16.根據權利要求l的方法，其進一步包括步驟通過接近度檢測來進行激活。17.—種具有計算機可執行組件的計算機可讀介質，其包括所述計算機可讀介質適於響應於登記和解釋對象的預定動作或模式，調用通信終端的操作。18.根據權利要求17的計算機可讀介質，其進一步適於-接收輸入；-捕獲所述對象的圖像數據；-在所述圖像數據中標識所述對象；-將所迷對象識別為手；-將所述對象的特徵識別為所述手的姿勢，並將其與來自一組預定參考姿勢中的第一參考姿勢關聯；-提供與所述參考對象關聯的命令輸入。全文摘要本發明涉及一種方法，其用於響應於登記和解釋對象的預定動作或模式，調用通信終端的操作。其進一步涉及在其中實現本發明的計算機可讀介質。文檔編號G06F3/01GK101517515SQ200780035358公開日2009年8月26日申請日期2007年9月24日優先權日2006年9月28日發明者H·魯,Q·劉,R·塔卡拉,Y·方,汪孔橋申請人:諾基亞公司