基於雙目相機的人體朝向識別方法和系統與流程

2023-07-15 04:20:46

本申請涉及基於立體視覺的機器學習和機器識別領域，且更具體地，涉及基於雙目相機的人體朝向識別方法和系統。
背景技術：
：人體朝向識別是計算機視覺領域的重要課題之一，這是因為，首先，人體朝向的識別能夠支持一些計算機視覺的應用和高層的計算機視覺任務。例如，人體朝向是人的交互因為或者關注方位的指示。在展覽廳中，展品的吸引力程度在某種程度上可以通過人們的注意力來體現。其次，現有的關於人體朝向的研究主要集中於提取對仿射變換魯棒的特徵。但是，諸如仿射不變特徵變換(ScaleInvariantFeatureTransformation，縮寫為SIFT)和加速魯棒特徵(SpeededUpRobustFeature，縮寫為SURF)只是對與有限的角度改變魯棒。從具有大角度視角改變的圖像中提取的特徵仍然存在顯著的差異。第三，一些與計算機視覺任務(例如人的行為識別)有關的核心算法，例如隱馬爾可夫模型和動態貝葉斯網絡，僅把特徵表達作為抽象的觀測模型而忽略其具體的實現。因此這些核心算法對於人或其他對象的視角改變造成的特徵差異具有固有的敏感。因此，如果較低層的視角信息能夠被計算出來，它將能夠支持高層的算法以克服視角改變的問題，以及支持各種計算機視覺的應用。為了計算人的朝向，通常利用基於雙目相機的關於人在3D世界坐標系中運動的檢測和跟蹤技術，這是因為人的運動跟蹤軌跡是人體朝向的自然表達。在人在一定速度下移動的情況下，一個簡單的主成分分析(PrincipalComponentAnalysis，PCA)方法就可以高效地計算出時間相鄰的人體3D位置的主方向，以作為人體朝向的合理的估計。但是，如果人以非常低的速度移動，或者靜止不動，這種方法就失效了：因為這種情況下，人體的3D位置就如同關於時間的隨機遊走。因此現有技術要解決的問題歸結為如何在幾乎沒有運動軌跡的條件下進行的人體朝向識別。僅有很少數量的專利旨在解決這一問題。這也許是由於問題的病態特性：從不完備的2D圖像中推斷對象的3D結構。例如，題為「METHODANDSYSTEMFORDETECTINGSPECIFICOBJECTINIMAGE」的國際專利申請WO2004/111867A2(2004年12月23日公開)提出了一種方法和系統來檢測圖像中的特定目標。該方案的目標是檢測圖像中任意旋轉的對象。對象的旋轉被劃分為若干個類別。每一個旋轉類包含了特定的落入由那個旋轉類預先定義的俯仰、偏航和滾轉(pitch,yawandroll)範圍中的對象的圖片。朝向分類器是一個能夠輸出對象若干個的朝向類標記的多類分類器。該標記被用來選擇對應的多個二元分類器中的一個，以用於進行特定對象存在與否的判定。儘管該方案採納了一種兩階段的分類過程，但它的目的在於檢測一個旋轉的對象。因此，在第一階段它即產生了一個最終的旋轉標記以便選擇對應的二元檢測用分類器。該方法的問題在於旋轉分類器須從2D圖像中決定對象的3D朝向(俯仰、偏航和滾轉，即pitch,yawandroll)，而這本身仍然是一個病態的問題。為了克服該問題，旋轉分類器需要大量標記精準的訓練樣本。除此之外，它對對象的外觀是敏感的。由於外觀的差異性，兩個屬於相同旋轉類的對象可能會被旋轉分類器錯分到兩個不同的旋轉類中。這種錯誤源於在沒有可靠的物理信息的基礎上，分類器過於依賴對象的2D外觀特徵。題為「REALTIMEHEADPOSEESTIMATION」的美國專利US8687880B2(2014年4月1日公告)提出了一種實時的頭態估計方法和系統。類似地，它遵循特徵提取和分類識別的範式。在這種情況下，特徵是通過主成分分析(PCA)降維後的局部二進位圖案特徵(LocalBinaryPattern，LBP)。更確切地說，對於每一幀，一個真實的關於旋轉軸的頭部旋轉角度被記錄下來，臉部區域被檢測出來並提取為一個特徵向量作為表徵。利用主成份分析可以進一步產生PCA特徵向量。圍繞著旋轉軸的與旋轉角度的有關的頭姿類別已經事先定義。PCA特徵向量被聚類成一個頭姿類別。最終，對頭姿類別運用線性判別分析(lineardiscriminantanalysis(LDA))來產生低維頭姿空間。該專利基本可以歸結為一個基於2D灰度/彩色圖像的分類問題。它的訓練樣本具有精確標記的旋轉角。LBP算子用於提取臉部區域的空域特徵以饋送給基於線性判別的決策過程。與之前的方案一樣，這種方法對目標外觀敏感：在沒有可靠的物理信息的基礎上，分類器過於依賴對象的2D外觀特徵。存在的問題在於，分類器需要通過不完備的2D圖像確定對象的3D旋轉(俯仰、偏航和滾轉，即pitch,yawandroll)。這個問題是本質性的因為分類收到了目標2D外觀的制約。由於目標外觀的差異性，兩個屬於相同旋轉類的對象可能會被旋轉分類器錯分到兩個不同的旋轉類中。在沒有可靠的物理信息的基礎上，分類器過於依賴對象的2D外觀特徵。為了克服該問題，旋轉分類器需要大量標記精準的訓練樣本。但在本質上這並沒有解決真正的問題。因此，需要一種更為準確的人體朝向識別技術。技術實現要素：根據本發明的一個方面，提供一種基於雙目相機的人體朝向識別方法，包括：接收雙目相機拍攝的灰度圖或彩色圖以及深度圖；進行前景識別以獲得前景像素，以在世界坐標系中對前景像素的深度圖進行XYZ三維重構以獲得三維圖，其中，X表示寬度，Y表示高度，Z表示深度，且將所述世界坐標系中的三維圖進行XZ平面的頂視圖投影，以獲得頂視圖；基於所述頂視圖來進行人體運動軌跡跟蹤；確定從人體運動軌跡跟蹤的結果得到人體的運動速度是否大於預定閾值；如果從人體運動軌跡跟蹤的結果得到人體的運動速度大於預定閾值，則將人體運動軌跡的方向作為人體朝向；如果從人體運動軌跡跟蹤的結果得到人體的運動速度小於或等於預定閾值，則通過肩垂直方向分類器對所述頂視圖進行分類，以獲得在多對相對的方向中的一對方向作為肩垂直方向識別結果；將所述三維圖進行後向投影，以獲得頭部區域的二維信息；利用臉部二元分類器對所述頭部區域的二維信息進行分類，以在作為肩垂直方向識別結果的一對方向中選擇與所述頭部區域的臉部朝向對應的一個方向，作為人體朝向。根據本發明的另一個方面，提供一種基於雙目相機的人體朝向識別系統，包括：接收單元，被配置為接收雙目相機拍攝的灰度圖或彩色圖以及深度圖；頂視圖獲得單元，被配置為進行前景識別以獲得前景像素，以在世界坐標系中對前景像素的深度圖進行XYZ三維重構以獲得三維圖，其中，X表示寬度，Y表示高度，Z表示深度，且將所述世界坐標系中的三維圖進行XZ平面的頂視圖投影，以獲得頂視圖；人體運動軌跡跟蹤單元，被配置為基於所述頂視圖來進行人體運動軌跡跟蹤；確定單元，被配置為確定從人體運動軌跡跟蹤 的結果得到人體的運動速度是否大於預定閾值；人體朝向識別單元，被配置為：如果從人體運動軌跡跟蹤的結果得到人體的運動速度大於預定閾值，則將人體運動軌跡的方向作為人體朝向；如果從人體運動軌跡跟蹤的結果得到人體的運動速度小於或等於預定閾值，則通過肩垂直方向分類器對所述頂視圖進行分類，以獲得在多對相對的方向中的一對方向作為肩垂直方向識別結果；將所述三維圖進行後向投影，以獲得頭部區域的二維信息；利用臉部二元分類器對所述頭部區域的二維信息進行分類，以在作為肩垂直方向識別結果的一對方向中選擇與所述頭部區域的臉部朝向對應的一個方向，作為人體朝向。本發明的目的包括利用雙目相機，在世界坐標系中進行三維重構從而打破2D外觀對分類器的制約。另一方面，它仍然利用了2D外觀信息以獲取關於對象朝向的細節線索。根據這個思路，本發明分為兩個階段(步驟)。在第一個階段，它實施了3D點雲的投影以產生基於高度模板的應用於N方向分類的保持了空域性質的特徵。基於這個階段的輸出結果，在第二階段中，本發明通過後向投影在2D灰度/彩色圖像上確定人的頭部區域，並進一步提取了保持空域性質的歸一化特徵用於二元分類。附圖說明圖1是示出了應用本發明的各個實施例的硬體結構示例圖。圖2是示出根據本發明的一個實施例的基於雙目相機的人體朝向識別方法的示例流程圖。圖3是示出示意性地示出了根據本發明的一個實施例的基於雙目相機的人體朝向識別方法的流程的示意圖。圖4示出了頂視圖投影與人體檢測和跟蹤的原理示意圖。圖5示出了基於軌跡或者定位的方向估計的示意圖。圖6示出了對頂視圖的檢測區域進行肩垂直方向(N方向)分類的示意圖。圖7示出了利用向後投影原理獲得二維圖像上的人體矩形框的示意圖。圖8示出了對該人體矩形框進行臉部二元分類的示意圖。圖9是示出了根據本發明的另一個實施例的基於雙目相機的人體朝向識別系統的示例方框圖。具體實施方式現在將詳細參照本發明的具體實施例，在附圖中例示了本發明的例子。儘管將結合具體實施例描述本發明，但將理解，不是想要將本發明限於所述的實施例。相反，想要覆蓋由所附權利要求限定的在本發明的精神和範圍內包括的變更、修改和等價物。應注意，這裡描述的方法步驟都可以由任何功能塊或功能布置來實現，且任何功能塊或功能布置可被實現為物理實體或邏輯實體、或者兩者的組合。為了使本領域技術人員更好地理解本發明，下面結合附圖和具體實施方式對本發明作進一步詳細說明。注意，接下來要介紹的示例僅是一個具體的例子，而不作為限制本發明的實施例必須為如下具體的步驟、數值、條件、數據、順序等等。本領域技術人員可以通過閱讀本說明書來運用本發明的構思來構造本說明書中未提到的更多實施例。圖1是示出了應用本發明的各個實施例的硬體結構示例圖。該硬體結構包含：雙目相機101，用於拍攝對象以獲得灰度(或彩色)圖以及對應的深度(或視差)圖構成的圖像對序列；數位訊號處理器102，用於接收灰度(或彩色)圖以及對應的深度(或視差)圖構成的圖像對序列，並進行處理以輸出方向計算或方向識別結果；中央處理單元(centralprocessingunit，CPU)103，用於處理數位訊號處理器輸入或輸出的數據；存儲設備104，用於臨時或永久地存儲數位訊號處理器所需的數據；顯示器105，用於顯示輸出方向計算或方向識別結果。本發明的各個實施例可以在數位訊號處理器102上執行。該硬體結構僅是示例，實際上，數位訊號處理器102輸入或輸出數據的各個設備可以是其他設備，例如以聲音形式輸出方向識別結果的揚聲器、接收指令輸入的觸控螢幕等。圖2是示出根據本發明的一個實施例的基於雙目相機的人體朝向識別方法的示例流程圖。根據本發明的一個實施例的基於雙目相機的人體朝向識別方法200包括：步驟201，接收雙目相機拍攝的灰度圖或彩色圖以及深度圖；步驟202，進行前景識別以獲得前景像素，以在世界坐標系中對前景像素的深度圖進行XYZ三維重構以獲得三維圖，其中，X表示寬度，Y表示高度，Z表示深度， 且將所述世界坐標系中的三維圖進行XZ平面的頂視圖投影，以獲得頂視圖；步驟203，基於所述頂視圖來進行人體運動軌跡跟蹤；步驟204，確定從人體運動軌跡跟蹤的結果得到人體的運動速度是否大於預定閾值；步驟205，如果從人體運動軌跡跟蹤的結果得到人體的運動速度大於預定閾值，則將人體運動軌跡的方向作為人體朝向；步驟206，如果從人體運動軌跡跟蹤的結果得到人體的運動速度小於或等於預定閾值，則通過肩垂直方向分類器對所述頂視圖進行分類，以獲得在多對相對的方向中的一對方向作為肩垂直方向識別結果；步驟207，將所述三維圖進行後向投影，以獲得頭部區域的二維信息；步驟208，利用臉部二元分類器對所述頭部區域的二維信息進行分類，以在作為肩垂直方向識別結果的一對方向中選擇與所述頭部區域的臉部朝向對應的一個方向，作為人體朝向。如此，利用前景像素的從上向下投影的頂視圖，能夠跟蹤該前景(例如人體)的運動軌跡，並且在運動速度較大時，採用運動軌跡的方向作為人體朝向，減少了計算量並加快人體朝向識別的效率，而在在運動速度較小時，解決了現有技術中對運動速度較小的人體朝向識別不準的問題，採用兩個階段的分類器，來在第一階段中分類得到與肩垂直的一對方向，然後通過向後投影得到頭部區域，來在第二階段中分類以從與肩垂直的一對方向中選擇與臉部朝向接近的一個方向，作為最終的人體朝向，如此，能夠在運動速度較小的情況下準確地估計人體的朝向，獲得較好的人體朝向識別效果。而且，先得到初步的一對運動方向，可以將人體的朝向的選擇範圍縮窄到這樣的一對方向上，然後，利用人臉二元分類來找到臉部的位置，以進一步地精確人體的朝向是在該對方向中的哪一個上。這樣，能夠逐步精度地縮小人體的朝向的範圍，並最終得到較為精確的結果，而且計算量也不會太大。在一個實施例中，肩垂直方向分類器可以包括通過如下方式獲得的肩垂直方向分類器：以每個頂視圖的XZ平面上的每個離散的矩形格作為高度模板，對每個高度模板中的各個點的最高的高度Y分量提取保留空間信息的特徵，採集已知肩垂直方向的多個訓練樣本以訓練得到肩垂直方向分類器。在此，利用每個高度模板中的各個點的最高的高度Y分量可以獲得例如人體的肩部以上的部位在空間上的輪廓，從而作為之後的肩垂直方向分類的特徵。預先劃分相對的N對方向，例如在N等於4的情況下、0度的一對方向、45度的一對方向、90度的一對方向、135度的一對方向。預先採集已知 肩垂直方向(即落入這些預先劃分的N對方向中的與肩垂直的相對的一對方向)的多個訓練樣本，並利用這些訓練樣本的上述特徵和已知的肩垂直方向的標籤來訓練分類器，以得到該肩垂直方向分類器。在此，在一個實施例中，該肩垂直方向分類方法可以包括無監督學習；有監督學習(例如隨機森林、支持向量機(SupportVectorMachine，SVM)和Adaboost等)；和半監督學習(例如Generativemodel,Low-densityseparation,Graph-basedmethod,Heuristicapproach)等。在一個優選實施例中，使用隨機森林作為該肩垂直方向分類器。當然，上述以每個頂視圖的XZ平面上的每個離散的矩形格作為高度模板，對每個高度模板中的各個點的最高的高度Y分量提取保留空間信息的特徵僅是示例而非限制，也可以使用其他特徵，例如統計落入各個高度模板中的各個點的數量的空間分布作為特徵、各個高度模板中的各個點的平均高度的空間分布作為特徵等等。在一個實施例中，所述臉部二元分類器可以包括通過如下方式獲得的臉部二元分類器：在二維顏色圖上的所述頭部區域內提取保留空間信息的特徵，採集已知臉部位置的訓練樣本以訓練得到臉部二元分類器。如此，利用頭部區域的顏色信息的空間分布作為特徵，可以採集已知臉部位置的訓練樣本來訓練得到臉部二元分類器。這種特徵例如是原始圖像數據或者描述人臉的Haar-like特徵等。當然，上述特徵僅是示例而非限制，也可以使用其他特徵，例如其它的保留空域位置的特徵。在一個實施例中，可以使用K最鄰近結點算法(k-NearestNeighbor，KNN)作為臉部二元分類器。其它二元分類方法包含但不限於Hausdorff距離測度。Hausdorff距離測度是計算點的集合到另一個點的集合之間的距離。同樣類別的樣本群，由於其樣本的相似性，會使得點集間的距離小於不同類別的點集間的距離。該臉部二元分類器的輸出可以是在之前初步得到的一對方向中與臉部所提取特徵最接近的一個方向。在一個實施例中，基於所述頂視圖來進行人體運動軌跡跟蹤的步驟203可以包括：通過如下方式從雙目相機連續拍攝的一系列深度圖中獲得噪聲濾波後的一系列高度圖：以每個頂視圖的XZ平面上的每個離散的矩形格作為高度模板，保留每個高度模板中的各個點的最高的高度Y分量以獲得高度圖；在各高度模板中，統計落入每個柵格bin中的點的數量，以獲得遮擋圖；將 所述遮擋圖作為掩模施加到所述高度圖以進行噪聲濾波處理；檢測和跟蹤所述噪聲濾波後的一系列高度圖中的高度模板，以獲得該高度模板的運動軌跡。當然，在此，獲得遮擋圖以及用該遮擋圖對高度圖進行噪聲濾波僅是示例而非限制，這樣可以獲得更少噪聲的高度圖，以便用該高度圖獲得更準確的人體朝向識別結果。該方法200還可以包括：通過計算所述噪聲濾波後的一系列高度圖中的高度模板之間的歐式距離，基於雙目相機連續拍攝的幀速率來計算人體的運動速度；其中，如果從人體運動軌跡跟蹤的結果得到人體的運動速度大於預定閾值，則將人體運動軌跡的方向作為人體朝向的步驟包括：如果計算的人體的運動速度大於預定閾值，根據該高度模板的運動軌跡，利用主成分分析方法獲得人體在空間運動的主方向，作為人體朝向。在此，如果雙目相機連續拍攝一系列灰度(彩色)圖以及其深度圖，則可以根據上述方式得到一系列高度圖，如此，可以根據具有最高高度的點(例如，人體的頭頂)在世界坐標系中的運動軌跡來推算人體的運動軌跡。並根據雙目相機的拍攝的幀率，得知這樣的運動軌跡是在多少時間內出現的，由此可以推算人體的運動速度。然後根據人體的運動速度的大小，來決定是進行主成分分析方法來獲得人體的空間運動的主方向作為人體朝向(運動速度較快)，還是利用肩垂直分類器和臉部二元分類器來推算與肩垂直的臉部的朝向作為人體朝向(運動速度較慢)。在一個實施例中，將所述世界坐標系中的三維圖進行XZ平面的頂視圖投影，以獲得頂視圖202的步驟可以包括：將所述深度圖變換到攝像機坐標系，並進一步變換為相對於所述雙目相機的局部世界坐標系，來獲得頂視圖。在一個實施例中，所述將所述三維圖進行後向投影，以獲得頭部區域的二維信息的步驟207可以包括：將所述三維圖進行後向投影，以獲得二維的人體矩形框；根據人體的頭部的長度與身高的比例、以及所述三維圖中的最高點的高度、人體的頭部的寬度與肩寬的比例、以及頂視圖的寬度中的最高點的高度，從所述二維的人體矩形框(boundingbox)中提取頭部區域以獲得頭部區域的二維信息。在此，頭部的長度與身高的比例、人體的頭部的寬度與肩寬的比例等數據可以通過大量的樣本進行歸一化後統計得出，也可以根據經驗值設定一個固定值。當然從二維的人體矩形框中提取頭部區域也可以採用其他方法，例如，僅根據頭部長度與身高的比例、以及所述三維圖中的最高點的高度，並根據頭部通常就位於最高點(頭頂)的下方的原理，來估計頭部的區域(而不考慮頭的真實寬度)。如此，利用前景像素的從上向下投影的頂視圖，能夠跟蹤該前景(例如人體)的運動軌跡，並且在運動速度較大時，採用運動軌跡的方向作為人體朝向，減少了計算量並加快人體朝向識別的效率，而在在運動速度較小時，解決了現有技術中對運動速度較小的人體朝向識別不準的問題，採用兩個階段的分類器，來在第一階段中分類得到與肩垂直的一對方向，然後通過向後投影得到頭部區域，來在第二階段中分類以從與肩垂直的一對方向中選擇與臉部朝向接近的一個方向，作為最終的人體朝向，如此，能夠在運動速度較小的情況下準確地估計人體的朝向，獲得較好的人體朝向識別效果。圖3是示出示意性地示出了根據本發明的一個實施例的基於雙目相機的人體朝向識別方法的流程的示意圖。圖3主要示出了步驟206到步驟208的示意圖。在進行前景識別以獲得如圖3的左上部分所示的前景像素，以在世界坐標系中對前景像素的深度圖進行XYZ三維重構以獲得三維圖，且將所述世界坐標系中的三維圖進行XZ平面的頂視圖投影，以獲得如圖3的右上部分所示的頂視圖之後，在步驟206中，如果從人體運動軌跡跟蹤的結果得到人體的運動速度小於或等於預定閾值，則通過肩垂直方向分類器對所述頂視圖進行分類，以獲得在多對相對的方向中的一對方向作為肩垂直方向識別結果。當然，在此，該一對方向可以與人體的肩的方向相垂直，因為人在行走或運動時，通常其運動方向是與人體的肩的方向垂直的。在此，假設事先劃分了N對相對的方向，例如在N等於4的情況下，0度的一對方向、45度的一對方向、90度的一對方向、135度的一對方向。在此，N越大，劃分的方向的精度越大。預先採集已知肩垂直方向(即落入這些預先劃分的N對方向中的與肩垂直的相對的一對方向)的多個訓練樣本，並利用這些訓練樣本的上述特徵(例如對每個高度模板中的各個點的最高的高度Y分量提取保留空間信息的特徵)和已知的肩垂直方向的標籤來訓練分類器，以得到該肩垂直方向分類器。因此，在輸入了新的一個投影的頂視圖之後，肩垂直方向分類器進行的分類結果是獲得該N對相對的方向中的一對方向(例如一對方向+n和-n)作為與肩垂直的方向的初步 識別結果，其中，N、n是正整數，n取1、2、……N。另外，注意，示例但並非必需的，在此可以施加時域平滑或者濾波以獲得更平滑的n方向識別結果。該時域關聯的假設是如果雙目相機對圖像採集的幀率足夠高，人體的朝向變化規律將逼近某個連續函數而不存在跳變。時域平滑方法可以包括但不限於隱馬爾可夫模型中的前向算法和前向後向算法。在步驟207中，將所述三維圖進行後向投影(即向XY平面投影)以獲得頭部區域的二維信息。在步驟208中，利用臉部二元分類器對所述頭部區域的二維信息進行分類，以在作為肩垂直方向識別結果的一對方向(例如，+n和-n)中選擇與所述頭部區域的臉部朝向對應的一個方向(例如+n)，作為人體朝向。該頭部區域的二維信息可以包括顏色信息、和/或矩形框信息等。臉部二元分類器可以基於與臉部相關的顏色特徵和/或矩形框特徵等來檢測在該頭部區域的二維信息中的臉部所在的位置，例如，左側還是右側。因此，當利用臉部二元分類器確定了臉部位於左側時，則說明人可能是朝左的，因此在該相對立的一對方向中朝左的方向更有可能是當前的人體的朝向。再例如，如果向後投影后對頭部區域的二維信息的分類結果是臉部位於右側時，則說明人可能是朝右的，因此在該相對立的一對方向中朝右的方向更有可能是當前的人體的朝向。圖4示出了頂視圖投影與人體檢測和跟蹤的原理示意圖。該頂視圖投影包含：(1)坐標變換：將2D(即二維)前景像素結合其對應的深度值變換到攝像機坐標系(CameraCoordinateSystem,CCS)，並進一步變換這些3D點從攝像機坐標繫到相對於那個雙目相機的局部世界坐標系(WorldCoordinateSystem,WCS)。注意，這裡的局部WCS可以在CCS正下方並且平放在地面上。與標準CCS相比，WCS擁有相同的X方向，相反的Y方向。CCS的Z軸的地面投影與WCS的Z軸重合，因此也稱地面為XZ平面；(2)投影：將局部WCS中的3D點投影到離散的XZ平面上(稱該離散的XZ平面為頂視圖)。在頂視圖的每個離散的矩形柵格(稱為bin，在一個例子中，取為4cm*4cm的方格)中，保存落入這個bin的具有最高Y分量的3D點坐標(在局部WCS下)，以此生成一幅「高度圖」，代表真實3D場景的高度分布。除此之外，也可以另外統計落入每個bin中的點數(即被遮擋後剩餘的那些相機可視的點的數量)以產生一幅「遮擋圖」，其利用深度平方進行的歸一化形式能夠表達被檢測和跟蹤的人體的可視面積。該高度圖和該遮擋圖都可以 從之前的頂視圖投影中得到，且可以用於如下人體的檢測和跟蹤。人體的檢測和跟蹤包括：在該例子中，人的檢測和跟蹤是在頂視圖上進行的。在利用高度圖進行人的檢測和跟蹤時，在高度圖上的被檢測和跟蹤的區域稱為高度模板，其大小可以預先設置(在該例子中，可以取20bin*20bin)或者依據情況來另外設定。在該例子中，人體的檢測可以基於歐式距離以測度兩個高度模板的距離，而人體的跟蹤可以基於粒子濾波，即「遮擋圖」可以作為掩模施加於「高度圖」上進行濾波去除噪聲。粒子濾波和除噪的過程以及檢測和跟蹤的過程，詳見MichaelHarville和DalongLi的CVPR2004論文：Fast,IntegratedPersonTrackingandActivityRecognitionwithPlan-ViewTemplatesfromaSingleStereoCamera。在此不詳述。圖5示出了基於軌跡或者定位的方向估計的示意圖。在該例子中，一個人的最高點(語義上對應這個人的頭部頂點)能夠在他的高度模板中搜索獲得。因此進一步利用跟蹤技術，能夠獲得最高點的軌跡，這代表這個人的軌跡或者位置。在獲得了最高點的軌跡之後，通過例如連續幀的已知幀速率等，可以確定該運動軌跡的運動速度。如果該運動軌跡的運動速度大於預定速度閾值，則說明該人在較快速地運動，則人的運動軌跡自然表徵了人的運動朝向，因此，利用一個簡單的主成分分析(PCA)方法即可獲得這個人在3D空間的時間關聯位置的主方向，以作為這個人在該位置處的合理的方向估計。該利用主成分分析方法獲得人的運動方向的技術是已知的，在此不詳述。圖6示出了對頂視圖的檢測區域進行肩垂直方向(N方向)分類的示意圖。在一個高度模板中的高度分布隱含了那個人的相對於局部WCS的朝向信息。因此，採用經典的特徵提取加分類的範式。在特徵提取中，一些技術包含但不限於中心重計算(re-centering)，高度歸一化(歸一化到該當前高度模板的最高高度)，濾波以及降維能夠被施加在高度模板上。例如，將高度模板視為感興趣區域，計算該區域的重心；找到該區域中的最高點，並且用它歸一化其它高度；濾波可以使用前述的遮擋圖；降維可以使用PCA等等。在分類時，分類方法包含但不限於無監督學習，有監督學習(例如隨機森林，SVM和Adaboost等)以及半監督學習。由於人體朝向具有靜態屬性，因此不需要使用在線學習的方式。在一個例子中，隨機森林被作為多類別分類器。 隨機森林利用一系列超平面將特徵空間劃分為不同的子空間：每一次分裂(splitting)將當前的空間一分為二或一分為多。最後，通過這一步獲得了N方向的識別結果。經過實驗發現，如果採用隨機森林作為分類器，可以直接將高度模板的浮點型像素值進行逐行級聯作為特徵，而不需要採用降維處理或高度歸一化，就可以獲得良好的識別率。在圖6中，分別示意顯示四對方向(即N等於4)。每一對方向其實包含了相對立的兩個方向，例如，1、-1、2、-2、3、-3、4、-4。如圖6所示，可見這些對方向本身是與人體的肩垂直的。此時，利用肩垂直方向(N方向)分類方法得到了初步的相對立的兩個方向。為了進一步確定人體的朝向到底是該相對立的兩個方向中的哪一個，可以通過下述參考圖7-8所述的臉部二元分類方法。圖7示出了利用向後投影原理獲得二維圖像上的人體矩形框的示意圖。為了得到人體的矩形框(例如矩形矩形框)，將包括前景像素的三維圖向後投影以獲得二維圖像上的矩形矩形框。其中，由於每個bin中的最高點的3D坐標被保存下來，能夠通過對模板中所有bin的最高點比較獲得一個高度模板中的最高點(語義上代表人的頭頂)，如此，最高點也被後向投影。獲取到的高度模板中的最高點能夠通過坐標系變換被後向投影到2D圖像上，見圖7右下所示的人體的頭頂。需要注意的是，如果在3D重構時2D圖像坐標被保存下來，這種情況下高度模板的最高點的後向投影的步驟就可以省略，也就是說，只需要能夠得到類似於向後投影而獲得的最高點投影即可。然後，確定人體的人體矩形框。具體地，由於高度模板的最高點的Y分量(語義上對應這個人的高度)被保存下來，2D圖像上這個人的高度容易通過透視投影的原理計算出(相似三角形的計算)。同樣，因為高度模板的寬度本身也已知，因此也能夠計算出2D圖像上矩形框的寬度。最終，利用高度模板的最高點2D坐標、矩形框的高度和寬度這三個要素能夠在2D圖像上唯一確定一個矩形框，作為人體矩形框。圖8示出了對該人體矩形框進行臉部二元分類的示意圖。圖8包含了如下步驟：(1)頭部區域(或備選區域)的檢測和估計：在2D圖像的矩形框內，頭部圖像信息隱含地表徵了上述對立的兩個方向的其中一個(儘管這兩個對立的方向屬於同一個肩垂直方向識別結果，如圖6所示)。因此，可以根據某些預先定義的方式在圖7所示的人體矩形框中檢測頭部區域或者估計若干頭 部備選區域。例如，根據人體的頭部的長度與身高的比例、以及所述三維圖中的最高點的高度、人體的頭部的寬度與肩寬的比例、以及頂視圖的寬度中的最高點的高度，從所述二維的人體矩形框中提取頭部區域以獲得頭部區域的二維信息。(2)可選的尺度歸一化和特徵提取：由於2D圖像上的不同頭部區域具有尺度上的差異，因此可以可選地歸一化這些不同的頭部區域到相同的大小。特徵提取應該保留頭部圖像的空域信息。比如在該例子中，採用原始圖像數據(Rawfeature)、或者Haar-like特徵。這裡，一個實驗證實的可行方案是：將頭部區域中的彩色(例如色調飽和度亮度(Hue,Saturation,Value，HSV)顏色空間中的色調(Hue)通道)圖像的像素值逐行級聯，作為頭部區域的特徵。如圖8的右側的每個小圓點即為一個特徵。應該注意，可以將尺度歸一化和特徵提取合併為一步。(3)臉部二元分類：一旦頭部區域被檢測或者估計，使用離線的學習方法能夠判定臉部二元分類結果。即判定這樣的頭部區域是屬於對立的兩個方向的哪一個。在該例子中，可以使用K最鄰近結點算法(k-NearestNeighbor，KNN)作為臉部二元分類器。其它二元分類方法包含但不限於Hausdorff距離測度。Hausdorff距離測度是計算點的集合到另一個點的集合之間的距離。同樣類別的樣本群，由於其樣本的相似性，會使得點集間的距離小於不同類別的點集間的距離。如圖8的右側所示，帶有「+」和「-」符號的大圓圈框起來的每個小圓點都是在訓練臉部二元分類器階段時、其肩垂直方向處於圖8所示的「+」和「-」的一對方向中的大量訓練樣本的如上所述提取的特徵所在的位置。而中間的小圓圈框起來的每個小圓點都是當前輸入的要識別朝向的頭部區域的如上所述提取的特徵。利用例如KNN算法或Hausdorff距離測度來判斷該小圓圈中的各個點與「+」的大圓圈中的各個點更近、還是與「-」的大圓圈中的各個點更近。如圖8所示，可見小圓圈中的各個點與「+」的大圓圈中的各個點更近，因此，該頭部區域的臉部二元分類結果是朝圖中所示的「+」的方向。最終，輸出了對立的兩個方向的哪一個方向作為識別結果。在此，注意，在訓練臉部二元分類器時，可以將針對預先劃分的肩垂直方向的各對方向，分別訓練適用於每對方向的二元分類器，並在肩垂直分類器得出初步的一對方向的分類結果之後，選擇適用於該對方向的二元分類器 來進行最終的朝向識別。例如，針對如圖6所示的「+1」和「-1」方向，採集已知臉部朝向為「+1」或「-1」方向的大量訓練樣本，通過原始圖像數據(Rawfeature)、或者Haar-like特徵、或色調(Hue)像素級聯的特徵，來訓練得到針對該對方向「+1」和「-1」的二元分類器。如此，在用肩垂直方向分類器得出「+1」和「-1」的一對方向作為初步朝向結果之後，利用針對該對方向「+1」和「-1」的二元分類器，在輸入新的頭部區域的保留空間信息的顏色信息之後，輸出分類到該對方向「+1」和「-1」中的哪一個的最終分類結果，作為最終的人體朝向識別結果。當然，上述針對每對方向分別訓練二元分類器的方式僅是示例，而非限制。根據本發明的各個實施例，能夠識別人體朝向並獲得由競爭力的淨度。在第一階段，輸出N對方向中的一對方向作為初步識別結果，在第二階段中，輸出基於第一階段的進一步的二元分類結果。總體上看，能識別2*N個朝向。以下表1示出了示例的在沒有時域平滑機制來提高性能的情況下，對頂視圖的檢測區域施加本發明的一個實施例的分別對於N＝4和N＝8的識別精度。表1在沒有時域平滑機制來提高性能的情況下，對頂視圖的檢測區域施加本發明的一個實施例的分別對於N＝4和N＝8的識別精度注意，在上述例子中，對於隨機森林，最大深度被設置為50，最小樣本容量為3，隨機數有150株。對於支持向量機(SupportVectorMachine，SVM)，參數通過網格搜索進行優化。在此，網格搜索是SVM參數優化的通用方法，對此不詳述。從上表可見，利用隨機森林來作為多類別分類器用於肩垂直方向分類器，可以比僅使用SVM來作為該分類器能夠實現更高的識別精度和準確度。當然，上述隨機森林和SVM的情況下的兩種識別精度也已經遠超過現有技術中不使用根據本發明的各個實施例的識別方法的識別精度了。上表僅是示例地示出利用隨機森林作為分類器能夠實現更高的識別精度，而並非限制本發明僅能夠使用隨機森林作為分類器。以下表2示出了根據本發明的實施例的利用KNN算法進行的當N＝4時的二元分類淨度。每個朝向數字(例如+1)代表了一個朝向，如圖6所示。表2當N＝4時利用KNN獲得的二元分類淨度。朝向K＝1K＝7K＝15K＝30K＝60K90K＝190+1100％100％100％100％100％100％100％-197.8％88.9％82.2％77.8％75.6％71.1％53.3％+2100％100％100％100％100％100％95.6％-266.7％66.7％55.5％51.1％22.2％35.6％48.9％+380.0％84.4％93.3％100％100％100％100％-388.9％75.6％60％55.6％23.7％2.2％0.％+4100％100％100％100％100％100％100％-4100％95.6％97.8％97.8％97.8％97.8％95.6％由此可見，利用本發明的各個實施例的人體朝向識別的方法，在人體運動速度較小時的人體朝向識別精度得到顯著提高。圖9是示出了根據本發明的另一個實施例的基於雙目相機的人體朝向識別系統900的示例方框圖。該系統900包括：接收單元901，被配置為接收雙目相機拍攝的灰度圖 或彩色圖以及深度圖；頂視圖獲得單元902，被配置為進行前景識別以獲得前景像素，以在世界坐標系中對前景像素的深度圖進行XYZ三維重構以獲得三維圖，其中，X表示寬度，Y表示高度，Z表示深度，且將所述世界坐標系中的三維圖進行XZ平面的頂視圖投影，以獲得頂視圖；人體運動軌跡跟蹤單元903，被配置為基於所述頂視圖來進行人體運動軌跡跟蹤；確定單元904，被配置為確定從人體運動軌跡跟蹤的結果得到人體的運動速度是否大於預定閾值；人體朝向識別單元905，被配置為：如果從人體運動軌跡跟蹤的結果得到人體的運動速度大於預定閾值，則將人體運動軌跡的方向作為人體朝向；如果從人體運動軌跡跟蹤的結果得到人體的運動速度小於或等於預定閾值，則通過肩垂直方向分類器對所述頂視圖進行分類，以獲得在多對相對的方向中的一對方向作為肩垂直方向識別結果；將所述三維圖進行後向投影，以獲得頭部區域的二維信息；利用臉部二元分類器對所述頭部區域的二維信息進行分類，以在作為肩垂直方向識別結果的一對方向中選擇與所述頭部區域的臉部朝向對應的一個方向，作為人體朝向。如此，利用前景像素的從上向下投影的頂視圖，能夠跟蹤該前景(例如人體)的運動軌跡，並且在運動速度較大時，採用運動軌跡的方向作為人體朝向，減少了計算量並加快人體朝向識別的效率，而在在運動速度較小時，解決了現有技術中對運動速度較小的人體朝向識別不準的問題，採用兩個階段的分類器，來在第一階段中分類得到與肩垂直的一對方向，然後通過向後投影得到頭部區域，來在第二階段中分類以從與肩垂直的一對方向中選擇與臉部朝向接近的一個方向，作為最終的人體朝向，如此，能夠在運動速度較小的情況下準確地估計人體的朝向，獲得較好的人體朝向識別效果。而且，先得到初步的一對運動方向，可以將人體的朝向的選擇範圍縮窄到這樣的一對方向上，然後，利用人臉二元分類來找到臉部的位置，以進一步地精確人體的朝向是在該對方向中的哪一個上。這樣，能夠逐步精度地縮小人體的朝向的範圍，並最終得到較為精確的結果，而且計算量也不會太大。上述單元901-905都可以與例如CPU、RAM通信以獲得必要的數據和運算，並將最終的人體朝向的識別結果輸出到例如顯示器上以顯示給用戶。在一個實施例中，肩垂直方向分類器可以包括通過如下方式獲得的肩垂直方向分類器：以每個頂視圖的XZ平面上的每個離散的矩形格作為高度模板，對每個高度模板中的各個點的最高的高度Y分量提取保留空間信息的特 徵，採集已知肩垂直方向的多個訓練樣本以訓練得到肩垂直方向分類器。在此，利用每個高度模板中的各個點的最高的高度Y分量可以獲得例如人體的肩部以上的部位在空間上的矩形框，從而作為之後的肩垂直方向分類的特徵。預先採集已知肩垂直方向(即與肩垂直的兩個相對的方向)的多個訓練樣本，並利用這些訓練樣本的上述特徵和已知的肩垂直方向的標籤來訓練分類器，以得到該肩垂直方向分類器。在此，在一個實施例中，該肩垂直方向分類方法可以包括無監督學習；有監督學習(例如隨機森林、支持向量機(SupportVectorMachine，SVM)和Adaboost等)；和半監督學習等。在一個優選實施例中，使用隨機森林作為該肩垂直方向分類器。在一個實施例中，所述臉部二元分類器可以包括通過如下方式獲得的臉部二元分類器：在二維顏色圖上的所述頭部區域內提取保留空間信息的特徵，採集已知臉部位置的訓練樣本以訓練得到臉部二元分類器。如此，利用頭部區域的顏色信息的空間分布作為特徵，可以採集已知臉部位置的訓練樣本來訓練得到臉部二元分類器。這種特徵例如是原始圖像數據或者描述人臉的Haar-like特徵、將頭部區域中的彩色(例如色調飽和度亮度(Hue,Saturation,Value，HSV)顏色空間中的色調(Hue)通道)圖像的像素值逐行級聯、作為頭部區域的特徵等。當然，上述特徵僅是示例而非限制，也可以使用其他特徵，例如僅人臉的顏色等。在一個實施例中，可以使用K最鄰近結點算法(k-NearestNeighbor，KNN)作為臉部二元分類器。其它二元分類方法包含但不限於Hausdorff距離測度。該臉部二元分類器的輸出可以是在之前初步得到的一對方向中與臉部的位置最接近的一個方向。在一個實施例中，人體運動軌跡跟蹤單元903可以被配置為：通過如下方式從雙目相機連續拍攝的一系列深度圖中獲得噪聲濾波後的一系列高度圖：以每個頂視圖的XZ平面上的每個離散的矩形格作為高度模板，保留每個高度模板中的各個點的最高的高度Y分量以獲得高度圖；在各高度模板中，統計落入每個柵格bin中的點的數量，以獲得遮擋圖；將所述遮擋圖作為掩模施加到所述高度圖以進行噪聲濾波處理；檢測和跟蹤所述噪聲濾波後的一系列高度圖中的高度模板，以獲得該高度模板的運動軌跡。當然，在此，獲得遮擋圖以及用該遮擋圖對高度圖進行噪聲濾波僅是示 例而非限制，這樣可以獲得更少噪聲的高度圖，以便用該高度圖獲得更準確的人體朝向識別結果。該系統900還可以包括被配置為進行如下的裝置：通過計算所述噪聲濾波後的一系列高度圖中的高度模板之間的歐式距離，基於雙目相機連續拍攝的幀速率來計算人體的運動速度；其中，如果從人體運動軌跡跟蹤的結果得到人體的運動速度大於預定閾值，則將人體運動軌跡的方向作為人體朝向的步驟包括：如果計算的人體的運動速度大於預定閾值，根據該高度模板的運動軌跡，利用主成分分析方法獲得人體在空間運動的主方向，作為人體朝向。在此，如果雙目相機連續拍攝一系列灰度(彩色)圖以及其深度圖，則可以根據上述方式得到一系列高度圖，如此，可以根據具有最高高度的點(例如，人體的頭頂)在世界坐標系中的運動軌跡來推算人體的運動軌跡。並根據雙目相機的拍攝的幀率，得知這樣的運動軌跡是在多少時間內出現的，由此可以推算人體的運動速度。然後根據人體的運動速度的大小，來決定是進行主成分分析方法來獲得人體的空間運動的主方向作為人體朝向(運動速度較快)，還是利用肩垂直分類器和臉部二元分類器來推算與肩垂直的臉部的朝向作為人體朝向(運動速度較慢)。在一個實施例中，頂視圖獲得單元902可以被配置為：將所述深度圖變換到攝像機坐標系，並進一步變換為相對於所述雙目相機的局部世界坐標系，來獲得頂視圖。在一個實施例中，人體朝向識別單元905可以被配置為：將所述三維圖進行後向投影，以獲得二維的人體矩形框；根據人體的頭部的長度與身高的比例、以及所述三維圖中的最高點的高度、人體的頭部的寬度與肩寬的比例、以及頂視圖的寬度中的最高點的高度，從所述二維的人體矩形框中提取頭部區域以獲得頭部區域的二維信息。如此，利用前景像素的從上向下投影的頂視圖，能夠跟蹤該前景(例如人體)的運動軌跡，並且在運動速度較大時，採用運動軌跡的方向作為人體朝向，減少了計算量並加快人體朝向識別的效率，而在在運動速度較小時，解決了現有技術中對運動速度較小的人體朝向識別不準的問題，採用兩個階段的分類器，來在第一階段中分類得到與肩垂直的一對方向，然後通過向後投影得到頭部區域，來在第二階段中分類以從與肩垂直的一對方向中選擇與臉部朝向接近的一個方向，作為最終的人體朝向，如此，能夠在運動速度較 小的情況下準確地估計人體的朝向，獲得較好的人體朝向識別效果。當然，上述的具體實施例僅是例子而非限制，且本領域技術人員可以根據本發明的構思從上述分開描述的各個實施例中合併和組合一些步驟和裝置來實現本發明的效果，這種合併和組合而成的實施例也被包括在本發明中，在此不一一描述這種合併和組合。注意，在本公開中提及的優點、優勢、效果等僅是示例而非限制，不能認為這些優點、優勢、效果等是本發明的各個實施例必須具備的。另外，上述公開的具體細節僅是為了示例的作用和便於理解的作用，而非限制，上述細節並不限制本發明為必須採用上述具體的細節來實現。本公開中涉及的器件、裝置、設備、系統的方框圖僅作為例示性的例子並且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領域技術人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設備、系統。諸如「包括」、「包含」、「具有」等等的詞語是開放性詞彙，指「包括但不限於」，且可與其互換使用。這裡所使用的詞彙「或」和「和」指詞彙「和/或」，且可與其互換使用，除非上下文明確指示不是如此。這裡所使用的詞彙「諸如」指詞組「諸如但不限於」，且可與其互換使用。本公開中的步驟流程圖以及以上方法描述僅作為例示性的例子並且不意圖要求或暗示必須按照給出的順序進行各個實施例的步驟。如本領域技術人員將認識到的，可以按任意順序進行以上實施例中的步驟的順序。諸如「其後」、「然後」、「接下來」等等的詞語不意圖限制步驟的順序；這些詞語僅用於引導讀者通讀這些方法的描述。此外，例如使用冠詞「一個」、「一」或者「該」對於單數的要素的任何引用不被解釋為將該要素限制為單數。另外，本文中的各個實施例中的步驟和裝置並非僅限定於某個實施例中實行，事實上，可以根據本發明的概念來結合本文中的各個實施例中相關的部分步驟和部分裝置以構思新的實施例，而這些新的實施例也包括在本發明的範圍內。以上所述的方法的各個操作可以通過能夠進行相應的功能的任何適當的手段而進行。該手段可以包括各種硬體和/或軟體組件和/或模塊，包括但不限於電路、專用集成電路(ASIC)或處理器。可以利用被設計用於進行在此所述的功能的通用處理器、數位訊號處理器(DSP)、ASIC、場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、 離散門或電晶體邏輯、離散的硬體組件或者其任意組合而實現或進行所述的各個例示的邏輯塊、模塊和電路。通用處理器可以是微處理器，但是作為替換，該處理器可以是任何商業上可獲得的處理器、控制器、微控制器或狀態機。處理器還可以實現為計算設備的組合，例如DSP和微處理器的組合，多個微處理器、與DSP核協作的一個或多個微處理器或任何其他這樣的配置。結合本公開描述的方法或算法的步驟可以直接嵌入在硬體中、處理器執行的軟體模塊中或者這兩種的組合中。軟體模塊可以存在於任何形式的有形存儲介質中。可以使用的存儲介質的一些例子包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、快閃記憶體、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可移動碟、CD-ROM等。存儲介質可以耦接到處理器以便該處理器可以從該存儲介質讀取信息以及向該存儲介質寫信息。在替換方式中，存儲介質可以與處理器是整體的。軟體模塊可以是單個指令或者許多指令，並且可以分布在幾個不同的代碼段上、不同的程序之間以及跨過多個存儲介質。在此公開的方法包括用於實現所述的方法的一個或多個動作。方法和/或動作可以彼此互換而不脫離權利要求的範圍。換句話說，除非指定了動作的具體順序，否則可以修改具體動作的順序和/或使用而不脫離權利要求的範圍。所述的功能可以按硬體、軟體、固件或其任意組合而實現。如果以軟體實現，功能可以作為一個或多個指令存儲在切實的計算機可讀介質上。存儲介質可以是可以由計算機訪問的任何可用的切實介質。通過例子而不是限制，這樣的計算機可讀介質可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存儲、磁碟存儲或其他磁存儲器件或者可以用於攜帶或存儲指令或數據結構形式的期望的程序代碼並且可以由計算機訪問的任何其他切實介質。如在此使用的，碟(disk)和盤(disc)包括緊湊盤(CD)、雷射盤、光碟、數字通用盤(DVD)、軟碟和藍光碟，其中碟通常磁地再現數據，而盤利用雷射光學地再現數據。因此，電腦程式產品可以進行在此給出的操作。例如，這樣的電腦程式產品可以是具有有形存儲(和/或編碼)在其上的指令的計算機可讀的有形介質，該指令可由一個或多個處理器執行以進行在此所述的操作。電腦程式產品可以包括包裝的材料。軟體或指令也可以通過傳輸介質而傳輸。例如，可以使用諸如同軸電纜、光纖光纜、雙絞線、數字訂戶線(DSL)或諸如紅外、無線電或微波的無線技 術的傳輸介質從網站、伺服器或者其他遠程源傳輸軟體。此外，用於進行在此所述的方法和技術的模塊和/或其他適當的手段可以在適當時由用戶終端和/或基站下載和/或其他方式獲得。例如，這樣的設備可以耦接到伺服器以促進用於進行在此所述的方法的手段的傳送。或者，在此所述的各種方法可以經由存儲部件(例如RAM、ROM、諸如CD或軟碟等的物理存儲介質)提供，以便用戶終端和/或基站可以在耦接到該設備或者向該設備提供存儲部件時獲得各種方法。此外，可以利用用於將在此所述的方法和技術提供給設備的任何其他適當的技術。其他例子和實現方式在本公開和所附權利要求的範圍和精神內。例如，由於軟體的本質，以上所述的功能可以使用由處理器、硬體、固件、硬連線或這些的任意的組合執行的軟體實現。實現功能的特徵也可以物理地位於各個位置，包括被分發以便功能的部分在不同的物理位置處實現。而且，如在此使用的，包括在權利要求中使用的，在以「至少一個」開始的項的列舉中使用的「或」指示分離的列舉，以便例如「A、B或C的至少一個」的列舉意味著A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辭「示例的」不意味著描述的例子是優選的或者比其他例子更好。可以不脫離由所附權利要求定義的教導的技術而進行對在此所述的技術的各種改變、替換和更改。此外，本公開的權利要求的範圍不限於以上所述的處理、機器、製造、事件的組成、手段、方法和動作的具體方面。可以利用與在此所述的相應方面進行基本相同的功能或者實現基本相同的結果的當前存在的或者稍後要開發的處理、機器、製造、事件的組成、手段、方法或動作。因而，所附權利要求包括在其範圍內的這樣的處理、機器、製造、事件的組成、手段、方法或動作。提供所公開的方面的以上描述以使本領域的任何技術人員能夠做出或者使用本發明。對這些方面的各種修改對於本領域技術人員而言是非常顯而易見的，並且在此定義的一般原理可以應用於其他方面而不脫離本發明的範圍。因此，本發明不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特徵一致的最寬範圍。為了例示和描述的目的已經給出了以上描述。此外，此描述不意圖將本發明的實施例限制到在此公開的形式。儘管以上已討論了多個示例方面和實施例，但本領域技術人員將認識到其某些變型、修改、改變、添加和子組合。當前第1頁1&nbsp2&nbsp3&nbsp