基於四個特徵點的頭部動作測定的製作方法

2023-04-28 04:33:16

專利名稱：基於四個特徵點的頭部動作測定的製作方法
技術領域：
本發明涉及基於面部圖像的位置(例如眼睛和嘴角)來進行頭部動作測定的系統和方法，更具體地說，本發明涉及一種基於四個(4)面部特徵點來進行頭部動作測定的線性方法。作為一個特別的例子，附加說明了一種基於四個面部特徵點來進行頭部姿態測定的算法。
頭部姿態識別是一個人機互動中的重要研究領域，已經提出許多頭部姿態識別的方法。這些方法中的大多數都是利用某些面部特徵來對面部建模。例如，大多數現有的方法都採用六個面部特徵點，包括瞳孔、鼻孔和唇角來對面部建模，然而其他方法，正如在Z.Liu和Z.Zhang的題為「通過利用物理屬性的健壯的頭部動作計算(RobustHead Motion Computation by Taking Advantage of PhysicalProperties)」的文章中所提出的那樣，運用了五個面部特徵點包括眼睛和嘴角以及鼻尖，上述文章發表在人類動作專題學術討論會會議論文集中，73-80頁，奧斯汀，2000年12月(Proc.Workshop on HumanMotion，pp.73-80，Austin，December 2000)。在Zhang的文章中，通過非線性優化，頭部動作可以由五個特徵點測定。事實上，現有的用於面部姿態測定的算法都是非線性的。
迫切需要提供一種面部姿態測定的線性算法，並且與非線性解決方案相比要求較低的計算量。
更加迫切地需要提供一種面部姿態測定的線性算法，並且僅僅依賴於四個特徵點，例如眼睛和嘴角。
因此，本發明的一個目標是提供一種頭部動作測定的線性算法。
本發明的進一步目標是提供一個頭部動作測定的使用四個面部特徵點的線性算法。
本發明的另一個目標是提供一種基於頭部動作測定算法的頭部姿態測定的算法。
按照本發明的原理，提供了一種基於面部特徵數據來進行頭部動作測定的線性方法，該方法包括以下步驟獲取第一幅面部圖像並且在該第一幅圖像中檢測頭部；在上述的第一幅面部圖像中檢測出四個點P的位置，這四個點為P＝{p1，p2，p3，p4}，並且pk＝(xk，yk)；獲取第二幅面部圖像並且在該第二幅圖像中檢測頭部；在第二幅面部圖像中檢測出四個點P』的位置，這四個點為P＝{p1』，p2』，p3』，p4』}，並且pk』＝(xk』，yk』)；並且利用點P和P』測定頭部的動作，該動作由旋轉矩陣R和平移矢量T表示出來。頭部動作測定由一個等式控制Pi』＝RPi+T，其中R=r1Tr2Tr3T=rij33]]>而且T＝[T1T2T3]T分別代表照相機的旋轉和平移，頭部姿態測定是頭部動作測定的一個特例。
有利的是，基於四個特徵點的頭部姿態測定算法可以被用於化身控制應用、視頻聊天以及面部識別應用。
在這裡公開的本發明的細節將藉助下面所列出的附圖進行描述。在這些附圖中附

圖1描述了一個典型頭部的典型特徵點的布局。
附圖2描述給出了本發明的頭部姿態測定算法的基礎的面部幾何圖形10。
按照本發明的原理，本發明提供了基於眼睛和嘴角的圖像位置來測定頭部動作的線性方法。更具體地說，本發明提供了當以一個正視圖作為參考位置時，基於四點匹配的測定頭部動作的方法，並以頭部姿態測定作為一個特例。
本方法優於現有的其他方法，那些現有的其他方法或者需要更多的匹配點(至少七個)，或者是非線性的而且需要至少五個面部特徵匹配。
一般來說，頭部動作測定的方法如下第一步是獲取第一幅圖像I1並且在I1中檢測頭部。然後在I1中檢測對應於眼睛和嘴的外角的點P，即P＝{p1，p2，p3，p4}，其中pk＝(xk，yk)表示出一個點的圖像坐標。然後獲取第二幅圖像I2並且在I2中檢測頭部。然後在I2中檢測對應於眼睛和嘴的外角的點P』，即，P＝{p1』，p2』，p3』，p4』}，其中pk』＝(xk』，yk』)。基於P和P』，下一步就涉及到確定頭部的動作，該動作由一個旋轉矩陣R和一個平移矢量T表示出來。可以理解，一旦動作參數R和T被計算出來，所有匹配點的三維結構也可以被計算出來。然而，結構和平移之間僅存在一個固定比例，因此如果T的量值被固定了，那麼結構只能被唯一地測定。如果在三維中一個點的深度被確定了，那麼T也將被唯一地測定。
正如上面所提到的那樣，頭部姿態測定算法是頭部動作測定算法的一個特例，由兩種方法可以實現頭部姿態測定1)交互型，它需要一幅參考圖像；2)近似型，它利用一個普通(平均生物統計學的)頭部的幾何學信息，也被稱為普通頭部模型(GHM)。
對於交互型算法，需要進行下述步驟1)在使用這個系統之前，使用者需要在一個預先確定的參考位置面向照相機。按照上述的步驟獲取參考眼睛和嘴角P0。2)當獲取了一個新的圖像以後，按照上述算法所述的剩餘步驟檢測出眼睛和嘴角，並且測定頭部動作。3)頭部旋轉矩陣對應於頭部姿態矩陣。
近似型算法並不需要與使用者之間的交互，但是它假定對於所有使用者而言某些生物統計學信息是可得到的和確定的。例如，附圖1中描述了近似型算法，它包括表示典型頭部19的典型特徵點在照相機坐標系20(表示為Cxyz系統)中的布局。在附圖1中，點P1和P3分別代表了普通頭部模型19中的眼睛和嘴角。如附圖1所示，很容易理解對於正視圖而言，這些點P1和P3有不同的深度(分別對應Z1和Z3)。假設角度τ已知，並且在所有可能的人類頭部上使用平均值。這並不是一個確切的值，但是精確地計算出這個斜度(傾斜)角是非常困難的，因為即使是同一個人在被要求直視照相機時，也會在重複試驗中不同程度地歪斜頭部。對於確定的角度τ，將基於僅僅一幅頭部圖像來唯一地測定頭部姿態，這一點將在下文中更詳細地加以解釋。
為了描述的目的，假定一臺照相機或者數字圖像捕獲裝置已經在不同位置獲取了一個頭部模型的兩幅圖像。讓點p1，p2，p3和p4表示第一幅圖像中的眼睛(點p1，p2)和嘴角(點p3，p4)的圖像坐標，讓點p1』，p2』，p3』和p4』表示第二幅圖像中的眼睛和嘴角的圖像坐標。已知這些特徵點的坐標，那麼任務就是確定在第一幅和第二幅兩幅圖像間的頭部動作(由旋轉和平移表示)。
通常，該算法按下述步驟進行1)使用面部約束，計算兩幅圖中特徵點的三維(3-D)坐標，2)已知特徵點的三維位置，計算動作參數(旋轉矩陣R和平移矩陣T)。
下面將要描述本算法中計算特徵點的三維坐標的步驟。正如在附圖2中的面部幾何圖形10所表示的那樣，點p1，p2，p3，p4和p1』，p2』，p3』，p4』的特徵分別表示出在首兩幅圖像中眼睛和嘴角的三維坐標。對於附圖2中所示的面部幾何圖形，假設下面的性質1)連接點p1，p2的線段12平行於連接點p3，p4的線段15，即p1p2//p3p4；2)連接點p1，p2的線段12垂直於連接點p5，p6的線段(其中p5，p6分別是線段p1p2和p3p4的中點)。在數值上，性質1和性質2可以分別根據下面的方程(1)和方程(2)寫出x2-x1x4-x3=Y2-Y1Y4-Y3=Z2-Z1Z4-Z3----(1)]]>((P1+P2)-(P3+P4))·(P2-P1)＝0(2)Pi＝[XiYiZi]T表示一個圖像點Pi的三維坐標。圖像和任意一點Pk的三維坐標之間的關係由下述公知的投影方程給出。
xk=XkZk,yk=YkZk----(3)]]>由於眾所周知，單目圖像系列的結構復原僅按照一個比例執行，一個Z坐標被確定了，其他坐標都可以根據這一個而計算出來。因此，為了簡化計算，並且不影響其一般性，可以假設Z1＝1。通過叉乘方程(1)並將(3)代入(1)中，下面的關係以方程(4)和方程(5)的形式給出Z3[x1-x3)-Z2(x2-x3)]-Z4[(x1-x4)-Z2(x2-x4)]＝0(4)Z3[y1-y3)-Z2(y2-y3)]-Z4[(y1-y4)-Z2(y2-y4)]＝0(5)當方程(4)和方程(5)以矩陣的形式給出，可以得到方程(6)(x1-x3)-Z2(x2-x3)-(x1-x4)+Z2(x2-x4)(y1-y3)-Z2(y2-y3)-(y1-y4)+Z2(y2-y4)]]>
若且唯若方程(7)中的行列式等於0時，這個方程將有一個非平凡的解Z3和Z4，即det((x1-x3)-Z2(x2-x3)-(x1-x4)+Z2(x2-x4)(y1-y3)-Z2(y2-y3)-(y1-y4)+Z2(y2-y4))=0----(7)]]>等價地，方程(7)可以下述方程(8)的形式給出-Z22det((x2-x3)(x2-x4)(y2-y3)(y2-y4))+det((x1-x3)-(x1-x4)(y1-y3)-(y1-y4))-]]>Z2(det((x2-x3)(x1-x4)(y2-y3)(y1-y4))+det((x1-x3)-(x2-x4)(y1-y3)-(y2-y4)))=0----(8)]]>方程(8)是一個二次多項式，它有兩個解。很容易驗證(即代入方程(7)中)有一個平凡解是Z2＝1，第二個解是Z2=det((x1-x3)(x1-x4)(y1-y3)(y1-y4))det((x2-x3)(x2-x4)(y2-y3)(y2-y4)).----(9)]]>通過將Z2代入方程(4)和方程(5)中的任意一個，都可以得到Z3和Z4的一個線性方程。另一個方程是把(3)代入(2)，它的形式是Z3ph3T(P1-P2)+Z4ph4T(P1-P2)=||P1||2-||P2||2----(10)]]>在這裡phi＝[xiyi1]T。Z3和Z4現在就可以從方程(10)和(4)中解出。
很明顯，頭部點的動作可以由方程(11)表達。
P′i＝RP1+T(11)
其中R=r1Tr2Tr3T=rij33]]>和T＝[T1T2T3]T分別代表照相機的旋轉和平移。方程(11)可以以R和T寫作PiT0T0T1000TPiT0T0100T0TPiT001r1r2r3TPi----(12)]]>從方程(12)中我們可以觀察到每一對點將產生三個方程。由於未知數的總數量是12，所以至少需要四對點來線性地解旋轉和平移方程。
應當理解，矩陣R中的元素並非獨立的(即，RRT＝I)，因此一旦矩陣R被解出，它需要被修正以使它能代表真正的旋轉矩陣。修正的進行可以通過採用奇異矩陣值分解的方法(SVD)把R分解為R＝USVT的形式，根據下面方程(13)計算一個新的旋轉矩陣R＝UVT(13)眾所周知，「頭部姿態」可以唯一地由一組中的三個角度(偏轉，滾動和歪斜)表示，或者可以由一個旋轉矩陣R表示(已知在旋轉矩陣和姿態角度之間存在一一對應關係)。交互型頭部姿態測定等價於頭部動作測定，然而近似型頭部姿態測定可以通過分解為兩步驟來加以簡化，如下所述1)假設使用者歪斜他/她的頭部從而使得嘴角和眼睛與照相機的距離相等(z1＝z2＝z3＝z4)，這是一個輔助參考位置(ARP)；2)計算相對於ARP的頭部姿態；3)僅僅通過從ARP的值中減去τ來更新傾斜角。
旋轉矩陣R可以如下表示
R=r1Tr2Tr3Trij33]]>它滿足條件RRT＝I，或者可以等價表示為 令F1，F2，F3，F4表示面部的參考正視圖中眼睛和嘴角的三維坐標。然後，考慮到面部幾何約束和上述的約束1)，可以得到遵循方程(15)的關係，如下所示F2-F1∝[1 0 0]T(15)F6-F5∝
T在這裡符號∝的意思是「按照一個比例」或成比例的。本發明所要實現的目標是找到一個姿態矩陣R從而建立從點Pk到Fk的映射，即R(P2-P1)∝[1 0 0]T(16)R(P6-P5)∝
T根據旋轉矩陣的行，方程(16)可以被寫作r2T(P2-P1)=0]]>r3T(P2-P1)=0]]>r1T(P6-P5)=0]]>r3T(P6-P5)=0]]>從式(17)中的第二個和第四個方程，r3可以按照下式算出
r3＝(P6-P5)×(P2-P1). (18)旋轉矩陣中的剩餘成分可以從式(14)和(17)中計算出來r2＝r3×(P2-P1) (19)r1＝r2×r3從方程(19)可以直接計算出偏轉、滾動和歪斜的角度。從現有值中減去τ即可得到真正的傾斜角。
雖然已經示意和描述本發明的優選實施例，但是在不背離本發明的原理的情況下，很容易對於形式和細節進行各種各樣的修改和變化，這一點很容易理解。因此本發明不應該被限制在所描述和說明的確定的形式，而應該覆蓋所有的落入附加的權利要求書範圍內的修改。
權利要求
1.一種根據面部特徵數據執行頭部動作測定的線性方法，該方法包括如下步驟-獲取第一幅面部圖像，並在上述第一幅圖像中檢測頭部；檢測上述的第一幅面部圖像(10)的四個點P的位置，其中P＝{p1，p2，p3，p4}，並且pk＝(xk，yk)；-獲取第二幅面部圖像，並且在上述第二幅圖像中檢測頭部；-檢測上述第二幅面部圖像的四個點P』的位置，其中P』＝{p1』，p2』，p3』，p4』}，並且pk』＝(xk』，yk』)；並且，-利用上述點P和P』來確定頭部的動作，該動作由旋轉矩陣R和平移矢量T表示。
2.如權利要求1所述的線性方法，其中在上述的第一幅面部圖像(10)中的四個點P和在上述第二幅面部圖像中的四個點P』分別包括在第一幅和第二幅面部圖像中的每個眼睛和嘴的外角的位置。
3.如權利要求1所述的線性方法，其中上述頭部動作測定受下式控制Pi』＝RPi+T，其中R=r1Tr2Tr3T=[rij]33]]>和T＝[T1T2T3]T分別代表照相機的旋轉和平移，上述的頭部姿態測定是頭部動作測定的一個特例。
4.如權利要求3所述的線性方法，其中上述的頭部動作測定受上述的旋轉矩陣R控制，上述方法進一步包括確定旋轉矩陣R的步驟，該旋轉矩陣R將點Pk映射到Fk，用於表徵頭部姿態，上述的點F1，F2，F3，F4分別表示上述面部圖像的參考正視圖中相應的四個點的三維(3-D)坐標，Pk是任意點的三維(3-D)坐標，其中Pi＝[XiYiZi]T，上述的映射受下面的關係控制R(P2-P1)∝[1 0 0]TR(P6-P5)∝
T其中p5，p6分別是連接點p1，p2的線段(12)和連接點p3，p4的線段(15)的中點，連接點p1，p2的線段垂直於連接點p5，p6的線段，並且∝表示一個比例因子。
5.如權利要求4所述的線性方法，其中分量r1，r2，和r3按下式計算r2T(P2-P1)=0]]>r3T(P2-P1)=0]]>r1T(P6-P5)=0]]>r3T(P6-P5)=0]]>
6.如權利要求5所述的線性方法，其中分量r1，r2，和r3按下式計算r3＝(P6-P5)×(P2-P1)，r2＝r3×(P2-P1)r1＝r2×r3
7.如權利要求4所述的線性方法，其中PiT0T0T1000TPiT0T0100T0TPiT001r1r2r3TPi,]]>每一對點產生三個方程，由此至少需要四對點來線性地求解上述的旋轉和平移。
8.如權利要求7所述的線性方法，進一步包含步驟利用奇異值分解(SVD)來分解上述的旋轉矩陣R，以便獲得R＝USVT的形式。
9.如權利要求7所述的線性方法，進一步包含根據R＝UVT計算一個新的旋轉矩陣的步驟。
10.一種根據面部特徵數據來執行頭部動作測定的線性方法，這種方法包括如下步驟-獲取面部圖像(10)的四個點Pk的圖像位置；-確定旋轉矩陣R，該旋轉矩陣建立了點Pk到Fk的映射以便表徵頭部姿態，上述的點F1，F2，F3，F4分別表示上述面部圖像的參考正視圖中的四個點的三維(3-D)坐標，Pk是任意點的三維(3-D)坐標，其中Pi＝[XiYiZi]T，上述的映射受下式控制R(P2-P1)∝[1 0 0]TR(P6-P5)∝
T其中p5和p6分別是連接點p1，p2的線段(12)和連接點p3，p4的線段(15)的中點，連接點p1，p2的線段垂直於連接點p5，p6的線段，並且∝表示一個比例因子。
11.如權利要求10所述的線性方法，其中分量r1，r2，和r3按下式計算r2T(P2-P1)=0]]>r3T(P2-P1)=0]]>r1T(P6-P5)=0]]>r3T(P6-P5)=0]]>
12.如權利要求11所述的線性方法，其中分量r1，r2，和r3按下式計算r3＝(P6-P5)×(P2-P1)，r2＝r3×(P2-P1)r1＝r2×r3
13.如權利要求12所述的線性方法，其中頭部點的運動根據下式表示Pi』＝RPi+T，其中R=r1Tr2Tr3T=[rij]33]]>代表圖像旋轉，T＝[T1T2T3]T代表平移，Pi』表示另一幅面部圖像中的四個點Pk的三維圖像位置。
14.如權利要求13所述的線性方法，其中PiT0T0T1000TPiT0T0100T0TPiT001r1r2r3TPi,]]>每一對點產生三個方程，由此至少需要四對點來線性地求解上述的旋轉和平移。
15.如權利要求14所述的線性方法，進一步包含步驟利用奇異值分解(SVD)來分解上述的旋轉矩陣R，以便獲得R＝USYT的形式。
16.如權利要求15所述的線性方法，進一步包含根據R＝UVT計算一個新的旋轉矩陣的步驟。
17.一種機器可讀的程序存儲裝置，該裝置可感知地包含程序指令，這些指令可以由機器執行，從而進行根據面部特徵數據來測定頭部動作的方法步驟，所述的方法步驟包括-獲取第一幅面部圖像，並且在上述的第一幅圖像中檢測頭部(10)；-檢測上述的第一幅面部圖像的四個點P的位置，其中P＝{p1，p2，p3，p4}，並且pk＝(xk，yk)；-獲取第二幅面部圖像，並且在上述第二幅圖像中檢測頭部；-檢測上述第二幅面部圖像的四個點P』的位置，其中P』＝{p1』，p2』，p3』，p4』}，並且pk』＝(xk』，yk』)；和-利用上述點P和P』確定頭部的動作，該動作由旋轉矩陣R和平移矢量T表示。
全文摘要
根據面部特徵數據來進行頭部動作測定的線性方法，該方法包括以下步驟獲取第一幅面部圖像，並且在該第一幅圖像中檢測頭部；在上述的第一幅面部圖像中檢測四個點P的位置，這四個點為p＝{p
文檔編號G06T7/00GK1561499SQ02819047
公開日2005年1月5日 申請日期2002年9月10日 優先權日2001年9月28日
發明者M·特拉科維, V·菲爾洛明, S·V·R·古特塔 申請人:皇家飛利浦電子股份有限公司