一種自動跟蹤頭部姿態的智能顯示器系統的製作方法

2023-06-18 17:18:26 1

一種自動跟蹤頭部姿態的智能顯示器系統的製作方法
【專利摘要】本發明涉及一種自動跟蹤頭部姿態的智能顯示器系統，該系統能夠實時捕獲人體頭部姿態，並使顯示器跟隨頭部隨動，使得顯示器始終與頭部保持最佳位置，可以緩解眼部疲勞與預防近視。該系統包括圖像採集模塊、視覺算法處理模塊及顯示器控制模塊。圖像採集模塊用於對人體頭部圖像進行實時採集；視覺算法模塊首先對圖像進行預處理，使頭部在圖像中始終保持豎直位置，然後利用ASM主動形狀模型算法提取圖像中人臉部的特徵點，最後根據三角測量原理獲得頭部的空間姿態，即俯仰角度與側傾角度。頭部姿態信息傳至舵機控制模塊後，經過單片機解算後形成PWM信號控制舵機使顯示器在俯仰與側傾兩個自由度上跟隨頭部姿態。
【專利說明】一種自動跟蹤頭部姿態的智能顯示器系統【技術領域】[0001]本發明涉及一種智能顯示器系統，具體涉及一種自動跟蹤頭部姿態的智能顯示器 系統，屬於智能識別【技術領域】。【背景技術】[0002]顯示器作為計算機不可或缺的人機互動終端，在我們工作生活中隨處可見。現在 的顯示器姿態(即可視角度)僅能手動調節，不能根據使用者的頭部姿態變化而自動調整。 人眼橫向清晰的視線區域為35°，縱向清晰視線區域為20°。頭部姿態的改變，使清晰視 線區域改變；此時若顯示器姿態不變，則很難有清晰視覺且容易造成眼部疲勞。但頻繁進行 手動調節不僅麻煩，還不能保證顯示器能夠正好位於清晰視線區域內。[0003]要想實現顯示器自動跟隨頭部姿態調整，必須保證頭部姿態構建的精確度。在頭 部姿態構建過程中，人臉特徵點定位是一個極其關鍵的步驟。人臉特徵點定位為人臉圖像 的處理與分析提供了重要的幾何信息，計算機在一幅人臉圖像中自動地定位出人臉各個器 官的準確位置以及人臉外輪廓等。特徵點定位是人臉識別技術中的不可缺少的預處理環 節，定位的準確與否直接關係到後續工作的可靠性。基於人臉圖像特徵的識別通常抽取人 臉器官如眼睛、眉毛、鼻子和嘴巴等器官的位置、尺度以及彼此間的比率作為特徵，進一步 地可以用幾何形狀擬合人臉器官，從而以幾何參數作為描述人臉的特徵。[0004]目前依據檢測的信息類型，人臉特徵點定位方法大致可分為以下6類:(1)基於 灰度信息的方法；(2)基於先驗規則的方法；(3)基於統制的方法；(4)基於小波的方法；[5]3D方法；(6)基於幾何形狀的方法。[0005]總體來說，基於先驗規則的方法準確率較低，對圖像質量要求高，受表情姿態光照 影響大，但有時也有運算量小的優勢，適合與其他方法結合進行特徵點定位。基於統計模型 和小波的方法的共同優點是對圖像質量要求低，受表情姿態光照影響小，而且準確率高，對 樣本的訓練等方面也使得運算量大大提高，但該類方法是特徵點定位方法的發展趨勢和方 向。3D方法是在處理視頻序列中的人臉特徵點定位方法，還不太成熟，有待進一步研究。基 於幾何形狀的方法雖然也對圖像質量要求高，受表情姿態光照影響大，但準確率較高，是目 前為止該領域的主流算法。
【發明內容】
[0006]有鑑於此，本發明提供一種自動跟蹤頭部姿態的智能顯示器系統，通過該系統能 夠依據頭部姿態的變化自動改變顯示器姿態，讓其始終與頭部保持最佳位置，可以有效緩 解眼部疲勞與預防近視。[0007]所述自動跟蹤頭部姿態的智能顯示器系統包括圖像採集模塊、視覺算法處理模塊 和顯示器控制模塊；所述圖像採集模塊包括單目攝像機，顯示器控制模塊包括顯示器、舵機 控制模塊和側傾舵機。[0008]所述單目攝像機位於顯示器後上方的中間位置，單目攝像按照設定頻率採集顯示器前方使用者的頭部圖像，並將採集到的圖像實時發送給視覺算法處理模塊。所述視覺算法處理模塊對接收到的頭部圖像數進行畸變校正，得到校正後的單目圖像。所述視覺算法處理模塊對校正後的單目圖像進行人臉識別並提取臉部特徵點，所述單目圖像中的臉部特徵點為左眼特徵點和右眼特徵點。[0009]所述視覺算法處理模塊中建立有圖像坐標系o' -X' ;所述圖像坐標系以單目攝像機成像平面左上角的像素為原點，水平方向為X軸，豎直方向為y軸；由此所述左眼特徵點在圖像坐標系V -X, r下的坐標為(X' a，y' a)，右眼特徵點在圖像坐標系
O' -X' y'下的坐標為(X' b，y' b);則當前頭部側傾角Θ為:
【權利要求】
1.一種自動跟蹤頭部姿態的智能顯示器系統，其特徵在於，包括圖像採集模塊、視覺算法處理模塊和顯示器控制模塊；所述圖像採集模塊包括單目攝像機，顯示器控制模塊包括顯示器、舵機控制模塊和側傾舵機；所述單目攝像機位於顯示器後上方的中間位置，單目攝像按照設定頻率採集顯示器前方使用者的頭部圖像，並將採集到的圖像實時發送給視覺算法處理模塊；所述視覺算法處理模塊對接收到的頭部圖像數進行畸變校正，得到校正後的單目圖像；所述視覺算法處理模塊對校正後的單目圖像進行人臉識別並提取臉部特徵點，所述單目圖像中的臉部特徵點為左眼特徵點和右眼特徵點；所述視覺算法處理模塊中建立有圖像坐標系O' -X' Y';所述圖像坐標系以單目攝像機成像平面左上角的像素為原點，水平方向為X軸，豎直方向為y軸；由此所述左眼特徵點在圖像坐標系V -X , y'下的坐標為(X' a，y' a)，右眼特徵點在圖像坐標系P tO' -X' I'下的坐標為(X' b，y' b);則當前頭部側傾角
2.如權利要求1所述的自動跟蹤頭部姿態的智能顯示器系統，其特徵在於，所述圖像採集模塊中還包括由相同型號的左目攝像機和右目攝像形成的雙目攝像機對，所述顯示器控制模塊中還包括俯仰舵機；所述左目攝像機和右目攝像機位於單目攝像機下方的左右兩邊，三個攝像機呈「品」字形擺放；所述左目攝像機和右目攝像機的光軸平行，左目攝像機和右目攝像機同時按照設定的頻率採集顯示器前方使用者的頭部圖像，並將同一時刻採集的兩幅圖像實時發送給視覺算法處理模塊；所述視覺算法處理模塊對同時接收到的兩幅圖像進行畸變校正，得到校正後的雙目圖像對，分別為校正後的左目圖像和校正後的右目圖像；所述視覺算法處理模塊對校正後的雙目圖像對分別進行人臉識別並分別提取臉部特徵點，所述雙目圖像對中的臉部特徵點為左眼特徵點、右眼特徵點和嘴部中點；所述視覺算法處理模塊中建立有左目攝像機的圖像坐標系O1-Xiy1、右目攝像機的圖像坐標系Or-X1Jr及三維空間立體坐標系Ο-XyZ ;其中所述圖像坐標系OfXA、圖像坐標系的建立方法與圖像坐標系V -Xi I'的建立方法相同；所述三維空間立體坐標系0-xyz以左目攝像機的投影中心為原點，xyz三坐標軸成右手坐標系，且z軸為雙目攝像機對的主光軸方向；選取校正後的左目圖像或右目圖像中的一幅，以其三個特徵點為基準進行俯仰角的計算:以選取校正後的左目圖像為例，在三維空間立體坐標系o-xyz下，所述校正後的左目圖像中左眼特徵點的坐標為
3.如權利要求1所述的自動跟蹤頭部姿態的智能顯示器系統，其特徵在於，當第i次檢測後經視覺算法處理模塊處理得到的實際側傾角91在[-5°，+5° ]之間時，將實際側傾角發送給舵機控制模塊，並將當前狀態作為初始狀態，令Θ ^0，然後進入以下工作循環，直至再次出現實際側傾角在[-5°，+5° ]之間的情況；(a)若視覺算法處理模塊計算得到的側傾角0」在[-15°，-5°) U (+5°，+15° ]範圍內時，令當前實際側傾角，並將實際側傾角0s發送給舵機控制模塊，然後進入步驟(b)；若視覺算法處理模塊無法完成人臉識別，則向舵機控制模塊發送等待指令，側傾舵機不動作，顯示器保持當前姿態不變，然後進入步驟(C);若視覺算法處理模塊計算得到的側傾角9」在[-5°，+5° ]之間，則令當前實際側傾角Qs=Qfetl，並將實際側傾角0s發送給舵機控制模塊，然後進入步驟(c);(b)令初始側傾角Θ0= Θ J+ Θ ^，視覺算法處理模塊將下次接收到的頭部圖像側傾-Θ j, 然後進行人臉識別、特徵點的提取及側傾角的計算；(C)視覺算法處理模塊對接收到的頭部圖像直接進行人臉識別、特徵點的提取及側傾角的計算。
4.根據權利要求1或2所述的自動跟蹤頭部姿態的智能顯示器系統，其特徵在於，所述單目攝像機和雙目攝像機對的俯仰角和高度均可調節。
【文檔編號】G05D3/00GK103558910SQ201310487330
【公開日】2014年2月5日 申請日期:2013年10月17日 優先權日:2013年10月17日
【發明者】付夢印, 陳堯, 宋文杰, 陳芃潤, 唐弘毅 申請人:北京理工大學