一種實時疲勞提示的方法及裝置製造方法

2023-05-28 18:40:31

一種實時疲勞提示的方法及裝置製造方法
【專利摘要】本發明公開了一種實時疲勞提示的方法及裝置。該方法包括：實時監測用戶面部狀態視頻信息；發送視頻信息到處理單元；判斷用戶是否處於疲勞狀態；記錄下用戶每個時刻的狀態，若用戶在一分鐘內疲勞狀態次數超過閥值則發出聲音或者其它提示。一種實時疲勞提示裝置，該裝置包括：監測單元、存儲單元、輸出單元、視頻處理單元及接口總成，監測單元，存儲單元及輸出單元通過接口總成與視頻處理單元相連接。本發明的優點是：通過非接觸方式連續監測用戶的面部狀態，在用戶處於疲勞狀態下提醒用戶注意休息並提供長期的用戶狀態歷史信息，幫助用戶提高學習或工作效率，同時利於用戶避免過度疲勞，保持健康工作習慣。
【專利說明】一種實時疲勞提示的方法及裝置
【技術領域】
[0001]本發明涉及電子產品領域，尤其涉及一種實時疲勞提示的方法及裝置。
【背景技術】
[0002]疲勞是一種生理、心理異常狀態，其表現是:大腦反應遲鈍，頭麻木或者疼痛，注意力分散，思維滯緩，長期在疲勞狀態下工作、學習效率低下，對用戶十分不利。
[0003]基於圖像的疲勞檢測算法主要是通過定位並跟蹤眼睛及嘴巴。判斷眼睛睜開、閉合狀態以及嘴巴的張開程度進行判斷。但是眼睛瞳孔的精確定位存在困難容易受光照等環境的影響，對嘴巴狀態的判斷也存在相似的困難。
[0004]為了定位眼睛及嘴巴，還需要首先定位人臉。需要一種簡單快速的人臉識別方法，因為表情識別階段需要進 行大量計算，因此在人臉定位階段應當儘量節省計算時間。
[0005]本發明從攝像頭捕捉的圖像，使用基於整數運算的BM_LBP描述符搜索人臉，該方法快速有效，可以節省計算資源用於進行疲勞狀態的判斷。本發明把整個面部表情作為整體進行疲勞表情判斷，並且依據整體的統計信息而非依據眼球、嘴巴的幾何形狀，因此簡化了判斷過程並且提高了對光照等外部條件變化下判斷用戶疲勞的魯棒性。

【發明內容】

[0006]本發明從監測單元捕捉的圖像實時檢測出用戶的疲勞狀態，採用基於整數運算的BM_LBP描述符搜索人臉，該方法快速有效並且可以節省計算資源用於進行疲勞狀態的判斷。
[0007]本發明把整個面部表情作為整體進行疲勞表情判斷，並且依據整體的統計信息而非依據眼球、嘴巴的幾何形狀，因此簡化了判斷過程並且提高了對光照等外部條件變化下判斷用戶疲勞的魯棒性。
[0008]為解決現有技術問題，設計了一種實時疲勞提示的方法，該方法包括以下步驟:
[0009]I)實時採集用戶面部狀態視頻信息；
[0010]2)發送視頻信息到視頻處理單元；
[0011]3)判斷用戶是否處於疲勞狀態；
[0012]4)提示用戶注意休息。
[0013]進一步地，判斷用戶是否處於疲勞狀態包括如下步驟:
[0014]3-1)使用級聯分類器識別出視頻信息裡的用戶面部；
[0015]3-2)將用戶面部圖像尺寸歸一化，然後使用主成分分析法(PCA)提取面部主成分特徵；
[0016]3-3)根據面部主成分信息，採用基於Fisher線性判別的方法(LDA)判斷當前用戶是否處於疲勞狀態；
[0017]3-4)連續記錄用戶的狀態，若用戶在設定時間內出現的疲勞狀態次數超過設定的疲勞次數提示閥值η則進行提醒。[0018]進一步地，使用級聯分類器識別出視頻信息裡的用戶面部的步驟如下:
[0019]3-1-1)採用多區塊局部二值模式(MB_LBP)算子作為特徵描述符；
[0020]3-1-2)讀取在計算機上離線訓練的瀑布型級聯分類器；
[0021]3-1-3)以24X24的窗口在監視畫面進行滑動掃描，在每一個窗口均使用級聯分類器判斷該窗口位置是否是人臉，若是人臉則標記出人臉位置；
[0022]3-1-4)將窗口放大1.2倍重複上述掃描檢測，標記較大的人臉位置，重複5次將搜索到的人臉位置進行合併；
[0023]進一步地，將用戶面部圖像尺寸歸一化，然後使用主成分分析法(PCA)提取面部主成分特徵的步驟如下:
[0024]3-2-1)對搜索到的人臉進行尺度歸一化為56X56像素；
[0025]3-2-2)對歸一化後的人臉圖像進行直方均衡化等預處理；
[0026]3-2-3)將圖像矩陣按行拉直成為3136維的列向量gamma ；
[0027]3-2-4)對拉直後的列向量進行投影:y = W/ ( gamma -Ψ)其中W1為PCA投影矩陣，Ψ為平均臉，投影后I降低到20維； [0028]3-2-5)使用PCA法離線計算W1及Ψ ;
[0029]進一步地，根據面部主成分信息，採用基於Fisher線性判別的方法(LDA)判斷當前用戶是否處於疲勞狀態的步驟如下:
[0030]3-3-1)對主主成分y進行投影z = W2Ty，其中W2是僅有一列的矩陣，ζ為標量；
[0031]3-3-2)ζ>0即可認為是疲勞狀態，增加一個閥值Θ給用戶設置以滿足不同需求，閥值Θ越高則誤判越少更加準確，閥值Θ越低則漏判越少更加敏感。ζ> Θ判斷處於疲勞狀態；
[0032]3-3-3)使用標記有非疲勞狀態(第一類)及疲勞狀態(第二類)的人臉圖片根據線性判別的方法離線訓練，以得到投影矩陣W2。
[0033]進一步地，該方法還包括以下步驟:在存儲單元存儲用戶狀態信息，保存用戶每次學習或工作狀態的歷史記錄，幫助用戶改善學習或工作計劃。
[0034]一種實時疲勞提示的裝置，該裝置包括:監測單元，負責實時採集用戶面部狀態視頻信息並發送視頻信息到視頻處理單元；視頻處理單元，負責通過圖像算法處理判斷用戶是否處於疲勞狀態，若用戶在設定時間內出現的疲勞狀態次數超過設定的疲勞次數提示閥值η則進行提醒；輸出單元，負責聲音及圖像的輸出包括發出聲音提示用戶及顯示相關信息；存儲單元負責保存記錄用戶歷史信息；接口總成，負責視頻處理單元與外部設備的連接及通訊。
[0035]進一步地，所述視頻處理單元為ARM處理器及DSP數位訊號處理器。
[0036]進一步地，所述輸出單元為IXD顯示器及揚聲器。
[0037]進一步地，所述裝置還包括:存儲單元，所述存儲單元為內置快閃記憶體及外部數字存儲卡。
[0038]上述判斷用戶是否處於疲勞狀態的方法步驟3-1)所述級聯分類器需要通過Adaboost離線訓練；步驟3-2)所述PCA提取面部主成分需要離線進行PCA訓練；3_3)所述LDA判斷當前用戶是否處於疲勞狀態需要離線進行LDA訓練。
[0039]Adaboost訓練用以檢測人臉。使用人臉圖片(正樣本)及背景圖片(負樣本)通過Adaboost算法得到級聯分類器。使用MB_LBP編碼作為Adaboost算法中的弱分類器的輸入，使用CART算法生成的二叉樹作為弱分類器，也就是說，在Adaboost訓練中使用分類與回歸樹(CART)作為弱分類器，該弱分類器以MB_LBP特徵的bit位進行分類。
[0040]MB-LBP根據3X3個相連接的共9個連續矩形區域，按中心區灰度值之和與8個相鄰矩形區灰度值之和的比較，採用和局部二值模式(LBP)相似的方法得到編碼。MB_LBP編碼的數值大小沒有意義而是表示總共256種不同狀態中的一種。
[0041 ] 使用CART樹對樣本分類得到弱分類器fm (X) e -1,1使正樣本映射為I，負樣本映射為-1。CART樹的構建根據Gini指標，MB_LBP編碼8個二進位位中使得整個CART樹Gini指標降低量最大的二進位位作為分裂點選取依據。
[0042]PCA訓練根據大量人臉圖片樣本計算平均臉Ψ及投影矩陣Wp投影矩陣W1由樣本協方差矩陣C前20個最大特徵值對應的特徵向量組成。用以從人臉圖像提取主成分並降維。 [0043]LDA訓練將人臉圖片樣本分為兩類，即非疲勞狀態(第一類樣本)和疲勞狀態(第二類樣本)。根據PCA訓練的結果將人臉提取主成分y = W/ ( gamma -Ψ)，對樣本主成分y進行訓練。根據樣本的分類，計算類間散射矩陣Sb和類內散射矩陣Sw。矩陣S/SB最大特徵值對應的特徵向量組成投影矩陣W2。投影矩陣W2用以進行分類投影，z = W2Ty實現類間分布最大化，而類內分布最小化。
[0044]該方法實時檢測包括以下步驟:
[0045]從CCD採集用戶視頻流的一幀到緩存，提取亮度信息得到灰度圖像；
[0046]用24X24的窗口在灰度圖像中進行滑動掃描搜索人臉，窗口連續放大5次以檢測不同尺度的人臉，檢測完後合併人臉位置；
[0047]根據人臉位置提取用戶面部圖像，並將尺度縮放到56X56像素。對面部圖像進行直方均衡化處理然後提取主成分y = W11 ( gamma - Ψ);
[0048]將主成分投影到一維得到疲勞值z = ff2Ty ；
[0049]連續記錄用戶疲勞值z，若在一分鐘內ζ > Θ的次數達到一定數量則發出聲音提醒。在本發明中，我們設定的疲勞監測時間範圍以I分鐘為一個時間區間，如果用戶在在一分鐘內疲勞狀態出現的次數超過60秒*20幀每秒*15%這個範圍,使用該方法的疲勞提示裝置就會發出提示。
[0050]本發明的有益效果是:通過從攝像頭捕捉的圖像，使用基於整數運算的BM_LBP描述符搜索人臉，可以節省計算資源用於進行疲勞狀態的判斷，另外，本發明把整個面部表情作為整體進行疲勞表情判斷，並且依據整體的統計信息而非依據眼球、嘴巴的幾何形狀，因此簡化了判斷過程並且提高了對光照等外部條件變化下判斷用戶疲勞的魯棒性。
[0051]本發明裡，PCA(Principal Component Analysis)是主成分分析的簡稱；LDA (Linear Discriminant Analysis)是線性判別分析的簡稱；CART (Classification AndRegression Tree)是分類及回歸樹的簡稱；LBP(Local Binary Patterns)是局部二值模式簡稱；MB_LBP(Mult1-scale Block Local Binary Patterns)是多區塊局部二值模式的簡稱。
【專利附圖】

【附圖說明】[0052]圖1為本發明的一種實時疲勞提示的方法及裝置結構示意圖；
[0053]圖2為本發明MB_LBP編碼提取方法示意圖及改變矩形區域產生不同MB_LBP特徵示意圖；
[0054]圖3為本發明的以MB_LBP編碼為特徵，以CART樹為弱分類器構成的級聯型分類器結構示意圖；
[0055]圖4為本發明的矩陣拉直方方法示意圖及用PCA離線訓練得到的前24個特徵臉示意圖；
[0056]圖5為LDA投影實現類間分布最大化，類內分布最小化示意圖及LDA離線訓練以實現疲勞檢測示意圖。
【具體實施方式】
[0057]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明的部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0058]圖1是本發明實施例中一種實時疲勞提示的裝置的結構示意圖。根據該結構圖，所述一種實時疲勞提示的裝置包括:監測單元101，接口總成102，視頻處理單元103，輸出單元104及存儲單元105。各單元之間具體的工作過程如下，監測單元101把採集到的視頻信息通過接口總成102傳送到視頻處理單元103，視頻處理單元完成對視頻信號的實時處理，把用戶的學習或工作狀態信息保存到存儲單元105，同時視頻處理單元把當前圖像和提示語言通過接口總成發送到輸出單元105。其中，所述監測單元101可為CXD攝像機或微型攝像頭，可通過數據線與視頻處理單元相連接，也可集成在該裝置的硬體結構上。該裝置可以是手機、平板、桌上型電腦、筆記本電腦、兒童平板、電子書、車載設備、導航設備等。
[0059]圖2為本發明的MB_LBP編碼提取方法示意圖及改變矩形區域產生不同MB_LBP特
徵示意圖。MB-LBP根據3 X 3個相連接的共9個連續矩形區域，按中心區灰度值之和與8個
相鄰矩形區灰度值之和的比較得到編碼。201、202及203所示為改變小方塊的尺寸或者位
置示意圖，這三種不同的選取將產生三種不同的MB_LBP編碼。204、205及206所示為提取
MB_LBP 編碼示意圖:
【權利要求】
1.一種實時疲勞提示的方法，其特徵在於，該方法包括以下步驟: 實時採集用戶面部狀態視頻信息； 發送視頻信息到視頻處理單元； 判斷用戶是否處於疲勞狀態； 提示用戶注意休息。
2.根據權利要求1的一種實時疲勞提示的方法，其特徵在於，判斷用戶是否處於疲勞狀態包括如下步驟: 使用級聯分類器識別出視頻信息裡的用戶面部； 將用戶面部圖像尺寸歸一化，然後使用主成分分析法(PCA)提取面部主成分特徵；根據面部主成分信息，採用基於Fisher線性判別的方法(LDA)判斷當前用戶是否處於疲勞狀態； 在存儲單元連續記錄用戶的狀態信息，若用戶在設定時間內出現的疲勞狀態次數超過設定的疲勞次數提示閥值η則進行提醒。
3.根據權利要求1或2之一所述的一種實時疲勞提示的方法，其特徵在於，使用級聯分類器識別出視頻信息裡的用戶面部的步驟如下: 採用多區塊局部二值模式(MB_LBP)算子作為特徵描述符； 讀取在計算機上離線訓練的瀑布型級聯分類器。 以24X24的窗口在監視畫面進行滑動掃描，在每一個窗口均使用級聯分類器判斷該窗口位置是否是人臉，若是人臉則標記出人臉位置； 將窗口放大1.2倍重複上述掃描檢測，標記較大的人臉位置，重複5次。將搜索到的人臉位置進行合併。
4.根據權利要求1或2之一所述的一種實時疲勞提示的方法，其特徵在於:將用戶面部圖像尺寸歸一化，然後使用主成分分析法提取面部主成分特徵的步驟如下: 對搜索到的人臉進行尺度歸一化為56X56像素； 對歸一化後的人臉圖像進行直方均衡化等預處理； 將圖像矩陣按行拉直成為3136維的列向量gamma ； 對拉直後的列向量進行投影:y = Ιt(GAMMA-Ψ)其中W1為PCA投影矩陣，Ψ為平均臉，投影后I降低到20維； 使用PCA法離線訓練W1及Ψ。
5.根據權利要求1或2之一所述的一種實時監視用戶學習或工作狀態的方法，其特徵在於:根據面部主成分信息，採用LDA方法判斷當前用戶是否處於疲勞狀態的步驟如下: 對主成分I進行投影ζ = W2Ty，其中W2是僅有一列的矩陣，z為標量；z > O即可認為是疲勞狀態，增加一個狀態閥值Θ以提高靈活性，ζ > Θ判斷處於疲勞狀態； 使用標記有非疲勞狀態(第一類)及疲勞狀態(第二類)的人臉圖片根據線性判別的方法離線訓練得到投影矩陣W2。
6.根據權利要求1的一種實時疲勞提示的方法，其特徵在於，該方法還包括以下步驟:在存儲單元存儲用戶狀態信息。
7.一種實時疲勞提示的裝置，該裝置包括:監測單元，負責實時採集用戶面部狀態視頻信息並發送視頻信息到視頻處理單元；視頻處理單元，負責處理圖像，判斷用戶是否處於疲勞狀態；輸出單元，負責聲音及圖像的輸出包括發出聲音提示用戶及顯示相關信息；存儲單元負責保存記錄用戶歷史信息；接口總成，負責視頻處理單元與外部設備的連接及通τΗ ο
8.根據權利要求7所述的一種實時疲勞提示的裝置，其特徵在於，所述視頻處理單元為ARM處理器及DSP數位訊號處理器。
9.根據權利要求7所述的一種實時疲勞提示的裝置，其特徵在於，所述輸出單元為LCD顯不器及揚聲器。
10.根據權利要求7所述的一種實時疲勞提示的裝置，其特徵在於，所述存儲單元為內置快閃記憶體及外部數字存儲卡。
【文檔編號】A61B5/16GK103976749SQ201310228156
【公開日】2014年8月13日 申請日期:2013年6月9日 優先權日:2013年6月9日
【發明者】劉 東 申請人:湖南紐思曼導航定位科技有限公司