一種基於圖割模型的人眼狀態識別方法
2023-06-06 08:12:06
一種基於圖割模型的人眼狀態識別方法
【專利摘要】本發明公開了一種基於圖割模型的圖像前景提取方法，用來精確分割出圖像中的人眼區域，屬於基於機器視覺的圖像識別領域，其適用於司機駕駛疲勞狀態的自動檢測。本發明解決了當前檢測系統在複雜行車環境下不能準確識別人眼開閉狀態的問題。這個方法首先在原始圖像上建立一個圖割模型，然後基於分割目標構造出圖割模型的能量函數，最後使用最大流最小割方法求解該函數，得到最終的分割結果。這種分割算法構造一個背景為白色，而只有眼睛區域為黑色的二值化圖像，為後續的人眼狀態識別提供穩定的特徵表述。實驗證明了這個提取方法的有效性。本發明可廣泛應用於火車、長途客車和「三危」車輛司機的疲勞狀態自動檢測。
【專利說明】一種基於圖割模型的人眼狀態識別方法
【技術領域】
[0001] 本發明涉及一種基於機器視覺的圖像識別領域，尤其涉及一種基於圖割模型的人 眼狀態識別方法，特別是監控視頻中人眼狀態(睜/閉)的自動檢測方法，其適用於各型機動 車輛的司機駕駛過程中疲勞狀態的離線式、自動識別。
【背景技術】
[0002] 疲勞駕駛嚴重影響駕駛員的警覺性、應變性及安全駕駛能力。根據交通事故統計： 全世界範圍內，超過30%的公路交通事故與駕駛疲勞有關，而在中國超過40 %的重大交通 事故直接或間接是由疲勞駕駛所引發。因此，許多國家和專業部門都在積極開展有關駕駛 疲勞的研究工作。駕駛人疲勞狀態的檢測方法可大致分為基於駕駛人生理信號、基於駕駛 人生理反應特徵、基於駕駛人操作行為和基於車輛狀態信息的檢測方法。大量實驗證明基 於生理反應特徵的PERCL0S檢測方法是準確率最高的檢測方法，也是被美國公路交通安全 局（NHTSA)惟一認可的疲勞駕駛檢測方法。
[0003] 基於PERCL0S係數的疲勞檢測方法是通過檢測監控視頻中人眼狀態(開或閉)，來 判斷駕駛員疲勞程度的方法。行車環境中由於受到光照變化和攝像頭抖動等因素的影響， 從視頻中提取的眼睛區域圖像質量一般較差，這些影響都會使得前景目標(人眼）難以從這 些複雜背景中提取，更增加了精確定位的難度。因此，從眼睛區域圖像中，如何將眼睛像素 和背景區域精確分割開，是基於PERCL0S檢測方法最關鍵的步驟，也是決定該檢測方法成 敗的關鍵因素。
[0004] 現有的眼睛檢測方法要可分為三類：基於模板的方法、基於外形的方法和基於特 徵的方法。基於模板的方法需要設計一個基於眼睛形狀的通用模板，然後使用模板匹配搜 索感興趣區域中眼睛的位置。基於外形的方法利用眼睛的幾何形狀進行眼睛檢測，一般使 用神經網絡或SVM等統計分類器對數據實現分類。基於特徵分析的方法提取眼睛的一些特 徵作為識別眼睛的基礎，這些特徵可包括顏色特徵、眼瞼形狀、瞳孔密度、灰度分布特徵、虹 膜邊緣特徵、眼睛角點特徵等。
[0005] 現有眼睛檢測方法存在以下不足： (a) 基於模板的方法中通用模板的選取是一個難點，不同人的眼睛大小形狀都不一 樣，而且採用模板匹配的方法需要全圖搜索匹配，速度相對較慢，難以滿足實時檢測的要 求； (b) 基於外形的方法需要採集大量的訓練樣本，提供不同對象、不同面部朝向、不同光 照環境和不同睜閉程度下的眼睛信息作為訓練集，而樣本的選取往往不能涵蓋實際應用中 的各種情況； (c) 基於特徵分析的方法雖然計算量小速度快，但是眼睛特徵隨著人臉的表情，頭部 的姿態及外界環境的改變會呈現極大的不穩定性，所以這種檢測方法的識別準確率不是很 商。
【發明內容】
[0006] 本發明的目的在於克服上述技術問題的缺陷，解決當前疲勞檢測系統不能精確檢 測人眼狀態(睜或閉）的問題。本發明基於圖割模型的圖像前景提取方法，用來精確分割出 人眼圖像中的人眼橢圓區域，定義了人眼圖像的圖割模型和能量函數，並用最大流最小割 算法優化能量函數，以此為理論發明了一種把人眼圖像分割為二值化的人眼橢圓區域的算 法，並把人眼區域面積作為計算PERCL0S係數的特徵量，用來進行駕駛疲勞狀態的自動檢 測。
[0007] 根據本發明的具體實施，提供一種基於圖割模型的人眼狀態識別方法，其特徵在 於包括以下步驟： 步驟1)構造圖割模型： 基於圖割（Graph Cuts)的圖像分割方法把圖像分割與圖的最小割（min cut)問題相 關聯。首先將圖像映射為帶權無向圖G=〈V，E>，無向圖中每個節點e V對應於圖像中的每 個像素，每條邊e E連接著一對相鄰的像素。在普通圖的基礎上多了 2個頂點，這2個頂點 分別用符號"S"和"T"表示，統稱為終端頂點，其它所有的頂點都必須與這2個頂點相連形 成邊集合中的一部分。因此Graph Cuts模型中有兩種頂點，也有兩種邊。第一種頂點和邊 是：對應於圖像中每個像素的普通頂點，每兩個鄰域頂點(對應於圖像中每兩個鄰域像素） 的連接就是一條邊，這種邊叫n-links。第二種頂點和邊是：除圖像像素外的另外兩個終端 頂點，叫S (source:源點)和T (sink :匯點),每個普通頂點和這2個終端頂點之間都有連 接，組成第二種邊，這種邊叫t-links。圖1為一個圖像對應的圖割模型，也叫S-T圖。在圖 像分割中，S -般表示前景目標，T 一般表示背景。
[0008] 步驟2)構造圖割模型的能量函數： Graph Cuts中的割是指這樣一個邊的集合，集合中所有t-links邊的斷開會導致殘留 "S"和"T"圖的分開，即其中一部分點僅和S連接，被判斷為前景；而一些僅和T連接，被判 斷為背景。很明顯，發生在目標和背景的邊界處的割就是圖像分割所需要的，找到正確的割 即可得到最優的分割結果。下面將圖像分割的先驗約束具體化，以能量函數的形式作為圖 割模型的優化目標。尋找最優割的過程可以通過最小化圖割能量函數得到。
[0009] 假設整幅圖像的標籤label為乙= 其中第P個像素的標籤為4， 尖的取值為〇或1。這樣圖像分割就可以看成像素標記問題，目標（s-node)的label設為 1，背景（t-node)的label設為0。假設圖像的分割為￡時，圖像的能量函數可以表示為：
【權利要求】
1. 基於圖割模型的人眼狀態識別方法，其特徵在於包括以下步驟： 步驟1)從監控視頻中實時提取圖像，在圖像中進行人臉識別； 步驟2)在人臉圖像區域內，精確定位出人眼位置，分割出人眼圖像； 步驟3)對人眼圖像進行直方圖均衡化，消除光線的影響，增強對比度； 步驟4)對均衡化的人眼圖像，基於圖像灰度值信息構造圖割模型（S-T圖）； 步驟5)構造圖割模型的能量函數5(￡); 步驟6)利用最大流最小割算法求解鞏￡)的最優解，得到最優的分割結果； 步驟7)利用圖割得到二值化人眼圖後，計算圖像中前景(黑點）區域面積 ，為眼睛面積，即可作為人眼狀態(睜或閉）的判別特徵； 步驟8)根據PERCLOS係數測量原理，統計單位時間內眼睛閉合時間作為疲勞程度的判 斷依據。
2. 根據權利要求1的方法，其中所述步驟5)的構造圖割模型的能量函數，進一步包 括： 步驟la)能量函數公式： 取￡.)=;1·Σ「Λ(￡>)+ Σ 由公式可知圖割模型能量函數構造關鍵是確定區域項和邊界項懲罰巧的 值，下面詳細介紹設置規則； 步驟2a)區域項: 圖片分割結果中，前景標籤label為1，背景標籤為lbael為0 ;在基於檢測的粗定位 得到的眼睛圖片中，眼睛前景區域灰度值較低接近〇,而周圍背景(人臉皮膚區域）灰度值 較大接近255 ;灰度值大的點分配label=0時，表明分對的可能性大，所以懲罰應該小，懲罰 =0)可以設置為（255_灰度值）；反之灰度值大分配label =1，懲罰大，^(尖=1)設 置為灰度值；區域項尖）值的的設置為：
步驟1a)邊界項％冶： 由於邊界項懲罰今主要用於懲罰相鄰像素 P和q分配不同標籤的懲罰；邊界懲罰 今；^可設置為
根據權利要求1的方法，其中所述步驟6)的最大流最小割算法求解能量函數的最優 解，進一步包括： 步驟lb)圖割的目標就是優化能量函數使其值達到最小： i l = arg 步驟2b)若將上述定義的邊界懲罰項作為圖模型的邊權重，即％(&)作為第p個像 素與S、T頂點的連接權重，作為相鄰點的連接權重，則最小化能量函數￡(￡)等價於找 到一個所有邊的權值之和最小的圖割，即最小割；而福特-富克森定理表明，網路的最大流 (max flow)與最小割（min cut)相等，所以基於 max-flow/min-cut 的 Edmonds-Karp 算法 就可以用來獲得S-T圖的最小割。
【文檔編號】G06K9/00GK104102896SQ201310127089
【公開日】2014年10月15日 申請日期:2013年4月14日 優先權日:2013年4月14日
【發明者】張忠偉 申請人:張忠偉