眼瞼檢測裝置、眼瞼檢測方法及其程序的製作方法

2023-07-26 05:11:11 1

專利名稱：眼瞼檢測裝置、眼瞼檢測方法及其程序的製作方法
眼瞼檢測裝置、眼瞼檢測方法及其程序技術區域本發明涉及一種檢測例如駕駛車輛等移動體的駕駛員等的眼睛的眼 瞼檢測裝置、眼瞼檢測方法及其程序。
背景技術：
現在，已知有從包含人的面部的圖像中檢測人的面部和眼睛的位置的 技術。例如，專利文獻l中公開了以下技術，即從面部圖像中提取與上眼 瞼對應的邊緣線和與下眼瞼對應的邊緣線，生成其樣板，將所生成的樣板 與候選眼睛進行匹配，從而能夠連續正確地檢測眼睛。但是，在專利文獻l的技術中，當與樣板進行匹配時，進行相關值運算，需要處理時間。因此，難以利用處理速度較慢的車載用CPU進行運算。還有，如果採用專用的運算器，則會增加成本。[專利文獻1]日本專利特開2000-137792號公報 發明內容本發明考慮到上述問題，其目的在於提供一種能夠利用較少的運算檢 測眼瞼(眼睛)的眼瞼檢測裝置、眼瞼檢測方法及其程序。為實現上述目的，與本發明的第1觀點有關的眼瞼檢測裝置的特徵在於，包括面部圖像存儲機構，其存儲對象者的面部的圖像；候選眼瞼提取機構，其對存儲在上述面部圖像存儲機構中的圖像進行 處理，提取由與上眼瞼對應的線和與下眼瞼對應的線構成的候選組合的線 對；參數計算機構，其計算表示上述面部圖像存儲機構存儲的圖像中的與 上述候選眼瞼提取機構所提取的線對相對應的部分中包含眼睛頭部和眼睛尾部中的至少一方的可能性的參數；和眼瞼檢測機構，其基於上述參數計算機構算出的參數，檢測對象者的 眼瞼的位置。例如，上述參數計算機構也可以計算表示上述面部圖像存儲機構存儲 的圖像的規定部分中包含眼睛頭部和眼睛尾部的至少一方的可能性的參 數，該規定部分包含上述候選眼瞼提取機構所提取的候選下眼瞼的線的兩l山頓。例如，上述參數計算機構也可以計算上述面部圖像存儲機構存儲的圖 像的規定部分的多個像素的濃度的平均值，該規定部分包含上述候選眼瞼提取機構所提取的候選下眼瞼的線的兩端；基於所計算的多個像素的濃度的平均值，計算表示在上述面部圖像存 儲機構存儲的圖像的規定部分中包含眼睛頭部和眼睛尾部的至少一方的 可能性的參數，該規定部分包含上述候選眼瞼提取機構所提取的候選下眼 瞼的線的兩端。例如，可以還具有圖案存儲機構，其存儲表示在面積等於包含上述線 的兩端的規定部分的區域中、與皮膚部分對應的皮膚區域和與眼睛部分對 應的眼睛區域的圖案，上述參數計算機構計算上述面部圖像存儲機構存儲的圖像中的、與上 述圖案存儲機構存儲的圖案所表示的皮膚區域對應的部分的多個像素的 濃度的平均值、和上述面部圖像存儲機構存儲的圖像中的、與上述圖案存 儲機構存儲的圖案所表示的眼睛區域對應的部分的多個像素的濃度的平 均值之間的差分，上述眼瞼檢測機構基於上述差分，檢測眼瞼。例如，可以還具有圖案存儲機構，其存儲表示面積小於包含上述線的 兩端的規定部分的區域中、與皮膚部分對應的皮膚區域和與眼睛部分對應 的眼睛區域的圖案，上述參數計算機構具有差分計算機構，其將包含上述線的兩端的規定 部分中的一部分與上述圖案存儲機構所存儲的圖案進行對應，計算上述面 部圖像存儲機構存儲的圖像中的與上述圖案存儲機構存儲的圖案所表示 的皮膚區域對應的部分的多個像素的濃度的平均值、和上述面部圖像存儲機構存儲的圖像中的與上述圖案存儲機構存儲的圖案所表示的眼睛區域對應的部分的多個像素的濃度的平均值之間的差分，使上述差分計算機構對包含上述線的兩端的規定部分進行掃描，將計算出的多個差分中的最大值作為最大差分值，上述眼瞼檢測機構基於上述最大差分值，檢測眼瞼。 與本發明的第2觀點有關的眼瞼檢測方法的特徵在於， 對面部圖像進行處理，提取由眼睛的上眼瞼和下眼瞼構成的候選組合的線對，計算表示所提取的由上眼瞼和下眼瞼構成的候選組合的線對包含眼 睛頭部和眼睛尾部中的至少一方的可能性的參數， 基於所計算出的參數，檢測對象者的眼瞼。與本發明的第3觀點有關的程序的特徵在於使計算機作為如下機構 發揮功能，艮口面部圖像存儲機構，其存儲對象者的面部的圖像；候選眼瞼提取機構，其對存儲在上述面部圖像存儲機構中的圖像進行 處理，提取由與上眼瞼對應的線和與下眼瞼對應的線構成的候選組合的線對；參數計算機構，其計算表示上述面部圖像存儲機構存儲的圖像中的與 上述候選眼瞼提取機構所提取的線對相對應的部分中包含眼睛頭部和眼睛尾部中的至少一方的可能性的參數；和眼瞼檢測機構，其基於上述參數計算機構算出的參數，檢測對象者的 眼瞼的位置。利用本發明，可以提供一種能夠利用較少的運算檢測眼瞼的眼瞼檢測 裝置、眼瞼檢測方法及其程序。


圖1是表示與本發明的第1實施方式有關的眼瞼檢測裝置的結構的框圖。圖2是表示圖1所示的計算機的結構的框圖。圖3是說明存放在ROM或RAM中的各種數據的圖。圖4是說明存放在ROM或RAM中的各種數據的圖。 圖5是說明與本發明的第1實施方式有關的處理的概要的圖。 圖6是說明與本發明的第1實施方式有關的處理的概要的圖。 圖7是說明與本發明的第1實施方式有關的眼瞼檢測處理的流程圖。 圖8是說明第1實施方式的眼瞼檢測處理中的前處理的流程圖。 圖9是說明第1實施方式的眼瞼檢測處理中的面部位置檢測處理的流 程圖。圖10是說明面部位置檢測處理中的面部左右端檢測處理的流程圖。 圖11是說明面部位置檢測處理中的面部上下端檢測處理的流程圖。 圖12是說明第1實施方式的眼瞼檢測處理中的候選眼瞼提取處理的 流程圖。圖13是說明第1實施方式的眼瞼檢測處理中的眼瞼判斷處理的流程圖。圖14是說明第2實施方式的眼瞼檢測處理的概要的圖。圖15是說明第2實施方式的眼瞼檢測處理中的眼瞼判斷處理的流程圖。圖中IO—攝像機，12—照明光源，14一計算機，16—顯示裝置，21 一A/D變換器，22—圖像存儲器(面部圖像存儲機構)，23—ROM (圖案 存儲機構)，24 — CPU (候選眼瞼提取機構、參數計算機構、眼瞼檢測機 構)，25—RAM， 26—顯示控制裝置，28 —設定存儲器，29 —操作裝置， 50—眼瞼檢測裝置。
具體實施方式
以下，說明與本發明的第1實施方式有關的眼瞼檢測裝置50。如圖1所示，第1實施方式有關的眼瞼檢測裝置50由拍攝駕駛員的面部、生成面部圖像的攝像機10;對駕駛員的面部進行照明的照明光源 12;檢測駕駛員的眼瞼的計算機14;和與計算機14連接的顯示裝置16 構成。攝像機10例如由CCD攝像機構成，按照一定周期(例如1/30秒)獲 取並輸出駕駛員的面部的灰度圖像。從攝像機10依次輸出的面部圖像除了駕駛員的面部(的圖像)外，還包含其背景(的圖像)等。顯示裝置16由LCD (Liquid Crystal Display)或CRT (Cathode Ray Tube)等構成，顯示由攝像機10拍攝的面部圖像生成的2值化圖像。計算機14是對利用攝像機10獲取的面部運動圖像進行處理，檢測其 眼瞼的位置的裝置。如圖2所示，計算機14由A/D變換器21、圖像存儲 器22、 ROM (Read Only Memory) 23、 CPU (Central Processing Unit) 24、 RAM (Random Access Memory) 25、顯示控制裝置26、光源控制裝 置27、設定存儲器28、和操作裝置29構成。A/D (模擬/數字)變換器21將攝像機10拍攝的模擬圖像信號變換為 數位訊號。圖像存儲器22中存儲由攝像機10生成、利用A/D變換器21進行數 字化處理後的圖像數據。ROM23中存儲用於控制CPU的動作的程序。還有，ROM23中存儲 用於執行後述的圖像處理的各種固定數據。CPU24對計算機14整體進行控制。還有，CPU24通過運行存放在 ROM23中的程序，從而對攝像機10獲取的一系列面部圖像進行處理，檢 測出眼瞼。RAM25用作CPU24的工作區域。顯示控制裝置26在CPU24的控制下，將視頻數據轉換為顯示裝置16 可以輸出的數據形式，輸出到顯示裝置16。光源控制裝置27控制照明光源12的開燈、關燈。設定存儲器28中預先存儲圖4所示的各種參數。當CPU24從存放在 RAM25中的面部圖像中檢測眼瞼時，使用各種參數。詳細情況後面敘述。操作裝置29接受來自用戶的操作信息，將對應操作的操作信號輸出 妾廿CPU24。接著，參照圖3，說明存放在ROM23中的固定數據的例子。首先， ROM23中存放有圖3 (a)所示的縱向邊緣檢測用佐貝爾濾波器的算符。 縱向邊緣檢測用佐貝爾濾波器是強調圖3 (c)所示的橫方向的濃淡差的算 符。還有，ROM23中存放有圖3 (b)所示的橫向邊緣檢測用佐貝爾濾波器的算符。橫向邊緣檢測用佐貝爾濾波器是強調圖3 (d)所示的橫方向的 濃淡差的算符。ROM23中存放有圖3 (e)所示的左端用眼睛尾部，眼睛頭部圖案。 左端用眼睛尾部，眼睛頭部圖案根據實際的眼睛尾部，眼睛頭部的圖像生 成，由表示眼睛尾部，眼睛頭部周邊的皮膚的部分和表示眼睛的部分構成。 在圖中，白色方格的部分為表示皮膚的部分，黑色方格的部分為表示眼睛 的部分。左端用眼睛尾部，眼睛頭部圖案用於判斷實際的邊緣線的左端附 近的圖像與眼睛尾部或者眼睛頭部的相似程度。ROM23中存放有圖3 (f)所示的右端用眼睛尾部，眼睛頭部圖案。 右端用眼睛尾部，眼睛頭部圖案根據實際的眼睛尾部*眼睛頭部的圖像生 成，由表示眼睛尾部，眼睛頭部周邊的皮膚的部分和表示眼睛的部分構成。 在圖中，白色方格的部分為表示皮膚的部分(以下稱為皮膚部分)。黑色 方格的部分為表示眼睛的部分(以下稱為眼睛部分)。右端用眼睛尾部* 眼睛頭部圖案用於判斷實際的邊緣線的右端附近的圖像與眼睛尾部或者 眼睛頭部的相似程度。參照圖4，說明存放在設定存儲器28中的各種參數的例子。首先，眼瞼檢測用橫向佐貝爾閾值為根據從面部圖像中提取面部的眼 瞼區域時利用橫向邊緣線檢測用佐貝爾濾波器處理過的各像素的濃度值 的絕對值，判斷是否為橫向邊緣線的閾值。眼瞼區域設定參數a、 b為計算從所檢測出的面部位置推定存在眼瞼 的眼瞼區域的參數。閾值Lth、 Cxth、 Dth為用於提取作為候選眼瞼的邊緣線對的閾值。下面，說明具有上述結構的與第1實施方式有關的眼瞼檢測裝置50 的動作。首先，參照圖3-6，說明眼瞼檢測裝置50檢測面部圖像中的眼瞼的動 作的概要。攝像機10按照規定周期(例如，1/30秒周期)拍攝圖5 (a)所示的 對象者的面部圖像，並輸出面部圖像。所輸出的面部圖像依次存放在圖像 存儲器22中。接著，CPU24依次讀出存放在圖像存儲器22中的面部圖像，進行如下處理。首先，CPU24利用縱向邊緣檢測用佐貝爾濾波器(圖3 (a))，對 讀出的面部圖像進行處理，基於該面部圖像的各像素的濃度值，檢測面部 的左右端。還有，CPU24利用橫向邊緣檢測用佐貝爾濾波器(圖3 (b))， 對讀出的面部圖像進行處理，基於該面部圖像的各像素的濃度值，檢測面 部的上下端。例如，對於圖5 (a)所示的面部圖像，面部的左右端為x—、 j，上下 端為y-m、 n。從面部的左右端和上下端，可以檢測面部位置。CPU24基於存放在設定存儲器28中的參數和所檢測出的面部位置， 提取圖5 (b)所示的推定為包含眼瞼的眼瞼區域。利用圖5 (a)所示的 圖，進行具體說明。當面部的左右端為x-i、 j、上下端為y-m、 n時，利 用圖4所示的存放在設定存儲器28中的眼瞼區域設定參數a、 b，可以將 眼瞼區域表示為i《x《j且v《y《w (但是，v=m+b，w=n-a)。CPU24利用橫向邊緣檢測用佐貝爾濾波器(圖3 (b))，進行提取 眼瞼區域的圖像中的橫向邊緣線的處理。這裡，CPU24將利用橫向邊緣檢 測用佐貝爾濾波器處理過的各像素的微分值的絕對值在眼瞼檢測用橫向 佐貝爾閾值(圖4)以上的像素判斷為橫向邊緣線。其結果如圖5 (c)所示，在y軸方向從亮像素變為暗像素的邊緣線表 示為負邊緣，在y軸方向從暗像素變為亮像素的邊緣線表示為正邊緣。另 外，圖上負邊緣用實線表示，正邊緣用虛線表示。接著，CPU24從所求得的負邊緣線和正邊緣線中，提取滿足如下3個 公式的負邊緣和正邊緣的組合(邊緣線對)，作為候選上眼瞼和候選下眼 瞼。Lp—Lm<Lth ......(1)這裡，Lp是表示正邊緣的長度的值，Lm是表示負邊緣的長度的值， Lth是閾值。如圖4所示，閾值Lth存放在設定存儲器28中。滿足公式(1) 的負邊緣和正邊緣的長度用閾值Lth的範圍近似表示。Cxp — Cxm < Cxth ......(2)這裡，Cxp是正邊緣的重心的x坐標，Cxm是負邊緣的重心的x坐標， Cxth是閾值。如圖4所示，閾值Cxth存放在設定存儲器28中。滿足公式(2)的負邊緣和正邊緣的重心的X坐標用閾值Cxth的範圍近似表示。Dg < Dth ......(3)這裡，Dg是負邊緣的重心與正邊緣的重心之間的距離，Dth是閾值。 如圖4所示，閾值Dth存放在設定存儲器28中。滿足公式(3)的負邊緣 和正邊緣的重心間距離用閾值Dth的範圍近似表示。CPU24在利用上述3個公式提取的負邊緣和正邊緣的組合中，將負邊 緣作為候選上眼瞼，正邊緣作為候選下眼瞼。艮口，滿足公式(1) - (3)的負邊緣和正邊緣的組合為在某種程度上長 度相等、位置靠近、重心的x坐標一致的負邊緣和正邊緣的組合。圖5表示根據公式(1) - (3)的負邊緣和正邊緣的組合的一個例子。 作為負邊緣和正邊緣的組合的候選1-7是對象者的候選眼瞼(邊緣線對)。接著，CPU24針對各候選眼瞼(邊緣線對)，在其左右端設定眼睛尾 部，眼睛頭部區域。眼睛尾部》眼睛頭部區域是眼睛尾部或眼睛頭部存在 的可能性高的區域。本實施例中，將以候選眼瞼(邊緣線對)的候選下眼 瞼(正邊緣)的左右兩端為中心的橫5X縱5 (像素)的區域。例如，如 圖6 (a) 、 (b)所示，候選眼瞼2中，在其候選下眼瞼(正邊緣)的左 右端設定眼睛尾部'眼睛頭部區域100、 200。CPU24對於以所設定的各候選眼瞼的正邊緣的左端為中心的眼睛尾 部*眼睛頭部區域，利用左端眼睛尾部*眼睛頭部圖案(圖3 (e))，計 算左端眼睛尾部*眼睛頭部評價值。還有，CPU24對於以所設定的各候選 眼瞼的正邊緣的右端為中心的眼睛尾部*眼睛頭部區域，利用右端眼睛尾 部，眼睛頭部圖案(圖3 (f))，計算右端眼睛尾部，眼睛頭部評價值。具體來說，如圖6 (c)所示，CPU24在相當於進行佐貝爾濾波處理 之前的原始圖像的眼睛尾部'眼睛頭部區域內配置眼睛尾部*眼睛頭部圖 案。接著，CPU24計算相當於圖案的皮膚部分的原始圖像的濃度的平均值 與相當於圖案的眼睛部分的原始圖像的濃度的平均值。CPU24將從所計算 出的相當於皮膚部分的原始圖像的濃度的平均值中減去相當於眼睛部分 的原始圖像的濃度的平均值後的值作為眼睛尾部，眼睛頭部評價值。 CPU24針對各候選眼瞼(邊緣線對)的左右端，分別計算眼睛尾部*眼睛 頭部評價值。CPU24將所計算出的左端眼睛尾部，眼睛頭部評價值與右端眼睛尾部 眼睛頭部評價值的和最大和第二大的2個評價值判斷為左右眼瞼。下面參照圖7-13，詳細說明眼瞼檢測裝置50檢測面部圖像中的眼瞼 的動作。參照圖7所示的流程圖，說明與本發明的第1實施方式有關的眼瞼檢 測裝置50進行的眼瞼檢測處理。計算機14內的CPU24周期性地(例如，每隔1/30秒)開始圖7的眼 瞼檢測處理。首先，接通眼瞼檢測裝置50的電源後，CPU24進行後述的前處理， 獲取駕駛員的面部圖像，提取縱向邊緣線，並提取橫向邊緣線(步驟SIOO)。接著，CPU24進行後述的面部位置檢測處理，利用在上述前處理中提 取的縱向邊緣線檢測面部的左右端，利用橫向邊緣線檢測面部的上下端， 檢測面部圖像的面部位置(步驟S200)。CPU24進行後述的候選眼瞼提取處理，利用在上述眼瞼位置檢測處理 中檢測的面部位置，從面部圖像中提取眼瞼區域，提取橫向邊緣線。從所 提取的橫向邊緣線中，提取作為候選上下眼瞼的邊緣線的對(邊緣線對) (步驟S300)。CPU24進行後述的眼瞼判斷處理，對各候選眼瞼的左右端設定眼睛尾 部*眼睛頭部區域，計算所設定的區域的眼睛尾部眼睛頭部評價值，基於 所計算的眼睛尾部眼睛頭部評價值，判斷左右眼瞼(步驟S400)，然後結 束處理。這樣，可以周期性地重複利用眼瞼檢測處理獲取面部圖像、從該圖像 中檢測眼瞼。接著，說明在眼瞼檢測處理的步驟S100進行的前處理。簡單說明如 下。在前處理中，眼瞼檢測裝置50拍攝駕駛員的面部圖像，利用佐貝爾 濾波器，進行邊緣檢測。下面，參照圖8，詳細說明前處理(S100)。首先，CPU24進行圖像獲取處理，即經由A/D變換器21，獲取攝像 機10拍攝的對象者的面部圖像，並將其存放到圖像存儲器22中(步驟 S110)。接著，CPU24進行坐標變換處理，對存放在圖像存儲器22中的各面部圖像的像素進行間隔提取處理，從而使其能夠進行後述的佐貝爾濾波處理(步驟S120)。 ' CPU24利用存放在ROM23中的縱向邊緣線檢測用算符(圖3 (a))，對坐標變換後的面部圖像進行處理，生成強調面部圖像內的縱向邊緣的圖像。而且，CPU24利用存放在ROM23中的橫向邊緣線檢測用算符(圖3 (b))，對坐標變換後的面部圖像進行處理，生成強調面部圖像內的橫向邊緣的圖像(步驟S130)。這樣，利用前處理，可以生成強調了所拍攝的面部圖像的縱向邊緣的圖像和強調了橫向邊緣的圖像。這裡，說明在眼瞼檢測處理的步驟S200中進行的面部位置檢測處理。簡單說明如下。在面部位置檢測處理中，眼瞼檢測裝置50利用前處理中生成的強調了縱向邊緣的圖像和強調了橫向邊緣的圖像，檢測面部圖像中的面部位置。下面，參照圖9，詳細說明面部位置檢測處理(S200)。首先，CPU24進行後述的面部左右端檢測處理，利用前處理中生成的強調了縱向邊緣的圖像，檢測面部圖像中的面部的左右端的位置(步驟S210)。接著，CPU24進行後述的面部上下端檢測處理，利用前處理中生成的 強調了橫向邊緣的圖像，檢測面部圖像中的面部的上下端的位置(步驟 S220)，結束面部位置檢測處理。這樣，利用面部位置檢測處理，可以通過檢測面部的左右端和上下端， 從而檢測面部圖像中的面部位置。這裡，說明在面部位置檢測處理的步驟S210進行的面部左右端檢測 處理。簡單說明如下。在面部左右端檢測處理中，眼瞼檢測裝置50利用 前處理中生成的強調了縱向邊緣的圖像，檢測面部圖像中的面部的左右端 的位置。下面，參照圖10，詳細說明面部左右端檢測處理(S210)。 首先，CPU24進行面部左右端檢測用直方圖生成處理，即將利用縱向 邊緣檢測用佐貝爾濾波器進行佐貝爾濾波處理後的各像素的值在縱方向進行投影，生成直方圖(步驟S211)。具體來說，將各坐標的像素值分割 成幾個階段，對於每個X值，確定取最多的各坐標的像素值的階段。將每 個X值的上述階段的平均值的圖形作為上述直方圖。CPU24在步驟S211生成的直方圖中，提取取峰值的點(以下稱為峰 值點)(步驟S212)。CPU24從步驟S212提取的峰值點中，提取其直方圖的值在閾值以上 的點，作為面部的左右端的候選值(步驟S213)。CPU24對於步驟S213的處理結果，判斷作為面部的左右端的候選值 是否提取了2個直方圖值在閾值以上的峰值點(步驟S214)。如果判斷為提取了 2個直方圖值在閾值以上的峰值點(步驟S214: 是)，CPU24則進入步驟S216的處理，將所提取的2個峰值點的位置確 定為面部的左右端(步驟S216)。如果判斷為沒有提取2個直方圖值在閾值以上的峰值點(步驟S214: 否)，CPU24則從峰值點中提取兩點距離作為人的面部寬度具有適當的間 隔的2個峰值點的組合(步驟S215)。CPU24將所提取的2個峰值點的位置確定為面部的左右端(步驟 S216)。這樣，利用面部左右端檢測處理，可以檢測面部圖像中的面部的左右丄山順。這裡，說明在面部位置檢測處理的步驟S220進行的面部上下端檢測 處理。簡單說明如下。在面部上下端檢測處理中，眼瞼檢測裝置50利用 在前處理中生成的強調了橫向邊緣的圖像，檢測面部圖像的面部的上下端 的位置。下面，參照圖ll，詳細說明面部上下端檢測處理(S220)。 首先，CPU24進行面部上下端檢測用直方圖生成處理，即將利用橫向 邊緣檢測用佐貝爾濾波器進行佐貝爾濾波處理後的各像素的值在橫方向 進行投影，生成直方圖(步驟S221)。具體來說，將各坐標的像素值分割 成幾個階段，對於每個y值，確定取最多的各坐標的像素值的階段。將每 個y值的上述階段的平均值的圖形作為上述直方圖。CPU24在步驟S221生成的直方圖中，提取取峰值的點(以下稱為峰值點)(步驟S222)。
CPU24基於在步驟S222中提取的峰值點的直方圖的值，將各點與眼 瞼 眉 口確定對應關係(步驟S223)。
CPU24在步驟S223中基於與眼瞼*眉 口確定對應關係的各峰值點， 計算面部圖像中的面部的上下端位置(步驟S224)。例如，將離開所檢測 的眉的上方3個像素的位置作為面部的上端，將離開所檢測的口的下方3 個像素的位置作為面部的下端(口與顎之間)。
這樣，利用面部上下端檢測處理，可以計算面部圖像中的面部的上下 端位置。
這裡，說明在眼瞼檢測處理的步驟S300進行的候選眼瞼提取處理。 簡單說明如下。在候選眼瞼提取處理中，眼瞼檢測裝置50提取基於利用 面部位置檢測處理所檢測的面部位置而推定為存在眼瞼的特定區域。然 後，眼瞼檢測裝置50從所提取的區域中，利用橫向邊緣檢測用佐貝爾濾 波器，檢測正邊緣和負邊緣，提取滿足上述公式(1) - (3)的邊緣線對， 將其作為候選眼瞼。
以下，參照圖12，詳細說明候選眼瞼提取處理(步驟S300)。
首先，CPU24基於在面部位置檢測處理所檢測的面部的左右端和上下 端的位置和眼瞼區域設定參數，從存放在圖像存儲器22中的各面部圖像 中提取推定存在眼瞼的區域的圖像(步驟S310)。
CPU24從存放在ROM23中的橫向邊緣線檢測用算符(圖3 (b))， 對在步驟S310中提取出的區域的圖像進行處理，將該圖像的各像素的微 分值的絕對值在眼瞼檢測用橫向佐貝爾閾值以上的像素判斷為橫向邊緣 線，並進行提取(步驟S320)。
CPU24計算步驟S320中提取出的橫向邊緣線中的正邊緣的長度Lp、 負邊緣的長度Lm、正邊緣的重心的x坐標Cxp、負邊緣的重心的x坐標 Cxm、負邊緣的重心與正邊緣的重心之間的距離Dg (步驟S330)。
CPU24利用在步驟S330中計算出的各參數，將滿足上述公式(1)-(3)的負邊緣和正邊緣的組合作為候選眼瞼進行提取(步驟S340)。
這樣，利用候選眼瞼提取處理，可以在推定為存在眼瞼的區域內，提 取作為候選眼瞼的負邊緣和正邊緣的組合。這裡，說明在眼瞼檢測處理的步驟S400進行的眼瞼判斷處理。簡單
來說，眼瞼檢測裝置50針對在候選眼瞼提取處理中提取出的各候選眼瞼
的左右端，設定眼睛尾部'眼睛頭部區域，計算所設定的區域的眼睛尾部 眼睛頭部評價值，將計算的左右端的眼睛尾部，眼睛頭部評價值的和為 最大的候選眼瞼和第二大的候選眼瞼判斷為左右眼瞼。
以下，參照圖13，詳細說明眼瞼判斷處理(S400)。
首先，CPU24從候選眼瞼提取處理所提取出的候選眼瞼中，選擇沒有 計算眼睛尾部'眼睛頭部評價值的任意的候選眼瞼(步驟S410)。
接著，CPU24從所選擇的候選眼瞼的正邊緣的左右端中，選擇沒有計 算眼睛尾部，眼睛頭部評價值的端(步驟S420)。
CPU24以所選擇的候選眼瞼的正邊緣所選擇的端為中心，設定眼睛尾 部*眼睛頭部區域(步驟S430)。
CPU24在相當於進行佐貝爾濾波處理之前的原始圖像的眼睛尾部*眼 睛頭部區域內配置與所選擇的端相對應的眼睛尾部*眼睛頭部圖案。接著， CPU24計算相當於圖案的皮膚部分的原始圖像的濃度的平均值與相當於 圖案的眼睛部分的原始圖像的濃度的平均值。CPU24將從所計算的相當於 皮膚部分的原始圖像的濃度的平均值中減去相當於眼睛部分的原始圖像 的濃度的平均值後的值作為眼睛尾部，眼睛頭部評價值(步驟S440)。
CPU24判斷是否對所選擇的候選眼瞼的左右兩端計算了眼睛尾部*眼 睛頭部評價值(步驟S450)。
如果判斷為對所選擇的候選眼瞼的左右兩端沒有計算眼睛尾部，眼睛 頭部評價值(步驟S450:否)，CPU24回到步驟S420的處理。
如果判斷為對所選擇的候選眼瞼的左右兩端計算了眼睛尾部，眼睛頭 部評價值(步驟S450:是)，則CPU24判斷是否對所有的候選眼瞼計算 了眼睛尾部*眼睛頭部評價值(步驟S460)。
如果判斷為沒有對所有的候選眼瞼計算眼睛尾部，眼睛頭部評價值 (步驟S460:否)，CPU24則回到步驟S410的處理。
如果判斷為對所有的候選眼瞼計算了眼睛尾部，眼睛頭部評價值(步 驟S460:是)，則CPU24對各候選眼瞼計算左端的眼睛尾部'眼睛頭部 評價值與右端的眼睛尾部，眼睛頭部評價值之和。CPU24將所算出的左端的眼睛尾部，眼睛頭部評價值與右端的眼睛尾部，眼睛頭部評價值之和的 值最大的候選眼瞼和第二大的候選眼瞼判斷為左右眼瞼(步驟S470)。
這樣，利用眼瞼判斷處理，可以計算評價各候選眼瞼的左右端與眼睛 尾部和眼睛頭部的相似程度的評價值，基於該評價值，判斷左右眼瞼。
如上所述，第1實施方式的眼瞼檢測裝置50從在不同的時刻拍攝的 多個面部圖像中檢測面部位置。然後，眼瞼檢測裝置50基於該面部位置， 提取推定眼瞼的存在的區域，從該區域中提取作為候選眼瞼的邊緣線對。 眼瞼檢測裝置50從所提取的候選眼瞼(邊緣線對)中，將包含眼睛尾部 和眼睛頭部的可能性高的那個判斷為眼瞼。因此，眼瞼檢測裝置50能夠 正確地短時間地檢測眼瞼。
(第2實施方式)
在第1實施方式中，眼瞼檢測裝置50在從候選眼瞼中判別眼瞼時， 針對各候選眼瞼，設定面積等於眼睛尾部*眼睛頭部圖案的眼睛尾部'眼 睛頭部區域，將該眼睛尾部*眼睛頭部區域與眼睛尾部'眼睛頭部圖案進 行對應，計算眼睛尾部"眼睛頭部評價值。但是，在第2實施方式中，眼 瞼檢測裝置50也可以首先在從候選眼瞼中判別眼瞼時，針對各候選眼瞼， 設定圖14 (c) 、 (d)所示的面積大於眼睛尾部*眼睛頭部圖案的眼睛尾 部*眼睛頭部區域。接著，如圖14 (d)所示，眼瞼檢測裝置50利用眼睛 尾部，眼睛頭部圖案，掃描眼睛尾部，眼睛頭部區域，計算所掃描部分的 眼睛尾部，眼睛頭部暫定評價值，將取最大值的眼睛尾部'眼睛頭部暫定 評價值作為眼睛尾部*眼睛頭部評價值。但是，第2實施方式的眼睛尾部 眼睛頭部區域為以候選眼瞼的正邊緣的左右兩端為中心的橫21X縱11 "像素"的區域。
另外，與第2實施方式有關的眼瞼檢測裝置的結構和與第1實施方式 有關的眼瞼檢測裝置的結構一樣。還有，第2實施方式中的眼瞼判斷處理 以外的處理與第1實施方式一樣。
下面，參照圖15，詳細說明與第2實施方式有關的眼瞼判斷處理 (S400)。
首先，CPU24從在候選眼瞼提取處理所提取的候選眼瞼中，選擇沒有計算眼睛尾部，眼睛頭部評價值的任意的候選眼瞼(步驟S510)。
接著，CPU24從所選擇的候選眼瞼的正邊緣的左右端中，選擇沒有計 算眼睛尾部*眼睛頭部評價值的端(步驟S520)。
CPU24以所選擇的候選眼瞼的正邊緣所選擇的端為中心，設定眼睛尾 部*眼睛頭部區域(步驟S530)。
CPU24在設定的眼睛尾部'眼睛頭部區域中選擇任意點(x， y)(步 驟S540)。
CPU24將進行佐貝爾濾波處理之前的原始圖像的眼睛尾部*眼睛頭部 區域內的任意點(x， y)作為基點，配置所選擇的端的眼睛尾部，眼睛頭 部圖案。接著，CPU24計算相當於圖案的皮膚部分的原始圖像的濃度的平 均值與相當於圖案的眼睛部分的原始圖像的濃度的平均值。CPU24將從所 計算的相當於皮膚部分的原始圖像的濃度的平均值中減去相當於眼睛部 分的原始圖像的濃度的平均值後的值作為眼睛尾部，眼睛頭部暫定評價值 cr (x， y)(步驟S550)。
CPU24判斷在眼睛尾部*眼睛頭部區域的全部區域是否計算了眼睛尾 部*眼睛頭部暫定評價值(步驟S560)。
如果判斷為在眼睛尾部*眼睛頭部區域的全部區域沒有計算眼睛尾部 眼睛頭部暫定評價值(步驟S560:否)，CPU24則回到步驟S540的處 理。
如果判斷為在眼睛尾部，眼睛頭部區域的全部區域計算了眼睛尾部， 眼睛頭部暫定評價值(步驟S560:是)，CPU24則將計算的眼睛尾部' 眼睛頭部評價值中具有最大值的評價值作為所選擇的候選眼瞼的所選擇 的端的眼睛尾部，眼睛頭部評價值(步驟S570)。
CPU24判斷對所選擇的候選眼瞼的左右兩端是否計算了眼睛尾部，眼 睛頭部評價值(步驟S580)。
如果判斷為對所選擇的候選眼瞼的左右兩端沒有計算眼睛尾部，眼睛 頭部評價值(步驟S580:否)，CPU24則回到步驟S520的處理。
如果判斷為對所選擇的候選眼瞼的左右兩端計算了眼睛尾部*眼睛頭 部評價值(步驟S580:是)，CPU24則判斷是否對所有的候選眼瞼計算 了眼睛尾部*眼睛頭部評價值(步驟S590)。如果判斷為沒有對所有的候選眼瞼計算眼睛尾部，眼睛頭部評價值(步驟S590:否),CPU24則回到步驟S510的處理。如果判斷為對所有的候選眼瞼計算了眼睛尾部，眼睛頭部評價值(步驟S590:是)，則CPU24針對各候選眼瞼，計算其左端的眼睛尾部'眼 睛頭部評價值與其右端的眼睛尾部，眼睛頭部評價值的和。CPU24將計算 出的左端的眼睛尾部，眼睛頭部評價值與右端的眼睛尾部，眼睛頭部評價 值的和的值最大的候選眼瞼和第二大的候選眼瞼判斷為左右眼瞼(步驟 S600)。這樣，利用第2實施方式的眼瞼判斷處理，從各候選眼瞼的左右端附 近的區域中提取與眼睛尾部和眼睛頭部的相似部分，計算該提取部分的評 價值，從而可以基於該評價值，判斷左右眼瞼。如上所述，第1實施方式的眼瞼檢測裝置50從在不同的時刻拍攝的 多個面部圖像中檢測面部位置。然後，眼瞼檢測裝置50基於該面部位置， 提取推定為眼瞼存在的區域，從該區域中提取作為候選眼瞼的邊緣線對。 眼瞼檢測裝置50針對所提取的候選眼瞼(邊緣線對)的左右端，設定面 積大於眼睛尾部，眼睛頭部圖案的眼睛尾部*眼睛頭部區域。接著，眼瞼 檢測裝置50利用眼睛尾部*眼睛頭部圖案掃描該眼睛尾部，眼睛頭部區 域的全部區域，計算所掃描部分的眼睛尾部，眼睛頭部暫定評價值，將取 最大值的眼睛尾部，眼睛頭部暫定評價值作為眼睛尾部，眼睛頭部評價值， 基於眼睛尾部，眼睛頭部評價值，判斷左右眼瞼。因此，眼瞼檢測裝置50 可以從各候選眼瞼中提取與眼睛尾部*眼睛頭部最為相似的部分，因而能 夠正確地短時間地檢測眼瞼。另外，該發明並不局限於上述實施方式，可以進行各種變形和應用。在第1實施方式和第2實施方式中，計算機14對於攝像機10拍攝的 對象者的面部的運動圖像進行眼瞼檢測處理。但是，在應用例中，也可以 將從攝像機10以外的外部裝置獲取的對象者的面部的運動圖像存放在圖 像存儲器22中，然後對該運動圖像進行眼瞼檢測處理。還有，也可以對 多個面部的圖像進行眼瞼檢測處理。還有，在第1實施方式和第2實施方式中，在面部位置檢測處理(S200) 時，對面部圖像進行佐貝爾濾波處理，然後從基於該像素值的直方圖中檢測面部位置。但是，在應用例中，也可以象日本專利特開2004-310396號 公報所公開的那樣，對構成攝影圖像的各像素進行時間微分，然後將該時 間微分值在縱方向進行投影，生成直方圖，將邊緣提取圖像的直方圖與時 間微分圖像的直方圖進行合計，將合計後的直方圖的峰值最大的那個判斷 為面部的兩端，從而檢測面部位置。還有，在面部位置檢測處理(S200)時，也可以利用樣板匹配法，將 面部圖像與預先登記的某個樣板進行匹配，從而檢測面部位置。還有，在上述實施方式中，將包含眼睛尾部和眼睛頭部的可能性高的 那個判斷為眼瞼，但也可以將包含眼睛尾部和眼睛頭部中的某一個的可能 性高的那個判斷為眼瞼。還有，在上述實施方式中，為了在面部圖像上提取相當於下眼瞼的線， 採用了利用佐貝爾濾波器提取橫向邊緣線的方法，但也可以採用其它方 法。例如，也可以採用MAX-MIN濾波器來檢測邊緣。還有，在上述實施方式中，以候選下眼瞼(正邊緣)的左右端為中心， 設定了眼睛尾部*眼睛頭部區域，但也可以左右端之外的正邊緣上的點為 中心，設定眼睛尾部*眼睛頭部區域。例如，也可以設定為正邊緣的端附 近佔區域的2/3左右，空白部分佔1/3。另外，與本發明有關的眼瞼檢測裝置可以不依賴專用的系統，而採用通常的計算機系統來實現。例如，也可以構成為將具有能夠輸入面部圖 像的計算機中運行的程序存放在計算機系統能夠讀取的記錄介質(閃速存 儲器、CD-ROM、 DVD-ROM等)中進行發行，通過將該程序安裝到計算 機系統中，從而實現進行上述處理的眼瞼檢測裝置。還有，也可以將該程 序存放在網際網路等通信網絡上的伺服器裝置具有的存儲裝置，通常的計算 機通過下載等來實現眼瞼檢測裝置。還有，在OS (Operating System)與應用程式分擔、或者OS與應用 程序協同實現上述功能時，也可以只將應用程式部分存放在記錄介質或存 儲裝置中。還有，也可以在載波中疊加電腦程式，經由通信網絡進行分發。例 如，也可以在通信網絡上的伺服器上發布上述程序，經由網絡，分發上述 程序。然後，啟動該電腦程式，在OS控制下，與其他應用程式一樣運行，從而進行上述處理。
權利要求
1.一種眼瞼檢測裝置，包括面部圖像存儲機構，其存儲對象者的面部的圖像；候選眼瞼提取機構，其對存儲在所述面部圖像存儲機構中的圖像進行處理，提取由與上眼瞼對應的線和與下眼瞼對應的線構成的候選組合的線對；參數計算機構，其計算表示所述面部圖像存儲機構存儲的圖像中的與所述候選眼瞼提取機構所提取的線對相對應的部分中包含眼睛頭部和眼睛尾部中的至少一方的可能性的參數；和眼瞼檢測機構，其基於所述參數計算機構算出的參數，檢測對象者的眼瞼的位置。
2. 根據權利要求1所述的眼瞼檢測裝置，其特徵在於， 所述參數計算機構計算表示所述面部圖像存儲機構存儲的圖像中的、包含所述候選眼瞼提取機構所提取的作為候選下眼瞼的線的兩端的規定 部分中包含眼睛頭部和眼睛尾部中的至少一方的可能性的參數。
3. 根據權利要求2所述的眼瞼檢測裝置，其特徵在於， 所述參數計算機構計算所述面部圖像存儲機構存儲的圖像中的包含所述候選眼瞼提取機構所提取的作為候選下眼瞼的線的兩端的規定部分 的多個像素的濃度的平均值，基於所計算的多個像素的濃度的平均值，計算表示所述面部圖像存儲 機構存儲的圖像的包含所述候選眼瞼提取機構所提取的作為候選下眼瞼 的線的兩端的規定部分中包含眼睛頭部和眼睛尾部中的至少一方的可能 性的參數。
4. 根據權利要求3所述的眼瞼檢測裝置，其特徵在於， 還具有圖案存儲機構，其存儲表示在面積等於包含所述線的兩端的規定部分的區域中、與皮膚部分對應的皮膚區域和與眼睛部分對應的眼睛區 域的圖案，所述參數計算機構計算所述面部圖像存儲機構存儲的圖像中的、與所述圖案存儲機構存儲的圖案所表示的皮膚區域對應的部分的多個像素的 濃度的平均值、和所述面部圖像存儲機構存儲的圖像中的、與所述圖案存 儲機構存儲的圖案所表示的眼睛區域對應的部分的多個像素的濃度的平 均值之間的差分，所述眼瞼檢測機構基於所述差分來檢測眼瞼。
5. 根據權利要求3所述的眼瞼檢測裝置，其特徵在於， 還具有圖案存儲機構，其存儲表示在面積小於包含所述線的兩端的規定部分的區域中、與皮膚部分對應的皮膚區域和與眼睛部分對應的眼睛區 域的圖案，所述參數計算機構具有差分計算機構，其將包含所述線的兩端的規定 部分中的一部分與所述圖案存儲機構所存儲的圖案進行對應，計算所述面 部圖像存儲機構存儲的圖像中的、與所述圖案存儲機構存儲的圖案所表示 的皮膚區域對應的部分的多個像素的濃度的平均值、和所述面部圖像存儲 機構存儲的圖像中的、與所述圖案存儲機構存儲的圖案所表示的眼睛區域 對應的部分的多個像素的濃度的平均值之間的差分，使所述差分計算機構對包含所述線的兩端的規定部分進行掃描，將計 算出的多個差分中的最大值作為最大差分值，所述眼瞼檢測機構基於所述最大差分值，檢測眼瞼。
6. 根據權利要求1 5中任一項所述的眼瞼檢測裝置，其特徵在於， 所述眼瞼檢測機構檢測對象者的左右眼瞼。
7. 根據權利要求6所述的眼瞼檢測裝置，其特徵在於， 所述眼瞼檢測機構檢測的左右眼瞼是所述參數計算機構計算出的參數最大的眼瞼和參數第二大的眼瞼。
8. —種眼瞼檢測方法，對面部圖像進行處理，提取由眼睛的上眼瞼和下眼瞼構成的候選組合 的線對，計算表示所提取的由上眼瞼和下眼瞼構成的候選組合的線對包含眼 睛頭部和眼睛尾部中的至少一方的可能性的參數，基於所計算出的參數，檢測對象者的眼瞼的位置。
9. 一種程序，使計算機作為如下機構發揮功能，艮口面部圖像存儲機構，其存儲對象者的面部的圖像；候選眼瞼提取機構，其對存儲在所述面部圖像存儲機構中的圖像進行 處理，提取由與上眼瞼對應的線和與下眼瞼對應的線構成的候選組合的線對；參數計算機構，其計算表示所述面部圖像存儲機構存儲的圖像中的與 所述候選眼瞼提取機構所提取的線對相對應的部分中包含眼睛頭部和眼 睛尾部中的至少一方的可能性的參數；禾口眼瞼檢測機構，其基於所述參數計算機構算出的參數，檢測對象者的 眼瞼的位置。
全文摘要
本發明提供一種可以在短時間正確檢測眼瞼的眼瞼檢測裝置。攝像機(10)拍攝對象者的面部，計算機(14)的CPU(24)獲取該運動圖像，並將其存放在圖像存儲器(22)中。CPU(24)從存放在圖像存儲器(22)中的運動圖像的規定區域，提取作為對象者的上眼瞼和下眼瞼的候選組合的邊緣線對。CPU(24)計算表示邊緣線對的左右兩端的部分包含眼睛尾部和眼睛頭部中的至少一方的可能性的評價值。CPU(24)基於計算出的評價值檢測對象者的眼瞼的位置。
文檔編號G06K9/00GK101266647SQ20081008338
公開日2008年9月17日 申請日期2008年3月13日 優先權日2007年3月15日
發明者中西悟, 大上健一, 小島真一, 平槙崇, 蜷川勇二, 足立淳, 鈴木智晴, 高橋健太郎, 魚住重康 申請人:愛信精機株式會社;豐田自動車株式會社