面部圖像檢測設備的製作方法

2023-04-25 14:06:36

專利名稱：面部圖像檢測設備的製作方法
技術領域：
本公開涉及一種面部圖像檢測設備，該設備在捕獲的圖像中檢測人類面部圖像。
背景技術：
專利文獻I JP H08-159733A專利文獻2 JP H09-021611A (US 5801763)專利文獻3 JP 2005-301742A (US 2005/0226472)專利文獻4 JP 2005-354155A (US 2005/0270413)專利文獻5 JP 2010-176382A根據所公開的駕駛員狀態檢測設備，設置在車廂中的攝像裝置捕獲駕駛員的面部。該設備處理捕獲的面部圖像並且提取面部的特徵點，諸如眼睛、鼻子以及嘴。基於特徵點位置或者眼睛的睜開或者閉合的狀態，該設備檢測駕駛狀態，諸如駕駛員的面部朝向和疲勞駕駛。駕駛員狀態檢測設備使用紅外閃光燈或者LED照亮並且捕獲駕駛員的面部。紅外閃光燈或者LED具有近紅外波長並且設置在攝像裝置附近。可以獲取眼球中視網膜反射圖像和角膜反射圖像的位置作為圖像信息來測量來自車輛駕駛員的眼球的反射圖像。在強烈的外部光(諸如日光)下，瞳孔收縮並且減小通過瞳孔到達視網膜的光強。這使得難以獲得來自視網膜的反射圖像並且降低了在眼睛方向上的測量精度。在專利文獻I中所公開的車載眼睛方向測量設備通過加快快門速度和增加照明光的峰值功率來降低由於外部光引起的噪聲。該設備可以精確地提取反射圖像而不增加測量時間。根據在專利文獻2中所公開的面部圖像捕獲設備，眼睛檢測裝置基於由二維捕獲裝置捕獲的測試對象的面部圖像而檢測測試對象的眼睛。如果眼睛檢測裝置沒有檢測到測試對象的眼睛，則激活紅外照明裝置以捕獲駕駛員的面部圖像。甚至駕駛員戴著他的或者她的眼鏡，紅外照明裝置也可以最小化在眼鏡的透鏡表面中反射的光的影響。紅外照明裝置利用通過光學濾波器的紅外光照亮至少測試對象的面部。提供紅外照明裝置以使二維捕獲裝置的光軸和紅外光的光軸形成角度，該角度大於或者等於預定的角度。在專利文獻3中所公開的駕駛員外貌識別系統可以延長紅外照明裝置的使用壽命。為此，不同的外貌識別處理將由攝像裝置捕獲的面部圖像的照度改變為所需照度。在專利文獻4中所公開的運動圖片捕獲設備可以根據對象的亮度的改變而自適應地調整在低照度環境下發光設備的發光量。在專利文獻5中所公開的發光設備使駕駛員擺脫奇怪的感覺。車輛可使它的照明部工作並且停止它的發動機。在這種情況下，照明設備主要基於由環境光檢測部檢測到的環境光照明來調整照射光強。車輛可使它的照明部和發動機工作。在這種情況下，發光設備主要基於從識別部通知的識別結果來調整照射光強。如在專利文獻I中所描述的，例如，可在強烈的、以致在駕駛員的眼鏡中反射周圍風景的外部光下檢測駕駛員的面部上的特徵點。在這種情況下，照明優選地比日光更強。例如，可與圖像捕獲時序同步地以脈衝激活諸如LED的光源。與穩定的發光相比，這可以更強烈地照射光。依照LED光源的波長，通常使用不可見的近紅外光以使駕駛員免受不愉快的感覺或者防止夜間的駕駛麻煩。從近紅外光中選擇短波長LED以確保圖像捕獲系統的靈敏度是實際的。通常地，這樣的LED包含取決於駕駛員的視覺特徵可能被感知為紅色的可見組分。取決於圖像捕獲時序，駕駛員可能感覺到可感知的閃爍，尤其是在夜間或者在黑暗中。穩定地激活照明可以防止閃爍。然而，標稱的LED電流幅值產生弱的發射強度並且其過小而無法防止眼鏡反射風景。例如，可以以陣列形式設置多個LED以確保足夠的發射強度。然而這會增加成本。在專利文獻2至專利文獻5中所公開的技術根據檢測到的眼睛狀態、乘員外貌識別處理、對象亮度、或者照明部和發動機的操作狀況調整發射光(LED)的發射強度(光強)。然而，專利文獻2至專利文獻5沒有公開或者暗示關於視覺感官的考慮，諸如防止閃爍或者發射強度調整。

發明內容
考慮到前述情況做出了本公開。因此，本公開的目的是提供一種面部圖像檢測設備，該設備能夠抑制照射到乘員的面部的光的閃爍並且減少在駕駛員的眼鏡中反射周圍風景。為實現以上目的，根據本公開的第一方面，提供了如下面部圖像檢測設備。包括投光器(projector)，以將光投射到包括車輛中乘員的面部的投射區域。包括圖像捕獲控制器，以設定用於捕獲包括乘員的面部的預定的捕獲區域的圖像捕獲條件。包括圖像捕獲部，以基於由圖像捕獲控制器設定的圖像捕獲條件來執行圖像捕獲以捕獲包括面部的預定的捕獲區域。包括環境光檢測部，以檢測照射到車輛和乘員中的一個的環境光。包括操作模式確定部，以執行模式確定以從至少兩種操作模式中確定操作模式，兩種操作模式中的一個為第一模式，在第一模式中，由環境光檢測部檢測到的環境光的光強大於預定的光強閾值，兩種操作模式中的另外一個為第二模式，在第二模式中，由環境光檢測部檢測到的環境光的光強不大於預定的光強閾值。包括光發射模式設置部，以基於由操作模式確定部確定的操作模式來設定用於投光器的光源的發射模式。包括投光器控制器，以基於由光發射模式設置部設定的光發射模式來控制投光器激活光源。根據以上配置，根據環境光情況確定操作模式。基於操作模式設定用於投光器的光發射模式。本控制可以允許駕駛員幾乎感知不到作為光源的投光器的閃爍。上述配置可以通過設置光發射模式以相對地增加投光器光強，減少在高強度環境光下的照明閃爍。在日間當風景經常反射在眼鏡中時，這也可以減少在眼鏡中風景的反射而不會使駕駛員感知到閃爍。另一方面，低強度環境光導致在眼鏡中反射風景的影響較小。可以降低投光器光強以延長光發射時間。光發射模式可以被配置成減小光發射周期以使閃爍是不可感知的。結果，可以減少照明閃爍。可以確保必要的光強(發射強度)而不必為投光器設置陣列形式的多個LED。


根據參考附圖在下面進行的詳細說明，本公開的以上和其他的目的、特徵、以及優點將會變得更加明顯。在附圖中圖1是示出根據本公開的實施例的面部圖像檢測設備的配置的框圖；圖2是示出根據實施例的投光器控制處理的流程圖；圖3是示出照度閾值設置的示例的圖；圖4是示出投光器的投射模式和圖像捕獲部的圖像捕獲時序之間的關係的圖；圖5是示出在操作模式中的投射模式的示例的圖；圖6是示出攝像裝置控制的示例的圖；圖7是示出根據相關技術的投光器控制處理的流程圖。圖8是示出基於相關技術數據而準備的、脈寬和以脈衝驅動LED的最大正向電流之間的關係的圖；以及圖9是示出根據實施例的另一個投光器控制處理的流程圖。
具體實施例方式將參考附圖描述根據本公開的實施例的面部圖像檢測設備。根據本實施例，圖1示出了車輛中的面部圖像檢測設備I的配置。面部圖像檢測設備I包括與環境光檢測部3、投光器4、圖像捕獲部5以及操縱部6相連的主控制電路2。面部圖像檢測設備I可以通過區域網(LAN) 15與導航設備11可通信地相連。主控制電路2被配置為如同計算機硬體，根據公知的技術，計算機硬體包括CPU、ROM,RAM以及外圍電路(諸如AD轉換器電路和輸入/輸出電路)。CPU執行存儲在ROM中的控制程序和數據以提供面部圖像檢測設備I的各種功能。主控制電路2包括操作模式確定部21、光發射模式設置部22、投光器控制器23、圖像捕獲控制器24、識別部25、設置部27以及存儲部28。這些部被表示為等同於以上提及的計算機硬體的功能模塊。操作模式確定部21基於從外部源獲得的信息確定操作模式並且輸出結果。光發射模式設置部22設定對應於操作模式的、用於投光器4的光發射模式。投光器控制器23接收來自光發射模式設置部22的輸出並且基於設定的光發射模式來激活或者禁用投光器4的光源4a。圖像捕獲控制器24接收來自投光器控制器23或者光發射模式設置部22的輸出，並且控制圖像捕獲部5的操作(諸如打開或者關閉快門5a)。例如，圖像捕獲控制器24還設定圖像捕獲條件，諸如圖像捕獲元件的曝光時間、增益以及Y曲線。識別部25包括公知的圖像處理電路。識別部25將通過圖像捕獲部5捕獲的圖像數據放大到能夠進行圖像處理的狀態。識別部25使用一般的數位化處理或者特徵點提取處理提取乘員的面部圖像。基於提取結果，識別部25確定是否識別了乘員的面部。設置部27基於操縱部6 (將要描述)的操縱來配置關於面部圖像檢測設備I的操作的設置。存儲部28包括公知的非易失性存儲介質，諸如閃速存儲器。存儲部28存儲面部圖像檢測設備I工作需要的數據，諸如設置部27的內容或者攝像裝置控制(也稱為攝像裝置控制表格)(參見圖6)。主控制電路2還可包括用於輸出時間和日期信息的時鐘IC 29和等同於連接到LANl5的通信接口電路的LAN接口 26。環境光檢測部3檢測照射到車輛或者車輛的乘員的光(環境光)。環境光包含照射到車輛或者乘員的日光或者路燈燈光、以及車廂中從面部圖像檢測設備I之外發射出的光。環境光檢測部3使用光學傳感器或者包含公知的CdS元件的照明光度計。車輛可設置有車載空調(未示出)，該車載空調對車廂進行空氣調節。車載空調可包括公知的日光照射傳感器，該傳感器檢測施加到車輛的日光照射的量。環境光檢測部3可使用日光照射傳感器。投光器4包括諸如紅外LED的光源4a，該紅外LED可以以脈衝形式照射包含近紅外波長的光。投光器控制器23激活光源4a。被激活的光源4a朝向包括其周圍的乘員面部照射近紅外光。投光器4放置在合適位置以使從光源4a照射的近紅外光的光軸近似地與圖像捕獲部5的光軸一致。圖像捕獲部5包括例如公知的C⑶或者CMOS攝像裝置。圖像捕獲部5捕獲包括乘員的面部的預定區域。圖像捕獲部5設置有快門5a，快門5a基於預定的時序和曝光時間工作。操縱部6包括鑰匙(key)或者開關。例如，操縱部6根據用戶操縱指定照度閾值(將在後面詳細描述)。眾所周知地，導航設備11根據車輛行駛使用GPS (全球定位系統)檢測當前位置。導航設備11在顯示設備上連同道路地圖一起顯示當前位置。導航設備11設定從起始點到目的地的合適的路線。導航設備11使用顯示設備或者音頻輸出設備提供引導。導航設備11包括位置檢測部Ila和地圖數據lib。參考圖7，下面描述與本公開相比較的根據相關技術的投光器控制處理。應當注意，在本申請中的流程圖或者流程圖的處理包括部分(也稱為步驟)，部分中的每個表示為例如S11。另外，每個部分可以分為幾個子部分，而幾個子部分可以組合成單個部分。另外，這樣被配置的部分中的每個也可以稱為部、設備、模塊或者裝置。此外，以上說明的部分中的每個或者任意組合可以實現為(i )結合硬體單元(例如，計算機)的軟體部分或者(ii)硬體部分，包括或者不包括相關設備的功能；此外，硬體部分可以構建在微型計算機內部。基於來自投光器控制器23的控制指令，投光器4以不變的頻率朝向包括其周圍的乘員面部照射脈衝近紅外光。基於來自圖像捕獲控制器24的控制指令，圖像捕獲部5捕獲包括乘員的面部的預定區域(S31)。識別部25根據捕獲的圖像數據識別乘員的面部(S32)。基於識別結果，識別部25可能需要改變控制值(在S33為是)。在這種情況下，識別部25改變控制值(S34)。例如，控制值表示投光器4的光強或者圖像捕獲部5的快門速度(將在後面詳細描述)。處理返回到S31並且照射光和捕獲圖像。為了改進識別乘員的面部的精度，在圖7中所示的配置僅需要執行以下中的至少一個延長照射近紅外光的時間、增加近紅外光的發射強度(光強)、以及延長曝光時間。例如，穩定光發射延長照射近紅外光的時間(即脈寬)。該方法能夠防止閃爍的發生。然而，在這一點上，如從基於常規的數據而準備的圖8所見，標稱的LED電流幅值不能提供足夠的發射強度。例如，在環境溫度(Ta) ( 60攝氏度，佔空比(Tw/T) ( 0. 1，以及脈寬(Tw)(0. OOlsec時，最大正向電流IfkmMAX可以達到0. 4A。參考圖2，下面描述根據本實施例的投光器控制處理。本處理包含在以上提及的控制程序中。主控制電路2的CPU反覆地執行投光器控制處理和其他處理。
投光器控制處理使用下面方法中的至少一種來獲得環境光信息(照度)(S11)。-該處理從包括在環境光檢測部3中的光學傳感器或者照明光度計獲得值，並且使用獲得的值作為環境光信息。-該處理將由以上提及的日光照射傳感器檢測到的日光照射的量轉換為照度。-該處理根據從時鐘IC29獲得的時間和日期信息指定時段(諸如早上、中午、傍晚、以及夜間)並且基於時段估計照度。-如果車窗包含在由圖像捕獲部5捕獲的圖像中，則該處理根據捕獲的車窗的狀態(諸如窗戶的亮度)估計照度。-該處理根據由圖像捕獲部5捕獲的圖像檢測乘員的瞳孔直徑並且根據瞳孔直徑估計照度(瞳孔直徑越大，照度越小)。-該處理從導航設備11獲得當前位置信息並且根據當前位置估計照度。例如，當車輛行駛通過隧道時照度降低。操作模式確定部21確定獲得的照度是否超過預定的照度閾值。圖3例示了照度閾值設置。首先，按照環境光照度從高到低的順序指定三個區域(參見圖3的左側)。最高的區域是大多數人感知不到閃爍的區域。第二高的區域是一些個人可感知到閃爍的區域。最低的區域是大多數人可感知到閃爍的區域。將照度閾值設置為高於最高的區域和第二高的區域之間的照度分界線。然後，指定明亮(bright)模式和黑暗(dark)模式以使分界線將明亮模式和黑暗模式相互分開(參見圖3的右側)。因此，如果獲得的照度超過照度閾值(在S12為是)，則操作模式確定部21將操作模式設置為明亮模式(S13)。如果獲得的照度小於照度閾值(在S12為否)，則操作模式確定部21將操作模式設置為黑暗模式(S24)。因為人類對於光的靈敏度隨個人而變化，所以照度閾值可以是可變的。為此，乘員根據預定的程序操縱操縱部6。設置部27檢測操縱並且在存儲部28中存儲操縱的內容(即，照度閾值)。設置內容被輸出到操作模式確定部21。操作模式確定部21確定操作模式是否發生改變，即，確定的操作模式是否與在之前處理中確定的操作模式相同。如果操作模式發生改變(在S14為是)，則操作模式確定部21將延遲閾值n設置為n2 (S15)。如果操作模式保持沒有改變(在S14為否)，則操作模式確定部21將延遲閾值n設置為nl (S25)。假定nl和n2為0或者正整數，並且nl大於n2(nl > n2)。光發射模式設置部22設定對應於操作模式的光發射模式(S16)。參考圖4，下面描述用於投光器4的光發射模式和用於圖像捕獲部5的快門5a的開/關控制時序。根據圖4的示例，快門5a以曝光的周期Tl反覆地打開和關閉。投光器4與快門5a開/關時序(周期Tl)同步地以脈衝發射光。投光器4開始發射光(開)。從光發射開始起經過預定的時間後，快門5a打開。在曝光時間到時後，快門5a關閉。投光器4停止發射光(關)。曝光時間(打開快門5a的時間)隨捕獲對象而變化(將詳細描述)。當在曝光結束後經過預定的時間時，投光器4可停止發射光。明顯地，可參考投光器4的光發射時序來控制圖像捕獲部5的圖像捕獲。參考圖5,下面描述在各個操作模式中用於投光器4 (或者光源4a)的光發射模式的示例。圖像捕獲部5的快門5a以例如30Hz的周期重複曝光。在明亮模式中，投光器4與快門5a的曝光同步地被提供有電流I並且發射光(同步曝光-發射(也稱為曝光-同步發射))。光發射模式導致脈衝發射。脈衝發射波形可以是鋸齒形、三角形、或者正弦曲線形以及矩形或者方形。投光器控制器23和投光器4的配置確定這些波形的使用。圖5中的示例示出了對應於黑暗模式I至黑暗模式7的光發射模式。使用這些模式中的一個。明顯地，優選的是設定多個照度閾值以細分在圖3中所示的黑暗模式區域並且將七個光發射模式中的一個應用於細分區域中的每個。下面描述對應於黑暗模式的光發射模式。在黑暗模式I中，投光器4以60Hz的周期重複光發射。即，投光器4以與快門5a的曝光同步的時序(也稱為時間間隔)(同步曝光-發射)和與快門5a的曝光異步的時序(異步曝光-發射(也成為曝光異步發射))以脈衝形式發射光。這可以抑制閃爍的發生。以上描述使用60Hz的光發射周期作為代表性的示例。然而，由於車輛震動，即使60Hz的周期也可能允許感知到閃爍。在黑暗模式I中，可以使用公知的震動傳感器(未示出)以檢測在車輛中的各個位置處的震動。用於異步曝光-發射的光發射周期可以根據震動頻率變化。本配置提供了檢測車輛中震動的震動檢測部。光發射模式設置部根據檢測到的震動頻率設定用於異步曝光-發射的光發射模式。在高震動頻率的情況下容易感知到閃爍。因此，相應地提高光發射頻率以使閃爍難以感知。有關的震動表示投光器本身的震動和駕駛員的震動之間的相對值。駕駛員的震動難以測量。可以使用在他或者她的頭部的震動頻率。使用人體模型根據座椅震動估計此震動頻率。在黑暗模式2中，與黑暗模式I類似，投光器4以60Hz的周期重複脈衝光發射。當發射光時，與時序與快門5a的曝光同步的電流I相比，黑暗模式2允許時序與快門5a的曝光異步的電流(即，光發射強度)12較小。這可以抑制閃爍的發生。另外，與黑暗模式I相t匕，黑暗模式2使投光器4能夠減少更多的消耗電流。當發射光時，與黑暗模式2中的電流12相比，黑暗模式3允許時序與快門5a的曝光異步的光發射電流13較小。與黑暗模式2相比，黑暗模式3使用較長的光發射時間。這可以抑制閃爍的發生。另外，與黑暗模式I相比，黑暗模式3使得投光器4能夠減少更多的消耗電流。在黑暗模式4中，與明亮模式類似，投光器4以30Hz的周期重複光發射。另外，與明亮模式相比，黑暗模式4使用較長的光發射時間而同時保持電流值不變。這可以抑制閃爍的發生。在黑暗模式5中，與明亮模式類似，投光器4以30Hz的周期重複光發射。在快門5a的曝光之後，黑暗模式5使用電流15保持光發射，其中電流15與用於曝光的電流I不同(例如，小於電流I)。光發射持續預定的間隔(例如，短於光發射周期)。這可以抑制閃爍的發生。另外，與黑暗模式4相比，黑暗模式5使投光器4能夠減少更多的消耗電流。在黑暗模式6中，無論快門5a的曝光時序如何投光器4都穩定地發射光。與明亮模式中的電流值I相比，光發射電流16較小。這可以抑制閃爍的發生。另外，與黑暗模式4相比，黑暗模式6使得投光器4能夠減少更多的消耗電流。黑暗模式7組合了明亮模式與黑暗模式6。在快門5a停止曝光後，投光器4使用光發射電流17穩定地發射光，其中電流17小於用於曝光的電流I。這可以抑制閃爍的發生。另外，與黑暗模式4相比，黑暗模式7使投光器4能夠減少更多的消耗電流。
考慮到對應的光發射模式，與其他模式相比，黑暗模式1、黑暗模式2以及黑暗模式6更加高效。現在返回參考圖2，投光器控制器23基於設定的光發射模式和圖像捕獲時序控制投光器4的光發射。圖像捕獲控制器24控制圖像捕獲部5的操作以捕獲圖像(S17)。識別部25根據由圖像捕獲部5捕獲的圖像數據識別乘員的面部(S18)。基於識別結果，識別部25確定是否需要改變控制值。例如，圖像識別部25從捕獲的乘員的面部圖像中檢測等同於皮膚的區域(諸如前額或者面頰)作為預定的面部部分區域。識別部25比較乘員的皮膚的顏色(過濾後的像素值)和已經存儲在存儲部28中的預定的參考顏色。基於比較結果(例如，兩個顏色之間的數位化差異)，識別部25確定是否需要改變控制值。如果不需要改變控制值(在S19為否)，則處理增加延遲計數M的值(S23)。處理返回到S17並且使用當前的控制值重複光發射和圖像捕獲。如果需要改變控制值(在S19為是)，則處理比較延遲計數M的值和延遲閾值n。如果M>n為真(在S20為是)，則處理將延遲計數M設置為0 (S21)。處理返回到Sll並且再次確定操作模式。如果M>n為假(在S20為否)，則處理改變控制值(S22)並且增加延遲計數M的值(S23)。處理返回到S17並且執行光發射和圖像捕獲。緊接在操作模式改變之後，如上所述，延遲閾值n包含小於延遲閾值nl的n2，其中nl用於保持操作模式不變的正常操作。操作模式確定部21基於特定時間間隔驗證操作模式的改變。相比於用於操作模式不變的特定時間間隔，用於操作模式改變的特定時間間隔被設置為較短。操作模式確定部21可以確定操作模式是否發生臨時改變。如果車輛行駛在橋梁下或者在建築物後面，由於在相對短的時間段內照度的改變，操作模式可能發生改變。在這種情況下，可以快速恢復到發生改變之前的操作模式。這可以縮短無法精確識別乘員面部的時間。參考圖6，下面詳細描述控制值。參考之前存儲在存儲部28中的攝像裝置控制或者攝像裝置控制表格確定控制值。攝像裝置控制表格包含至少一個控制表格(表格I)。例如，「dB」參數表示從捕獲的乘員的面部圖像的顏色和參考顏色之間的比較得出的數位化差異或者指數。「dB」參數的初始值為「O」。在這種情況下，「快門時間」被設置為300y sec。「快門時間」等同於快門5a打開的時間(曝光時間)。在這種情況下，「增益」加倍。「增益」表示放大因子，圖像捕獲部5以該放大因子來放大捕獲的圖像數據(模擬信號)。S卩，控制值包括「快門時間」和「增益」。控制值包含相同的「增益」參數和不同的「快門時間」參數。因此，控制值是可調整的。明顯地，控制值可包含相同的「快門時間」參數和不同的「增益」參數。如果與參考顏色相比捕獲的面部圖像的顏色較暗，則發射強度較小。在這種情況下，例如基於兩種顏色之間的差異，控制值改變為與大於當前「dB」值的「dB」值對應的「快門時間」和「增益」。另一方面，如果與參考顏色相比捕獲的面部圖像的顏色較亮，則發射強度足夠大。在這種情況下，基於兩種顏色之間的差異，控制值改變為與小於當前「dB」值的「dB」值對應的「快門時間」和「增益」。當操作模式發生改變時，圖像捕獲可以使用對應於當前「dB」值的控制值或者對應於設置為「 0 」的「 dB 」值的控制值。
可以提供從表格I至表格3的多個攝像裝置控制表格。可以根據捕獲的面部圖像的顏色和參考顏色之間的比較結果(顏色差異)而選擇並且使用從表格I至表格3中的任一個。可以根據選擇的表格確定控制值。可以為光發射模式中的每個提供攝像裝置控制表格。參考圖9，下面描述根據本公開的本實施例的投光器控制處理的另外一個示例。本處理是以上描述的圖2中的處理的變型。在圖9和圖2中互相對應的處理步驟以相同的參考標記表示並且出於簡化的目的省略詳細的描述。從Sll至S18等同於圖2中的這些步驟。在S18，識別部25根據由圖像捕獲部5捕獲的圖像數據識別乘員的面部。識別部25比較延遲計數M的值和延遲閾值n。如果M>n為真(在S19a為是)，則處理將延遲計數M設置為0 (S21)。處理返回到Sll並且再次確定操作模式。如果M>n為假(在S19a為否)，則識別部25確定是否需要改變控制值。如果不需要改變控制值(在S20a為否)，則處理增加延遲計數M的值(S23a)。處理返回到S17並且使用當前控制值重複光發射和圖像捕獲。如果需要改變控制值(在S20a為是)，則處理改變控制值(S22a)。處理增加延遲計數M的值(S23a)並且返回到S17以執行光發射和圖像捕獲。儘管已經在前述概述中闡述了本公開的第一方面，其他可選的方面可如下闡述。例如，作為第二方面，面部圖像檢測設備可包括識別部，該識別部根據由圖像捕獲部捕獲的圖像數據識別乘員的面部並且檢測乘員的面部中預定的面部部分區域的像素值。在此，圖像捕獲控制器可以調整當投光器使用光發射模式發射光時、圖像捕獲部的曝光時間和增益中的至少一個以使識別部檢測到的預定的面部部分區域的像素值接近預定的參考值，並且針對圖像捕獲部的下次圖像捕獲，將調整後的參數反映在圖像捕獲條件上，以再次設定已再次設定後的圖像捕獲條件以捕獲預定的捕獲區域。圖像捕獲部可基於已再次設定後的圖像捕獲條件執行下次圖像捕獲以捕獲包括面部的預定的捕獲區域。作為第三方面，在來自識別部的識別結果表明乘員的面部中的預定的面部部分區域的像素值不在距離預定參考值的預定的範圍中的情況下，圖像捕獲控制器可以直到從之前設定圖像捕獲條件起經過預定的設定時間間隔後才再次設定已再次設定後的圖像捕獲條件以捕獲預定的捕獲區域。換言之，當滿足再次設定條件時，圖像捕獲控制器可以再次設定已再次設定後的圖像捕獲條件以捕獲預定的捕獲區域。再次設定條件可以是這樣的條件(i)來自識別部的識別結果表明乘員的面部中的預定的面部部分區域的像素值不在距離預定的參考值的預定的範圍中，並且同時地，(ii)從之前設定圖像捕獲條件開始經過預定的設定時間間隔。例如，只要識別結果表明乘員的面部中的預定的面部部分區域的像素值不在距離預定的參考值的預定的範圍中，圖像捕獲控制器就可以首先反覆地再次設定已再次設定後的圖像捕獲條件。在這種情況下，因為識別結果被反饋，所以圖像捕獲條件會過於頻繁地改變。因此，可能不能正確地識別乘員的面部。所以，當經過預定的設定時間間隔時，圖像捕獲控制器可以使用在識別部中的識別結果，從而再次確定圖像捕獲條件(即，再次設定後的圖像捕獲條件)。作為第四方面，操作模式確定部可直到從之前確定操作模式開始經過預定的確定時間間隔後，才基於由環境光檢測部檢測到的環境光的狀態執行模式再次確定，以再次確定已再次確定後的操作模式。換言之，當滿足再次確定條件時，操作模式確定部可基於由環境光檢測部檢測到的環境光狀態執行模式再次確定，以再次確定已再次確定後的操作模式。確定條件可能是這樣的條件從之前確定操作模式開始經過了預定的確定時間間隔。在本配置下，節省了再次確定操作模式的時間和努力，並且可以迅速地和正確地識別乘員的面部。另外，可提供本配置以克服下面的問題。即，可周期性地測量環境光的狀態以確定操作模式。由於在車輛的行駛環境下時刻改變的環境光的影響的反饋，操作模式會過於頻繁地發生改變。另外，如果當識別到的乘員面部的狀態接近參考狀態時操作模式改變，則正相反，之後的識別的狀態可能與參考狀態更加不同，並且可能不會收斂到用於識別乘員面部的最優控制。因此，不能正確地識別乘員的面部。作為第五方面，當從之前確定操作模式起經過了預定的確定時間間隔時，或者當在從之前確定操作模式起經過預定的時間間隔後，用於再次確定已再次確定後的圖像捕獲條件的請求發生時，操作模式確定部可執行模式再次確定以再次確定已再次確定後的操作模式。換言之，當滿足第一條件和第二條件中的一個時，操作模式確定部可執行模式再次確定以再次確定已再次確定後的操作模式。第一條件可以是這樣的條件從之前確定操作模式起剛剛經過預定的確定時間間隔。第二條件可以是這樣的條件在從之前確定操作模式起經過預定的確定時間間隔後，用於再次確定已再次確定後的圖像捕獲條件的請求發生。以上配置可以防止操作模式的再次確定過於頻繁地發生，使得能夠迅速且正確地識別乘員的面部。作為第六方面，光發射模式設置部可基於環境光的狀態改變用於光源的光發射模式，其中由環境光檢測部以預定的檢測時間間隔檢測到環境光的狀態，從而減少乘員感知到的閃爍。本配置優先減少閃爍而不是乘員的面部的識別。因此，可以防止光源的光發射(即，閃爍)成為駕駛的阻礙或者惡化車廂環境。作為第七方面，當操作模式被指定為等同於第一模式的明亮模式時，其中在第一模式中由環境光檢測部檢測到的環境光的光強大於預定的光強閾值，光發射模式設置部可以將光發射模式設定為包括曝光-同步發射，其中曝光-同步發射等同於與圖像捕獲部的曝光時間間隔同步的脈衝光發射。在風景或者景色反射在眼鏡上的情形中存在大量的環境光。因此，即使執行投光器(即，光源)的脈衝光發射並且增加光發射的量，駕駛員也很難感知到閃爍。因此，上述配置可以在明亮模式中相對於環境光的量增加光發射的量(即，增加S/N比)，同時抑制閃爍的產生。因此,能夠正確識別乘員的面部。作為第八示例，當操作模式被指定為等同於第二模式的黑暗模式時，其中在第二模式中由環境光檢測部檢測到的環境光的光強不大於預定的光強閾值，光發射模式設置部可以將光發射模式設定為包括曝光-同步發射和曝光-異步發射。曝光-同步發射為與圖像捕獲部的曝光時間間隔同步的脈衝光發射。曝光-異步發射為與圖像捕獲部的曝光時間間隔異步的光發射模式。本配置可在黑暗模式中增加脈衝發射的重複次數(即，頻率)，從而減少乘員感知到的閃爍。作為第九示例，光發射模式設置部可以將在曝光-異步發射中的光發射模式設定為脈衝光發射。
在曝光-異步發射中的光發射模式被設定為脈衝光發射；因此，表面上脈衝的頻率變高。當抑制了光源的閃爍時，可在曝光-同步發射下進行圖像捕獲時獲得足夠的光量。因此，能夠正確地識別乘員的面部。應當注意，當環境光弱時，風景或者景色難以反射在眼鏡上。另外，執行曝光-異步發射；因此投光器需要執行不必要的光發射。如果考慮到在標稱電流內使用光源，與在明亮模式中的光量相比，需要將在曝光-同步發射中的光量設置為相對低的值。然而，在黑暗模式中根本上存在很少的環境光；因此，保持S/N足夠高。作為第十方面，光發射模式設置部可以將在曝光-異步發射中的光發射模式設定為穩定的光發射。本配置可以通過使得投光器執行穩定的光發射來抑制光源的閃爍。另外，可以延長曝光時間；因此，在圖像捕獲時可以獲得足夠的光量。因此，能夠正確地識別乘員的面部。另外，穩定的光發射要求投光器在曝光時間之外的時間期間執行無用的光發射。如果考慮到在標稱電流內使用光源，則需要將光發射的量設置為相對的低。然而，在黑暗模式中根本上存在很少的環境光；因此，保持S/N足夠高。延長曝光時間沒有提供缺點。作為第十一方面，光發射模式設置部可根據曝光-同步發射和曝光-異步發射中的每個而使用施加到光源的電流的單獨的值。本配置表面上增加了光發射的頻率。當抑制了光源的閃爍時，在圖像捕獲時可以獲得足夠的光量。因此，能夠正確地識別乘員的面部。另外，以上配置減少了在曝光-異步發射中施加的電流，因此減少了光源消耗的電流。作為第十二方面，從光源發射的光可包括近紅外波長。可以通過使用傳統的面部圖像檢測設備而不需要較大程度地改變傳統的設備實現本配置，該傳統的面部圖像檢測設備使用紅外頻閃儀或者具有近紅外波長區的LED來捕獲駕駛員的面部的圖像。雖然參考本公開的優選實施例描述了本公開，但應當理解本公開不限於優選的實施例和結構。本公開旨在涵蓋各種變型和等價的布置。另外，儘管公開了優選的各種組合和配置，但是包括更多、更少或者僅有一個元件的其他組合和配置也在本公開的範圍和精神內。
權利要求
1.一種面部圖像檢測設備(1)，包括: 投光器(4)，將光投射到包括車輛中乘員的面部的投射區域； 圖像捕獲控制器(24)，設定用於捕獲包括所述乘員的所述面部的預定的捕獲區域的圖像捕獲條件； 圖像捕獲部(5)，基於由所述圖像捕獲控制器設定的所述圖像捕獲條件，執行圖像捕獲以捕獲包括所述面部的所述預定的捕獲區域； 環境光檢測部(3)，檢測照射到所述車輛和所述乘員中的一個的環境光； 操作模式確定部(21)，執行模式確定以從至少兩種操作模式中確定操作模式，所述兩種操作模式中的一個是第一模式，在所述第一模式中，由所述環境光檢測部檢測到的所述環境光的光強大於預定的光強閾值，所述兩種操作模式中的另外一個是第二模式，在所述第二模式中，由所述環境光檢測部檢測到的所述環境光的光強不大於所述預定的光強閾值； 光發射模式設置部(22)，基於由所述操作模式確定部確定的所述操作模式，設定用於所述投光器的光源的光發射模式；以及 投光器控制器(23)，基於由所述光發射模式設置部設定的所述光發射模式，控制所述投光器激活所述光源。
2.根據權利要求1所述的面部圖像檢測設備，包括: 識別部(25)，根據由所述圖像捕獲部捕獲的圖像數據識別所述乘員的所述面部，並且檢測所述乘員的所述面部中預定的面部部分區域的像素值， 其中: 所述圖像捕獲控制器: 調整當所述投光器使用所述光發射模式發射光時、所述圖像捕獲部的曝光時間和增益中的至少一個，以使由所述識別部檢測到的所述預定的面部部分區域的所述像素值接近預定的參考值，以及 針對所述圖像捕獲部的下一次圖像捕獲，將調整後的參數反映在所述圖像捕獲條件上，以再次設定已再次設定後的圖像捕獲條件以捕獲所述預定的捕獲區域；以及 所述圖像捕獲部基於再次設定後的圖像捕獲條件執行所述下一次圖像捕獲，以捕獲包括所述面部的所述預定的捕獲區域。
3.根據權利要求2所述的面部圖像檢測設備，其中: 在來自所述識別部的識別結果表明所述乘員的所述面部中的所述預定的面部部分區域的像素值不在距離所述預定的參考值的預定的範圍內的情況下， 所述圖像捕獲控制器直到從之前設定所述圖像捕獲條件起經過預定的設定時間間隔後才再次設定所述已再次設定後的圖像捕獲條件以捕獲所述預定的捕獲區域。
4.根據權利要求 1所述的面部圖像檢測設備， 其中，所述操作模式確定部直到從之前確定所述操作模式起經過預定的確定時間間隔後，才基於由所述環境光檢測部檢測到的環境光的狀態執行模式再次確定，以再次確定已再次確定後的操作模式。
5.根據權利要求4所述的面部圖像檢測設備， 其中，當從之前確定所述操作模式起剛剛經過所述預定的確定時間間隔時或者當從之前確定所述操作模式起經過所述預定的時間間隔後用於再次設定已再次設定後的圖像捕獲條件的請求發生時，所述操作模式確定部執行所述模式再次確定，以再次確定所述已再次確定後的操作模式。
6.根據權利要求1所述的面部圖像檢測設備， 其中，所述光發射模式設置部基於所述環境光的狀態改變用於所述光源的所述光發射模式，從而減少所述乘員感知到的閃爍，其中由所述環境光檢測部以預定的檢測時間間隔檢測所述環境光的狀態。
7.根據權利要求1所述的面部圖像檢測設備， 其中，當所述操作模式被指定為等同於所述第一模式的明亮模式時，在所述第一模式中由所述環境光檢測部檢測到的所述環境光的光強大於所述預定的光強閾值，所述光發射模式設置部將所述光發射模式設定為包括曝光-同步發射，所述曝光-同步發射等同於與所述圖像捕獲部的曝光時間間隔同步的脈衝光發射。
8.根據權利要I至權利要求7中的任一項所述的面部圖像檢測設備，其中: 當所述操作模式被指定為等同於所述第二模式的黑暗模式時，在所述第二模式中由所述環境光檢測部檢測到的所述環境光的光強不大於所述預定的光強閾值，所述光發射模式設置部將所述光發射模式設定為包括曝光-同步發射和曝光-異步發射， 所述曝光-同步發射為與所述圖像捕獲部的曝光時間間隔同步的脈衝光發射， 所述曝光-異步發射為與所述圖像捕獲部的曝光時間間隔異步的光發射模式。
9.根據權利要求8所述的面部圖像檢測設備， 其中，所述光發射模式設置部將所述曝光-異步發射中的光發射模式設定為脈衝光發射。
10.根據權利要求8所述的面部圖像檢測設備， 其中，所述光發射模式設置部將所述曝光-異步發射中的光發射模式設定為穩定的光發射。
11.根據權利要求8所述的面部圖像檢測設備， 其中，所述光發射模式設置部根據所述曝光-同步發射和所述曝光-異步發射中的每個而使用用於施加到所述光源的電流的單獨值。
12.根據權利要求1至權利要求7中的任一項所述的面部圖像檢測設備， 其中，從所述光源發射的光包括近紅外波長。
全文摘要
本發明提供了一種面部圖像檢測設備。車載式面部圖像檢測設備(1)如下工作。投光器(4)投射光。捕獲控制器(24)設定用於捕獲包括乘員的面部的預定區域的捕獲條件。捕獲部(5)基於捕獲條件捕獲預定的區域。環境光檢測部(3)檢測照射到車輛或者乘員的環境光。操作模式確定部(21)確定第一模式或者第二模式，其中在第一模式中環境光的強度大於閾值，在第二模式中環境光的強度不大於閾值。光發射模式設置部(22)基於操作模式設定用於投光器的光源的光發射模式。投光器控制器(23)基於光發射模式控制投光器激活光源。
文檔編號H04N5/235GK103077370SQ20121030104
公開日2013年5月1日 申請日期2012年8月22日 優先權日2011年8月25日
發明者渡邊泰鬥, 大見拓寬 申請人:株式會社電裝