使用者識別和確認裝置、方法及使用該裝置的車用中央控制系統的製作方法

2023-07-09 07:22:01

使用者識別和確認裝置、方法及使用該裝置的車用中央控制系統的製作方法
【專利摘要】一種使用者識別和確認裝置，包含圖像傳感單元、人臉識別單元、顯示單元和表情識別單元。所述圖像傳感單元用以獲取第一圖像幀和第二圖像幀。所述人臉識別單元用以根據所述第一圖像幀識別使用者身份。所述顯示單元顯示所述使用者身份的身份信息。所述表情識別單元用以根據所述第二圖像幀確認使用者表情並輸出確認信號。本發明還提供一種使用者識別和確認方法和車用中央控制系統。
【專利說明】使用者識別和確認裝置、方法及使用該裝置的車用中央控制系統
【技術領域】
[0001]本發明是關於一種互動系統，特別是關於一種使用者識別和確認裝置、方法以及使用所述裝置的車用中央控制系統。
【背景技術】
[0002]目前生物識別技術已廣泛應用於身份識別，一般生物數據(biologicalinformation)例如包括臉部、聲紋、指紋和瞳孔等，其中由於人臉識別技術不需使用者採取任何相應動作，因此使用上最為方便。
[0003]例如W02011/121688公開了一種人臉識別裝置，包含取像單元、區域檢測單元、特徵獲取單元、距離估測單元和特徵更新單元。所述區域檢測單元從所述取像單元所獲取的圖像中檢測預設區域；所述特徵獲取單元獲取所述預設區域的特徵量；所述距離估測單元估測所述取像單元與所述預設區域間的距離；所述特徵更新單元相對應所述距離更新所述特徵量，藉此達成高識別精度。
[0004]表情識別技術為目前發展中的新技術，可用以檢測不同心情狀態的表情，例如生氣、恐懼、厭惡、高興、無表情、悲傷和驚訝等。例如美國專利公開第2012169895披露一種採用Hierarchical Temporal Memory (HTM)架構的識別器的人臉圖像獲取方法與裝置,其識別目標圖像以得到表情狀態並可應用於數位相機、視訊攝影機(Web Cam)、網路攝影機(IPCam)或監視攝影機等圖像獲取裝置。
[0005]本發明據此提出一種使用者識別和確認裝置、方法和使用所述裝置的車用中央控制系統，其可先利用人臉識別單元識別出使用者身份再利用表情識別單元確認所述使用者身份的正確性，藉此使用者無須以肢體進行任何操作即可完成識別和確認程序。

【發明內容】

[0006]本發明的目的在提供一種使用者識別和確認裝置、方法以及使用所述裝置的車用中央控制系統，其可利用人臉識別技術識別使用者身份並利用表情識別技術進行身份確認。
[0007]本發明另一目的在提供一種使用者識別和確認裝置、方法以及使用所述裝置的車用中央控制系統，其可應用於各種車用電子裝置的自動設定。
[0008]本發明提供一種使用者識別和確認裝置，該識別和確認裝置包含圖像傳感單元、人臉識別單元、顯示單元和表情識別單元。所述圖像傳感單元用以獲取第一圖像幀和第二圖像幀。所述人臉識別單元用以根據所述第一圖像幀識別使用者身份。所述顯示單元顯示所述使用者身份的身份信息。所述表情識別單元用以根據所述第二圖像幀確認使用者表情並輸出確認信號。
[0009]本發明還提供一種車用中央控制系統，該車用中央控制系統包含圖像傳感單元、人臉識別單元、顯示單元、表情識別單元和控制單元。所述圖像傳感單元用以獲取第一圖像幀和第二圖像幀。所述人臉識別單元用以根據所述第一圖像幀識別使用者身份。所述顯示單元顯示所述使用者身份的身份信息。所述表情識別單元用以根據所述第二圖像幀確認使用者表情並輸出確認信號。所述控制單元根據所述確認信號讀取所述使用者身份相關的駕駛設定。
[0010]本發明還提供一種使用者識別和確認方法，該使用者識別和確認方法包含下列步驟:以圖像傳感單元獲取第一圖像幀；根據所述第一圖像幀識別使用者身份；以顯示單元顯示所述使用者身份的身份信息；以所述圖像傳感單元獲取第二圖像幀；根據所述第二圖像幀確認使用者表情並產生確認信號；以及根據所述確認信號控制至少一電子裝置。
[0011]一實施例中，所述人臉識別單元還可判斷所述第一圖像幀中是否存在使用者和/或判斷所述第一圖像幀中多個使用者中想要識別的使用者。
[0012]一實施例中，所述使用者識別和確認裝置另包含儲存單元,該儲存單元用以儲存至少一使用者的身份信息、使用者表情相關的表情數據以及設定信息。
[0013]一實施例中，所述顯示單元可通過畫面和/或聲音顯示所述身份信息。
[0014]一實施例中，所述使用者識別和確認方法另包含下列步驟:以所述圖像傳感單元獲取第三圖像幀；根據所述第三圖像幀確認使用者表情並產生儲存信號；以及根據所述儲存信號更新所述至少一電子裝置的設定信息。
[0015]本發明的使用者識別和確認裝置、方法和車用中央控制系統中，所述使用者身份可根據使用者表情自動確認而無須使用者通過肢體來完成。此外，當使用者想要更新設定信息時，也可通過表情識別來達成。
【專利附圖】

【附圖說明】
[0016]圖1顯示本發明實施例的使用者識別和確認裝置的方塊示意圖；
[0017]圖2顯示本發明實施例的使用者識別和確認裝置中，顯示單元顯示身份信息的示意圖；
[0018]圖3顯示本發明實施例的使用者識別和確認裝置適用於車用中央控制系統的示意圖；
[0019]圖4顯示本發明實施例的使用者識別和確認方法的流程圖；
[0020]圖4A~4B顯示本發明實施例的使用者識別和確認方法的另一流程圖；
[0021]圖5顯示本發明另一實施例的使用者識別和確認裝置的方塊示意圖。
[0022]附圖標記說明
[0023]1使用者識別和確認裝置11圖像傳感單元
[0024]12人臉識別系統13儲存單元
[0025]14顯示單元141顯示畫面
[0026]142揚聲裝置15表情識別單元
[0027]16控制單元17電子裝置
[0028]Fl第一圖像幀F2第二圖像幀
[0029]ID身份信息Sc確認信號
[0030]8使用者9車輛
[0031]91後照鏡92中央控制臺[0032]S21^S29步驟FOV圖像傳感單元的視野。
【具體實施方式】
[0033]為了讓本發明的上述和其他目的、特徵、和優點能更明顯，下文將配合所附圖示，作詳細說明如下。在本發明的說明中，相同的構件是以相同的符號表示，在此應提前說明。
[0034]請參照圖1所示，其顯示本發明實施例的使用者識別和確認裝置的方塊示意圖。使用者識別和確認裝置I包含圖像傳感單元U、人臉識別單元12、儲存單元13、顯示單元
14、表情識別單元15、控制單元16和電子裝置17。本實施例中，所述人臉識別單元12、所述表情識別單元15和所述控制單元16例如可由數位處理器(DSP)等能夠處理數位數據的處理器來實現，而所述數位處理器則預先在內部建有人臉識別演算法和表情識別演算法。
[0035]本發明實施例的使用者識別和確認裝置I用以先識別使用者身份後，再根據使用者表情確認所述使用者身份的正確與否，藉此相對控制至少一電子裝置17。一種實施例中，所述使用者識別和確認裝置I可應用於車用中央控制系統(central control system),以自動根據各使用者的使用習慣進行相對應的駕駛設定，所述駕駛設定例如包含座位位置、鏡面角度、空調溫度、音響設定、方向盤高度、燈光設定和衛星定位設定至少其中之一，但並不以此為限。然而，本發明實施例的使用者識別和確認裝置I並不限定適用於車用中央控制系統，只要是能夠讓使用者利用表情針對所識別出的使用者身份進行確認的人機介面系統(human-machine interface system)均可。
[0036]所述圖像傳感單元11例如可為CCD圖像傳感器、CMOS圖像傳感器或其他圖像傳感裝置，用以獲取第一圖像幀Fl和第二圖像幀F2 ;其中，所述圖像傳感單元11例如可以用固定的採樣頻率獲取圖像。例如圖1中，所述圖像傳感單元11以視野FOV (field of view)獲取使用者8的圖像。`
[0037]所述人臉識別單元12用以根據所述第一圖像幀Fl識別使用者身份；其中，所述人臉識別單元12利用演算法計算出人臉特徵後，則從所述儲存單元13搜尋相對應的使用者身份並傳輸至所述顯示單元14進行顯示。可以了解的是，所述第一圖像幀Fl包含人臉圖像時，所述人臉識別單元12才據此識別所述使用者身份。
[0038]所述顯示單元14例如可為液晶顯示器(LC display)並包含顯示畫面141和/或揚聲裝置(speaker)142，如圖2所示，用以顯示所述使用者身份的身份信息ID，但也可為其他種類顯示器。藉此，所述顯示單元14可通過畫面和/或聲音顯示所述身份信息ID ;其中，所述畫面例如可為使用者的照片、圖像或文字等，並無特定限制。
[0039]所述表情識別單元15用以根據所述第二圖像幀F2確認使用者表情並輸出確認信號Sc ;其中，所述表情識別單元15利用演算法計算出表情特徵後，則從所述儲存單元13搜尋所述使用者表情相關的表情數據以進行比對。換句話說，所述儲存單元13已儲存有至少一使用者的所述身份信息ID和所述使用者表情相關的表情數據。本發明實施例中，所述使用者表情較佳為高興表情，但並不以此為限，也可為生氣、恐懼、厭惡、驚訝、悲傷和無表情等，可根據不同使用者自行設定。
[0040]所述控制單元16根據所述確認信號Sc控制至少一電子裝置17的設定狀態；其中，所述設定狀態與所述使用者身份相關而由相對應使用者所自行設定。所述設定狀態可為所述電子裝置17的運作設定，例如運作強度、運作時間和/或運作指向性等並預先儲存於所述儲存單元13中；其中，所述設定狀態根據不同的電子裝置17而有所不同。
[0041]如上所述，由於所述第二圖像幀F2對所述使用者8進行身份信息ID的確認，因此所述圖像傳感單元11於所述顯示單元14顯示所述身份信息ID後，才獲取所述第二圖像幀F2。然而，這並不限定成所述圖像傳感單元11在獲取完所述第一圖像幀Fl後到所述顯示單元14顯示所述身份信息ID期間，所述圖像傳感單元11即停止運作，根據不同的應用所述圖像傳感單元11在獲取所述第一圖像幀Fl後可被設定為持續運作或停止運作，直到所述表情識別單元15確認出所述使用者表情為止。
[0042]一實施例中，所述圖像傳感單元11於所述使用者識別和確認裝置I完成開機程序後即開始持續運作以持續獲取所述第一圖像幀F1。因此，所述人臉識別單元12較佳可還判斷所述第一圖像幀Fl中是否存在使用者8 ;當所述第一圖像幀Fl中不存在任何使用者圖像，則重新獲取一張第一圖像幀Fl ;當所述第一圖像幀Fl存在使用者圖像，所述人臉識別單元12才根據所述第一圖像幀Fl識別使用者身份。
[0043]一實施例中，所述人臉識別單元12還可判斷所述第一圖像幀Fl中多個使用者中想要識別的使用者。例如當所述第一圖像幀Fl中同時存在有多個使用者圖像時，所述人臉識別單元12可識別最靠近使用者為所述想要識別的使用者；其中，所述最靠近例如可根據使用者圖像的大小、對比和清晰度等方式來進行識別。此外，所述想要識別的使用者也可根據其他方式認定，例如使用者圖像的位置等。當所述想要識別的使用者被識別出後，所述人臉識別單元12才進行使用者身份識別。此外，所述人臉識別單元12也可對多個使用者均進行身份識別並同時顯示於所述顯示單元14上，然後使用者8再通過所述表情識別單元15確認想要識別使用者的身份信息ID。
[0044]例如，當所述使用者識別和確認裝置I應用於車用中央控制系統時,如圖3所示，所述圖像傳感單元11較佳相對於駕駛座設置。例如，所述圖像傳感單元11可設置於後照鏡91或中央控制臺(central control panel) 92,但並不以此為限,只要是設置於能夠獲取駕駛臉部圖像的位置即可。
[0045]參照圖1和圖3所示，使用本發明的使用者識別和確認裝置I的車用中央控制系統包含所述圖像傳感單元11、所述人臉識別單元12、所述儲存單元13、所述顯示單元14、所述表情識別單元15和所述控制單元16。所述圖像傳感單元11用以獲取所述第一圖像幀Fl和所述第二圖像幀F2 ;所述人臉識別單元12用以根據所述第一圖像幀Fl識別使用者身份；所述顯示單元14顯示所述使用者身份的身份信息ID ;所述表情識別單元15用以根據所述第二圖像幀F2確認使用者表情並輸出確認信號Sc ;所述控制單元16則根據所述確認信號Sc讀取所述使用者身份相關的駕駛設定。本實施中，除了設定狀態系相關於駕駛設定，例如座位、鏡面、空調、音響、方向盤、燈光和衛星定位系統中至少其中之一的電子裝置的設定外，其餘運作方式均類似於圖1和其相關說明，故於此不再贅述。因此，本實施例中所述儲存單元13則至少儲存有至少一使用者的身份信息、使用者表情相關的表情數據和不同車用電子裝置相關的駕駛設定等。
[0046]此外，本發明的使用者識別和確認裝置I還可根據使用者表情來更新至少一電子裝置的設定信息。例如此處仍以車用中央控制系統為例，所述圖像傳感單元11可獲取第三圖像幀，所述表情識別單元15可根據所述第三圖像幀確認使用者表情並產生儲存信號至所述控制單元16，所述控制單元16則可根據所述儲存信號儲存所述至少一電子裝置的目前設定信息至所述儲存單元13以進行設定信息的更新，例如更新座位位置、鏡面角度、空調溫度、音響設定、方向盤高度、燈光設定和衛星定位設定中至少其中之一。可以了解的是，此更新設定信息步驟例如可進入數據更新模式時才執行，所述數據更新模式可根據使用者的指示進入或所述表情識別單元15完成身份信息ID確認後直接進入，並無特定限制。
[0047]請參照圖4所示，其顯示本發明實施例的使用者識別和確認方法的流程圖，包含下列步驟:以圖像傳感單元獲取第一圖像幀(步驟S21);根據所述第一圖像幀識別使用者身份(步驟S22);以顯示單元顯示所述使用者身份的身份信息(步驟S23);以所述圖像傳感單元獲取第二圖像幀(步驟S24);根據所述第二圖像幀確認使用者表情並產生確認信號(步驟S25);根據所述確認信號控制至少一電子裝置(步驟S26);以所述圖像傳感單元獲取第三圖像幀(步驟S27);根據所述第三圖像幀確認使用者表情並產生儲存信號(步驟S28);以及根據所述儲存信號更新所述至少一電子裝置的設定信息(步驟S29);其中，當本實施例的使用者識別和確認方法應用於車用中央控制系統時，所述電子裝置例如包含座位、鏡面、空調、音響、方向盤、燈光和衛星定位系統至少其中之一，但並不以此為限。本實施例中各步驟已詳細描述於圖1、3和其相關說明中，故於此不再贅述，圖4進一步說明了各步驟的實施順序。
[0048]請參照圖4A所示，其顯示本發明實施例的使用者識別和確認方法的另一流程圖，其介於圖4中步驟S21和步驟S22間來另行判斷所述第一圖像幀Fl中是否存在使用者(步驟S211);當所述第一圖像幀Fl中不存在任何使用者，則回到步驟S21重新獲取一張第一圖像幀Fl ;當所述第一圖像幀Fl中存在使用者，所述人臉識別單元12才根據所述第一圖像幀Fl識別使用者身份。
[0049]請參照圖4B所示，其顯示本發明實施例的使用者識別和確認方法的另一流程圖，其介於圖4中步驟S21和步驟S22間以另行判斷所述第一圖像幀Fl中是否存在多個使用者(步驟S212);當所述第一圖像幀Fl中不存在任何使用者，則回到步驟S21重新獲取一張第一圖像幀Fl ;當所述第一圖像幀Fl中存在多個使用者，所述人臉識別單元12先判斷所述第一圖像幀Fl中多個使用者中想要識別的使用者(步驟S213)後，再識別所述想要識別的使用者之一的使用者身份(步驟S22);其中，如前所述所述想要識別的使用者可根據使用者距離或使用者位置來認定。
[0050]參照圖5所示，其顯示本發明另一實施例的使用者識別和確認裝置的方塊示意圖。圖5與圖1的差異在於，圖5中所述第二圖像幀F2是先傳送至所述人臉識別單元12後再傳送至所述表情識別單元15，其他部分則與圖1相類似。例如一實施例中，當所述顯示單元14表示所述身份信息ID後，所述人臉識別單元12才將所述第二圖像幀F2傳送至所述表情識別單元15。另一實施例中，所述人臉識別單元12通知所述顯示單元14表示所述身份信息ID時，便將所述圖像傳感器11獲取的圖像幀(即第二圖像幀F2)傳送至所述表情識別單元15，其可在所述顯示單元14表示所述身份信息ID的同時或之後進行表情識別。另一實施例中，所述人臉識別單元12和所述表情識別單元15可使用相同的圖像幀來執行各自的識別工作，也即所述第一圖像幀Fl和所述第二圖像幀F2可為同一張圖像幀。
[0051]綜上所述，已知人臉識別技術和表情識別技術使用不同演算法並具有不同應用。本發明另提出一種使用者識別和確認裝置(圖1)和使用者識別和確認方法(圖4)，用以通過使用者表情確認使用者身份的正確與否，並可應用於車用中央控制系統以排除不同駕駛具有不同駕駛設定所造成的不便。[0052]雖然本發明通過以前述實施例披露，但是其並非用以限定本發明，任何本發明所屬【技術領域】中具有通常知識的技術人員，在不脫離本發明的精神和範圍內，當可作各種的更動與修改。因此本發明的保護範圍當視後附的權利要求範圍所界定的範圍為準。
【權利要求】
1.一種使用者識別和確認裝置，該使用者識別和確認裝置包含: 圖像傳感單元，用以獲取第一圖像幀和第二圖像幀； 人臉識別單元，用以根據所述第一圖像幀識別使用者身份； 顯示單元，顯示所述使用者身份的身份信息；以及 表情識別單元，用以根據所述第二圖像幀確認使用者表情並輸出確認信號。
2.根據權利要求1所述的使用者識別和確認裝置，該使用者識別和確認裝置還包含儲存單元，該儲存單元用以儲存至少一使用者的所述身份信息以及該使用者表情相關的表情數據。
3.根據權利要求1所述的使用者識別和確認裝置，該使用者識別和確認裝置還包含控制單元，該控制單元根據所述確認信號控制至少一電子裝置的設定狀態。
4.根據權利要求3所述的使用者識別和確認裝置，其中所述設定狀態與所述使用者身份相關。
5.根據權利要求3或4所述的使用者識別和確認裝置，該使用者識別和確認裝置還包含儲存單元，該儲存單元用以儲存所述設定狀態。
6.根據權利要求1所述的使用者識別和確認裝置，其中所述圖像傳感單元在所述顯示單元顯示所述身份信 息之後獲取所述第二圖像幀。
7.根據權利要求1所述的使用者識別和確認裝置，其中所述人臉識別單元還判斷所述第一圖像幀中是否存在使用者。
8.根據權利要求1所述的使用者識別和確認裝置，其中所述人臉識別單元還判斷所述第一圖像幀中多個使用者中想要識別的使用者。
9.根據權利要求1所述的使用者識別和確認裝置，其中所述第一圖像幀和所述第二圖像幀為同一張圖像幀。
10.一種車用中央控制系統，該車用中央控制系統包含: 圖像傳感單元，用以獲取第一圖像幀和第二圖像幀； 人臉識別單元，用以根據所述第一圖像幀識別使用者身份； 顯示單元，顯示所述使用者身份的身份信息； 表情識別單元，用以根據所述第二圖像幀確認使用者表情並輸出確認信號；以及 控制單元，根據所述確認信號讀取所述使用者身份相關的駕駛設定。
11.根據權利要求10所述的車用中央控制系統，其中所述圖像傳感單元相對駕駛座設置。
12.根據權利要求10所述的車用中央控制系統，其中所述駕駛設定包含座位位置、鏡面角度、空調溫度、音響設定、方向盤高度、燈光設定和衛星定位設定中的至少一者。
13.根據權利要求10所述的車用中央控制系統，該車用中央控制系統還包含儲存單元，該儲存單元用以儲存至少一使用者的所述身份信息、所述使用者表情相關的表情數據以及所述駕駛設定。
14.根據權利要求10所述的車用中央控制系統，其中所述圖像傳感單元在所述顯示單元顯示所述身份信息之後獲取所述第二圖像幀。
15.根據權利要求10所述的車用中央控制系統，其中所述人臉識別單元還判斷所述第一圖像幀中是否存在使用者。
16.根據權利要求10所述的車用中央控制系統，其中所述人臉識別單元還判斷所述第一圖像幀中多個使用者中想要識別的使用者。
17.根據權利要求10所述的車用中央控制系統，其中所述顯示單元通過畫面和/或聲音顯示所述身份信息。
18.根據權利要求10所述的車用中央控制系統，其中所述第一圖像幀和所述第二圖像中貞為同一張圖像中貞。
19.一種使用者識別和確認方法，該使用者識別和確認方法包含下列步驟: 以圖像傳感單元獲取第一圖像幀； 根據所述第一圖像幀識別使用者身份； 以顯示單元顯示所述使用者身份的身份信息； 以所述圖像傳感單元獲取第二圖像幀； 根據所述第二圖像幀確認使用者表情並產生確認信號；以及 根據所述確認信號控制至少一電子裝置。
20.根據權利要求19所述的使用者識別和確認方法，其中所述電子裝置包含座位、鏡面、空調、音響、方向盤、燈光和衛星定位系統中的至少一者。
21.根據權利 要求19所述的使用者識別和確認方法，該使用者識別和確認方法還包含: 判斷所述第一圖像幀中是否存在使用者；和/或 判斷所述第一圖像幀中多個使用者中想要識別的使用者。
22.根據權利要求19所述的使用者識別和確認方法，該使用者識別和確認方法還包含: 以所述圖像傳感單元獲取第三圖像幀； 根據所述第三圖像幀確認使用者表情並產生儲存信號；以及 根據所述儲存信號更新所述至少一電子裝置的設定信息。
23.根據權利要求19所述的使用者識別和確認方法，其中所述第一圖像幀和所述第二圖像幀為同一張圖像幀。
【文檔編號】G06K9/00GK103793681SQ201210425667
【公開日】2014年5月14日 申請日期:2012年10月30日 優先權日:2012年10月30日
【發明者】邱亮齊, 陳昱翰, 高銘璨 申請人:原相科技股份有限公司