基於面部特徵識別的動態人機接口系統及其人機通訊方法
2023-05-24 14:23:51
基於面部特徵識別的動態人機接口系統及其人機通訊方法
【專利摘要】本發明屬於儀控系統的人機接口【技術領域】，涉及一種基於面部特徵識別的動態人機接口系統及其人機通訊方法，靜態人機接口系統、攝像頭、報警器、控制開關分別和所述操作人員工作狀態檢測模塊連接；攝像頭獲取儀控系統操作區域內的實時動態圖像，並將獲取的圖像傳輸至操作人員工作狀態檢測模塊；操作人員工作狀態檢測模塊對圖像進行檢測和判斷，如判斷為操作人員工作狀態不良，則向靜態人機接口系統發送降低操作人員操作可信度信號，同時向報警器發送報警信號；控制開關由操作人員控制，決定是否允許發送降低操作人員操作可信度信號和報警信號。本發明採用圖像識別的方法動態檢測操作員的實時工作狀態，具有不易被被測個體察覺及方便實施等優點。
【專利說明】基於面部特徵識別的動態人機接口系統及其人機通訊方法
【技術領域】
[0001]本發明屬於火電等行業儀控系統的人機接口【技術領域】，具體涉及一種基於面部特徵識別的動態人機接口系統及其人機通訊方法。
【背景技術】
[0002]火電等行業的儀控系統要求具備很高的可靠性，人機接口部分是其中最薄弱的一個環節。火電機組運行過程中的一個小的故障，如果由於人因失效(主要由操作員工作狀態差導致)而進行誤操作，則可能對火電機組的安全運行造成大的影響。根據統計，人因失效所引發的各種事故和安全事件，佔到事故和安全事件總數的50%以上。
[0003]火電廠的儀控系統中，採用各種各樣的內建測試(Built-1n-Test)來對自身的運行狀態進行監測，從而在系統出現故障的情況下及時地採取相應措施，避免對火電廠的安全運行造成影響。而作為儀控系統操作核心的操作員，卻沒有相應的措施來對其工作狀態進行實時監測，不能在其狀態出現異常時及時發現，從而成為火電事故的一種隱患。
[0004]為了提高火電儀控系統人機接口部分的可靠性，人們已有通過多種途徑對人機接口部分的人因可靠性因素進行分析及改進。但是已有的人因可靠性分析主要通過統計學或建立數學模型的方法，基於操作員整體平均特徵的統計數據進行設計，它忽略了不同操作員個體之間的差異及操作員在不同時間所出現的動態的特徵。因此，現有的人機接口系統只是一種具有固定模式的系統，無法實現類似於儀控系統的內建自測的功能。不能在操作員所處的環境或自身的狀態發生變化時，對其進行實時的檢測。比如操縱員在上夜班的時候容易犯困，導致思維能力下降、反應遲鈍、漏看錯看信息的情況增多，此時的操作具有極低的可信度。如果不能及時發現制止，則可能對火電的安全運行造成大的影響。但是現有的人機接口系統並沒有對這一關鍵的方面予以考慮。
[0005]已有的人機接口系統只能考慮到操作員靜態的整體特徵和狀態，無法考慮到操作員在不同時候會有不同特徵及狀態的動態因素，因此已有的人機接口系統為靜態人機接口系統。
【發明內容】
[0006]本發明要解決的技術問題是提供一種可動態地檢測操作人員的實時工作狀態，避免操作員由於工作狀態不佳而誤操作所引發事故的基於面部特徵識別的動態人機接口系統及其人機通訊方法。
[0007]為到達上述目的，本發明採用的技術方案是:一種基於面部特徵識別的動態人機接口系統，包括靜態人機接口系統，其特徵在於:還包括攝像頭、報警器、控制開關和操作人員工作狀態檢測模塊，所述靜態人機接口系統、攝像頭、報警器、控制開關分別和所述操作人員工作狀態檢測模塊連接；所述攝像頭獲取儀控系統操作區域內的實時動態圖像，並將獲取的圖像傳輸至所述操作人員工作狀態檢測模塊；所述操作人員工作狀態檢測模塊對圖像進行檢測和判斷，如判斷為操作人員工作狀態不良，則向所述靜態人機接口系統發送降低操作人員操作可信度信號，同時向所述報警器發送報警信號；所述控制開關由操作人員控制，決定是否允許所述操作人員工作狀態檢測模塊發送降低操作人員操作可信度信號和
報警信號。
[0008]上述基於面部特徵識別的動態人機接口系統的人機通訊方法，其特徵在於:包括以下步驟，
(1)攝像頭獲取儀控系統操作區域內的實時動態圖像，並將獲取的圖像傳輸至操作人員工作狀態檢測模塊；
(2)操作人員工作狀態檢測模塊連續檢測步驟(I)所發送過來的圖像中是否包含人臉，如檢測到人臉，則轉步驟(3)，未檢測到人臉，則重複本步驟；
(3)操作人員工作狀態檢測模塊連續檢測步驟(2)中檢測到的人臉區域是否有處於睜開狀態的人眼，如檢測到睜開狀態的人眼，則將操作無效計時清零，轉步驟(2)，如未檢測到睜開狀態的人眼，則操作人員工作狀態檢測模塊開始操作無效計時，並轉步驟(4)；
(4)如操作無效計時超過設定時間閾值，轉步驟(5),如操作無效計時未超過設定時間閾值，則轉步驟⑶；
(5)操作人員工作狀態檢測模塊檢測控制開關的狀態，如控制開關禁止報警，則將操作無效計時清零，轉步驟(2)，如控制開關允許報警，則操作人員工作狀態檢測模塊向靜態人機接口系統發送降低操作人員操作可信度信號，同時向報警器發送報警信號，報警器發出
聲光報警。
[0009]本發明的積極效果是:採用圖像識別的方法動態檢測識別儀控系統操作人員的實時工作狀態，具有不易被被測個體察覺及方便實施等優點，避免採用腦電、心電等的接觸式測量方式令人反感的不足，且不會受到監測儀器的限制，適用於火電、化工、航空航天等高可靠性領域的儀控系統中，具有良好的應用前景。
【專利附圖】
【附圖說明】
[0010]圖1是基於面部特徵識別的動態人機接口系統結構示意圖；
圖2是本發明的人機通訊方法流程示意圖；
圖3(a)和圖3(b)是本發明的動態人機接口系統對於操作人員工作狀態檢測效果圖。【具體實施方式】
[0011]以下結合附圖對本發明的實施例作進一步詳細描述，但本實施例並不用於限制本發明，凡是採用本發明的相似結構及其相似變化，均應列入本發明的保護範圍。
[0012]操作人員眼睛的生理特徵是操作人員在工作狀態的直觀反映，比如操作人員疲勞時會較長時間地閉合雙眼，而操作人員工作狀態良好時，則雙眼很有精神。因此，本發明採用對人臉和眼睛生理特徵的檢測來判斷操作員工作狀態，獲得其操作的可信度，並反饋至靜態人機接口系統，避免操作人員工作狀態差導致的誤操作。對於眼睛的檢測主要檢測其處於睜開狀態的眼睛。如果檢測到睜開的人眼，則說明操作人員工作狀態良好，此時其操作的可信度高；如果檢測不到操作人員處於睜開狀態的眼睛，那麼認為操作員的眼睛處於閉合狀態。此時間超過某一閾值，那麼認為操作員工作狀態不佳，從而降低其操作的可信度。
[0013]基於上述原理，如圖1所示，本發明基於面部特徵識別的動態人機接口系統包括靜態人機接口系統，其特徵在於:還包括攝像頭、報警器、控制開關和操作人員工作狀態檢測模塊，所述靜態人機接口系統、攝像頭、報警器、控制開關分別和所述操作人員工作狀態檢測模塊連接；所述攝像頭獲取儀控系統操作區域內的實時動態圖像，並將獲取的圖像傳輸至所述操作人員工作狀態檢測模塊；所述操作人員工作狀態檢測模塊對圖像進行檢測和判斷，如判斷為操作人員工作狀態不良，則向所述靜態人機接口系統發送降低操作人員操作可信度信號，同時向所述報警器發送報警信號；所述控制開關由操作人員控制，決定是否允許所述操作人員工作狀態檢測模塊發送降低操作人員操作可信度信號和報警信號。
[0014]基於面部特徵識別的動態人機接口系統的人機通訊方法如圖2所示，包括以下步驟:
(1)攝像頭獲取儀控系統操作區域內的實時動態圖像，並將獲取的圖像傳輸至操作人員工作狀態檢測模塊；
(2)操作人員工作狀態檢測模塊連續檢測步驟(1)所發送過來的圖像中是否包含人臉，如檢測到人臉，則轉步驟(3)，未檢測到人臉，則重複本步驟；
(3)操作人員工作狀態檢測模塊連續檢測步驟(2)中檢測到的人臉區域是否有處於睜開狀態的人眼，如檢測到睜開狀態的人眼，則將操作無效計時清零，轉步驟(2)，如未檢測到睜開狀態的人眼，則操作人員工作狀態檢測模塊開始操作無效計時，並轉步驟(4)；
(4)如操作無效計時超過設定時間閾值，轉步驟(5),如操作無效計時未超過設定時間閾值，則轉步驟⑶；
(5)操作人員工作狀態檢測模塊檢測控制開關的狀態，如控制開關禁止報警，則將操作無效計時清零，轉步驟(2)，如控制開關允許報警，則操作人員工作狀態檢測模塊向靜態人機接口系統發送降低操作人員操作可信度信號，同時向報警器發送報警信號，報警器發出
聲光報警。
[0015]採用本發明的系統和方法檢測操作人員的工作狀態效果如圖3(a)和圖3(b)所/In?圖中大圈為動態人機接口系統檢測到的人臉區域，大圈中的小圈為動態人機接口系統檢測到的處於睜開狀態的眼睛的區域。圖3(a)顯示操作員工作狀態良好時的檢測效果圖，此時，動態人機接口系統既能檢測到人臉也能檢測到處於睜開狀態的人眼，系統認為此時的操作具有高的可信度；圖3(b)顯示當操作員工作狀態差等因素導致眼睛閉合，此時動態人機接口系統只能檢測到人臉而檢測不到處於睜開狀態的人眼，當檢測不到睜開狀態的人眼達到一定時間閾值時，系統認為此時的操作人員工作狀態不佳，其操作具有低的可信度，因此發出降低操作人員的操作可信度信號，此時儀控系統需要結合其它信息決定是否接受操作員輸入的操作指令，並對外界發出報警信號。
[0016]本發明的動態人機接口系統和人機通訊方法中包含操作人員的反饋機制。儀控系統由於某種原因計劃不採用動態人機接口系統，則操作人員可以將控制開關置於禁止報警狀態。此時，即使動態人機接口系統在人臉區域檢測不到人眼超過閾值，也不報警。因為儀控系統此時已經將動態人機接口系統芳路。。
[0017]本發明的動態人機接口系統和人機通訊方法中先檢測人臉，然後在人臉範圍內檢測人眼的方法來確定操作人員工作狀態是否正常，具有檢測人臉和檢測人眼兩個環節，且系統在判定操作人員工作狀態不佳後，還設計了操作人員的反饋機制來決定是否是動態人機接口系統檢測有誤，因此偏向於保守，寧拒動、不誤動。如果採用只檢測眼睛的方法來判斷操作員工作狀態是否正常，則只有檢測人眼一個環節，其誤動的可能性較大。
[0018]操作人員工作狀態檢測模塊連續檢測人臉和人眼可以採用Viola-Jones算法。
[0019]在本系統中，攝像頭主要用於持續獲取儀控系統操作區域內的實時動態圖像，並將獲取的實時動態圖像傳輸至操作人員工作狀態檢測模塊；報警器主要用於接受操作人員工作狀態檢測模塊發送過來的報警信號，並發出聲光報警信號；當靜態人機接口系統接收到降低操作人員操作可信度信號時，禁止操作人員對儀控系統的操作指令或降低其操作的可信度。
【權利要求】
1.基於面部特徵識別的動態人機接口系統，包括靜態人機接口系統，其特徵在於:還包括攝像頭、報警器、控制開關和操作人員工作狀態檢測模塊，所述靜態人機接口系統、攝像頭、報警器、控制開關分別和所述操作人員工作狀態檢測模塊連接；所述攝像頭獲取儀控系統操作區域內的實時動態圖像，並將獲取的圖像傳輸至所述操作人員工作狀態檢測模塊；所述操作人員工作狀態檢測模塊對圖像進行檢測和判斷，如判斷為操作人員工作狀態不良，則向所述靜態人機接口系統發送降低操作人員操作可信度信號，同時向所述報警器發送報警信號；所述控制開關由操作人員控制，決定是否允許所述操作人員工作狀態檢測模塊發送降低操作人員操作可信度信號和報警信號。
2.權利要求1所述基於面部特徵識別的動態人機接口系統的人機通訊方法，其特徵在於:包括以下步驟， (1)攝像頭獲取儀控系統操作區域內的實時動態圖像，並將獲取的圖像傳輸至操作人員工作狀態檢測模塊； (2)操作人員工作狀態檢測模塊連續檢測步驟(I)所發送過來的圖像中是否包含人臉，如檢測到人臉，則轉步驟(3)，未檢測到人臉，則重複本步驟； (3)操作人員工作狀態檢測模塊連續檢測步驟(2)中檢測到的人臉區域是否有處於睜開狀態的人眼，如檢測到睜開狀態的人眼，則將操作無效計時清零，轉步驟(2)，如未檢測到睜開狀態的人眼，則操作人員工作狀態檢測模塊開始操作無效計時，並轉步驟(4)； (4)如操作無效計時超過設定時間閾值，轉步驟(5),如操作無效計時未超過設定時間閾值，則轉步驟⑶； (5)操作人員工作狀態檢測模塊檢測控制開關的狀態，如控制開關禁止報警，則將操作無效計時清零，轉步驟(2)，如控制開關允許報警，則操作人員工作狀態檢測模塊向靜態人機接口系統發送降低操作人員操作可信度信號，同時向報警器發送報警信號，報警器發出聲光報警。
【文檔編號】G08B21/06GK103713727SQ201310695770
【公開日】2014年4月9日 申請日期:2013年12月17日 優先權日:2013年12月17日
【發明者】張堅, 何健 申請人:國核自儀系統工程有限公司