一種基於機器視覺的人體跌倒檢測方法
2023-08-09 10:07:16
專利名稱：一種基於機器視覺的人體跌倒檢測方法
技術領域：
本發明涉及一種利用機器視覺進行人體跌倒檢測的方法，屬於模式識別領域。
背景技術：
21世紀被稱為「銀髮世紀」，人口的老齡化正成為一種全球性的發展趨勢。近些年來，隨著社會經濟的發展、居住方式的變化、家庭結構的小型化等因素，老人家庭空巢率正在不斷提高。預期到2030年空巢老年人家庭的比例將達到90%，屆時我國老年人家庭將嚴重空巢化。對於老年人，跌倒是一主要的健康問題。跌倒會導致嚴重的傷痛、長期行動不便。需要住院治療的老人中大約有50%是由於跌倒的原因。而且，隨著年齡的增長，跌倒導致的死亡率急劇增大，在65歲及以上年齡的女性和男性人群中，57%和36%的死亡是由於跌倒引起的。先進的計算機技術和通信技術為改善人的生活質量，特別是提高老年人的生活提供了有效途徑。基於機器視覺的跌倒檢測系統，在不影響老人日常活動的情況下，一方面可以減輕老年人的心理負擔，讓老年人不再因為害怕跌倒而減少活動，提高老年人的生活的質量；另一方面可以減輕社會和子女的壓力，對構建以人為本的和諧社會有著非常積極的意義。針對基於視頻圖像的人體跌倒行為，研究者們提出了很多檢測方法。2004年 ((Proceedings of International Conference on Pattern Recognition))(模式識別國際會議)在323-326發表的《Activity summarisation and fall detection in a supportive home environment))(家居環境中的活動概述和跌倒檢測)定義已知環境中的椅子、床等區域為正常的不活動區域，如果檢測到人在這些正常的不活動區域以外處於不活動狀態，就認為發生了跌倒，這種算法只能應用於已知固定環境，在家具搬動時，需要重新對環境進行定義。2006 年〈〈Proceedings of IEEE International Conference on Engineering in Medicine and Biology Society)) (IEEE醫藥和生物工程國際會議論文集)在6384-6387 頁發表的〈〈Monocular 3d head tracking to detect falls of e lderly people〉〉(基於單目攝像頭的3D頭部跟蹤實現老年人跌倒檢測)認為頭部的移動跟人體跌倒有很大的相關性，提出利用頭部的三維運動分析算法進行人體跌倒檢測，這種方法需要檢測、定位和跟蹤頭部或面部，耗費時間多。目前，用於人體跌倒檢測的最普遍特徵是身體形狀的變化。2007 年((Proceedings of International Conference on Pattern Recognition and Machine Intelligence》(模式識別與機器智能國際會議論文集)發表的《Automatic detection of human fall in video》(視頻中人體跌倒自動檢測)用邊界盒子近似表示人體形狀，通過計算邊界盒子的縱橫比和傾斜角進行人體跌倒檢測。由於人體跌倒發生的時間較短，捕獲人體形狀的迅速變化顯得很有意義。2006年《Proceedings of IEEE International Conference on Signal Processing andCommunications Applications)) (IEEE 信號處理和通信應用國際會議論文集)在1-4頁發表的《HMM based falling person detection using both audio and video》(利用聲頻和音頻信息實現基於隱馬爾科夫模型的人體跌倒檢測)提取了盒子高度和盒子寬度之比的小波係數用於人體跌倒檢測。與邊界盒子相比，橢圓能夠更精確地近似人體形狀。2005年《Proceedings of IEEE Workshop on Multimedia Signal Processing)) (IEEE多媒體信號處理研討會議論文集)在1-4頁發表的((Human behavior analysis using deformable triangulations))(基於可變三角形的人體行為分析)提出利用人體骨架結構進行人體跌倒檢測。2010年《Proceedings of IEEE International Conference on Image Processing)) (IEEE 圖像處理國際會議論文集)在 3485-3488發表的《A hybrid human fall detection scheme》(混雜人體跌倒檢測方法)提出結合形狀輪廓變化和骨架信息對人體跌倒進行檢測，性能要優於使用單一特徵的方法。 2007 年《Expert Systems》(專家系統)在 24 (5):334-345 發表的《A multi-camera vision system for fall detection and alarm generation))(一種用於跌倒檢測和報警的多攝像機視覺系統)利用分割出人體形狀後的映射直方圖進行跌倒檢測。2008年《Proceedings of International Conference on Computer and Information Technology))(計算機和信息技術國際會議論文集)在219-224發表的《Intelligent video surveillance for monitoring fall detection of elderly in home environments〉〉(用於家居環境中老年人跌倒檢測的智能視頻監控系統)結合了形狀映射直方圖和頭部位置的變化進行跌倒檢測。 2011 年〈〈Proceedings of International Conference on Intelligent Environments)) (國際智能環境會議論文集)在40-46頁發表的《A monocular view-invariant fall detection system for the elderly in assisted home environments》(用於家庭護理環境具有視角不變性的人體跌倒檢測單目視覺系統)指出用為了使得跌倒檢測具有視覺不變性，應用單目攝像機往往需要完整的人體姿態模型。2009年《Proceedings of International Conference on Advanced Communication Technology))(先進通訊技術國際會議論文集)在 2308-2312 頁發表的《Multiple object tracking for fall detection in real-time surveillance system》(實時監控系統中用於人體跌倒檢測的多目標跟蹤)指出當跟蹤多個跌倒事件時，單目攝像機解決方案會受到遮擋限制。2011年《IEEE Transactions on Information Technology in Biomedicine)) (IEEE 生物醫學中的信息技術期刊)在 15 (2) :290-300 頁發表的《Fall detection with multiple cameras:An occlusion-resistant method based on 3-d silhouette vertical distribution))(利用多攝像機進行跌倒檢測一種基於3D輪廓垂直分布的抗遮擋方法)表明用多個攝像機能夠獲得視角不變性。2011 年《Proceedings of International Conference on Digital Signal Processing))(數位訊號處理國際會議論文集)在1-6頁發表的《Fall detection for the elderly in a smart room by using an enhanced one class support vector machine》(利用加強的一類SVM實現智能室內環境的老年人跌倒檢測)融合了多個攝像機獲得的人體中心位置和方位的時間變化，進行跌倒檢測，需要對多個攝像機進行耗時的校正。 2010 年〈〈Proceedings of IEEE International Symposium on Industrial Electronics)) (IEEE工業電子國際研討會論文集)在2301-2306頁發表的《An automated active vision system for fall detection and posture analysis in ambi ent assisted living applications》(用於輔助家居生活跌倒檢測和姿態分析的主動視覺系統)計算人體3D 中心距離地板平面的高度和人體軀幹的方向進行跌倒檢測。2011年《Proceedings of International Conference on Pervasive Computing Technologies for Healthcare))(用於衛生保健的普適計算技術國際會議論文集)在71-77頁發表的《Evaluation of an inexpensive depth camera for passive in-home fall risk assessment))(用於家居環境跌倒檢測的低成本深度攝像機)使用微軟Kinect深度攝像機提取行走速度、跨步時間和長度，進行跌倒檢測。在提取出特徵後，研究者們應用設定閾值方法、支持向量機、隱馬爾科夫模型等分類器判斷是否發生了跌倒。2007年《IEEE Transactions on Systems, Man and Cybernetics =Part A))(系統、人和控制論IEEE期刊A部)在37 (6) :984-994發表的 ((Human body posture classification by a neural fuzzy network and home care system application))(基於模糊神經網絡的人體姿態分類及其在家庭護理中的應用)利用模糊神經網絡檢測跌倒是否發生，需要大量的訓練樣本和較長的訓練時間。2006年 《Neurocomputing》(神經計算)在 70( 1-3):489-501 頁發表的《Extreme learning machine Theory and applications))介紹了一種簡單的神經網絡，即具有快速學習能力和泛化能力的極限學習機。
隨著處理器速度的大幅度提升和攝像機價格的下降，基於機器視覺的跌倒檢測系統越來越受到研究者的關注。基於機器視覺的跌倒檢測系統，不但減輕了被檢測對象的負擔，而且提高了檢測的準確性，但是這種系統也有著不足。到目前為止，大部分檢測算法是首先獲取人體輪廓，然後提取輪廓特徵，並用該特徵進行分類器訓練。提取人體輪廓時，用混合高斯對背景建模並用背景減法獲取人體前景圖像，但是由於光照和場景的變化等得不到理想的效果。特徵選擇是檢測算法成敗的關鍵，由於人體姿態的多樣性，相關論文用到邊界盒子縱橫比等特徵受到了嚴重的限制，所以尋找適合人體動作的特徵就變得極其重要。 由於分類器訓練的特點，需要被檢測對象和訓練對象具有一致性，所以當人的大小和姿態等發生與訓練樣本嚴重不一致後，就無法進行正常的分類檢測。
發明內容
本發明針對現有跌倒檢測技術存在的不足，提出一種基於機器視覺的人體跌倒檢測方法，該方法基於極限學習機的分類器進行人體跌倒檢測的判斷，能夠在訓練樣本很少的情況下，以較少的訓練時間，獲得較為精確的跌倒檢測結果。本發明的基於機器視覺的人體跌倒檢測方法，基於以下條件所有的檢測對象都是人，而且在室內環境；所有人的活動範圍有限，能夠用深度攝像機捕捉到人體；具體包括以下步驟(I)利用深度攝像機進行圖像採集；因為Kinect深度攝像機採用紅外線測試技術獲取物體的深度信息，並根據物體位置的遠近而形成不同顏色的深度圖像，因此深度圖像具有對環境光照變化不敏感的特徵。(2)利用高斯混合模型對背景建模，通過新得到的圖像減去背景提取出圖像中的前景；(3)利用二值圖像輪廓提取算法獲得前景輪廓；(4)前景輪廓與不同尺度的高斯函數進行卷積計算，高斯函數 / .1 Z
=將高斯函數的標準差σ定義為尺度，σ由小到大變化，均值μ =0，
^2πσ將輪廓圖像映射到曲率尺度空間形成CSS圖(稀疏曲率尺度空間圖像)，然後提取CSS圖的峰值點，該峰值點作為輪廓圖像特徵，不同尺度下的峰值點便構成了基於曲率尺度特徵的視頻詞包；(5)用得到的基於曲率尺度空間特徵的視頻詞包訓練極限學習機分類器；利用極限學習機分類器進行人體跌倒檢測。由於極限學習機具有利用較少的訓練樣本即可得到較好的分類精度、並且學習速度快的特點，使得基於極限學習機分類器的人體跌倒檢測的精度較好。本發明基於深度圖像獲得的人體輪廓，根據人體輪廓的稀疏曲率尺度空間圖像 (CSS:Curvature Scale Space)峰值點特徵的視頻詞包模型描述人體跌倒行為,按照曲率的定義，基於人體輪廓的稀疏曲率尺度空間特徵對於移動、旋轉、尺度變化具有不變性，並且將人體輪廓映射到其曲率尺度空間，提取出稀疏的曲率尺度空間的峰值點，可以實現快速匹配，利用簡單的極限學習機分類器即可獲得較好的檢測精度，本發明提出的方法對於環境光照變化、人體形態變化具有一定的不敏感性。
圖I是本發明基於機器視覺的人體跌倒檢測方法的人體跌倒檢測算法。圖2是對人體輪廓進行卷積後得到的形狀示意圖。 圖3是彎腰、向前跌倒、坐和躺的運動變化圖。圖4是深度圖像。圖5是跌倒行為二值分類的混淆矩陣。圖6是跌倒行為多值分類的混淆矩陣。圖7是隱層神經元個數對跌倒檢測精度的影響(詞包聚類中心個數設為80)。圖8是詞包聚類中心個數對跌倒檢測精度的影響示意圖。
具體實施例方式本發明所提出的基於機器視覺的人體跌倒檢測方法，基於以下假設( I)所有的檢測對象都是人，而且在室內環境；(2)所有人的活動範圍有限，可以用深度攝像機捕捉到人體；允許有一定的環境光照變化和形體變化，以及其它非跌倒動作或似跌倒動作的存在。將深度攝像機採集的深度視頻圖像進行二值化處理，得到人體輪廓圖像。對人體輪廓視頻圖像進行長度歸一化，並將其進行卷積得到不同尺度下曲率尺度空間圖像，提取該圖像上的峰值點作為人體輪廓特徵。提取一段深度圖像視頻所有峰值點特徵，形成基於曲率尺度空間特徵的視頻詞包，該視頻詞包反映了視頻的特徵，因為深度視頻圖像中只有人體存在，因此其是對人體行為的一種特徵反映。本發明的基於機器視覺的跌倒檢測方法，具體實現步驟如下(I)利用深度攝像機進行圖像採集。本發明採用的視頻採集設備是微軟Kinect深度攝像機，這種攝像機採用紅外線測試技術獲取物體的深度信息，並根據物體位置的遠近而形成不同顏色的深度圖像，因此深度圖像具有對環境光照變化不敏感的特徵，不會受到環境光照變化的影響。
(2)利用高斯混合模型對背景建模，新得到的圖像減去背景即可提取出圖像中的前景。(3)利用二值圖像輪廓提取算法獲得前景輪廓。(4)對前景輪廓與不同尺度的高斯函數進行卷積計算，高斯函數
權利要求
1.一種基於機器視覺的跌倒檢測方法，其特徵是，基於以下條件所有的檢測對象都是人，而且在室內環境；所有人的活動範圍有限，能夠用深度攝像機捕捉到人體；具體包括以下步驟(1)利用深度攝像機進行圖像採集；(2)利用高斯混合模型對背景建模，通過新得到的圖像減去背景提取出圖像中的前景。(3)利用二值圖像輪廓提取算法獲得前景輪廓；(4)前景輪廓與不同尺度的高斯函數進行卷積計算，高斯函數
全文摘要
本發明提出一種基於機器視覺的人體跌倒檢測方法，該方法基於以下條件所有的檢測對象都是人，而且在室內環境；所有人的活動範圍能夠用深度攝像機捕捉到人體；具體包括以下步驟(1)利用深度攝像機進行圖像採集；(2)通過新得到的圖像減去背景提取出圖像中的前景；(3)利用二值圖像輪廓提取算法獲得前景輪廓；(4)對前景輪廓與不同尺度的高斯函數進行卷積計算，將輪廓圖像映射到曲率尺度空間形成曲率尺度空間CSS圖像，提取CSS圖的峰值點，不同尺度下的峰值點便構成了基於曲率尺度特徵的視頻詞包；(5)用得到的視頻詞包訓練極限學習機分類器。本發明能夠在訓練樣本很少的情況下，以較少的訓練時間，獲得較為精確的跌倒檢測結果。
文檔編號G06K9/62GK102722721SQ201210167580
公開日2012年10月10日 申請日期2012年5月25日 優先權日2012年5月25日
發明者周民剛, 李貽斌, 王海波, 馬昕 申請人:山東大學