人工智慧實驗室如何利用計算機視覺技術監測醫院?
2023-03-31 16:35:12 2
雷鋒註：本文是哈克和郭美兒在《史丹福大學人工智慧實驗室博客》中翻譯的，主要介紹史丹福大學人工智慧實驗室如何利用計算機視覺技術監測醫院洗手情況，改善醫院衛生狀況。
每年死於醫院感染的人比死於車禍的人多，這意味著當你被送進醫院時，有三分之一的可能性你的健康會惡化，這非常令人擔憂。
幸運的是，醫院可以通過改善衛生條件扭轉這種局面。無論是在醫院、機場還是餐館等公共場所，手部衛生都是防止傳染病傳播的第一道防線，這只是一個簡單的常識。保持警惕事實上，許多技術都可以解決這個問題，最簡單和最常用的是使用計算機視覺技術來檢測人們是否洗手。
史丹福大學人工智慧輔助護理中心的夥伴關係和來自世界各地的許多合作夥伴已經開發這項技術很多年了。儘管還有許多工作要做，我們希望這項技術能夠幫助醫院降低感染率和改善患者健康。
醫院將通過醫學課程、公告欄上的海報和每周員工會議加強手衛生教育。世界衛生組織甚至提出了手衛生的五個主要時刻，明確規定醫務人員洗手的時間。確認手衛生的實施，醫院使用RFID卡或員工徽章來跟蹤手衛生。在某種程度上，這些工具確實有用，但是也存在工作流中斷，例如當員工進入新房間時，肥皂盒將被刷到RFID卡上。一個技術問題：一般的RFID技術覆蓋的距離較短，而長距離的有源RFID也受到定向天線的限制，需要電池，顯然，需要一種沒有RFID技術缺陷的新解決方案。
我們與史丹福大學的LucilePackard兒童醫院合作，開發了一種跟蹤手部衛生的新的先進方法：它使用尖端的計算機視覺技術，不需要臨床醫生幹預日常工作。在醫學成像領域中，在醫院的物理空間中並沒有太多的應用，幸運的是，計算機視覺已經應用於物理空間的另一個領域：自駕車、自駕車、使用大量傳感器來理解環境等等。我們可以在醫院使用這些傳感器來更好地了解醫療環境嗎
深度傳感器（如XboxKinect）與普通相機類似，但它們不記錄顏色，而是記錄距離。在普通彩色圖像中，每個像素代表一種顏色；在深色圖像中，每個像素代表真實世界中像素和傳感器之間的距離，通常是fl。ooT點數，比如1.337米。
（左）用手機拍攝的醫院彩色照片。（右）由天花板上的傳感器拍攝的深度圖像。顏色越深，物體越靠近深度傳感器。
在上面的深度圖像中，你可以看到人們在做什麼，即使你看不到他們的臉。這保護了我們用戶的隱私，這在醫院中非常重要。為了證明和發展我們的計算機視覺技術，我們在兩個醫院的天花板上安裝了深度傳感器。一個是兒童心血管病房，另一個是成人重症監護病房。
通過在兩家醫院安裝深度傳感器，我們可以使用3D計算機視覺工具自動監測手部衛生。這包括三個步驟：
為了繼續進行自動駕駛的類比：為了理解環境，首先要做的是檢測人。有很多對象檢測方法，但是大多數都是針對彩色RGB圖像開發的。問題：通常情況下，人們只佔據了給定房間的圖像中的少量空間；此外，在深層圖像中，人們通常看起來像水滴，和地板背景。差異是明顯的。
檢測人的一種方法是確定地面上的佔用網格圖，它是用來指示人是否佔用地面上的特定位置的二進位矩陣。每個水滴大致等於網格中的人。我們可以在地面上的每個點創建包含水滴的字典（記住：因為我們人工合成這些水滴，我們知道它們準確的2D和3D位置）。對於多人場景，我們可以呈現多個水滴。在測試過程中，我們需要一個水滴圖像，它可以通過任何前景/背景減法或目標分割算法來實現。現在，給定測試中的水滴圖像，我們可以在字典中執行K-最近搜索來找到每個w的位置。液滴
為了建立一個真正智能化的醫院，我們需要在醫院病房內使用傳感器。因為不是所有的事情都發生在傳感器前面，我們還需要算法來跟蹤不同傳感器前面的人。這不僅可以提供手衛生實施的細節，而且是通常，我們希望找到一系列軌跡集X，其中x<X中的每個軌跡X表示一組檢測序列，而L_x=(l_x^{(1)}，...，l_x^{(n)}表示檢測到的行人坐標。最大後驗（MAP）估計問題。
接下來，我們假設一個馬爾可夫鏈模型，它用給定的概率P(l_x^{(i+1)}|l_x^{i}將軌跡X中的每個中間檢測l_x^{(i)}與後續檢測l_x^{(i+1)}連接。計算成本C。
其中，f_i是表示對應檢測是否為真的業務變量，f_ij表示對應檢測是否連結在一起。為簡單起見，我們假設所有檢測具有相同的概率，這等價於過程優化問題，可以通過K-最短路徑實時求解。
到目前為止，我們已經確定了病房內所有行人的軌跡（例如，全球醫院病房的地面位置）。最後一步是檢測手部衛生並將其與特定軌道連接。然後我們將每個行人的軌跡標記為乾淨或不乾淨。
在實際環境中，傳感器的部署常常受到安裝限制。無論是有意還是無意，由施工和維護技術人員安裝的傳感器的角度和位置都不同，這意味著我們的模型必須對這些變化具有魯棒性，以便由於傳統的卷積神經網絡（CNN）的視角並不總是相同的，我們使用空間變換網絡（STN）來代替。
（左）人類分割的數據擴展階段。（右）手部衛生行為分類：空間變換加密集卷積神經網絡。
STN的輸入是隨機圖像，輸出是畸變圖像。為了幫助模型更快地學習，我們還為STN提供了人體分割，如人體膜。這種膜可以用經典的前景-背景技術或深度學習方法來提取。STN畸變將圖像轉換為學習透視不變形式。從這個失真的圖像中，我們使用一個標準的CNN（例如，DenseNet）對是否使用洗手液進行二進位分類。
此時，我們仍然需要將軌跡集和單個手部衛生測試集相結合，該測試集引入了兩個新變量：空間和時間。對於每個手部衛生分類器測試（例如，正在使用手部消毒劑），我們必須將它匹配到單個軌道。當軌道T滿足兩個條件時ONS，分類器和跟蹤器之間的匹配發生：
如果存在多個軌跡來滿足這些要求，則通過選擇與門最近的(x，y)位置來中斷連接。我們模型的最終輸出是軌跡列表T，其中每個軌跡由元素陣列(t，x，y，a)的有序列表組成，其中t表示時間標記，x，y表示二維地面坐標，a表示最新的動作或事件標記，通過T，可以計算達到標準的比率或與金標準的評價指標進行比較。
目前，許多醫院利用神秘訪客來衡量手衛生的實施情況。受過訓練的個人在醫院病房裡四處走動，觀察工作人員是否私下洗手。這個神秘的來訪者可以是護士、醫生，甚至是來訪者。我們稱之為秘密觀察，這不同於公眾對審計的觀察。Ion是為了最小化霍桑效應（例如，因為有人在監視你，你改變你的行為）。如上所述，我們比較使用計算機視覺、在病房固定位置駐留的多個審計員、在病房周圍行走的單個審計員和使用RFID標籤。
人工審計的效果要好得多，準確率為63%，三人效果較好，準確率可達72%。具有全局視野的系統。既然真正的標籤是由人類標記的，為什麼人類觀察者的表現比算法差原因是，我們的真實標籤只是遠程標記的，不是實時標記的。遠程注釋器可以訪問所有傳感器，並按時來回播放以確保它們的注釋是正確的。現場審計器不能訪問所有傳感器，並且不能及時回放事件。
手部衛生檢測圖像在不同的時間。藍色方塊表示有人在使用洗手液。深藍色表示更多的同時發生的事件。真正的標籤顯示在底部。一般來說，空白越多，結果越差。
除了數字，更有趣的結果是視覺效果。上面的圖片顯示現場審計員很少檢測手部衛生。你注意到所有的空白了嗎如果你看一下真實標籤的行，通常沒有空格。這意味著觀察者錯過了大量的手部衛生事件。這通常是因為觀察者心煩意亂：他們可能打瞌睡，在病房的其他地方看無關的活動，或者就是看不見ha。第二次衛生事件。
最後，我們以一個動畫結束。上面的動畫顯示了對醫院病房的俯瞰。因為我們可以跟蹤整個醫院的人，所以我們總是知道他們的特定（x，y，z）位置。我們繪製了每個點，並創建了一個隨時間變化的熱圖。l分析在識別交通模式和追蹤潛在的疾病傳播方面非常有效。這些總是黃色/紅色的區域代表擁擠的空間。這些空間通常位於走廊的交叉點或患者病房的外面。如果你仔細觀察，你會發現靜態審計師標記為紅色。
我們展示了如何使用計算機視覺和深度學習來自動監控醫院中的手部衛生。在斯坦福PAC，手部衛生只是醫療行業中的計算機視覺的一個例子。我們還正在開發一個計算機視覺系統來監控患者的運動，分析患者的運動質量。手術，檢查老年人的異常情況。
用於識別危險手衛生場景的視點不變卷積網絡。郭先生，A.哈克，S.楊，J.喬卜林，L.唐寧，A.阿拉希，B.坎貝爾，K.德魯，W.貝納蒂，A.米爾斯坦，L.菲菲。健康機器講習班（ML4H），神經信息處理系統（N.IPS，長灘，CA，2017年12月。
邁向基於視覺的智能醫院：追蹤和監測手部衛生依從性的系統。A.哈克，郭先生，A.阿拉希，S.楊，Z.羅，A.Rege，A.Singh，J.Jo.，L.Downing，W.Ben.i，T.Platchek，A.Milstein，L.Fei-Fei.MachineinHealth..(MLHC)，波士頓，M.A，美國，2017年8月。
基於視覺的手部衛生監測在醫院.S.楊，A.阿拉希，Z.羅，B.彭，A.Haque，A.Singh，T.Platchek，A.Milstein，L.Fei-Fei.美國醫學信息學協會(AMIA)年度研討會，華盛頓特區，美國，2016年11月。
