用於圖像分析的系統和方法

2023-05-29 18:47:16 2

用於圖像分析的系統和方法
【專利摘要】一種圖像分析方法包括：獲得圖像序列（37；51），每個圖像由像素數據表示；對所述圖像序列（37；51）當中的至少一個圖像執行基於視覺的分析，以便獲得用於對在所述圖像中所表示的對象狀態進行分類的數據；確定在所述圖像序列（37；51）當中的至少一些圖像中所表示的生物的生理參數的至少一個值；以及利用通過所述基於視覺的分析獲得的數據以及所述生理參數的至少一個值對所述對象的狀態進行分類。所述生理參數的所述至少一個值是通過對圖像數據進行分析而確定的，所述圖像數據來自從中取得對之執行基於視覺的分析的所述至少一個圖像的相同圖像序列（37；51）。一種允許實現遠程光體積描記分析的方法包括：從至少一臺攝影機（3）獲得圖像序列（37；51），每個圖像由像素數據表示，所述像素數據表示至少一個有限波長範圍內的反射周圍光；以及對於至少一個測量區（41），提供至少表示所述測量區（41）內的至少一定數目的圖像點處的像素值組合的時變值的變化的信號，以用於確定生理參數的至少一個值。跟蹤在所述圖像序列（37；51）中所表示的所選對象的至少一部分，並且控制照明所選對象的至少一部分的可定向光源（4）。
【專利說明】用於圖像分析的系統和方法

【技術領域】
[0001] 本發明涉及一種圖像分析方法、一種用於圖像分析的系統以及一種電腦程式。 本發明還涉及一種用於允許實現遠程光體積描記分析的方法和系統。

【背景技術】
[0002] US 2009/0027493 A1公開了一種實時自動化監視進入公共空間並採取行動的人 以便防止攻擊者達成其目標的方法。所述方法包括策略性地將高解析度視頻攝影機放置在 對於視覺偽裝的地方。各臺攝影機將通過陸地線路或無線地連接到監控所記錄的影片的中 央位置。例行監控的大部分將是自動的並且由計算機控制。計算機監控將包括分析人們的 行為、面部表情、反常移動等等。可疑噪音、話語或音量也會對電腦程式提出告警以便警 告受訓人員集中於該處的事件。在可能的情況下，可以監控並且在子屏幕上顯示對於例如 心搏速率或瞳孔放大之類的更加複雜的因素的分析。
[0003] 所述已知方法的一個問題在於，其沒有公開如何獲得心搏速率或瞳孔放大，並且 沒有公開如何將表示此類因素的數據與被用於分析可疑行為的視頻片段同步。


【發明內容】

[0004] 希望提供一種方法、系統和電腦程式，其可以被高效地實施來獲得對於在圖像 序列中所表示的對象活動的相對可靠的分類。
[0005] 所述目的是通過根據本發明的方法實現的，所述方法包括： -獲得數字圖像序列； -對所述圖像序列當中的至少一個圖像執行基於視覺的分析，以便獲得用於對在所述 圖像中所表示的對象狀態進行分類的數據； -確定在所述圖像序列當中的至少一些圖像中所表示的生物的生理參數的至少一個 值，其中所述生理參數的所述至少一個值是通過對圖像數據進行分析而確定的，所述圖像 數據來自從中取得對之執行基於視覺的分析的所述至少一個圖像的相同圖像序列；以及 -利用通過所述基於視覺的分析獲得的數據以及所述生理參數的至少一個值對所述 對象的狀態進行分類。
[0006] 在這裡，術語"活動"用來指代一項或更多項動作的集合，其可以包括例如人類的 生物的表情和行為。因此，所述歸類可以為動作指派類型，例如"跑步"，為表情指派類型，例 如"微笑"，或者為行為指派類型，例如"焦躁"或"可疑"。基於視覺的分析涉及空間和空間 時間分析的至少其中之一。
[0007] 通過對圖像序列當中的至少其中一個圖像執行基於視覺的分析以便獲得用於對 在所述圖像中所表示的對象的至少一項活動進行分類的數據以及確定在所述圖像序列當 中的至少一些圖像中所表示的生物的生理參數的至少一個值，使用了兩種相對獨立的方法 來獲得用於對人類活動進行自動化分類的數據。每一種所述方法解決當僅應用其中一種時 所可能導致的含糊。舉例來說，高心率伴隨著例如跑步、遊泳之類的活動。跑步和慢跑涉及 到可能無法很容易地利用基於視覺的分析來區分的類似姿態。由於所述生理參數的至少一 個值是通過分析圖像數據確定的，所述圖像數據來自從中取得對之執行基於視覺的分析的 所述至少一個圖像的相同圖像序列，因此所述方法相對高效。不需要除了用以獲得所述圖 像序列的至少一個攝影機之外的單獨傳感器。此外，也不需要用於把傳感器信號與圖像同 步的裝置，這是因為使用了相同的圖像序列。一項附加的效果是以不顯眼的方式確定了所 述生理參數。所述測量是無接觸的，就像基於視覺的分析一樣，從而所述方法不會影響對象 的活動。另一項效果是可以通過相對很少的附加努力來擴展所述方法以便對多於一個人的 活動進行分類(前提是他們都表示於所述圖像序列中）。
[0008] 在一個實施例中，對對象的狀態進行分類包括對正由所述對象從事的動作進行分 類。
[0009] 這是所述方法的一種有用的實現方式，因為不同的動作常常由類似的姿態表徵， 因此單獨的對於人類活動的基於視覺的圖像分析將常常導致錯誤的分類結果。換句話說， 基於視覺的分析系統常常無法在不同類型的動作(例如跑步與慢跑）之間進行區分。
[0010] 在一個實施例中，對基於生理參數的值的數據和通過執行基於視覺的分析獲得的 數據應用單獨的分類器。
[0011] 為基於生理參數的值的數據以及為通過執行基於視覺的分析獲得的數據提供單 獨的分類器的一項效果在於，有可能僅僅使用所述兩類分析的其中之一而不使用另一類。 這在計算方面將更加高效，因為所述兩種方法的其中之一在許多情況下將產生明確的結 果。只有在不是這種情況時才將使用另一個分類器，此外還有一個分類器利用所述全部兩 個分類器的成果來產生最終結果。
[0012] 在一個替換實施例中，對基於生理參數的值的數據與通過執行基於視覺的分析獲 得的數據的組合應用單個分類器。
[0013] 這樣做的效果在於，可以在分類過程中使用生理參數的值與通過執行基於視覺的 分析獲得的數據之間的相關性。可以在組合數據集（即生理參數的值和通過執行基於視覺 的分析獲得的數據二者）上對所述單個分類器進行訓練。
[0014] 在一個實施例中，利用遠程光體積描記分析獲得在圖像序列當中的至少一些圖像 中所表示的生物的生理參數的至少一個值。
[0015] 特別在可見頻率範圍內實施光體積描記分析的情況下，可以使用普通攝影機(例 如包括C⑶或CMOS傳感器陣列的攝影機）來獲得圖像序列。這樣做也是有用的，因為基於 視覺的圖像分析通常依賴於檢測邊緣，所述邊緣例如在熱圖像中可能並不存在。此外，不需 要特殊定向的光源來實施基本形式的遠程光體積描記分析。
[0016] 一個實施例包括利用被設置成在可見光譜的有限子範圍內發光的光源照明生物 的至少一部分。
[0017] 已經發現，利用圖像傳感器遠程地檢測心率的最佳波長範圍處在500nm左右(可 見光譜的綠色部分)。因此，在實施遠程心率測量時，提供該範圍內的用於從對象反射的附 加的光將使得信號最大化。被用來獲得圖像序列的攝影機的一個通道可以被調諧到一定波 長範圍，所述波長範圍對應於可定向光源被設置成在其中發光的波長範圍。只有該通道內 的像素數據可以被用來獲得信號，所述信號至少表示處在測量區內的至少一定數目的相關 聯圖像點處的像素值組合的時變值中的變化。或者可以在來自多個通道的像素數據的加權 和中對該通道內的像素數據進行過加權。另一方面，可以對包括來自多個通道的像素數據 的加權組合的像素數據實施基於視覺的圖像分析，其中調諧到對應於所述可定向光源的波 長範圍的所述波長範圍的通道被略微欠加權，從而減少附加照明的效果。
[0018] 在一種變型中，遠程光體積描記分析包括： -選擇包括多個圖像點的至少一個測量區，每一個圖像點在圖像序列當中的每一個圖 像中具有至少一個相關聯的像素值；以及 -獲得至少表示測量區內的至少一定數目的相關聯的圖像點處的像素值組合的時變 值的變化的信號。
[0019] 這種變型的效果在於，所獲得的信號相對沒有噪聲並且具有表示皮膚反射率變化 的相對較強的信號分量。該信號分量可用來確定例如在圖像序列中所表示的對象的心率和 /或呼吸率。
[0020] -個實施例包括對圖像序列執行基於視覺的圖像分析以便跟蹤在所述圖像序列 中所表示的所選對象的至少一部分，以及控制照明所選對象的至少一部分的可定向光源。
[0021] 對圖像序列執行基於視覺的圖像分析以便跟蹤在所述圖像序列中所表示的所選 對象的至少一部分以及控制照明所選對象的至少一部分的可定向光源允許避免陰影，這是 因為可以把光源指向包括測量區的生物的部分。此外，如果存在圖像序列中表示的幾個生 物，則選擇性地照明其中一個生物的至少一部分有助於提供用來確定僅僅其中一個生物的 生理參數的值的信號。
[0022] 所述方法的一個實施例包括：通過分析表示圖像序列當中的至少一個圖像的至少 其中一些像素數據來選擇所選對象的部分。
[0023] 所述分析例如可以是以下各項分析的至少其中之一：用以確定生理參數的值的分 析，用以檢測行為類型的分析，以及用以檢測所暴露身體部分的表示的存在的分析。這種變 型允許完全自動化的系統確定用於附加照明的適當目標，其中在所述目標上利用例如遠程 光體積描記和基於視覺的分析來實施活動分類。舉例來說，系統可以檢測出在圖像序列中 表示了具有異常心率的某人或者表現出特定種類的行為的某人，並且隨後跟蹤這個人以便 確定他或她的活動。
[0024] 根據另一方面，根據本發明的用於圖像分析的系統包括： -用於獲得分別由像素數據表示的圖像的序列的接口； -第一圖像分析系統，其用於對所述圖像序列當中的至少一個圖像執行基於視覺的分 析，以便獲得用於對所述圖像中所表示的對象的至少一個動作進行分類的數據； -用於確定在所述圖像序列當中的至少一些圖像中所表示的生物的生理參數的至少 一個值的系統，用於確定生理參數的至少一個值的所述系統包括通過分析圖像數據來確定 生理參數的至少一個值的第二圖像分析系統，所述圖像數據來自從中取得對之執行基於視 覺的分析的所述至少一個圖像的相同圖像序列，其中所述用於進行圖像分析的系統被配置 成利用由第一圖像分析系統提供的數據以及所述生理參數的至少一個值來對對象的活動 進行分類。
[0025] 在一個實施例中，所述系統被設置成實施根據本發明的方法。
[0026] 根據本發明的另一方面，提供了一種包括指令集的電腦程式，當被合併到機器 可讀介質中時，所述指令集能夠使得具有信息處理能力的系統執行根據本發明的方法。
[0027] 利用光源跟蹤人以避免陰影 Verkruysse等人的"Remote photoplethysmographic imaging using ambient light (利用周圍光進行遠程光體積描記成像)"16 (26)，2008年12月， ρρ. 21434-21445)公開了一種方法，其中利用普通的周圍光作為光源以及影片模式下的簡 單的消費級別數字攝影機在人臉上遠程地測量光體積描記信號。在15或30幀每秒以及 640x480或320x240的像素解析度下記錄的彩色影片被所述攝影機保存為AVI格式，並且 被傳送到個人計算機。利用軟體對於每一個影片幀讀取對應於紅色、綠色和藍色通道的像 素值，從而提供PV (X，y，t)集合，其中X和y分別是水平和垂直位置，並且t是對應於幀率 的時間。利用圖形用戶接口，在靜止圖像中選擇感興趣區段（R0I )，並且未處理信號PVraw(t) 被計算為R0I內的所有像素值的平均值。執行快速傅立葉變換以便確定功率和相位譜。
[0028] 所述已知方法的一個問題在於，周圍照明可能導致被用於光體積描記分析的區段 內的陰影，從而使得結果較不可靠或者需要附加的圖像處理。
[0029] 權利要求13和15中的方法和系統提供了用於光體積描記分析的信號，所述信號 具有相對較強並且清楚的分量，從中可以確定在圖像中所表示的個體的例如脈搏率或呼吸 率之類的生理參數。
[0030] 根據本發明的另一方面，所述方法包括： -從至少一臺攝影機獲得圖像序列，每個圖像由像素數據表示，所述像素數據表示至 少一個有限波長範圍內的反射周圍光； -對於至少一個測量區，提供至少表示所述測量區內的至少一定數目的圖像點處的像 素值組合的時變值的變化的信號，以用於確定生理參數的至少一個值；以及 -跟蹤在所述圖像序列中所表示的所選對象的至少一部分，並且控制照明所選對象的 至少一部分的可定向光源。
[0031] 基於視覺的分析涉及空間分析和空間時間分析的至少其中之一。
[0032] 通過以下措施，所述方法允許使用諸如基於CCD或CMOS的攝影機之類的攝影機來 確定生物的皮膚反射率的變化：從至少一臺攝影機獲得圖像序列，每個圖像由像素數據表 示，所述像素數據表示至少一個有限波長範圍內的反射周圍光；以及對於至少一個測量區 提供至少表示所述測量區內的至少一定數目的圖像點處的像素值組合的時變值的變化的 信號，以用於確定生理參數的至少一個值。因此，沒有必要提供調製照明信號，也沒有必要 從來自傳感器的信號中僅僅分離出反射的調製照明信號。跟蹤在圖像序列中所表示的所選 對象的至少一部分以及控制照明所選對象的至少一部分的可定向光源允許避免陰影，這是 因為可以把光源指向包括感興趣區段的生物的部分。此外，如果存在圖像序列中表示的幾 個生物，則選擇性地照明其中一個生物的至少一部分有助於提供用來確定僅僅其中一個生 物的生理參數的值的信號。此外，所述光源可以被配置成在特別適合於光體積描記的光譜 範圍內發光，從而還提供更強的信號。
[0033] 已經知道利用調製光束跟蹤人，並且捕獲反射的調製光束，以便確定生理參數。在 這種情況下，從所捕獲的信號中去除所有未調製光。因此，除了所述光束之外不使用周圍 光。該光束的中斷將導致所述方法的暫時失效。此外，通常使用專用的靈敏傳感器來捕獲 反射光束。本發明的方法使用攝影機和像素值組合來獲得足夠強的信號，以用於確定表徵 (周期性）生理現象的參數的值。
[0034] 在一個實施例中，所述可定向光源被設置成在光譜的可見光部分的有限子範圍內 發光。
[0035] 對於特定頻率，皮膚反射率隨著血液灌注改變而發生更加強烈的改變。有色光源 的使用允許優化所述方法，以便獲得其中隨著皮膚反射率變化的各個分量更加強烈的強度 信號。
[0036] 在一種變型中，在多個通道中從攝影機接收圖像數據，其中一個通道被調諧到所 述有限子範圍。
[0037] 因此，提供至少表示測量區內的至少一定數目的圖像點處的像素值組合的時變值 的變化的信號以用於確定生理參數的至少一個值的所述步驟可以包括以下各項的其中之 一 ：（i )僅僅使用來自所調諧通道的像素值，或者（ii )將所述總和形成為來自不同通道的 像素值的加權組合，其中對來自所調諧通道的像素值進行過加權。這樣允許獲得具有表示 變化的皮膚反射率值的強分量的強度信號。
[0038] -個實施例包括分析圖像序列當中的至少一個圖像，以便選擇所選對象的至少一 部分。
[0039] 所述分析可以是用以確定在圖像序列中所表示的所有對象的生理參數值的分析， 以便基於特定標準選擇至少一個但是少於全部對象。所述分析還可以是基於視覺的分析， 以便識別出具有特定姿態、形狀或運動模式的身體或身體部分。這些類型的分析可以是自 動化的，因此該實施例適合於例如用於醫療或安全目的的自動監視系統。
[0040] 在一個實施例中，跟蹤所選對象的至少一部分包括：對圖像執行基於視覺的分析， 以便在圖像序列中跟隨表示所選對象的所述至少一部分的區段的位置。
[0041] 一種效果在於可以使用單個移動測量區，從而只需要獲得一個至少表示像素值組 合的時變值的變化的強度信號。沒有必要把一個測量區柵格覆蓋在圖像上以便確保只確定 所選對象的生理參數的值。
[0042] 在一個實施例中，可定向光源相對於攝影機的位置固定，並且控制可定向光源包 括控制用於改變攝影機的觀看方向的設備。
[0043] 該實施例的效果在於，改變觀看方向改變了光源發射的光的方向。因此，大部分光 也在攝影機的方向上被反射回去。這意味著幾乎沒有陰影，並且獲得表示皮膚反射率變化 的相對較強的信號。通過相對於攝影機的支座移動攝影機外罩來控制攝影機的觀看方向， 其中可定向光源相對於所述外罩的位置固定。
[0044] 根據另一方面，根據本發明的用於允許實現遠程光體積描記分析的系統包括： -用於從至少一臺攝影機獲得圖像序列的至少一個攝影機接口，每個圖像由像素數據 表示，所述像素數據表示至少一個有限波長範圍內的反射周圍光； -用於處理像素數據的系統，其被配置成對於至少一個測量區提供至少表示所述測量 區內的至少一定數目的圖像點處的像素值組合的時變值的變化的信號，以用於確定生理參 數的至少一個值； -用於跟蹤在所述圖像序列中所表示的所選對象的至少一部分的系統；以及 -用於控制照明所選對象的至少一部分的可定向光源的系統。
[0045] 在一個實施例中，所述系統被配置成執行根據本發明的方法。
[0046] 根據本發明的另一方面，提供了一種包括指令集的電腦程式，當被合併到機器 可讀介質中時，所述指令集能夠使得具有信息處理能力的系統執行根據本發明的方法。

【專利附圖】

【附圖說明】
[0047] 下面將參照附圖更加詳細地解釋本發明，其中： 圖1是用於對在圖像序列中所表示的個體的動作狀態進行分類的系統的示意性方框 圖； 圖2是給出由圖1的系統所實施的方法的總覽的流程圖； 圖3是詳解圖2的方法中的分類步驟的流程圖； 圖4是詳解圖2的方法中的分類步驟的一種替換實現方式的流程圖； 圖5是示出了在所述用以獲得生理參數的值的系統的一個實施例中所實施的各個步 驟的流程圖；以及 圖6是示出了用於獲得生理參數的值的一個替換步驟序列的流程圖。

【具體實施方式】
[0048] 通過舉例的方式，用於對生物的狀態進行分類的系統1被顯示為包括計算機2、攝 影機3和可定向光源4。
[0049] 計算機2可以是任何類型的計算設備，例如個人計算機，其不同之處在於配備有 攝影機接口 5和到光源4的接口 6。因此，計算機2包括數據處理單元7和工作存儲器8以 及非易失性數據存儲設備9。在接口 10上向輸出設備11提供輸出，以便提供可聽和可視輸 出的至少其中之一。通過到用戶輸入設備13的接口 12獲得用戶輸入，所述用戶輸入設備 比如鍵盤、觸控螢幕或者指示器設備。攝影機接口 5使得計算機2能夠獲得表示由攝影機3 捕獲的圖像序列的數字數據，以及向攝影機3發送控制信號。光源接口 6允許計算機2控 制光源4。圖像由像素數據表示。
[0050] 在一個實施例中（沒有詳細示出），可定向光源4是包括用於一盞或更多盞燈的外 罩、連接到外罩的支座以及用於相對於支座移動外罩的一個或更多個致動器的設備。所述 支座可以是用於將光源4固定就位的底座或託架。來自計算機2的控制信號控制各個致動 器。在另一個實施例中，所述外罩不移動，而是反射和/或折射光學元件被提供以用於把光 源4中生成的光束導向所期望的位置。
[0051] 在一個實施例中，光源4相對於攝影機3被固定就位，攝影機3可以相對於支座 (例如底座或託架）移動。在這樣的實施例中，光源4被設置成將光束引導在攝影機3也被 導向的點。
[0052] 在一個實施例中，光源4被配置成在電磁譜的可見範圍內發光，更具體來說，發射 其能量的主要部分(例如70%、80%或者甚至90%)處在僅僅該範圍的子範圍內的光。在一個 實施例中，所述子範圍包括由人類觀察者感知為綠色的頻率，即對應於450nm和570nm之間 的波長的頻率。在一個具體實施例中，光源4的光譜在480nm和520nm之間的範圍內具有 最大值。一種效果在於，系統1能夠更加準確地確定存在於由攝影機3捕獲的場景內的生 物的心率。
[0053] 攝影機3可以是被配置成在電磁譜的至少可見範圍內捕獲圖像的任何類型的數 字攝影機。在一個實施例中，所述攝影機被設置成在多個通道(例如三個通道)中提供圖像， 並且其中一個通道被調諧到可見光譜的有限子範圍，其對應於光源4被設置成在其中發光 的子範圍。為此，攝影機3配備有用於該通道的適當光學濾波器。正如本領域技術人員所 知，通道是用於形成彩色圖像的單色圖像。除了所調諧通道之外，例如可以有紅色和藍色通 道。
[0054] 在所有其他方面，攝影機3可以是例如基於CCD或CMOS技術的傳統數字視頻攝影 機。
[0055] 如圖2中所示，系統1 (更具體來說是計算機2)被設置成選擇在由攝影機3捕獲 的場景中所表示的一個或更多生物對象(步驟14)。所述選擇可以是隱含的，其中計算機選 擇在所述場景中表示的身體部分(例如臉部或者具有暴露皮膚以及可選地滿足一條或更多 條標準的任何身體部分)。在一個實施例中，操作人員通過經由輸入設備13提供適當的用 戶輸入來實施所述選擇。可以在輸出設備11上顯示圖像序列當中的一個或更多圖像，以便 在該過程中引導操作員。在另一個實施例中，計算機2分析圖像序列當中的至少一個圖像， 以便選擇個體或個體的部分。舉例來說，計算機2可以實施圖像分段，隨後使用一種或更多 種分類算法對於每一個片段確定其是否表示生物的皮膚表面的片段。這樣就產生了候選片 段集合。在一種變型中，對另外的標準進行評估以便選擇被確定為對應於生物的皮膚表面 的候選片段當中的一個或更多個。在另一種變型中，選擇最均勻的候選片段。在另一種變 型中，隨機選擇其中一個被檢測為表示生物對象的部分的候選片段。應當提到的是，可以使 用其他類型的基於視覺的分析來選擇候選片段。
[0056] 在另一個實施例中，使用運動檢測來確定對應於移動對象的區段。這樣同樣會產 生一個或更多用於跟蹤的候選區段，可以隨機地或者利用另外的標準選擇其中的一個或更 多個區段。
[0057] 或者，計算機2可以被配置成確定表徵生物的生理參數的一個或更多值的序列， 以及使用所述值來選擇將要跟蹤的生物。舉例來說，可以選擇具有處在特定範圍內的心率 或呼吸率值的生物來進行跟蹤。這些方法的組合是可能的。舉例來說，可以在屏幕上高亮 顯示基於生理參數的一個或更多值所選擇的生物，以便允許操作人員確認對於所述生物的 選擇。
[0058] -旦選擇了生物或者生物的部分，就在由攝影機3捕獲的圖像中所表示的所選對 象移動時控制照明該對象的至少一部分的可定向光源4 (步驟15)。與此同時，對由攝影機 3捕獲並且被傳遞到計算機2的圖像進行分析，以便同時利用基於視覺的分析以及對於表 徵所述對象的生理參數的至少一個值的確定來對所述對象的狀態進行分類(步驟16)。
[0059] 如前所述，控制可定向光源的步驟15在一個實施例中包括移動附著有光源4的攝 影機3,從而使得來自光源4的光束一般保持固定在所選對象的至少一部分上。在該實施例 中，利用基於視覺的分析來跟蹤對象的所選部分，並且控制攝影機3以確保所述部分大致 保持在由攝影機3捕獲的每一個圖像中的相同位置處。
[0060] 在另一個實施例中，光源4和攝影機3被放置在不同位置處，並且使用校準模式來 導出對攝影機3和光源4的環境進行建模的等式，並且允許計算機2把一個模型中的各個 位置映射到另一個模型中的各個位置。計算機2通過基於視覺的圖像分析來跟蹤對象的所 選部分，並且把所述對象的移動轉換成用於引導來自光源4的光束的指令。
[0061] 在另一個實施例中，利用視頻信號的被調諧到可見光譜的有限子範圍的通道，所 述有限子範圍對應於光源4被設置成在其中發光的子範圍。在該實施例中，實施某種形式 的閉環控制，其中在圖像中跟蹤光束點的位置，至少是在形成所調諧通道中的圖像分量的 各幀中跟蹤。還識別出所跟蹤對象的所選部分，並且控制光源4從而使得光束點覆蓋所述 所選部分。
[0062] 可以利用許多已知技術當中的任一種來實施用以跟蹤圖像的所選部分的基於視 覺的圖像分析，例如在De Haan, G.等人的"True motion estimation with 3D_recursive search block-matching (利用3D遞歸搜索塊匹配的真實運動估計)"（7--1 〇/? Circ. and Syst. from Video Techn. ^ Vol. 3,1993 年 10 月，pp. 368-388)中所描述的技 術。
[0063] 在一個實施例中，根據圖3來實施分析圖像並且對活動狀態進行分類的步驟16。 在該實施例中，計算機2對由攝影機3捕獲的圖像序列當中的至少一個圖像執行基於視覺 的分析，以便獲得用於對在所述一個或更多圖像中所表示的生物的狀態進行分類的數據。 所述計算機還利用來自相同來源（即攝影機3)的圖像確定所述生物的生理參數的至少一 個值。計算機2實施分類算法，所述分類算法同時將基於通過應用所述基於視覺的分析所 獲得數據的數據以及基於所述生理參數的值的數據作為輸入，並且輸出表明狀態類型的數 據，更具體來說是由對象所採取的動作的類型。
[0064] 如圖3中所示，隨著從攝影機3接收到新圖像(步驟17)而連續實施所述方法。從 最近接收到的圖像形成的子序列被用於分析。還可以在每次接收到特定數目的圖像時而不 是對於每一個新圖像實施所述方法。
[0065] 在所示實施例中，使用如在Niebles, J. C.等人的"Unsupervised learning of human action categories using spatial-temporal words (利用空間-時間字對於人類 動作類別的無監督學習）"（//^.7；仏學1//幻'〇/7,22(3)，2008年9月，？?.299-318)中 所描述的一種空間時間分析(步驟18)。在該方法中，通過提取空間-時間興趣點而將圖像 序列表示為空間-時間字聚集。在圖3的實施例中，將這種字的各個集合組合到第一特徵 矢量19中（步驟20)。
[0066] 利用來自在並行步驟18中對其中的圖像進行分析的相同圖像序列的圖像(不需 要有圖像身份：只需要有圖像來源的身份以及同步，這是因為所述圖像是來自相同的時間 區間)，利用下面將要詳細討論的圖5和圖6的其中一種方法提取強度信號(步驟21)。所述 強度信號至少表示測量區內的至少一定數目的圖像點處的像素值組合的時變值的變化，所 述測量區位於所跟蹤區段內，並且至少在圖2的方法中被照明。
[0067] 人類皮膚可以被建模成具有至少兩層的對象，其中一層是表皮(薄表面層)，並且 另一層是真皮(表皮下的較厚一層)。射入光線的近似5%在表皮中被反射，這對於所有波長 和皮膚顏色都是這種情況。剩餘的光以一種被稱作身體反射率的現象(在二色反射模型中 做了描述)在所述兩個皮膚層內被散射及吸收。表皮的行為類似於一個光學濾波器，其主要 吸收光。在真皮中，光既被散射也被吸收。所述吸收取決於血液成分，因此所述吸收對於血 流變化較為敏感。真皮的光學屬性對於所有人類種族一般都是相同的。真皮包含稠密的血 管網絡，是成人的全部血管網絡的大約10%。這些血管根據身體中的血流而收縮。因此，所 述血管會改變真皮結構，這影響了各個皮膚層的反射率。因此，可以從皮膚反射率變化確定 心率。
[0068] 所述強度信號被用來建立第二特徵矢量22 (步驟23)。該特徵矢量22例如可以 包括表示所述強度信號的值序列，或者對應於強度信號的主導頻率以及對於所述主導頻率 的數改變的估計的至少其中之一的一個或更多值。在一個實施例中，所述值對應於接連的 時間點。在一個實施例中，把強度信號的頻譜的不同子範圍內的幾個主導頻率輸入到特徵 矢量22中。因此，表徵兩個或更多個周期性生理現象的值被用作確定生物(人類)狀態的基 礎。
[0069] 隨後(步驟24)，把第一特徵矢量19和第二特徵矢量22串聯形成用作分類算法的 輸入的聯合特徵矢量25。隨後應用該算法(步驟26)以便確定所跟蹤對象的狀態，特別是由 該對象所執行的動作。
[0070] 在一個實施例中，所述分類算法由支持矢量機實施。在另一個實施例中，AdaBoost 被用作分類算法。可以使用任何其他類型的機器學習算法。首先利用訓練視頻和分類人員 來訓練所述算法，在這裡並沒有詳細說明其處理。圖3中所示的處理所使用的分類器還可 以使用生理信號與空間時間係數之間的相關性來確定用戶所處的狀態。
[0071] 對於圖4中所示的替換方法則不一定是這種情況。但是圖4的方法可能更快， 並且在計算方面更加高效。在該方法中，同樣形成圖像序列（步驟27)，並且利用如在 Niebles, J. C.等人的 "Unsupervised learning of human action categories using spatial-temporal words (利用空間-時間字對於人類動作類別的無監督學習 J (3),2008年9月，pp. 299-318)中所描述的方法獲得空間時間係數(步 驟28)。隨後，同樣建立第一特徵矢量29 (步驟30)。
[0072] 接下來，對第一特徵矢量29應用單獨的第一分類器(步驟31)。該分類器也基於 至少一種機器學習算法。在某些情況下其可能會產生含糊的結果。舉例來說，僅僅通過使 用基於視覺的分析相對難以確定在圖像序列中所表示的人正在跑步還是慢跑。在任一種情 況下，各個單獨圖像中的人的姿態都將是類似的。如果第一分類步驟31產生至少一個預定 分類當中的一個以作為結果，表明關於所述特定分類的不確定性，則實施另外的步驟32-34 以確定所述預定分類的子類。因此，如果第一分類步驟31產生"正在跑步或慢跑"的結果， 則將實施另外的步驟32-34以便確定所述兩個分類當中的哪一個是正確的。在這些另外的 步驟32-34當中的第一步驟32中，利用在圖5和圖6中概述的其中一種方法提取出強度信 號。隨後，基於表示所述強度信號的數據確定生理參數的至少一個值(步驟33)。隨後，例如 利用規則集合確定準確的狀態(步驟34)。在一個替換實施例中，對基於所述強度信號的特 徵矢量應用機器學習算法，並且把所述算法的結果與第一分類步驟31的結果相組合，從而 得到最終結果。
[0073] 現在參照圖5,將更加詳細地解釋提取強度信號的步驟21、32的第一實現方式。所 示實施例包括初始化階段，其可以在系統1啟動時被實施。在該初始化階段中，確定用於攝 影機3的適當設定(步驟35)。為此，在捕獲數字圖像序列的同時，計算機2使得攝影機3的 幀率、曝光時間、像素時鐘(其決定採集像素值的速率）以及各個攝影機通道的增益的至少 其中一項發生變化。確定所述序列當中的每一個圖像的至少一部分的（空間）平均亮度，並 且對於所述設定的每一個新值確定所述平均亮度的周期性波動的量值。選擇背景波動至少 表現出局部最小值的那些設定以供後續使用。取代確定所述圖像的至少一部分的空間平均 亮度，可以確定單獨像素的亮度波動。選擇攝影機3的設定的效果在於，在對之應用所述方 法的剩餘部分的圖像序列中，在最大可能程度上沒有周期性的背景照明波動。
[0074] 在下一步驟36中，從攝影機3獲得圖像序列37。所述圖像序列37表示在接連時 間點處捕獲的場景，所述時間點可以具有規則或不規則間隔。
[0075] 在下一步驟38中，對圖像37進行處理以便去除非周期性背景信號。為此，形成對 應於圖像37的部分或全部的時變平均亮度的校正信號。在所示實施例中，隨後將圖像37 的像素數據與所述校正信號去相關。用於抵消非線性互相關的算法本身是已知的。在這一 階段38可以發生另外的圖像處理以便例如補償攝影機運動。
[0076] 假定已經執行了圖2的第一步驟14,從而已經識別出所跟蹤的區段39。獲得該區 段的位置(步驟40)。
[0077] 隨後，對於每一個所選擇並跟蹤的區段39,選擇區段39內的測量區41 (步驟42)。 在序列37的每一個圖像中識別出測量區41。因此，對於構成測量區41的所有圖像點，確定 每一個圖像當中的哪一個像素對應於該測量區的特定圖像點。
[0078] 接下來(步驟43)，生成表示對應於測量區41的各個圖像點的像素的時變平均亮 度的信號44。對於序列37的每一個圖像，形成被確定為包括在測量區41內的各個像素的 平均亮度。由於序列37的每一個圖像表示時間點，因此獲得時變(離散時間)信號。在一個 替換實施例中，丟棄特定圖像點，從而取得測量區41內少於所有圖像點處的像素值總和。 在一個實施例中，使用各個像素值的加權和，其中至少一個通道的權重不同於其他通道。這 樣允許對於被調諧到光源4被配置成在其中發光的可見光譜的子範圍的通道進行過加權 (overweight)。在另一個實施例中，只使用來自該通道的值。
[0079] 隨後將信號44居中在其均值上(步驟45)，以便產生表示對應於測量區41的各個 圖像點的像素的時變平均亮度的另一個信號46,從而更好地觀察其變化。在一種變型中，該 步驟45還包括與替換地包括在步驟38中的校正信號的去相關。在一種不同的變型中，該 步驟45包括過濾操作，例如對應於信號微分的過濾操作。用於提取具有較小幅度的時間變 化的其他替換方案也是可能的。
[0080] 最後（步驟47)，使用基本信號處理技術從所述另一個信號46中提取出表示心率 或呼吸率的信息。可以通過確定通常分別與呼吸率和心率相關聯的範圍內的主導頻率來提 取二者當中的任一項或全部兩項。
[0081] 圖6示出了提取強度信號以用於確定生理參數的至少一個值的步驟21、32的一種 替換實現方式。
[0082] 初始步驟48-50類似於圖5的方法的相應步驟35、36、38。從而獲得(步驟49)圖 像序列51並對其進行校正(步驟50)。
[0083] 但是在下一步驟52中，將一個柵格覆在每個圖像51上，所述柵格將每個圖像劃分 成多個測量區或潛在測量區。每個測量區包括多個圖像點，即多個像素位置。
[0084] 隨後(步驟53)選擇至少一個但是通常是所有的測量區，並且對於每個測量區確立 對應的信號54a-n，所述信號對應於圖像51中的與該測量區的各個圖像點相對應的像素的 時變空間平均亮度值。
[0085] 隨後將每個第一信號54a_n居中在其均值上(步驟55)，以便產生表不對應於相關 聯的測量區的各個圖像點的像素的時變平均亮度的另外的信號56a-n，從而更好地觀察其 變化。在一種變型中，該步驟55還包括與替換地被包括在對圖像51應用校正的早前步驟 50中的校正信號的去相關。在一種不同的變型中，該步驟55包括過濾操作，例如對應於信 號微分的過濾操作。用於提取具有較小幅度的時間變化的其他替換方案是可能的。
[0086] 隨後確定信號56a_n的頻譜在特定範圍內具有局部最大值的頻率(步驟57)。同樣 地，該步驟57還可以涉及確定兩個對應範圍內的主導頻率，從而例如確定心率和呼吸率二 者的值。
[0087] 在該實施例中，有可能檢測到是否在圖像序列51中存在多於一個人，這例如是通 過比較對於每個測量區確定的主導頻率或者通過檢測不同強度信號54a-n之間的相位差 而實現的。由於將利用可定向光源4跟蹤一個生物，因此最強的強度信號54a-n將是在步 驟23 (圖3)或步驟33中所使用的信號，步驟23是建立特徵矢量的步驟，步驟33是在圖4 的方法中確定所述生理參數的至少一個值的步驟。
[0088] 確定在圖像序列51中所表示的所有對象的生理參數的值的可能性使得圖6的方 法適於實施圖2的方法中的第一步驟14,這是因為有可能使用所述生理參數的值作為用於 選擇將要確定其狀態的人的標準。因此，在一個實施例中，圖6的方法被用在圖2的第一步 驟14中，並且圖5的方法被用在隨後的分析步驟16中。
[0089] 因此，前面給出的方法允許完全自動化地確定在圖像序列37、51中所表示的人的 狀態。這可以是確定人的行為(其中由序列37、51覆蓋較長的時間跨度)或動作。由於其不 顯眼的性質，所述方法適用於安全目的的監視系統。其還可用作醫療目的的監測系統，以便 例如檢測某人是否正遭受中風等等。
[0090] 應當提到的是，前面提到的實施例說明了而不是限制了本發明，並且在不背離所 附權利要求書的範圍的情況下，本領域技術人員將能夠設計許多替換實施例。在權利要求 書中，置於括號之間的任何附圖標記不應當被解釋為限制該權利要求。"包括"一詞不排除 在權利要求中所列出的之外的其他元件或步驟的存在。元件之前的"一個"或"某一"不排 除多個這種元件的存在。在互不相同的從屬權利要求中引述某些措施這一事實並不意味著 不能使用這些措施的組合來獲益。
[0091] 在一個實施例中，省略了利用光源4 (實際上是整個光源4)來跟蹤在圖像序列中 所表示的所選對象的至少一部分的步驟15。相反，計算機2分析圖像序列以便對其中所表 示的生物的狀態進行歸類。該分析可以實時進行或者可以對所記錄的圖像序列實施。
【權利要求】
1. 允許實現遠程光體積描記分析的方法，包括： -從至少一臺攝影機（3)獲得圖像序列（37 ;51)，每個圖像由像素數據表示，所述像素 數據表示至少一個有限波長範圍內的反射周圍光； -對於至少一個測量區（41)，提供至少表示所述測量區（41)內的至少一定數目的圖 像點處的像素值組合的時變值的變化的信號，以用於確定生理參數的至少一個值；以及 -跟蹤在所述圖像序列（37 ;51)中所表示的所選對象的至少一部分，並且控制照明所 選對象的至少一部分的可定向光源（4)。
2. 根據權利要求1的方法，其中所述可定向光源（4)相對於攝影機（3)的位置固定，並 且其中控制可定向光源（4)包括控制用於改變攝影機（3)的觀看方向的設備。
3. 用於允許實現遠程光體積描記分析的系統，包括： -用於從至少一臺攝影機（3)獲得圖像序列（37 ;51)的至少一個攝影機接口（5)，每個 圖像由像素數據表示，所述像素數據表示至少一個有限波長範圍內的反射周圍光；以及 -用於處理像素數據的系統，其被配置成對於至少一個測量區（41)提供至少表示所述 測量區（41)內的至少一定數目的圖像點處的像素值組合的時變值的變化的信號，以用於確 定生理參數的至少一個值； -用於跟蹤在所述圖像序列（37 ;51)中所表示的所選對象的至少一部分的系統；以及 -用於控制照明所選對象的至少一部分的可定向光源（4)的系統。
【文檔編號】G06K9/00GK104123536SQ201410310699
【公開日】2014年10月29日 申請日期:2010年8月9日 優先權日:2009年8月20日
【發明者】V.讓娜, I.O.基倫科, G.塞尼尼, L.邵 申請人:皇家飛利浦電子股份有限公司