以多光譜成像設備為特徵的檢測系統和方法與流程
2023-05-08 01:20:22 3
相關申請的交叉引用
本申請要求美國臨時專利申請序列號為62/093,257（2014年12月17日提交的標題為detectionsystemandmethodfeaturingmultispectralimagingdevice）的優先權，其通過引用併入本文。
關於聯邦資助的研究或開發的聲明
不適用。
對微縮膠片附錄的參考
不適用。
背景技術：
安全是其中火災和氣體洩漏可能導致生命喪失、生產損失和巨大責任的行業的關注。因此，建築結構的業主和經營者通常依靠火災和氣體檢測系統來早期檢測和警告火災、煙霧和危險氣體。這些檢測系統可向管理員和/或工人警告危險事件，從而允許採取行動來消除所識別的無論什麼事件。
技術實現要素：
本公開的各方面可以包括系統的實施例，該系統包括：可操作來以不同波長捕獲視場圖像的多光譜成像設備；以及耦合到所述多光譜成像設備的電子處理設備，其中所述處理設備包括處理器、存儲器和用戶接口，並且其中所述處理設備可操作來將所述多光譜圖像保存到所述存儲器以由所述處理器訪問，分離來自所述多光譜圖像的背景和前景結果；評估針對前景區域中的事件的識別的結果；並且在所述前景區域指示危險事件時生成警報。
在一些實施例中，多光譜成像設備可以包括微測輻射熱計。在一些實施例中，將電子處理設備併入到多光譜成像設備中。在一些實施例中，多光譜成像設備包括濾光輪，該濾光輪可操作來在其在相機前方旋轉時對不同波長進行濾光。在一些實施例中，多光譜成像設備包括被分成不同波長的透鏡陣列。在一些實施例中，多光譜成像設備包括位於多光譜成像設備內的多個相機。在一些實施例中，事件包括氣體洩漏，其中可以識別特定氣體類型，並且其中如果將氣體識別為危險氣體，則生成警報。在一些實施例中，事件包括火災。在一些實施例中，處理設備還可操作來將經處理的圖像轉發到用戶接口以進行查看。
本公開的另外的方面可以包括用於檢測由多光譜成像設備捕獲的背景和前景輻射度的方法的實施例，該方法包括：在設施中建立多光譜成像系統，其中相機的視場覆蓋具有火災或氣體事件的可能性的區域；獲取來自多光譜成像系統的多個光譜圖像；對每個光譜圖像應用校準，使得將像素的強度變換成光譜輻射度；應用一個或多個分割技術來找到每個光譜圖像中的區域；組合來自光譜圖像的分割區域以生成具有不同光譜特性的區域；基於空間和光譜強度來估計每個區域中的每個像素的背景參數；基於估計的背景參數來計算背景光譜強度；通過從對應的背景強度中減去輸入強度來計算前景光譜強度；以及基於計算的前景光譜強度來識別事件，其中事件由增加或減少的前景光譜強度來指示。
在一些實施例中，當計算的前景光譜強度高於或低於預定義閾值時，識別所述事件。在一些實施例中，該方法還包括在用戶接口上顯示（多個）經處理的圖像。在一些實施例中，估計是基於對使用基於多光譜像素強度的黑體輻射假設而計算的背景參數進行求平均。在一些實施例中，在估計期間將鄰近像素強度用於更好的擬合。在一些實施例中，背景參數包括溫度和發射率。在一些實施例中，該方法還包括應用一個或多個噪聲去除技術以減少噪聲和計算不準確性的影響。
本公開的其他方面可以包括系統的實施例，該系統包括：可操作來以不同波長捕獲視場的圖像的多光譜成像設備；以及耦合到所述多光譜成像設備的電子處理設備，其中所述處理設備包括處理器、存儲器和用戶接口，並且其中所述處理設備可操作來獲取來自所述多光譜成像設備的多個光譜圖像；對每個光譜圖像應用校準，使得將像素的強度變換成光譜輻射度；應用一個或多個分割技術來找到每個光譜圖像中的區域；組合來自光譜圖像的分割區域以生成具有不同光譜特性的區域；基於空間和光譜強度來估計每個區域中的每個像素的背景參數（包括溫度和發射率）；基於估計的背景參數來計算背景光譜強度；通過從對應的估計的背景強度中減去輸入強度來計算前景光譜強度；並且基於計算的前景光譜強度來識別事件，其中事件由前景光譜強度的變化來指示。
在一些實施例中，多光譜成像設備可以包括微測輻射熱計。在一些實施例中，當計算的前景光譜強度高於或低於預定義閾值時，識別所述事件。在一些實施例中，處理設備還可操作來在用戶接口上顯示（多個）經處理的圖像。在一些實施例中，處理設備可操作以應用一個或多個噪聲去除技術來減少噪聲和計算不準確性的影響。
根據下面結合附圖和權利要求進行的詳細描述，這些和其它特徵將更加清楚地被理解。
附圖說明
為了更加完全地理解本公開，現在參考結合附圖和詳細描述進行的下面的簡要描述，其中相似的參考數字表示相似的部分。
圖1圖示出根據本公開的實施例的包括多光譜成像設備的系統；
圖2a-2d圖示出圖示出本公開的一個或多個實施例的元件的曲線圖和圖表；和
圖3圖示出根據本公開的實施例的用於檢測由多光譜成像設備捕獲的背景和前景輻射度的方法。
具體實施方式
首先應當理解，儘管下面示出了一個或多個實施例的說明性實施方式，但是所公開的系統和方法可以使用任何數目的的技術來實現，而不管是當前已知的還是尚未存在的。本公開絕不應該被限制到下面示出的說明性實施方式、附圖和技術，而是可以在所附權利要求的範圍連同其等同物的全部範圍內進行修改。
術語的下面的簡要定義將遍及本申請而適用：
術語「包括」意指包括但不限於，並且應該被以其在專利上下文中通常使用的方式來被解釋；
短語「在一個實施例中」、「根據一個實施例」等通常意指該短語之後的特定特徵、結構或特性可以被包括在本發明的至少一個實施例中，並且可以被包括在本發明的多於一個實施例中（重要的是，此類短語不一定指的是相同的實施例）；
如果說明書將某事物描述為「示例性」或「示例」，則應當理解其指的是非排他性示例；
當與數字一起使用時，術語「約」或「大約」等可以意指特定數字，或者替代地，特定數字附近的範圍，如由本技術領域中的技術人員所理解的；並且
如果說明書聲明部件或特徵「可以」、「能夠」、「可」、「應該」、「將」、「優選地」、「可能地」、「通常」、「可選地」、「例如」、「經常」或「可能」（或其他此類語言）被包括或具有特性，則該特定部件或特徵不要求被包括或具有該特性。此類部件或特徵可以可選地被包括在一些實施例中，或者它可以被排除。
本公開的實施例包括用於檢測由多光譜成像設備捕獲的背景和前景輻射度的系統和方法。在一些實施例中，多光譜成像設備可以生成相同視場的多個圖像，其中可以以多種波長捕獲圖像。可以處理這些圖像以識別在成像設備的視場內的諸如火災和/或氣體洩漏之類的任何事件。
安全是其中火災和氣體洩漏可能導致重大危險（其可能導致生命喪失、生產損失和巨大責任）的行業的主要關注。因此，建築結構的業主和經營者通常依靠火災和氣體檢測系統來早期檢測和警告火災、煙霧和危險氣體。
傳統檢測系統通常在遍及建築結構或設施的不同區域中要求大量檢測器。例如，聲傳感器可用來偵聽氣體洩漏，並且可以部署許多氣體檢測器來感測特定氣體的存在。這些傳感器可以是局部的，覆蓋有限的區域。還可以部署基於三重紅外（ir）傳感器的火災檢測器。減少虛假警報的多個冗餘部署也是慣例。然而，火災和氣體檢測的總成本可變得重要。更關鍵的是，火災檢測器可能不能精確定位火災的確切位置。因此，可能必須派遣工人來確認火災的存在，從而將工人置於傷害之路。
近來，微測輻射熱計（未冷卻的紅外相機）已經變得顯著地更加價格合理。通常，微測輻射熱計能夠基於熱輻射進行火災檢測。另外，將濾光器組（filterband）添加到微測輻射熱計可允許微測輻射熱計檢測可用於檢測特定氣體種類的所選譜帶的輻射。例如，感興趣的區域（例如，氣體雲）可以在一個波長中（例如，在綠色可見光譜中）不可見，但是可以在另一個波長中（例如，在4.3中波ir（mwir）中）被觀察到。因此，多光譜成像設備對檢測大範圍的氣體可能是有用的。因此，併入多光譜微測輻射熱計的設備和方法可用來檢測火災和危險氣體的存在並且還提供檢測的位置和視覺圖像。
多光譜圖像的每個像素可以表示來自背景和前景的信號的和。例如，背景區域可以是屬於場景的區域，諸如天空、人造和自然對象。前景區域可以是感興趣的區域，諸如火災、火焰、氣體雲和煙霧。通常，與背景信號相比，前景信號可能是小的，從而使得前景信號的提取是令人畏懼的挑戰。因此，從背景區域分割和檢測前景對於檢測至關重要。
給定場景的單波長圖像，常規背景和前景分割通常基於減去估計的背景圖像，其通常使用空間濾光器來進行計算。當前景信號是大的時，此方法工作得相當好。然而，當前景信號（諸如氣體雲的前景信號）是小的時，真正的前景可能不是可檢測的或者許多生成虛假前景。因此，需要更魯棒的（robust）背景和前景分割。
本文呈現的實施例可以以低成本多光譜成像設備（諸如用於檢測火災和危險氣體狀況的微測輻射熱計）為特徵。與此類實施例結合使用的微測輻射熱計可以屬於例如類似於由sofradir-ec公司製造的atom80-80x80未冷卻微測輻射熱計核的類型。在一些實施例中，設備可以包括在低成本微測輻射熱計前面與具有中性和多個窄帶濾光器的濾光輪集成的高靈敏度熱成像傳感器/檢測器。在一些實施例中，微測輻射熱計可用來捕獲一系列窄帶ir圖像和全通ir圖像，其可以結合基於光譜的氣體檢測和基於輻射的火災檢測算法來使用。
現在參考圖1，示出了包括多光譜成像設備100的系統101的實施例。在一些實施例中，多光譜成像設備100可以包括微測輻射熱計（如上所述）。在一些實施例中，多光譜成像設備100可以包括多光譜圖像發生器102和可操作以從多光譜圖像發生器102接收數據的處理設備110。在一些實施例中，處理設備110可以包括存儲器104、處理器106和用戶接口（ui）108，其中元件可以可操作來彼此傳達信息。在一些實施例中，處理設備110可以是多光譜成像設備100的一部分。在其他實施例中，處理設備110可以與多光譜成像設備100分離，其中多光譜成像設備100可以將信息傳達到處理設備110。
在一些實施例中，多光譜成像設備100可以可操作來與監控站或設備進行通信，其中可將圖像的處理的結果傳達到監視站並在監視站上顯示。在一些實施例中，處理設備110可以離多光譜成像設備100遠程地定位，並且可以由監視員或管理員查看。
在一些實施例中，多光譜圖像發生器102可以包括濾光輪，其可操作來在其在相機前面進行旋轉時對不同的波長進行濾光。在一些實施例中，多光譜圖像發生器102可以包括被分成不同波長的透鏡陣列。在一些實施例中，多光譜圖像發生器102可以包括位於多光譜成像設備100內的多個相機，其中每個相機可以捕獲不同的波長帶。
如本領域技術人員將理解的，本公開的實施例可以包括用於生成多光譜圖像的多個方法中的任何方法。不管用於捕獲多光譜圖像的方法如何，多光譜圖像發生器102可以產生多個圖像，每個以不同的波長被捕獲，其中圖像示出相同的視場120。在一些實施例中，多光譜成像設備100可以接收在多光譜成像設備100的視場120內的事件130的圖像。事件130可能是火災、氣體洩漏或其他類似的事件。
在一些實施例中，處理器106可以接收多光譜圖像和對圖像的完整處理，如下面進一步詳細地描述的。在一些實施例中，存儲器104可以存儲由多光譜圖像發生器102生成的圖像。在一些實施例中，可以以周期性的時間間隔來生成圖像。在一些實施例中，處理的結果可以由用戶接口108顯示。
本公開的實施例可以執行背景熱輻射與前景熱輻射的精確分離。例如，由微測輻射熱計的每個像素感測的總輻射度rt可以從背景輻射度rb和前景輻射度rf的和導出（即，rt=rb+rf）。一般來說，背景輻射度可來自天空、自然植被和人造對象，並且可以表現得類似於黑體或灰體。感興趣的前景熱輻射可以屬於火焰（rf）和氣體（rg）的熱輻射。然而，這些元素表現得非常不同。因此，本文所公開的實施例可以針對它們相應的檢測不同地對待它們。例如，火通常在比背景輻射度的溫度更高得多的溫度下燃燒。因此，主要輻射度是火焰輻射度rf。
圖2a圖示出在25℃（202）處的背景輻射度、在100℃（204）處的火災輻射度和總輻射度（206）。可以基於全通ir圖像中的兩個之間的熱對比來完成背景區域202與火災區域204的分割。火災檢測中的挑戰是避免將諸如太陽之類的其他高溫物體也檢測為火災。另一方面，主要輻射度來自氣體檢測中的背景。
本文所呈現的實施例可以通過從對應的光譜圖像中減去估計的背景圖像來提取每個光譜圖像中的前景區域。此類實施例可以從所有光譜圖像的相同區域中進一步估計光譜背景。也就是說，與僅使用空間信息的常規方法不同，背景估計可以基於空間和光譜信息的組合。
多光譜圖像的集合可以由相同場景（或視場）的多個圖像組成，其中每個可以對應於來自特定波長或波長窄帶的感測強度。因此，可以在相同圖像坐標處以不同光譜波長的像素捕獲設施或建築結構中的一個位置。如下所述，可以將像素擬合到普朗克的溫度函數中，並且在預定溫度下所產生的普朗克輻射可以變成估計的背景。此外，為了減少噪音的影響和其他環境影響，可以將鄰近像素位置包括在普朗克的函數中。
一旦估計了最佳擬合的普朗克函數，可以將背景信號識別為與多光譜圖像的波長對應的特定波長處的對應值。可以通過從對應的輸入信號中減去估計的背景信號來計算前景信號。另外，可以應用閾值以從背景中去除噪聲變型。還可以應用諸如區域增長之類的進一步的視頻分析來去除假的（spurious）、隔離的、或小的區域。
本發明的另一實施例可以應用圖像分割技術來將多光譜圖像分割成高對比度區域，諸如天空、建築物、樹木、陸地等。然後可以將上述前景和背景提取方法應用到每個區域。此實施例沿著區域的邊界產生更加準確的背景估計。
現在參考圖2b，氣體輻射度rg可主要由氣體及其附近環境之間的能量交換（如圖2b中示出的特性譜帶處的發射或吸收）引起。氣體輻射度可以被近似為：rg(λ)=(1–τg(λ))*δt*cl*rb(λ)，其中τg是透射率，δt是溫差，cl是濃度乘以氣體雲的路徑長度，並且rb是背景輻射度。總輻射度變成背景輻射度、氣體輻射度及其被前景大氣衰減之和。
圖2c圖示出氣體檢測的挑戰是去除背景輻射度，其經常多於特性譜帶內的總輻射度的99％。
已經發現常規基於梯度的背景去除方法在此類狀況下是無效的。相比之下，本文所公開的實施例應用光譜插值（spectralinterpolation）來估計背景輻射度。作為示例，可以假設背景為黑體，其輻射度滿足普朗克函數：rb(λ)=2hc2/λ5/(exp(hc/λkt)-1)，其中t是溫度並且λ是波長。可以基於使用多光譜像素強度的最佳擬合來估計背景溫度。然後可以用估計的溫度來計算特徵譜帶處的背景輻射度。因此，背景估計受益於光譜和空間信息兩者。
用於估計背景的另一實施例將背景模擬為灰體，其被背景的溫度（t）和發射率（ε）參數化為rb(λ)=2hc2/λ5/(exp(hcε/λkt)-1)。根據多光譜像素來估計兩個參數。圖2d圖示出此過程。在多個波長下的多光譜像素254是來自背景區域的校準的輻射度/強度測量。使用這些測量，可以應用指數回歸來估計溫度和發射率，以及由此的灰體輻射252。為了參考，還示出了在估計的溫度處的黑體輻射250。在波長λ4處的光譜像素256表示來自背景加前景的校準的輻射度/強度測量。可以根據灰體252來估計在波長λ4處的背景輻射258。然後可以基於從光譜像素256處的總輻射中減去背景輻射258來計算前景輻射。圖2d示出在一個波長處的一個前景像素的估計。然而，可以估計更多波長處的前景。
圖3圖示出用於檢測由多光譜成像設備捕獲的背景和前景輻射度的方法300。在一些實施例中，方法300的至少一部分可以由處理設備110（圖1中示出）完成。
在步驟302處，可以在設施中建立多光譜成像系統（相機），其中相機的視場覆蓋具有火災或氣體事件的可能性的區域。在步驟304處，可以從多光譜成像系統（相機）獲取多個多光譜圖像，並且在步驟305處，可以將校準應用到每個光譜圖像，使得將像素的強度變換成光譜輻射度。（強度和輻射度可以互換地使用。）在步驟306處，可以應用（多個）分割技術來找到每個光譜圖像中的區域。在步驟307處，對來自所有光譜圖像的分割區域進行組合，從而生成具有不同光譜特徵的區域。在步驟308處，可以基於空間和光譜強度來估計在每個區域中的每個像素的溫度。估計可以基於對根據多光譜像素強度計算的溫度求平均或基於根據多光譜像素強度的平均值計算的溫度。在一些實施例中，可以將鄰近像素強度用於更好的擬合。
在步驟310處，可以基於估計的溫度來計算背景光譜強度。在步驟312處，可以根據從對應的背景強度中減去輸入強度來計算前景。在一些實施例中，在步驟314處，可以應用（多個）噪聲去除技術來減少噪聲和計算不準確性的影響。在步驟316處，可以基於計算的前景光譜強度來識別事件，其中事件可以由前景光譜強度的變化來指示，所述變化可以是增加或減少。前景光譜強度的增加或減少取決於氣體在吸收還是輻射，這取決於dt的符號。在一些實施例中，當計算的前景光譜強度高於預定義閾值時，事件可以被自動識別。在一些實施例中，在步驟318處，（多個）經處理的圖像可以被顯示在用戶接口上。
根據本文所闡述的實施例，已經在執行氣體和火災檢測中識別了某些風險。例如，針對氣體檢測所要求的氣體輻射度的量的規格可影響檢測的準確性。四個因子通常能夠影響氣體輻射度：τg(λ)、δt、cl以及氣體雲到檢測器的距離。仔細選擇目標氣體的主要譜帶可以緩解τg(λ)因子。其他三個因子取決於操作參數，並且通常可能不是可控的。背景輻射度的頂部上的氣體雲輻射度可以用這些因子的變型來模擬。對關於模擬數據的檢測性能的估計指示這些因子的要求。另外，用於氣體檢測的譜帶的數目的充足可影響檢測的準確性。通常，更高數目的窄譜帶可能是優選的。這可以通過增加濾光輪上的濾光器的數目來完成，這可能要求更高成本和系統複雜性。本文公開的實施例解決了使用較少數目的譜帶的性能退化。
價格合理的微測輻射熱計提供了火災和氣體雲的定位和可視化的另外的優點。因此，此類實施例是相比於現有產品和技術的改進，如所提議的那樣，其不以可以執行火災和氣體檢測的單個單元為特徵。
本公開的實施例可被併入到具有多光譜成像設備、存儲器、處理器和用戶接口的系統中。這些部件可以被集成到單個單元中，或者它們可以處於與通信鏈路連接的不同位置處。多光譜成像設備可以同時地以不同波長捕獲場景的圖像。
替代地，多光譜成像設備可以在比前景的運動更快的此類短時間中以不同波長順序地捕獲場景的圖像。這些捕獲的多光譜圖像可以被保存在存儲器中，並且可以是由處理器可訪問的。然後可以將分離的背景和前景結果轉發到用戶接口以進行查看。處理器還可以在另一應用中使用該結果，例如將前景區域識別為特定氣體類型。
雖然上文已經示出和描述了根據本文所公開的原理的各種實施例，但是在不脫離本公開的精神和教導的情況下，本領域技術人員可以對其進行修改。本文所描述的實施例僅是代表性的，並且不旨在是限制性的。許多變型、組合和修改是可能的，並且在本公開的範圍內。由（多個）實施例的組合、集成和/或省略特徵而產生的替代實施例也在本公開的範圍內。因此，保護的範圍不受上面闡述的描述限制，而是由後面的權利要求來限定，該範圍包括權利要求的主題的所有等同物。每個權利要求作為另一公開而被併入到說明書中，並且權利要求是（多個）本發明的（多個）實施例。此外，上述任何優點和特徵可以涉及特定實施例，但是不應將此類公布的權利要求的應用限制到實現上述優點中的任何一個或全部或具有上述特徵中的任何一個或全部的過程和結構。
另外，提供本文使用的章節標題以與根據37c.f.r.1.77的建議一致或以其他方式提供組織線索。這些標題不將限制或表徵可根據本公開公布的任何權利要求中闡述的（多個）發明。具體而言而且作為示例，儘管標題可能提及「技術領域」，但是權利要求不應被根據描述所謂的技術領域的此標題所選擇的語言限制。此外，「背景技術」中的技術的描述不將被解釋為承認某些技術是本公開中的任何（多個）發明的現有技術。「發明內容」也不被認為是所公布的權利要求中闡述的（多個）發明的限制特徵。此外，在本公開中對採用單數的「發明」的任何參考不應被用來爭辯在本公開中僅存在單個新穎性點。可以根據從本公開所公布的多個權利要求的限制來闡述多個發明，並且此類權利要求相應地限定了由此保護的（多個）發明及其等同物。在所有情況下，權利要求的範圍應根據本公開而在其自身的價值上來考慮，而不應被本文闡述的標題限制。
諸如包括、包含以及具有之類的較寬泛術語的使用應當被理解成提供對諸如由……組成、基本上由……組成以及基本上由……構成之類的較窄術語的支持。關於實施例的任何元件的術語「可選地」、「可以」、「可能」、「可能地」等的使用意指該元件不被要求，或者替代地，該元件被要求，兩個替換物在（多個）實施例的範圍內。而且，對示例的引用僅針對說明的目的來提供，並且不旨在是排他性的。
雖然已經在本公開中提供了若干實施例，但是應當理解的是，在不脫離本公開的精神或範圍的情況下，所公開的系統和方法可以以許多其它具體形式來具體實施。本示例將被認為是說明性的並且不是限制性的，並且意圖不是將被限制到本文給出的細節。例如，各種元件或部件可以被組合或集成在另一系統中，或者可省略或不實現某些特徵。
而且，在不脫離本公開的範圍的情況下，在各種實施例中描述和示出為分立或單獨的技術、系統、子系統和方法可以與其他系統、模塊、技術或方法組合或集成。被示出或討論為直接耦合或彼此通信的其他項目可以通過某些接口、設備或中間部件被間接耦合或通信，而不管是電氣、機械、還是以其他方式。改變、替代和變更的其它示例是由本領域技術人員可確定的，並且可以在不脫離本文所公開的精神和範圍的情況下進行。