基於計算機視覺技術的火災智能探測、撲滅方法及系統的製作方法

2023-07-08 16:19:56

專利名稱：基於計算機視覺技術的火災智能探測、撲滅方法及系統的製作方法
技術領域：
本發明的基於計算機視覺技術的火災智能探測、撲滅方法及系統，屬於火災 監測及自動滅火技術領域。
背景技術：
火災是人類社會中最常見的嚴重災害之一，根據最近幾年美國、日本和歐盟 的火災統計資料，發達國家的火災直接經濟損失佔國民生產總值的0.2%~0.3%。 美國的火災死亡率為0.0016%,歐盟為0.0013%，日本為0.0012%，其中包括許 多起重大火災。例如1995年日本的阪神大地震引起的火災，死亡5200多人。1997 年齋月期間在沙烏地阿拉伯的麥加聖城發生的火災，死亡1000多人。2002年6月 美國Arizona州的森林大火失去控制，令太空梭上的太空人也觸目驚心。近年 來，隨著科技的進步和社會的發展，我國在對抗火災方面已取得了可喜的成績。 但同時伴隨著城市化進程的加快和人口的迅速增長，我國火災的發生次數，造成 的損失呈上升趨勢。據統計，1997年，全國共發生火災14餘萬起，死亡2722 人，傷4930人，直接財產損失15.4億元。其中一次死亡10人以Jr^受災50戶 以上或直接財產損失100萬元以上的特大火災88起。
無數的事例證明，火災是現代文明社會最具有破壞力的災害現象之一。因此， 要將火災造成的損失降到最低，其中最有效的方法之一就是實時監測，並在蔓延 前將其撲滅。因此，國內外都紛紛開展了智能消防系統的研究。但是，目前這方 面的研究主要是火災的自動監測而且主要是針對室內區域，見專利 200710044936。對於室外大區域火災發現後的自動撲滅的研究還不多。事實上， 許多室外大空間環境中，如化工單位，油罐和一些防火重點對火災的實時監測和 自動撲滅具有相當大的需求。室外大空間自動消防系統的難度之一是消防炮噴 射的水柱軌跡(以下稱為水道)特別是水道末端(以下稱為落水點)的位置精確定 位的問題。目前許多處理方法是首先發現火點，然後採用公式計算的方法得出要求的水柱軌跡，據此控制消防炮進行滅火工作。在大空間環境下，起火點的位置 與消防炮的距離往往在幾十米甚至達到百米以上。在遠距離射程情況下，消防炮 落水點的空間位置難以確定，特別是它還容易受到風向等環境因素的影響，因此， 僅根據火點位置信息控制消防炮，難以保證消防炮水柱打在火點上。

發明內容
本發明的目的在於提供一種基於計算機視覺技術的火災智能探測、撲滅方 法及系統，實現室外大空間火災的實時監測和自動撲滅。
一種基於計算機視覺技術的火災智能探測、撲滅方法，其特徵在於包括以 下步驟
(1) 、利用子站控制模塊進行火災監測
控制雲臺移動，帶動紅外攝像機移動，並對其可視區域進行掃描； 控制視頻採集晶片進行紅外圖像的實時採集和分析，通過閾值分割的方法快 速提取疑似火點；
對疑似火點，通過火焰的顏色分布特性、火焰變化特性、火焰面積蔓延增長 特性、火焰的形體變化特性、火焰的邊緣變化特性進一步進行火焰的判定；
(2) 、在確認有火焰存在的情況下，通過雙目視差技術，對火焰進行空間 位置的估計；
(3) 、根據消防炮開啟規則，確定所開啟的消防水炮；
(4) 、利用計算機視覺技術或圖像處理技術得到消防炮噴射水柱末端在CCD 圖像中的位置，即落水點位置；
(5) 、根據CCD圖像上落水點和火焰相對位置，調整消防炮，實現對消防 炮的閉環控制進行滅火；
(6) 、根據監測圖像，判定滅火完畢，關閉消防炮。 一種基於計算機視覺技術的火災智能探測、撲滅系統，其特徵在於包括
伺服器、與伺服器通過總線連接成網絡形式的若干子站，子站包括消防炮、能 夠根據消防炮水道落水點與火焰的相對位置偏差調整消防炮出水角度的嵌入式 控制模塊、可控制雲臺、安裝於可控制雲臺上的一對用於火焰及消防水道監測與 定位的雙波段CCD攝像機。一種消防炮水道和水道末端的識別方法，其特徵在於包括以下步驟
(1) 、從水道起點即消防炮位置出發，沿消防炮出水方向，對水道圖像像素 列逐列掃描，尋找每像素列水道軌跡中心點，每像素列水道軌跡中心點的尋找採 用灰度值統計法和軌跡預測法相結合的方法，具體方法如下-
由已確定段水道軌跡預測下一像素列水道軌道中心點位置範圍；
同時通過灰度值統計方法找到該像素列水道軌跡中心點；
當灰度值統計方法找到的中心點處於軌跡預測法得到的中心點誤差範圍內，
則以該灰度值統計方法找到的中心點作為該像素列水道軌跡中心位置；
當灰度值統計方法找到的中心點不在軌跡預測法得到的中心點誤差範圍內，
則捨去該次搜索結果，繼續尋找下一像素列水道軌跡中心點；
(2) 、將所有像素列水道軌跡中心點連接成水道曲線，當連續10列沒有找 到軌跡中心點，則判定最後一次找到的像素列水道軌跡中心點即為水道末端位 置。
一種基於單目視覺技術的火點與落水點相對位置調整的消防炮控制方法，
其特徵在於包括以下步驟
(1) 、當發現火點後，利用雙目視差原理對雙波段攝像機的圖像進行處理， 獲取火焰的深度距離信息，再^消防炮安置位置信息，利用預設規則確定消防 炮出水初始水平角及俯仰角，並啟動消防炮噴水；
(2) 、利用普通CCD相機實時獲取同時兼有火焰和水道的二維圖像；
(3) 、在二維圖像上只能反映消防炮水道落水點與火焰的偏差位置關係，而 不能明確反映水道落實點與火焰左右關係的情況下，根據二維圖像反映的消防炮 出水位置距離水道落水點與火焰的遠近位置關係，首先通過控制消防炮俯仰角使 落水點接近火點，具體方式是調整消防炮俯仰角使水道起始點到落水點直線距 離與水道起始點到火點直線距離差值滿足預設誤差允許範圍；
(4) 、當俯仰角調整完成後，水道落水點和火焰位置相對水道起始點可視為 等距離，同時也使得水道落水點與火焰的左右位置關係在二維圖像中明確反映出 來；則進一步利用二維圖像反映的水道落水點與火焰的左右位置關係，繼續通過 控制消防炮水平角使落水點進一步接近火點，具體方式是調整消防炮水平角使 水道起始點到落水點連線與水道起始點與火點連線的夾角滿足預設誤差允許範圍，則消防炮調整完成；
(5)、隨火焰中心點位置的變動，重複調整消防炮的俯仰角和水平角，使落
水點能夠跟蹤落在火焰上，直至火焰撲滅。 本發明具有下列技術效果
1、 通過伺服器和多個子站形成網絡化火災監測與滅火系統，大大增加了火 災監測與滅火的區域，可以實現室外大區域的火災監測與滅火；
2、 通過雙波段CCD攝像機利用雙目視差實現對火焰的定位，提高了火焰空 間定位的準確性，為快速滅火提供條件；
3、 火災的監測與火焰的撲滅集成在一個系統當中，提高了滅火實時性，可 以有效地防止火焰的蔓延；
4、 通過計算機視覺實時監測消防炮水道(落水點)與火焰的相對位置，實現消 防炮的實時閉環控制，提高了水炮滅火的準確性；
5、 利用灰度統計法與軌跡預測法相結合的方法，從消防炮出水口出發，通 過軌跡跟蹤的方法對圖像進行處理找到落水點，克服了通常模式識別方法只能識 別相對固定形狀物體的缺點。為大空間消防炮自動滅火所需要的消防炮的閉環控 制提供了條件。
6、 基於單目視覺技術的火點與落水點相對位置調整的消防炮控制方法通過
對俯仰角和水平角按序分別多次控制的方法解決了利用二維圖像實現三維空間 中火點與落水點相對位置調整的問題，使得消防炮落水點能夠實時跟蹤火點位置
的變化，為大空間自動滅火提供條件。


圖1火災智能探測與撲滅系統總體流程圖。
圖2雙目成像示意圖與x-z平面投影圖。圖2 (a)是雙目成像示意圖，圖2 (b)是x-z平面投影圖。
圖3水道、火點相對位置示意簡圖。 圖4水炮俯仰角控制完成後水道、火點位置示意簡圖。
圖中標號名稱l.模擬火點；2.模擬消防炮水道曲線；3.初始水道落水點；4. 水道直線距離；5.水道起始點到火點距離；6.消防炮俯仰角調整後水道曲線；7.消防炮俯仰角調整後落水點；8.消防炮水平角調整方向；9.消防炮俯仰角調整後起 始點到火點距離。
具體實施例方式
火災的監測與消防滅火這兩部分均屬於消防的範疇，並且相互之間是相關聯 的。因此，本發明利用計算機視覺技術將兩者集成為一個系統，實現消防滅火的 閉環控制，實現智能化的火災監測與滅火。
系統由一臺計算機和若干子站組成，由計算機實現集中式管理與分布式控 制。計算機和子站之間通過總線(或網絡)連接，實現信息的共享。子站的數量和 位置根據火災監測區域的面積和區域內物體(如設備等)本身的特點，以及易起 火點重點防火區域的位置。對於重點防火區域也可以根據需要增加子站。每個子 站以MPU嵌入式模塊為控制中心，具有自主控制能力。每個子站可由一對雙波 段CCD攝像機、 一個可控制消防炮、 一個可控制雲臺和一個嵌入式控制模塊組 成。其中雙波段CCD攝像機對包括一個紅外攝像機(由普通CCD攝像機+紅外 濾光片)和一個普通CCD攝像機組成。雙波段攝像機安裝在可控制雲臺上。基 於MPU的嵌入式子站控制模塊(以下簡稱子站控制模塊)主要負責控制兩個攝 像機、控制雲臺、視頻採集、圖{象分析、消防炮控制以及與伺服器的通訊，執行 上位機伺服器的指令等工作。
火災的監測主要在子站控制模塊的自主控制下完成。子站控制模塊進行火災
監測的步驟為1、控制雲臺移動，紅外攝像機對其可視區域進行掃描；2、控制
視頻採集晶片進行紅外圖像的實時採集和分析，通過閾值分割的方法快速提取疑
似火點；3、 一旦發現疑似火點，通過火焰的顏色分布特性、火焰變化特性、火 焰面積蔓延增長特性、火焰的形體變化特性、火焰的邊緣變化特性進一步進行火 焰的判定；4、在確認有火焰存在的情況下，啟動另一臺CCD普通攝像機。雙波 段攝像機對通過雙目視差技術，對火焰進行空間位置的估計。
控制模塊將發現火焰報警信息、火焰面積以及空間位置信息通過總線上傳給
伺服器，伺服器經過分析，自動制定消防方案。並實現下列操作1、啟動聯動 電話報警；2、將起火信息以及起火點位置信息發送給所有子站，使各子站增加 火焰掃描密度與頻率；3、根據制定的消防方案，將發現火焰的子站以及火焰周
7圍消防炮所屬控制的子站形成滅火小組，實現集中式的管理與分布式的控制。
滅火小組子站在伺服器的集中管理模式下對消防炮出水角度進行閉環控制。 各子站根據火焰的空間位置信息預設消防炮出水角度，啟動消防炮噴水。子站分 析監測圖像中各水道落水點與火焰的相對位置，利用單目視覺定位的消防水道跟 蹤火焰控制方法實時調整消防炮控制角度，實現消防炮對火焰的跟蹤撲滅。
系統的總體流程圖如圖l所示。各個子站實現實時火災監測。若發現火情， 由伺服器制定滅火方案，指定滅火子站。滅火子站對消防炮進行閉環控制，實現 消防炮水道落水點對火焰的跟蹤，實現自動滅火。其中的關鍵技術有 一、火災監測與定位
火災的監測主要通過子站控制模塊控制雲臺帶動紅外攝像機移動，紅外攝像 機對其可視區域進行掃描。子站控制模塊再控制視頻採集晶片進行紅外圖像的實 時採集和分析。通過閾值分割的方法快速提取疑似火點。 一旦發現疑似火點，進 一步確定是否為火焰，(見專利200810124425)，具體步驟為(1)對紅外圖像
根據火焰紅外圖像的紅色分量突出的原理，利用計算機系統對紅外圖像進行基於 紅色分量的灰度化處理，並取火焰參考灰度值作為閾值，對圖像進行二值化閾值
分割，提取疑似圖像並進行濾波處理；(2)利用計算機系統對疑似圖像進一步分
析，獲得火焰的顏色分布特徵判據、火焰圖像變化特性判據、火焰面積蔓延增長
特'性判據、火焰圖像圓形度判據、火焰的形體變化特徵判據五個判據；(3)利用 神經網絡以判據1 判據5為輸入，綜合進行判斷，得到是否火災的最終判斷。 在確認有火焰存在的情況下，啟動另一臺普通CCD攝像機。由紅外攝像機和普 通CCD攝像機組成的一對雙波段攝像機通過雙目立體視覺測距技術，對火焰進 行空間位置的估計。
雙目立體視覺測距技術是模擬生物用兩個眼睛同時觀察物體時，會有深度或 遠近的感覺來實現立體空間深度的測量。根據深度知覺計算假說，人的深度知覺 能力是由視差比較計算而生成的，而視差的計算是基於左、右兩個半腦所得到的 兩眼視網膜的二維投影圖像信息而實施的。立體視覺正是基於深度知覺計算假 說，從兩個或多個視點去觀察同一場景，獲得在不同視角下的一組圖像，然後通 過不同圖像中對應像素間的視差，推斷出場景中目標物體的位置。
雙目成像示意圖如圖2所示，圖2(a)中空間點f(&，^,^)在從不同位置所獲取的兩幅圖像上的投影點分別為S和^，左右攝像機焦點中心線的連線是設為:c
軸，ij和^在x軸上的投影分別為;v和;^。兩攝像機的光軸平行，並位於X-Z
平面上。在這種條件下，攝像機被稱為平行對準狀態。z軸與兩架攝像機的光軸 平行，兩攝像機的焦距為/，它們之間的距離是"。
圖2(b)是P點在平面上的投影圖，在圖中所示的坐標系中，空間點
/>(&,^，。在w平面上的投影坐標為(&,^)，它在左右圖像上的圖像坐標為
(~，>V)，可見有如下關係
formula see original document page 9
則雙目立體視覺測得物體離攝像機的深度距離為；-/
物體在X、 ^軸方向上的投影分別為
% = 1 (3)
利用式(l) ~ (3)即可實現火災的空間定位。
二、消防炮軌跡與落水點確認
本發明的自動滅火系統是以消防炮落水點與火焰的相對位置為依據對消防 炮進行實時閉環控制的。因此，落水點的定位精度直接影響到滅火的準確性。但
是通過CCD攝像機獲得的消防炮的落水點圖像受到背景圖像的影響，並且濺起 水花受到多種不確定因素的影響。因此落水點圖像難以用通常的圖像模式識別的 方法進行識別判斷。
由於消防炮的安裝位置是固定的，因此，消防炮在CCD攝像機獲得的圖像 中的位置是已知的。本發明提出從水道起點即消防炮位置出發，利用水道跟蹤的 方法進行落水點識別。那麼消防炮軌跡的確定實質上是根據水道起點，尋找水道 軌跡以及軌跡終止點即落水點的問題。
同樣，水道圖像受到風向、消防炮噴水角度、水炮壓力等因素的影響，其水道圖像形狀也具有很大的不確定性。同時，水道的灰度值會受到光照和拍攝角度 的影響，變化非常大。因此，單純利用閾值分割的方法也難以獲得水道。但是， 實際上從視覺上從獲得的CCD圖像中能夠看出水道部分和背景圖像具有明顯的 邊界。
水道跟蹤法以消防炮位置出發，沿出水方向，對圖像像素列逐列掃描，尋找 每像素列水道軌跡中心點。再將所有列的水道中心點連接成水道曲線，以水道曲 線終止位置確定為水道落水點位置。因此，水道識別的關鍵在於圖像的每個像素 列對於水道圖像的尋找。本發明在水道搜尋中利用灰度值統計法和軌跡預測兩個 方法相結合進行判定。先利用已確定水道軌跡通過灰度值統計的方法找到下個列 中水道位置，再由已確定的水道軌跡預測該列水道的預測位置。若該列的水道預 測位置與搜尋位置在一定的誤差範圍內，則確定該列水道，否則放棄該列水道位 置，以同樣的方法搜尋下一列水道軌跡位置。若連續10列不能確定水道則認為
水道軌跡終止。
假設已確定f個水道軌跡點，軌跡中心點像素坐標分別是(^力) (;cwO，第z' 像素列的中心點灰度為G,，水道寬度為&則灰度統計法尋找和軌跡預測法預測 下一個軌跡中心點的方法為
1、灰度統計法
根據第/列軌跡中心點的信息對第Z+l列進行掃描，讀取像素點坐標為 fe+l化fci/2) "+l，為+Ai/2)的灰度值分別為G(;c,+1,乂-&/2)， G(jc,+1,乂-^/2+1)，… G(x,'+l，》+^/2)。
找到第/+1列灰度的最大值為
Mx(G(Xi +1^-V2)雄、/2+1),..雄+1,^ +夂/2-1)雄+夂/2))， 以及最大值點對應的坐標為".+1,乂+1)。為了確定水道在/+1列上的寬度，以 為中心，向兩個方向，即(&，;^)口 (Xw,L-V2—10)以及 0,.+1,;;,.+1)0(《.+1,^.+1+4/2 + 10)尋找灰度突變點，即水道的邊界。由於水道， 是漸變的，因此在第Z+1列上，從(x,^j^)向y的兩個方向上灰度是遞減的，當
到水道邊界時灰度值會出現突變，即為水道邊界。
以_y 正方向為例，即3附l，附le(j^,u《+10],附leZ ， 從(x,十Uw+l) (x,+u附w)已逐一判斷非邊界點，當；w滿足
formula see original document page 11
則確定(X,W^/)為/+1像素列的上邊界，同理確定下邊界為(X,+u)W)。則第&1列
上的寬度為w2-wl。 2、軌跡預測法
己確定/個水道軌跡點，軌跡中心點像素坐標分別是(XiW卜Oo,)，利用這/ 個點通過最小二乘法進行水道的曲線擬合，將x,w帶入擬合曲線，得到第/+1個 點的水道軌跡預測值乂+1。
三、基於單目圖像的消防炮控制
當系統發現火災，啟動消防炮後，水炮噴射的水道軌跡是否能夠打到起火點 上對於滅火的效率至關重要。本發明根據圖像獲取的火焰與水道落水點的相對位 置來調節消防炮，直至兩者重合。
當發現火點後，根據雙波段攝像機的圖像利用雙目視差原理獲取的火焰的深 度距離信息，設置消防炮初始參數進行噴射。普通CCD相機獲取的圖像同時兼 有火焰和7(C道的圖像。然而普通CCD攝像機獲得的圖像是二維圖像，而它反應 的卻是三維空間。由二維圖像無法明確判斷三維空間中水道落水點和火焰的明確 相對位置。從圖像上反映的水道落實點與火焰的位置來看，消防炮俯仰角的控制 是明確的。但是，其水平角的控制是難以確定的，如圖3所示。
因此，本發明提出將消防炮的控制分兩步完成，先完成俯仰角的控制，再完 成水平角的控制。如圖3所示，根據4.水道直線距離與5.水道起始點到火點距離
的大小來實現俯仰角的調節。設置誤差允許範圍&，當《-《>0且|《-《|>&, 則俯仰角控制往上，當《-《&，則俯仰角控制往下。
當俯仰角調整完成後，落水點和火焰位置與水炮安裝點可視為等距離的情 況，即圖4中5.水道起始點到火點距離《與9.消防泡俯仰角調整後起始點到火
點距離《'近似相等。則從二維圖片將兩者在水平方向上的相對位置明確化，如圖4所示。根據圖4中e角的大小控制消防炮水平方向。設置角度誤差允許範圍 A,當"0棒&，則水平角向逆時針方向控制；當"0刺>&，則水平角向順時針方向控制。
權利要求
1、一種基於計算機視覺技術的火災智能探測、撲滅方法，其特徵在於包括以下步驟(1)、利用子站控制模塊進行火災監測控制雲臺移動，帶動紅外攝像機移動，並對其可視區域進行掃描；控制視頻採集晶片進行紅外圖像的實時採集和分析，通過閾值分割的方法快速提取疑似火點；對疑似火點，通過火焰的顏色分布特性、火焰變化特性、火焰面積蔓延增長特性、火焰的形體變化特性、火焰的邊緣變化特性進一步進行火焰的判定；(2)、在確認有火焰存在的情況下，通過雙目視差技術，對火焰進行空間位置的估計；(3)、根據消防炮開啟規則，確定所開啟的消防水炮；(4)利用計算機視覺技術或圖像處理技術得到消防炮噴射水柱末端在CCD圖像中的位置，即落水點位置；(5)根據CCD圖像上落水點和火焰相對位置，調整消防炮，實現對消防炮的閉環控制進行滅火；(6)、根據監測圖像，判定滅火完畢，關閉消防炮。
2、 一種基於計算機視覺技術的火災智能探測、撲滅系統，其特徵在於包 括伺服器、與伺服器通過總線連接成網絡形式的若干子站，子站包括消防炮、 能夠根據消防炮水道落水點與火焰的相對位置偏差調整消防炮出水角度的嵌入 式控制模塊、可控制雲臺、安裝於可控制雲臺上的一對用於火焰及消防水道監測 與定位的雙波段CCD癍像機。
全文摘要
本發明涉及一種基於計算機視覺技術的火災智能探測、撲滅方法及系統，屬於火災監測及自動滅火技術領域。該方法包括以下步驟(1)利用子站控制模塊進行火災監測(2)在確認有火焰存在的情況下，通過雙目視差技術，對火焰進行空間位置的估計；(3)根據消防炮開啟規則，確定所開啟的消防水炮；(4)利用計算機視覺技術或圖像處理技術得到消防炮噴射水柱末端位置，即落水點位置；(5)根據落水點和火焰相對位置，調整消防炮，實現對消防炮的閉環控制進行滅火；(6)根據監測圖像，判定滅火完畢，關閉消防炮。本發明方法及系統能實現室外大空間火災的實時監測和自動撲滅。
文檔編號A62C31/00GK101574567SQ20091003303
公開日2009年11月11日 申請日期2009年6月8日 優先權日2009年6月8日
發明者敏 姚, 敏 趙 申請人:南京航空航天大學