基於CAFS系統的電動消防車的製作方法
2023-10-21 04:37:34 4
基於cafs系統的電動消防車
技術領域
1.本技術涉及電動巡邏消防車領域，且更為具體地，涉及一種基於cafs系統的電動消防車。
背景技術：
2.常見的消防車種類包括水罐消防車、泡沫消防車、泵浦消防車、登高平臺消防車、雲梯消防車等。現在社區內往往不會直接配備消防車，而在火情發現初期，火勢較小，此時是滅火最佳時機，社區內雖有較多的巡邏車，但卻又不具備滅火功能。因此，期待一種具有消防功能的電動巡邏消防車。
3.同時，考慮到在小區的場景中，會發生各種各樣的火情，針對不同類型的火情產生適配的消防液是另一個對於具有消防功能的電動巡邏車的功能配置需求。
技術實現要素：
4.為了解決上述技術問題，提出了本技術。本技術的實施例提供了一種基於cafs系統的電動消防車，其中，所述電動消防車包括消防車主體、部署於所述消防車主體的cafs系統和部署於所述消防車主體的火情偵測系統。具體地，基於圖像分析和處理來判斷是否具有火情並通過監控圖像來判斷火情的類型，繼而可基於圖像分析結果來生成cafs系統的控制指令，所述控制指令用於控制泡沫濃縮液的量。
5.相應地，根據本技術的一個方面，提供了一種基於cafs系統的電動消防車，其包括：
6.消防車主體；
7.部署於所述消防車主體的cafs系統；以及
8.部署於所述消防車主體的火情偵測系統。
9.在上述基於cafs系統的電動消防車中，所述火情偵測系統，包括：火情數據採集模塊，用於獲取由熱紅外攝像頭和常規攝像頭採集的火情區域的rgb圖像和熱紅外圖像；源域聚合模塊，用於將所述火情區域的所述rgb圖像和所述熱紅外圖像沿著通道維度進行聚合以得到多通道圖像；第一特徵提取模塊，用於將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第一特徵圖；第二特徵提取模塊，用於將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖；特徵融合模塊，用於融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖；特徵調製模塊，用於對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖；偵測結果生成模塊，用於將所述校正後分類特徵圖通過分類器以得到分類結果，所述分類結果用於表示是否增大泡沫濃縮液的量；以及，控制指令生成模塊，用於基於所述分類結果，生成cafs系統控制指令，所述cafs系統控制指令用於控制泡沫濃縮液的量。
10.在上述基於cafs系統的電動消防車中，所述的cafs系統，進一步用於從所述火情偵測系統接收所述cafs系統控制指令，並基於所述cafs系統控制指令來控制所述泡沫濃縮
液的量。
11.在上述基於cafs系統的電動消防車中，所述第一特徵提取模塊，進一步用於：使用所述第一卷積神經網絡模型的卷積編碼部分對所述多通道圖像進行深度卷積編碼以得到初始卷積特徵圖；將所述初始卷積特徵圖輸入所述第一卷積神經網絡模型的空間注意力部分以得到空間注意力圖；將所述空間注意力圖通過softmax激活函數以得到空間注意力特徵圖；以及，計算所述空間注意力特徵圖和所述初始卷積特徵圖的按位置點乘以得到所述第一特徵圖。
12.在上述基於cafs系統的電動消防車中，所述第二特徵提取模塊，進一步用於：使用所述第二卷積神經網絡模型的各層在層的正向傳遞中對輸入數據進行：對所述輸入數據進行基於卷積核的卷積處理以生成卷積特徵圖；對所述卷積特徵圖進行池化處理以生成池化特徵圖；對所述池化特徵圖進行激活處理以生成激活特徵圖；計算所述激活特徵圖的沿通道維度的各個特徵矩陣的全局均值以獲得通道特徵向量；計算所述通道特徵向量中各個位置的特徵值相對於所述通道特徵向量的所有位置的特徵值的加權和的比值以獲得通道加權特徵向量；以及，以所述通道加權特徵向量的各個位置的特徵值作為權重對所述激活特徵圖的沿通道維度的特徵矩陣進行點乘以獲得生成特徵圖；其中，所述第二卷積神經網絡模型的最後一層輸出的所述生成特徵圖為所述第二特徵圖。
13.在上述基於cafs系統的電動消防車中，所述特徵融合模塊，進一步用於將所述第一特徵圖和所述第二特徵圖沿著通道維度進行級聯以得到所述分類特徵圖。
14.在上述基於cafs系統的電動消防車中，所述特徵調製模塊，進一步用於：以如下公式對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖；其中，所述公式為：
[0015][0016]
其中，fi是所述分類特徵圖的預定特徵值，fj是所述分類特徵圖的所述預定特徵值以外的其它特徵值，且是所述分類特徵圖的所有特徵值的均值，且n是所述分類特徵圖的尺度，即寬度乘以高度乘以通道數，fi′
是所述校正後分類特徵圖。
[0017]
在上述基於cafs系統的電動消防車中，所述偵測結果生成模塊，包括：展開單元，用於將所述校正後分類特徵圖中各個校正後分類特徵矩陣按照行向量或者列向量展開為一維特徵向量後進行級聯以得到分類特徵向量；全連接編碼單元，用於使用所述分類器的全連接層對所述分類特徵向量進行全連接編碼以得到編碼分類特徵向量；以及，分類結果生成單元，用於將所述編碼分類特徵向量輸入所述分類器的softmax分類函數以得到所述分類結果。
[0018]
根據本技術的另一方面，還提供了一種基於cafs系統的電動消防車的火情偵測方法，其包括：
[0019]
獲取由熱紅外攝像頭和常規攝像頭採集的火情區域的rgb圖像和熱紅外圖像；
[0020]
將所述火情區域的所述rgb圖像和所述熱紅外圖像沿著通道維度進行聚合以得到多通道圖像；
[0021]
將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第一特徵圖；
[0022]
將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖；
[0023]
融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖；
[0024]
對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖；
[0025]
將所述校正後分類特徵圖通過分類器以得到分類結果，所述分類結果用於表示是否增大泡沫濃縮液的量；以及
[0026]
基於所述分類結果，生成cafs系統控制指令，所述cafs系統控制指令用於控制泡沫濃縮液的量。
[0027]
在上述基於cafs系統的電動消防車的火情偵測方法中，所述將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第一特徵圖，包括：使用所述第一卷積神經網絡模型的卷積編碼部分對所述多通道圖像進行深度卷積編碼以得到初始卷積特徵圖；將所述初始卷積特徵圖輸入所述第一卷積神經網絡模型的空間注意力部分以得到空間注意力圖；將所述空間注意力圖通過softmax激活函數以得到空間注意力特徵圖；以及，計算所述空間注意力特徵圖和所述初始卷積特徵圖的按位置點乘以得到所述第一特徵圖。
[0028]
在上述基於cafs系統的電動消防車的火情偵測方法中，所述將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖，包括：使用所述第二卷積神經網絡模型的各層在層的正向傳遞中對輸入數據進行：對所述輸入數據進行基於卷積核的卷積處理以生成卷積特徵圖；對所述卷積特徵圖進行池化處理以生成池化特徵圖；對所述池化特徵圖進行激活處理以生成激活特徵圖；計算所述激活特徵圖的沿通道維度的各個特徵矩陣的全局均值以獲得通道特徵向量；計算所述通道特徵向量中各個位置的特徵值相對於所述通道特徵向量的所有位置的特徵值的加權和的比值以獲得通道加權特徵向量；以及，以所述通道加權特徵向量的各個位置的特徵值作為權重對所述激活特徵圖的沿通道維度的特徵矩陣進行點乘以獲得生成特徵圖；其中，所述第二卷積神經網絡模型的最後一層輸出的所述生成特徵圖為所述第二特徵圖。
[0029]
在上述基於cafs系統的電動消防車的火情偵測方法中，所述融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖，包括將所述第一特徵圖和所述第二特徵圖沿著通道維度進行級聯以得到所述分類特徵圖。
[0030]
在上述基於cafs系統的電動消防車的火情偵測方法中，所述對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖，包括：以如下公式對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖；其中，所述公式為：
[0031][0032]
其中，fi是所述分類特徵圖的預定特徵值，fj是所述分類特徵圖的所述預定特徵值以外的其它特徵值，且是所述分類特徵圖的所有特徵值的均值，且n是所述分類特徵圖的尺度，即寬度乘以高度乘以通道數，fi′
是所述校正後分類特徵圖。
[0033]
在上述基於cafs系統的電動消防車的火情偵測方法中，所述將所述校正後分類特徵圖通過分類器以得到分類結果，所述分類結果用於表示是否增大泡沫濃縮液的量，包括：
將所述校正後分類特徵圖中各個校正後分類特徵矩陣按照行向量或者列向量展開為一維特徵向量後進行級聯以得到分類特徵向量；使用所述分類器的全連接層對所述分類特徵向量進行全連接編碼以得到編碼分類特徵向量；以及，將所述編碼分類特徵向量輸入所述分類器的softmax分類函數以得到所述分類結果。
[0034]
與現有技術相比，本技術提供的基於cafs系統的電動消防車，其中，所述電動消防車包括消防車主體、部署於所述消防車主體的cafs系統和部署於所述消防車主體的火情偵測系統。具體地，基於圖像分析和處理來判斷是否具有火情並通過監控圖像來判斷火情的類型，繼而可基於圖像分析結果來生成cafs系統的控制指令，所述控制指令用於控制泡沫濃縮液的量。
附圖說明
[0035]
通過結合附圖對本技術實施例進行更詳細的描述，本技術的上述以及其他目的、特徵和優勢將變得更加明顯。附圖用來提供對本技術實施例的進一步理解，並且構成說明書的一部分，與本技術實施例一起用於解釋本技術，並不構成對本技術的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。
[0036]
圖1為根據本技術實施例的基於cafs系統的電動消防車的框圖。
[0037]
圖2為根據本技術實施例的基於cafs系統的電動消防車中cafs系統的示意圖。
[0038]
圖3為根據本技術實施例的基於cafs系統的電動消防車中火情偵測系統的應用場景圖。
[0039]
圖4為根據本技術實施例的基於cafs系統的電動消防車中火情偵測系統的框圖。
[0040]
圖5為根據本技術實施例的基於cafs系統的電動消防車中火情偵測系統的架構示意圖。
[0041]
圖6為根據本技術實施例的基於cafs系統的電動消防車的火情偵測方法的流程圖。
具體實施方式
[0042]
下面，將參考附圖詳細地描述根據本技術的示例實施例。顯然，所描述的實施例僅僅是本技術的一部分實施例，而不是本技術的全部實施例，應理解，本技術不受這裡描述的示例實施例的限制。
[0043]
申請概述
[0044]
如上述背景技術所言，在社區內往往不會直接配備消防車，而在火情發現初期，火勢較小，此時是滅火最佳時機，社區內雖有較多的巡邏車，但卻又不具備滅火功能。因此，期待一種具有消防功能的電動巡邏消防車。同時，考慮到在小區的場景中，會發生各種各樣的火情，針對不同類型的火情產生適配的消防液是另一個對於具有消防功能的電動巡邏消防車的功能配置需求。
[0045]
具體地，在本技術的技術方案中，對傳統的用於小區巡邏的電動巡邏車(或者稱為電動巡航車)進行改造，以將cafs系統和火情偵測系統集成於所述電動巡邏車以製得基於cafs系統的電動巡航消防車。
[0046]
cafs系統表示壓縮空氣泡沫系統(compressairfoam system，cafs)，cafs系統以
其獨特的優勢取代空氣泡沫滅火，成為世界各國普遍關注並感興趣的新技術。cafs系統利用混合室和水帶內氣、液湍流的摩擦作用來產生精細泡沫。用這種方法產生的泡沫既細小又均勻。在cafs系統中,90％以上的泡沫液轉變為泡沫氣泡。排放裝置所需配備的只有一個球閥和一支直流水槍。精細泡沫一離開水帶線路的最後一段即可用來滅火。調節進入排放處的水、空氣和泡沫濃縮液的量就可以改變精細泡沫的發泡倍數,用於不同的滅火目的。
[0047]
而所述火情偵測系統則通過機器視覺方案來判斷巡邏小區內是否具有火情以及火情的類型。應可以理解，判斷是否具有火情，就基於此來智能地啟動cafs系統，而判斷所述火情的類型，則可以自適應地調節進入排放處的水、空氣和泡沫濃縮液的量以實現不同的滅火目的。
[0048]
具體地，通過攝像頭來捕捉小區的監控圖像，並基於圖像分析和處理來判斷是否具有火情並通過監控圖像來判斷火情的類型，繼而可基於圖像分析結果來生成cafs系統的控制指令，所述控制指令用於控制泡沫濃縮液的量。但是，在火情偵測的方案構造中，小區內具有多種幹擾對象，例如，紅色的葉子，紅色的塑料帶、因烹飪自然而然產生的霧氣等，這會導致火情偵測的誤判。
[0049]
針對上述技術問題，在本技術的技術方案中，首先在所述電動巡航消防車上同時部署常規攝像頭和熱紅外攝像頭，其中，所述常規攝像頭能夠採集被監測區域的rgb圖像，而所述熱紅外攝像頭則能採集被監測區域的熱紅外圖像(即，溫度分布圖像)；並綜合所述rgb圖像和所述熱紅外圖像來構建火情智能判斷方案，而這可以通過基於深度學習的神經網絡模型+分類器來實現。
[0050]
具體地，通過基於深度學習的神經網絡模型來捕捉輸入圖像中的高維圖像隱含特徵，並以所述分類器確定是否增大泡沫濃縮液的量，也就是，在申請的技術方案中，所述分類器的分類標籤為增大泡沫濃縮液的量、減小泡沫濃縮液的量以及保持泡沫濃縮液的量，通過所述分類器來建立所述高維圖像隱含特徵與上述分類標籤之間的非線性映射關係。
[0051]
在本技術的技術方案中，在得到所述rgb圖像和所述熱紅外圖像後，先將所述rgb圖像和所述熱紅外圖像沿著通道維度進行聚合以得到多通道圖像(4通道圖像)作為神經網絡的輸入，通過這樣的方式，來擴展輸入端的數據寬度從而為深度網絡的特徵提取提供更為豐富的原始素材。
[0052]
接著，將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第一特徵圖。也就是，使用在圖像特徵提取領域具有優異性能表現的卷積神經網絡模型來提取所述rgb圖像和所述熱紅外圖像各自的圖像內語義關聯特徵以及所述rgb圖像和所述熱紅外圖像相對於卷積神經網絡模型的通道維度的圖像間語義關聯特徵。考慮到所述多通道圖像中各個像素點的信息對於最終分類判斷的貢獻度不同，為了使得所述第一特徵圖的特徵在空間維度上的分布更加顯著，將空間注意力機制集成於所述卷積神經網絡模型以得到所述第一卷積神經網絡模型。
[0053]
同時，將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖。也就是，使用與所述第一卷積神經網絡模型並行的第二卷積神經網絡模型對所述多通道圖像進行深度卷積編碼以提取所述rgb圖像和所述熱紅外圖像各自的圖像內語義關聯特徵以及所述rgb圖像和所述熱紅外圖像相對於卷積神經網絡模型的通道維度的圖像間語義關聯特徵。考慮到卷積神經網絡模型的通道維度對應於圖像中的不同對象，為
了使得所述第二特徵圖在各個通道維度的局部特徵具有更高的可鑑別性，在本技術的技術方案中，將通道注意力機制集成於所述卷積神經網絡模型以得到所述第二卷積神經網絡模型。
[0054]
在得到所述第一特徵圖和所述第二特徵圖後，在高維特徵空間中融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖，例如，沿通道維度級聯所述第一特徵圖和所述第二特徵圖以得到所述分類特徵圖。並進一步地將所述分類特徵圖通過分類器以得到用於表示是否增大泡沫濃縮液的量的分類結果。
[0055]
特別地，在本技術的技術方案中，將所述多通道圖像分別通過使用空間注意力機制的第一卷積神經網絡模型和使用通道注意力機制的第二卷積神經網絡模型得到所述第一特徵圖和所述第二特徵圖，可以分別提取所述多通道圖像的強化的圖像內語義關聯特徵和圖像間語義關聯特徵，這樣，進一步通過沿通道維度級聯所述第一特徵圖和所述第二特徵圖，就可以使得得到的所述分類特徵圖充分包含不同維度的語義關聯特徵。
[0056]
但是，由於所述分類特徵圖包含不同維度的語義關聯特徵，這也使得所述分類特徵圖在分類器中展開為特徵向量之後，與所述分類器的權重矩陣之間的擬合負擔重，從而影響所述分類器的訓練速度和分類結果的準確性。
[0057]
因此，優選地進一步對所述分類特徵圖進行類表徵平展化，具體表示為：
[0058][0059]fi
是所述分類特徵圖的預定特徵值，fj是所述分類特徵圖的所述預定特徵值以外的其它特徵值，且是所述分類特徵圖的所有特徵值的均值，且n是所述分類特徵圖的尺度，即寬度乘以高度乘以通道數。
[0060]
這裡，所述特徵圖的類表徵平展化將用於高維特徵空間內的特徵分布的類表徵的有限多面體流形進行平展，同時保持流形的各平面之間的固有距離，並基於空間直觀地避免交叉，其實質上是將該有限多面體流形分解為基於直角面相交和同頂點相交的立方體晶格，從而獲得類平面的平展的「切片」連續性，以增強所述分類特徵圖對於分類器的權重矩陣的擬合性能。這樣，就提升了所述分類特徵圖通過分類器進行分類的訓練速度和分類結果的準確性。也就是，提高cafs系統的消防液控制相對於火情類型的自適應性。
[0061]
基於此，本技術提供了一種基於cafs系統的電動消防車，其包括：消防車主體；部署於所述消防車主體的cafs系統；以及，部署於所述消防車主體的火情偵測系統。
[0062]
在介紹了本技術的基本原理之後，下面將參考附圖來具體介紹本技術的各種非限制性實施例。
[0063]
示例性系統
[0064]
圖1為根據本技術實施例的基於cafs系統的電動消防車的框圖。如圖1所示，根據本技術實施例的基於cafs系統的電動消防車100，包括：消防車主體110；部署於所述消防車主體的cafs系統120；以及，部署於所述消防車主體的火情偵測系統130。
[0065]
如上述背景技術所言，在社區內往往不會直接配備消防車，而在火情發現初期，火勢較小，此時是滅火最佳時機，社區內雖有較多的巡邏車，但卻又不具備滅火功能。因此，期待一種具有消防功能的電動巡邏消防車。同時，考慮到在小區的場景中，會發生各種各樣的
火情，針對不同類型的火情產生適配的消防液是另一個對於具有消防功能的電動巡邏消防車的功能配置需求。具體地，在本技術的技術方案中，對傳統的用於小區巡邏的電動巡邏車(或者稱為電動巡航車)進行改造，以將cafs系統和火情偵測系統集成於所述電動巡邏車以製得基於cafs系統的電動巡航消防車。
[0066]
在上述基於cafs系統的電動消防車100中，所述部署於所述消防車主體100的cafs系統120，是指壓縮空氣泡沫系統(compressairfoam system，cafs)，cafs系統以其獨特的優勢取代空氣泡沫滅火，成為世界各國普遍關注並感興趣的新技術。
[0067]
圖2為根據本技術實施例的基於cafs系統的電動消防車中cafs系統的示意圖。cafs技術利用混合器和水帶內氣、液湍流的摩擦作用來產生精細泡沫。用這種方法產生的泡沫既細小又均勻。在cafs系統中，90％以上的泡沫液轉變為泡沫氣泡。排放裝置所需配備的只有一個球閥和一支直流水槍。精細泡沫一離開水帶線路的最後一段即可用來滅火。調節進入排放處的水、空氣和泡沫濃縮液的量就可以改變精細泡沫的發泡倍數，用於不同的滅火目的。
[0068]
具體地，在本技術實施例中，所述cafs系統，從所述火情偵測系統接收cafs系統控制指令，並基於所述cafs系統控制指令來控制所述泡沫濃縮液的量。
[0069]
在上述基於cafs系統的電動消防車100中，所述部署於所述消防車主體的火情偵測系統130則通過機器視覺方案來判斷巡邏小區內是否具有火情以及火情的類型。應可以理解，判斷是否具有火情，就基於此來智能地啟動cafs系統，而判斷所述火情的類型，則可以自適應地調節進入排放處的水、空氣和泡沫濃縮液的量以實現不同的滅火目的。
[0070]
圖3為根據本技術實施例的基於cafs系統的電動消防車中火情偵測系統的應用場景圖。如圖3所示，在該應用場景中，首先，獲取由熱紅外攝像頭(例如，如圖1中所示意的c1)和常規攝像頭(例如，如圖1中所示意的c2)採集的火情區域的rgb圖像和熱紅外圖像。進而，將所述火情區域的rgb圖像和熱紅外圖像輸入至所述基於cafs系統的電動消防車(例如，如圖1中所示意的v)的數據處理器(例如，如圖1中所示意的p)中，其中，所述數據處理器能夠基於火情偵測算法對所述火情區域的rgb圖像和熱紅外圖像進行處理，以得到用於表示是否增大泡沫濃縮液的量的分類結果，並基於所述分類結果，生成cafs系統控制指令，所述cafs系統控制指令用於控制泡沫濃縮液的量。
[0071]
圖4為根據本技術實施例的基於cafs系統的電動消防車中火情偵測系統的框圖。如圖4所示，根據本技術實施例的基於cafs系統的電動消防車的火情偵測系統130，包括：火情數據採集模塊131，用於獲取由熱紅外攝像頭和常規攝像頭採集的火情區域的rgb圖像和熱紅外圖像；源域聚合模塊132，用於將所述火情區域的所述rgb圖像和所述熱紅外圖像沿著通道維度進行聚合以得到多通道圖像；第一特徵提取模塊133，用於將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第一特徵圖；第二特徵提取模塊134，用於將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖；特徵融合模塊135，用於融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖；特徵調製模塊136，用於對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖；偵測結果生成模塊137，用於將所述校正後分類特徵圖通過分類器以得到分類結果，所述分類結果用於表示是否增大泡沫濃縮液的量；以及，控制指令生成模塊138，用於基於所述分類結果，生成cafs系統控制指令，所述cafs系統控制指令用於控制泡沫濃縮液的量。
[0072]
圖5為根據本技術實施例的基於cafs系統的電動消防車中火情偵測系統的架構示意圖。如圖5所示，在該架構中，首先獲取由熱紅外攝像頭和常規攝像頭採集的火情區域的rgb圖像和熱紅外圖像。接著，將所述火情區域的所述rgb圖像和所述熱紅外圖像沿著通道維度進行聚合以得到多通道圖像。然後，將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第一特徵圖，同時，將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖。進而，融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖。接著，對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖。然後，將所述校正後分類特徵圖通過分類器以得到分類結果，所述分類結果用於表示是否增大泡沫濃縮液的量。進而，基於所述分類結果，生成cafs系統控制指令，所述cafs系統控制指令用於控制泡沫濃縮液的量。
[0073]
在上述基於cafs系統的電動消防車100的火情偵測系統130中，所述火情數據採集模塊131，用於獲取由熱紅外攝像頭和常規攝像頭採集的火情區域的rgb圖像和熱紅外圖像。在本技術的技術方案中，通過攝像頭來捕捉小區的監控圖像，並基於圖像分析和處理來判斷是否具有火情並通過監控圖像來判斷火情的類型，繼而可基於圖像分析結果來生成cafs系統的控制指令，所述控制指令用於控制泡沫濃縮液的量。但是，在火情偵測的方案構造中，小區內具有多種幹擾對象，例如，紅色的葉子，紅色的塑料帶、因烹飪自然而然產生的霧氣等，這會導致火情偵測的誤判。
[0074]
針對上述技術問題，在本技術的技術方案中，首先在所述電動巡航消防車上同時部署常規攝像頭和熱紅外攝像頭，其中，所述常規攝像頭能夠採集被監測區域的rgb圖像，而所述熱紅外攝像頭則能採集被監測區域的熱紅外圖像(即，溫度分布圖像)；並綜合所述rgb圖像和所述熱紅外圖像來構建火情智能判斷方案，而這可以通過基於深度學習的神經網絡模型+分類器來實現。
[0075]
在上述基於cafs系統的電動消防車100的火情偵測系統130中，所述源域聚合模塊132，用於將所述火情區域的所述rgb圖像和所述熱紅外圖像沿著通道維度進行聚合以得到多通道圖像。也就是，在本技術的技術方案中，在得到所述rgb圖像和所述熱紅外圖像後，先將所述rgb圖像和所述熱紅外圖像沿著通道維度進行聚合以得到多通道圖像(4通道圖像)作為神經網絡的輸入，通過這樣的方式，來擴展輸入端的數據寬度從而為深度網絡的特徵提取提供更為豐富的原始素材。
[0076]
在上述基於cafs系統的電動消防車100的火情偵測系統130中，所述第一特徵提取模塊133，用於將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第一特徵圖。也就是，使用在圖像特徵提取領域具有優異性能表現的卷積神經網絡模型來提取所述rgb圖像和所述熱紅外圖像各自的圖像內語義關聯特徵以及所述rgb圖像和所述熱紅外圖像相對於卷積神經網絡模型的通道維度的圖像間語義關聯特徵。考慮到所述多通道圖像中各個像素點的信息對於最終分類判斷的貢獻度不同，為了使得所述第一特徵圖的特徵在空間維度上的分布更加顯著，將空間注意力機制集成於所述卷積神經網絡模型以得到所述第一卷積神經網絡模型。
[0077]
具體地，在本技術實施例中，所述第一特徵提取模塊133，進一步用於：使用所述第一卷積神經網絡模型的卷積編碼部分對所述多通道圖像進行深度卷積編碼以得到初始卷積特徵圖；將所述初始卷積特徵圖輸入所述第一卷積神經網絡模型的空間注意力部分以得
到空間注意力圖；將所述空間注意力圖通過softmax激活函數以得到空間注意力特徵圖；以及，計算所述空間注意力特徵圖和所述初始卷積特徵圖的按位置點乘以得到所述第一特徵圖。
[0078]
在上述基於cafs系統的電動消防車100的火情偵測系統130中，所述第二特徵提取模塊134，用於將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖。也就是，使用與所述第一卷積神經網絡模型並行的第二卷積神經網絡模型對所述多通道圖像進行深度卷積編碼以提取所述rgb圖像和所述熱紅外圖像各自的圖像內語義關聯特徵以及所述rgb圖像和所述熱紅外圖像相對於卷積神經網絡模型的通道維度的圖像間語義關聯特徵。考慮到卷積神經網絡模型的通道維度對應於圖像中的不同對象，為了使得所述第二特徵圖在各個通道維度的局部特徵具有更高的可鑑別性，在本技術的技術方案中，將通道注意力機制集成於所述卷積神經網絡模型以得到所述第二卷積神經網絡模型。
[0079]
具體地，在本技術實施例中，所述第二特徵提取模塊134，進一步用於：使用所述第二卷積神經網絡模型的各層在層的正向傳遞中對輸入數據進行：對所述輸入數據進行基於卷積核的卷積處理以生成卷積特徵圖；對所述卷積特徵圖進行池化處理以生成池化特徵圖；對所述池化特徵圖進行激活處理以生成激活特徵圖；計算所述激活特徵圖的沿通道維度的各個特徵矩陣的全局均值以獲得通道特徵向量；計算所述通道特徵向量中各個位置的特徵值相對於所述通道特徵向量的所有位置的特徵值的加權和的比值以獲得通道加權特徵向量；以及，以所述通道加權特徵向量的各個位置的特徵值作為權重對所述激活特徵圖的沿通道維度的特徵矩陣進行點乘以獲得生成特徵圖；其中，所述第二卷積神經網絡模型的最後一層輸出的所述生成特徵圖為所述第二特徵圖。
[0080]
在上述基於cafs系統的電動消防車100的火情偵測系統130中，所述特徵融合模塊135，用於融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖。也就是，在得到所述第一特徵圖和所述第二特徵圖後，在高維特徵空間中融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖，例如，沿通道維度級聯所述第一特徵圖和所述第二特徵圖以得到所述分類特徵圖。
[0081]
在上述基於cafs系統的電動消防車100的火情偵測系統130中，所述特徵調製模塊136，用於對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖。特別地，在本技術的技術方案中，將所述多通道圖像分別通過使用空間注意力機制的第一卷積神經網絡模型和使用通道注意力機制的第二卷積神經網絡模型得到所述第一特徵圖和所述第二特徵圖，可以分別提取所述多通道圖像的強化的圖像內語義關聯特徵和圖像間語義關聯特徵，這樣，進一步通過沿通道維度級聯所述第一特徵圖和所述第二特徵圖，就可以使得得到的所述分類特徵圖充分包含不同維度的語義關聯特徵。但是，由於所述分類特徵圖包含不同維度的語義關聯特徵，這也使得所述分類特徵圖在分類器中展開為特徵向量之後，與所述分類器的權重矩陣之間的擬合負擔重，從而影響所述分類器的訓練速度和分類結果的準確性。因此，優選地進一步對所述分類特徵圖進行類表徵平展化。
[0082]
具體地，在本技術實施例中，所述特徵調製模塊136，進一步用於：以如下公式對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖；其中，所述公式為：
[0083][0084]
其中，fi是所述分類特徵圖的預定特徵值，fj是所述分類特徵圖的所述預定特徵值以外的其它特徵值，且是所述分類特徵圖的所有特徵值的均值，且n是所述分類特徵圖的尺度，即寬度乘以高度乘以通道數，fi′
是所述校正後分類特徵圖。
[0085]
這裡，所述特徵圖的類表徵平展化將用於高維特徵空間內的特徵分布的類表徵的有限多面體流形進行平展，同時保持流形的各平面之間的固有距離，並基於空間直觀地避免交叉，其實質上是將該有限多面體流形分解為基於直角面相交和同頂點相交的立方體晶格，從而獲得類平面的平展的「切片」連續性，以增強所述分類特徵圖對於分類器的權重矩陣的擬合性能。這樣，就提升了所述分類特徵圖通過分類器進行分類的訓練速度和分類結果的準確性。
[0086]
在上述基於cafs系統的電動消防車100的火情偵測系統130中，所述偵測結果生成模塊137，用於將所述校正後分類特徵圖通過分類器以得到分類結果，所述分類結果用於表示是否增大泡沫濃縮液的量。所述分類器的分類標籤為增大泡沫濃縮液的量、減小泡沫濃縮液的量以及保持泡沫濃縮液的量。這裡，通過所述分類器來建立所述高維圖像隱含特徵與上述分類標籤之間的非線性映射關係。
[0087]
具體地，在本技術實施例中，所述偵測結果生成模塊137，包括：展開單元，用於將所述校正後分類特徵圖中各個校正後分類特徵矩陣按照行向量或者列向量展開為一維特徵向量後進行級聯以得到分類特徵向量；全連接編碼單元，用於使用所述分類器的全連接層對所述分類特徵向量進行全連接編碼以得到編碼分類特徵向量；以及，分類結果生成單元，用於將所述編碼分類特徵向量輸入所述分類器的softmax分類函數以得到所述分類結果。
[0088]
在上述基於cafs系統的電動消防車100的火情偵測系統130中，所述控制指令生成模塊138，用於基於所述分類結果，生成cafs系統控制指令，所述cafs系統控制指令用於控制泡沫濃縮液的量。這樣，通過基於深度學習的神經網絡模型來捕捉輸入圖像中的高維圖像隱含特徵，並以所述分類器確定是否增大泡沫濃縮液的量，進而，提高cafs系統的消防液控制相對於火情類型的自適應性。
[0089]
綜上，基於本技術實施例的基於cafs系統的電動消防車100被闡明，其中，所述電動消防車包括消防車主體、部署於所述消防車主體的cafs系統和部署於所述消防車主體的火情偵測系統。具體地，基於圖像分析和處理來判斷是否具有火情並通過監控圖像來判斷火情的類型，繼而可基於圖像分析結果來生成cafs系統的控制指令，所述控制指令用於控制泡沫濃縮液的量。
[0090]
示例性方法
[0091]
圖6為根據本技術實施例的基於cafs系統的電動消防車的火情偵測方法的流程圖。如圖6所示，根據本技術實施例的基於cafs系統的電動消防車的火情偵測方法，包括：s110，獲取由熱紅外攝像頭和常規攝像頭採集的火情區域的rgb圖像和熱紅外圖像；s120，將所述火情區域的所述rgb圖像和所述熱紅外圖像沿著通道維度進行聚合以得到多通道圖像；s130，將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第
一特徵圖；s140，將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖；s150，融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖；s160，對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖；s170，將所述校正後分類特徵圖通過分類器以得到分類結果，所述分類結果用於表示是否增大泡沫濃縮液的量；以及，s180，基於所述分類結果，生成cafs系統控制指令，所述cafs系統控制指令用於控制泡沫濃縮液的量。
[0092]
在一個示例中，在上述基於cafs系統的電動消防車的火情偵測方法中，所述將所述多通道圖像通過使用空間注意力機制的第一卷積神經網絡模型以得到第一特徵圖，包括：使用所述第一卷積神經網絡模型的卷積編碼部分對所述多通道圖像進行深度卷積編碼以得到初始卷積特徵圖；將所述初始卷積特徵圖輸入所述第一卷積神經網絡模型的空間注意力部分以得到空間注意力圖；將所述空間注意力圖通過softmax激活函數以得到空間注意力特徵圖；以及，計算所述空間注意力特徵圖和所述初始卷積特徵圖的按位置點乘以得到所述第一特徵圖。
[0093]
在一個示例中，在上述基於cafs系統的電動消防車的火情偵測方法中，所述將所述多通道圖像通過使用通道注意力機制的第二卷積神經網絡模型以得到第二特徵圖，包括：使用所述第二卷積神經網絡模型的各層在層的正向傳遞中對輸入數據進行：對所述輸入數據進行基於卷積核的卷積處理以生成卷積特徵圖；對所述卷積特徵圖進行池化處理以生成池化特徵圖；對所述池化特徵圖進行激活處理以生成激活特徵圖；計算所述激活特徵圖的沿通道維度的各個特徵矩陣的全局均值以獲得通道特徵向量；計算所述通道特徵向量中各個位置的特徵值相對於所述通道特徵向量的所有位置的特徵值的加權和的比值以獲得通道加權特徵向量；以及，以所述通道加權特徵向量的各個位置的特徵值作為權重對所述激活特徵圖的沿通道維度的特徵矩陣進行點乘以獲得生成特徵圖；其中，所述第二卷積神經網絡模型的最後一層輸出的所述生成特徵圖為所述第二特徵圖。
[0094]
在一個示例中，在上述基於cafs系統的電動消防車的火情偵測方法中，所述融合所述第一特徵圖和所述第二特徵圖以得到分類特徵圖，包括將所述第一特徵圖和所述第二特徵圖沿著通道維度進行級聯以得到所述分類特徵圖。
[0095]
在一個示例中，在上述基於cafs系統的電動消防車的火情偵測方法中，所述對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖，包括：以如下公式對所述分類特徵圖進行特徵分布調製以得到校正後分類特徵圖；其中，所述公式為：
[0096][0097]
其中，fi是所述分類特徵圖的預定特徵值，fj是所述分類特徵圖的所述預定特徵值以外的其它特徵值，且是所述分類特徵圖的所有特徵值的均值，且n是所述分類特徵圖的尺度，即寬度乘以高度乘以通道數，fi′
是所述校正後分類特徵圖。
[0098]
在一個示例中，在上述基於cafs系統的電動消防車的火情偵測方法中，所述將所述校正後分類特徵圖通過分類器以得到分類結果，所述分類結果用於表示是否增大泡沫濃縮液的量，包括：將所述校正後分類特徵圖中各個校正後分類特徵矩陣按照行向量或者列向量展開為一維特徵向量後進行級聯以得到分類特徵向量；使用所述分類器的全連接層對
所述分類特徵向量進行全連接編碼以得到編碼分類特徵向量；以及，將所述編碼分類特徵向量輸入所述分類器的softmax分類函數以得到所述分類結果。
[0099]
綜上，本技術實施例的基於cafs系統的電動消防車的火情偵測方法被闡明，其中，所述電動消防車包括消防車主體、部署於所述消防車主體的cafs系統和部署於所述消防車主體的火情偵測系統。具體地，基於圖像分析和處理來判斷是否具有火情並通過監控圖像來判斷火情的類型，繼而可基於圖像分析結果來生成cafs系統的控制指令，所述控制指令用於控制泡沫濃縮液的量。
[0100]
以上結合具體實施例描述了本技術的基本原理，但是，需要指出的是，在本技術中提及的優點、優勢、效果等僅是示例而非限制，不能認為這些優點、優勢、效果等是本技術的各個實施例必須具備的。另外，上述公開的具體細節僅是為了示例的作用和便於理解的作用，而非限制，上述細節並不限制本技術為必須採用上述具體的細節來實現。
[0101]
本技術中涉及的器件、裝置、設備、系統的方框圖僅作為例示性的例子並且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領域技術人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設備、系統。諸如「包括」、「包含」、「具有」等等的詞語是開放性詞彙，指「包括但不限於」，且可與其互換使用。這裡所使用的詞彙「或」和「和」指詞彙「和/或」，且可與其互換使用，除非上下文明確指示不是如此。這裡所使用的詞彙「諸如」指詞組「諸如但不限於」，且可與其互換使用。
[0102]
還需要指出的是，在本技術的裝置、設備和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應視為本技術的等效方案。
[0103]
提供所公開的方面的以上描述以使本領域的任何技術人員能夠做出或者使用本技術。對這些方面的各種修改對於本領域技術人員而言是非常顯而易見的，並且在此定義的一般原理可以應用於其他方面而不脫離本技術的範圍。因此，本技術不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特徵一致的最寬範圍。
[0104]
為了例示和描述的目的已經給出了以上描述。此外，此描述不意圖將本技術的實施例限制到在此公開的形式。儘管以上已經討論了多個示例方面和實施例，但是本領域技術人員將認識到其某些變型、修改、改變、添加和子組合。