語義分割模型訓練方法、裝置、計算機設備和存儲介質與流程

2024-04-15 10:48:05 1

1.本技術涉及圖像識別技術領域，特別是涉及一種語義分割模型訓練方法、裝置、計算機設備、存儲介質和電腦程式產品。


背景技術：

2.銀行等金融機構往往需要對申請貸款的項目進行風險分析，如在貸款前進行背景調查，以決定是否給予貸款，避免客戶在貸款之後無法及時償還，給銀行等金融企業帶來直接經濟損失，並在貸款後實時監測貸款項目的情況，以及時止損。
3.通常業務人員通過對比不同時期貸款項目的圖像來進行貸前背景調查與貸後實時監測，然而在道路維修、農田種植等貸款領域存在偏遠地區背景調查困難、監測數據有效值少的問題，只能獲取少量樣本數據。為了對偏遠地區的貸款項目進行準確監測，通常建立小樣本語義分割模型對少量貸款監測圖像進行分割，獲取目標監測圖像每個像素的掩碼預測結果，從而對圖像進行特徵增強。
4.現有的方案基於原型學習方法，直接從支持圖像中提取類別原型，在匹配查詢圖像中的語義類時往往存在偏差。在僅有少量樣本數據的情況下，通過傳統原型學習的方法建立語義分割模型對貸款監測圖像進行語義分割，分割結果不夠準確。


技術實現要素：

5.基於此，有必要針對上述技術問題，提供一種能夠基於少量貸款監測圖像準確進行語義分割的語義分割模型訓練方法、裝置、計算機設備、計算機可讀存儲介質和電腦程式產品。
6.第一方面，本技術提供了一種語義分割模型訓練方法。所述方法包括：
7.獲取訓練任務，訓練任務均包括至少一種圖像類型的樣本圖像集，樣本圖像集中包括至少一個樣本支持圖像和至少一個樣本查詢圖像；
8.基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量；
9.基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，樣本圖像為樣本支持圖像或者樣本查詢圖像；
10.基於各圖像類型的樣本支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第一損失函數，基於各圖像類型的樣本查詢圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第二損失函數；
11.基於第一損失函數和第二損失函數，構建目標損失函數，基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。
12.在其中一個實施例中，基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量，包括：針對當前圖像類型的各樣本支持圖像，
提取各樣本支持圖像的多通道特徵圖；基於各樣本支持圖像的多通道特徵圖和各樣本支持圖像對應的掩碼標籤，獲取各樣本支持圖像對應的類原型向量；對各樣本支持圖像對應的類原型向量進行整合，獲得當前圖像類型對應的類原型向量。
13.在其中一個實施例中，基於各樣本支持圖像的多通道特徵圖和各樣本支持圖像對應的掩碼標籤，獲取各樣本支持圖像對應的類原型向量，包括：針對當前圖像類型的當前樣本支持圖像，對當前樣本支持圖像的多通道特徵圖作上採樣處理，基於當前樣本支持圖像對應的掩碼標籤，提取多個通道的上採樣處理結果中處於掩碼標籤對應的第一掩碼區域內的第一前景特徵圖；基於每一通道的第一前景特徵圖，獲取每一通道的第一類原型特徵，並基於每一通道的第一類原型特徵，構建當前樣本支持圖像對應的第一類原型向量；對當前樣本支持圖像對應的掩碼標籤作下採樣處理，基於下採樣結果，提取當前樣本支持圖像的多通道特徵圖中處於下採樣結果對應的第二掩碼區域內的第二前景特徵圖；基於每一通道的第二前景特徵圖，獲取每一通道的第二類原型特徵，並基於每一通道的第二類原型特徵，構建當前樣本支持圖像對應的第二類原型向量；對第一類原型向量和第二類原型向量進行整合，獲得當前樣本支持圖像對應的類原型向量。
14.在其中一個實施例中，樣本圖像為樣本支持圖像；基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，包括：針對當前圖像類型的當前樣本支持圖像，提取當前樣本支持圖像的多通道特徵圖；基於當前圖像類型的類原型向量，獲取當前樣本支持圖像的相似度特徵圖，相似度特徵圖用於表徵當前樣本支持圖像的多通道特徵圖和當前圖像類型的類原型向量間的相似程度；基於相似度特徵圖對當前樣本支持圖像的多通道特徵圖作特徵增強處理，獲得增強特徵；對增強特徵作空洞空間卷積池化處理，對處理結果進行卷積分類處理，獲得當前樣本支持圖像對應的掩碼預測結果。
15.在其中一個實施例中，樣本圖像為樣本查詢圖像；基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，包括：針對當前圖像類型的當前樣本查詢圖像，提取當前樣本查詢圖像的多通道特徵圖，並提取各圖像類型的各樣本支持圖像的多通道特徵圖；對各圖像類型的各樣本支持圖像對應的掩碼標籤作下採樣處理，基於各圖像類型的各樣本支持圖像對應的下採樣結果，提取各圖像類型的各樣本支持圖像對應的前景特徵圖；基於當前樣本查詢圖像的多通道特徵圖和各圖像類型的各樣本支持圖像對應的前景特徵圖，作注意力引導處理，獲得注意力引導處理結果；基於各圖像類型的類原型向量，獲取當前樣本查詢圖像針對各類原型向量的相似度特徵圖，相似度特徵圖用於表徵當前樣本查詢圖像的多通道特徵圖和相應的類原型向量間的相似程度；基於針對各類原型向量的相似度特徵圖，對當前樣本查詢圖像的多通道特徵圖作特徵增強處理，獲得增強特徵；對增強特徵作空洞空間卷積池化處理，對處理結果進行卷積分類處理，獲得當前樣本查詢圖像對應的掩碼預測結果。
16.在其中一個實施例中，上述語義分割模型訓練方法還包括：在獲得訓練後的語義分割模型之後，獲取待進行語義分割的目標圖像集，目標圖像集對應的目標圖像類型為未參與針對語義分割模型的訓練過程，目標圖像集包括至少一個目標支持圖像和至少一個目標查詢圖像；基於目標支持圖像和目標支持圖像對應的掩碼標籤，確定目標圖像類型對應
的類原型向量；基於目標支持圖像和目標圖像類型對應的類原型向量，通過訓練後的語義分割模型對目標支持圖像進行語義分割，獲得目標支持圖像對應的掩碼預測結果；基於目標支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第三損失函數，基於第三損失函數對訓練後的語義分割模型進行再次訓練；基於再次訓練後的語義分割模型，對目標查詢圖像進行語義分割。
17.在其中一個實施例中，上述語義分割模型訓練方法還包括：樣本圖像集和目標圖像集是對貸款對象進行貸前調查或者貸後監測所拍攝獲取得到的。
18.第二方面，本技術還提供了一種語義分割模型訓練裝置。所述裝置包括：
19.任務獲取模塊，用於獲取訓練任務，訓練任務均包括至少一種圖像類型的樣本圖像集，樣本圖像集中包括至少一個樣本支持圖像和至少一個樣本查詢圖像；
20.原型融合模塊，用於基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量；
21.掩碼預測模塊，用於基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，樣本圖像為樣本支持圖像或者樣本查詢圖像；
22.損失構建模塊，用於基於各圖像類型的樣本支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第一損失函數，基於各圖像類型的樣本查詢圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第二損失函數；
23.模型優化模塊，用於基於第一損失函數和第二損失函數，構建目標損失函數，基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。
24.第三方面，本技術還提供了一種計算機設備。所述計算機設備包括存儲器和處理器，所述存儲器存儲有電腦程式，所述處理器執行所述電腦程式時實現以下步驟：
25.獲取訓練任務，訓練任務均包括至少一種圖像類型的樣本圖像集，樣本圖像集中包括至少一個樣本支持圖像和至少一個樣本查詢圖像；
26.基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量；
27.基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，樣本圖像為樣本支持圖像或者樣本查詢圖像；
28.基於各圖像類型的樣本支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第一損失函數，基於各圖像類型的樣本查詢圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第二損失函數；
29.基於第一損失函數和第二損失函數，構建目標損失函數，基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。
30.第四方面，本技術還提供了一種計算機可讀存儲介質。所述計算機可讀存儲介質，其上存儲有電腦程式，所述電腦程式被處理器執行時實現以下步驟：
31.獲取訓練任務，訓練任務均包括至少一種圖像類型的樣本圖像集，樣本圖像集中包括至少一個樣本支持圖像和至少一個樣本查詢圖像；
32.基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類
型對應的類原型向量；
33.基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，樣本圖像為樣本支持圖像或者樣本查詢圖像；
34.基於各圖像類型的樣本支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第一損失函數，基於各圖像類型的樣本查詢圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第二損失函數；
35.基於第一損失函數和第二損失函數，構建目標損失函數，基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。
36.第五方面，本技術還提供了一種電腦程式產品。所述電腦程式產品，包括電腦程式，該電腦程式被處理器執行時實現以下步驟：
37.獲取訓練任務，訓練任務均包括至少一種圖像類型的樣本圖像集，樣本圖像集中包括至少一個樣本支持圖像和至少一個樣本查詢圖像；
38.基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量；
39.基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，樣本圖像為樣本支持圖像或者樣本查詢圖像；
40.基於各圖像類型的樣本支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第一損失函數，基於各圖像類型的樣本查詢圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第二損失函數；
41.基於第一損失函數和第二損失函數，構建目標損失函數，基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。
42.上述語義分割模型訓練方法、裝置、計算機設備、存儲介質和電腦程式產品，基於訓練任務中的樣本支持圖像以及樣本支持圖像對應的掩碼標籤，獲取各圖像類型對應的類原型向量；基於類原型向量對各樣本圖像進行語義分割，獲得樣本支持圖像對應的掩碼預測結果以及樣本查詢圖像對應的掩碼預測結果；基於樣本支持圖像對應的掩碼預測結果以及樣本查詢圖像對應的掩碼預測結果構建目標損失函數；基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。整個語義分割模型訓練過程僅需少量的訓練樣本，對於每一訓練任務，首先通過樣本支持圖像以及相應的掩碼標籤，獲取這一訓練任務中所有圖像類型對應的類原型向量，然後基於類原型向量對樣本支持圖像與樣本查詢圖像進行分割，最後構建聯合樣本支持圖像損失與樣本查詢圖像損失的目標損失函數，在僅有少量樣本數據的情況下保證了貸款監測圖像語義分割的準確性。整個語義分割模型訓練過程僅需少量的訓練樣本，對於每一訓練任務，首先通過樣本支持圖像以及相應的掩碼標籤，獲取這一訓練任務中所有圖像類型對應的類原型向量，然後基於類原型向量對樣本支持圖像與樣本查詢圖像進行分割，最後構建聯合樣本支持圖像損失與樣本查詢圖像損失的目標損失函數，在僅有少量樣本數據的情況下保證了貸款監測圖像語義分割的準確性。
附圖說明
43.圖1為一個實施例中語義分割模型訓練方法的應用環境圖；
44.圖2為一個實施例中語義分割模型訓練方法的流程示意圖；
45.圖3為一個實施例中獲得掩碼預測結果的流程示意圖；
46.圖4為一個實施例中語義分割模型訓練方法的架構示意圖；
47.圖5為一個實施例中注意力機制的結構圖；
48.圖6為一個實施例中語義分割模型訓練裝置的結構框圖；
49.圖7為一個實施例中計算機設備的內部結構圖。
具體實施方式
50.為了使本技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本技術進行進一步詳細說明。應當理解，此處描述的具體實施例僅僅用以解釋本技術，並不用於限定本技術。
51.本技術實施例提供的語義分割模型訓練方法，可以應用於如圖1所示的應用環境中。其中，終端102通過網絡與伺服器104進行通信。數據存儲系統可以存儲伺服器104需要處理的數據。數據存儲系統可以集成在伺服器104上，也可以放在雲上或其他網絡伺服器上。終端102獲取訓練任務，訓練任務均包括至少一種圖像類型的樣本圖像集，樣本圖像集中包括至少一個樣本支持圖像和至少一個樣本查詢圖像，終端102通過通信網絡將訓練任務發送至伺服器104。
52.伺服器104基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量；基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，樣本圖像為樣本支持圖像或者樣本查詢圖像；基於各圖像類型的樣本支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第一損失函數，基於各圖像類型的樣本查詢圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第二損失函數；基於第一損失函數和第二損失函數，構建目標損失函數，基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型，將訓練後的語義分割模型保存至數據存儲系統。
53.其中，終端102可以但不限於是各種個人計算機、筆記本電腦、智慧型手機和平板電腦等。伺服器104可以用獨立的伺服器或者是多個伺服器組成的伺服器集群來實現。
54.在一個實施例中，如圖2所示，提供了一種語義分割模型訓練方法，以該方法應用於圖1中的伺服器104為例進行說明，包括以下步驟：
55.s100：獲取訓練任務，訓練任務均包括至少一種圖像類型的樣本圖像集，樣本圖像集中包括至少一個樣本支持圖像和至少一個樣本查詢圖像。
56.其中，訓練任務從訓練集中抽取，每個訓練任務至少包括一種圖像類型，每個訓練任務由支持圖像集和查詢圖像集組成，支持圖像集中包括至少一個樣本支持圖像，查詢圖像集中包括至少一個樣本查詢圖像。
57.可選地，從訓練集(ii表示圖像，yi表示圖像對應的分割掩碼，m為訓練集中圖像的數量)中抽取若干訓練任務，每個訓練任務由支持圖像集和查詢圖像集組
成。對於n-way k-shot訓練任務，表示這個訓練任務下有n個類別，每個類別下有k個樣本支持圖像，若每個類別下對應m個樣本查詢圖像，則這個訓練任務下總共有n
×
(k+m)個樣本圖像，將這個訓練任務下的所有樣本圖像以及所有樣本圖像對應的分割掩碼作為語義分割模型的輸入。
58.本實施例中，從訓練集中獲取若干訓練任務，每個訓練任務均由支持圖像集和查詢圖像集組成，將每個訓練任務下的所有樣本圖像以及所有樣本圖像對應的分割掩碼作為語義分割模型的輸入，使語義分割模型通過多個訓練任務學會對新任務下的新圖像類型進行語義分割，通過小樣本學習，在僅有少量樣本數據的情況下提升了貸款監測的準確性。
59.s200：基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量。
60.其中，樣本支持圖像的掩碼可以是標籤為0或1的前景掩碼；類原型向量是指每類樣本支持圖像的原型代表向量。
61.可選地，在語義分割模型訓練階段，將每個訓練任務下的所有樣本支持圖像輸入至特徵提取網絡，獲取樣本支持圖像的深層特徵，將樣本支持圖像的深層特徵輸入至原型融合模塊，通過樣本支持圖像的深層特徵以及樣本支持圖像對應的前景掩碼標籤，獲取樣本支持圖像中每種類別圖像的原型代表向量。
62.本技術採用vgg16網絡的前五層和卷積核大小為3
×
3的卷積層作為特徵提取網絡，其中，卷積核大小為3
×
3的卷積層作為特徵提取網絡的最後一層，其作用是調整樣本支持圖像特徵的維度，減少語義分割模型的參數量。由特徵提取網絡獲取包含樣本支持圖像深層特徵的特徵圖後，通過上採樣的方式使特徵圖的尺寸與樣本支持圖像掩碼的尺寸一致，利用掩碼標籤對特徵圖進行掩碼平均池化操作，得到第一類原型向量。為了避免上採樣操作影響樣本支持圖像前景特徵的完整性，通過下採樣的方式使樣本支持圖像掩碼的尺寸與特徵圖的尺寸一致，再次利用掩碼標籤對特徵圖進行掩碼平均池化操作，得到第二類原型向量。第一類原型向量和第二類原型向量的維度為樣本支持圖像的通道數，對上述第一類原型向量與第二類原型向量求平均，得到最終的原型代表向量作為類原型向量。
63.本實施例中，通過特徵提取網絡提取訓練任務中樣本支持圖像的深層特徵，並將其輸入至原型融合模塊。原型融合模塊通過上採樣的方式，將樣本支持圖像的特徵圖上採樣到和樣本支持圖像掩碼同樣的尺寸大小，通過掩碼平均池化操作獲取第一類原型向量，同時通過下採樣的方式，將樣本支持圖像掩碼下採樣到和樣本支持圖像的特徵圖同樣的尺寸大小，獲取第二類原型向量，對上述第一類原型向量與第二類原型向量求平均，最終得到用於指導查詢圖像分割的類原型向量。整個類原型向量獲取過程，基於改進的原型融合策略，在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
64.s300：基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，樣本圖像為樣本支持圖像或者樣本查詢圖像。
65.語義分割的任務是訓練一個神經網絡來輸出目標圖像每一個像素的掩碼。本技術基於訓練集獲取若干訓練任務，將每個訓練任務下的所有樣本圖像以及所有樣本圖像對應的分割掩碼作為語義分割模型的輸入，通過樣本支持圖像以及樣本支持圖像對應的分割掩碼獲取各圖像類型對應的類原型向量。
66.一方面，通過語義分割模型對各圖像類型的樣本支持圖像進行分割，計算樣本支持圖像的深層特徵與該類別的類原型間的相似性圖，將該相似形圖作用到樣本支持圖像的深層特徵上，以對樣本支持圖像進行特徵增強，後接aspp(atrous spatial pyramid pooling，空洞空間金字塔池化層)與兩個卷積分類層獲取樣本支持圖像的掩碼預測結果；另一方面，通過語義分割模型對各圖像類型的樣本查詢圖像進行分割，計算樣本查詢圖像的深層特徵與該類別的類原型間的相似性圖，將該相似形圖作用到樣本查詢圖像的深層特徵上，以對樣本查詢圖像進行特徵增強，後接與樣本支持圖像分類層共享參數的aspp與兩個卷積分類層，獲取樣本查詢圖像的掩碼預測結果。
67.本實施例中，通過語義分割模型中的支持圖像分類層以及查詢圖像分類層，分別獲取樣本支持圖像和樣本查詢圖像的掩碼預測結果，查詢圖像分類層與支持圖像分類層共享參數，在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
68.s400：基於各圖像類型的樣本支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第一損失函數，基於各圖像類型的樣本查詢圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第二損失函數。
69.可選地，採用交叉熵損失函數計算樣本支持圖像和樣本查詢圖像的預測損失。對於每一訓練任務，構建第一損失函數，將訓練任務中所有樣本支持圖像的預測損失相加，作為樣本支持圖像的預測損失；構建第二損失函數，將訓練任務中所有樣本查詢圖像的預測損失相加，作為樣本查詢圖像的預測損失。
70.本實施例中，構建用于衡量樣本圖像掩碼預測值以及樣本圖像掩碼真值的交叉熵損失函數，以獲取某一訓練任務下，所有樣本支持圖像的預測損失以及所有樣本查詢圖像的預測損失，從而通過多個訓練任務對語義分割模型進行多次更新，在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
71.s500：基於第一損失函數和第二損失函數，構建目標損失函數，基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。
72.其中，目標損失函數用于衡量某一訓練任務下所有樣本支持圖像與樣本查詢圖像的預測損失之和。
73.可選地，基於目標損失函數，計算每一訓練任務中樣本支持圖像的預測損失與樣本查詢圖像的預測損失之和，作為這一訓練任務下語義分割模型的總損失，根據總損失在訓練階段更新整個語義分割模型的參數。具體地，通過計算目標損失函數的極小值，讓樣本掩碼預測結果儘量接近樣本掩碼真實結果，以學習支持圖像分類層和查詢圖像分類層的參數，同時可讓梯度反向傳播到特徵提取網絡，更新特徵提取網絡的參數，以使提取的特徵更有效。在模型訓練階段，每進行一次訓練任務，更新一次模型的參數值，基於所有訓練任務得到訓練後的語義分割模型。
74.本實施例中，在樣本查詢圖像的預測損失基礎上，加入樣本支持圖像的自分割損失，作為每一訓練任務下語義分割模型的總損失，從而在訓練階段實現了原型對齊，在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
75.上述語義分割模型訓練方法，基於訓練任務中的樣本支持圖像以及樣本支持圖像對應的掩碼標籤，獲取各圖像類型對應的類原型向量；基於類原型向量對各樣本圖像進行語義分割，獲得樣本支持圖像對應的掩碼預測結果以及樣本查詢圖像對應的掩碼預測結
果；基於樣本支持圖像對應的掩碼預測結果以及樣本查詢圖像對應的掩碼預測結果構建目標損失函數；基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。整個語義分割模型訓練過程僅需少量的訓練樣本，對於每一訓練任務，首先通過樣本支持圖像以及相應的掩碼標籤，獲取這一訓練任務中所有圖像類型對應的類原型向量，然後基於類原型向量對樣本支持圖像與樣本查詢圖像進行分割，最後構建聯合樣本支持圖像損失與樣本查詢圖像損失的目標損失函數，在僅有少量樣本數據的情況下保證了貸款監測圖像語義分割的準確性。
76.在一個實施例中，基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量，包括：
77.針對當前圖像類型的各樣本支持圖像，提取各樣本支持圖像的多通道特徵圖；
78.基於各樣本支持圖像的多通道特徵圖和各樣本支持圖像對應的掩碼標籤，獲取各樣本支持圖像對應的類原型向量；
79.對各樣本支持圖像對應的類原型向量進行整合，獲得當前圖像類型對應的類原型向量。
80.其中，當前圖像類型指當前用於訓練語義分割模型的樣本類型。
81.在語義分割模型訓練階段，將每個訓練任務下的所有樣本支持圖像ii∈r3×h×w以及其對應的掩碼yi∈{0,1}h×w作為輸入，通過特徵提取網絡提取樣本支持圖像ii的深層特徵，獲取包含樣本深層特徵的特徵圖fi'∈rc×h′×w′
。其中，r3×h×w表示樣本支持圖像的尺寸，3表示樣本支持圖像有三個通道，h和w分別表示樣本支持圖像的高和寬；樣本支持圖像的掩碼為掩碼標籤為0或1的前景掩碼；rc×h′×w′
表示特徵圖的尺寸，c為特徵圖的通道數，h'和w'分別表示特徵圖的高和寬。
82.進一步地，對於當前圖像類型下的每一樣本支持圖像，在獲取包含樣本深層特徵的特徵圖fi'∈rc×
h'
×
w'
後，通過雙線性插值的方式，將特徵圖fi'上採樣到和樣本支持圖像掩碼yi同樣的尺寸大小，特徵圖fi'經調整後變為fi∈rc×h×w。基於fi和yi，通過掩碼平均池化操作獲取第一類原型向量，掩碼平均池化操作的具體步驟為按通道對特徵圖上目標區域的像素求平均，得到第一類原型向量v的第i個元素vi，vi的具體計算方式為：
[0083][0084]
其中，y
x,y
是指樣本支持圖像掩碼的第x行、第y列的位置，f
i,x,y
是指調整後的樣本支持圖像特徵圖第i個通道圖像的第x行、第y列的位置，vi為第一類原型向量v的第i個元素。
[0085]
通常，上述掩碼平均池化操作得到的第一類原型向量作為類別i的原型用於指導查詢圖像的分割，然而上採樣的操作過程會影響對樣本前景特徵提取的完整性，為了獲取豐富的前景特徵，本技術在上採樣操作分支的基礎上，增加下採樣操作分支。對於當前圖像類型下的每一樣本支持圖像，將樣本支持圖像掩碼下採樣到和樣本支持圖像同樣的尺寸大小，同樣基於掩碼平均池化操作獲取第二類原型向量vi'，對上述vi與v對應求平均，最終得到樣本支持圖像用於指導查詢圖像分割的類原型向量v
ave
∈rc×1，其中，rc×1表示樣本支持
圖像的尺寸，類原型向量的維度為樣本支持圖像的通道數c。對各樣本支持圖像對應的類原型向量再次求平均進行整合，獲得當前圖像類型對應的類原型向量v∈rc×1。
[0086]
本實施例中，基於改進的原型融合策略，在傳統的原型學習的基礎上，增加下採樣操作分支用於提高前景特徵提取的完整性，並對當前圖像類型下的每一樣本支持圖像對應的類原型向量求平均進行整合，在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
[0087]
在一個實施例中，基於各樣本支持圖像的多通道特徵圖和各樣本支持圖像對應的掩碼標籤，獲取各樣本支持圖像對應的類原型向量，包括：
[0088]
針對當前圖像類型的當前樣本支持圖像，對當前樣本支持圖像的多通道特徵圖作上採樣處理，基於當前樣本支持圖像對應的掩碼標籤，提取多個通道的上採樣處理結果中處於掩碼標籤對應的第一掩碼區域內的第一前景特徵圖；
[0089]
基於每一通道的第一前景特徵圖，獲取每一通道的第一類原型特徵，並基於每一通道的第一類原型特徵，構建當前樣本支持圖像對應的第一類原型向量；
[0090]
對當前樣本支持圖像對應的掩碼標籤作下採樣處理，基於下採樣結果，提取當前樣本支持圖像的多通道特徵圖中處於下採樣結果對應的第二掩碼區域內的第二前景特徵圖；
[0091]
基於每一通道的第二前景特徵圖，獲取每一通道的第二類原型特徵，並基於每一通道的第二類原型特徵，構建當前樣本支持圖像對應的第二類原型向量；
[0092]
對第一類原型向量和第二類原型向量進行整合，獲得當前樣本支持圖像對應的類原型向量。
[0093]
其中，第一掩碼區域指當前樣本支持圖像對應的掩碼標籤為1的區域；第二掩碼區域指當前樣本支持圖像對應的分割掩碼經下採樣操作後，對應的掩碼標籤為1的區域。
[0094]
本技術基於訓練集獲取若干訓練任務，將每個訓練任務下的所有樣本支持圖像ii∈r3×h×w，以及所有樣本支持圖像對應的分割掩碼yi∈{0,1}h×w作為語義分割模型的輸入，樣本支持圖像ii∈r3×h×w經vgg-16特徵提取網絡提取深層特徵後，獲得樣本支持圖像對應的特徵圖fi'∈rc×h′×w′
。將樣本支持圖像的特徵圖fi'∈rc×h′×w′
以及樣本支持圖像對應的分割掩碼yi∈{0,1}h×w輸入至原型融合模塊提取每個訓練任務下各圖像類型對應的類原型向量v∈rc×1。
[0095]
原型融合模塊通過上採樣操作分支和下採樣操作分支提取各圖像類型對應的類原型向量。在上採樣操作分支中，將樣本支持圖像的多通道特徵圖fi'∈rc×h′×w′
按通道上採樣到和樣本支持圖像掩碼yi∈{0,1}h×w同樣的尺寸大小，按通道提取上採樣處理結果中處於樣本支持圖像掩碼第一掩碼區域內的第一前景特徵圖，從而獲取每一通道的第一類原型特徵，將所有通道的第一類原型特徵求平均，構建當前樣本支持圖像對應的第一類原型向量vi。
[0096]
在下採樣操作分支中，將樣本支持圖像掩碼yi∈{0,1}h×w下採樣到和樣本支持圖像的多通道特徵圖fi'∈rc×h′×w′
同樣的尺寸大小，按通道提取當前樣本支持圖像的多通道特徵圖中處於下採樣結果對應的第二掩碼區域內的第二前景特徵圖，從而獲取每一通道的第二類原型特徵，將所有通道的第二類原型特徵求平均，構建當前樣本支持圖像對應的第二類原型向量vi'。對第一類原型向量vi和第二類原型向量vi'求平均，獲得當前樣本支持圖
像對應的類原型向量。
[0097]
本實施例中，通過上採樣操作分支，獲取當前樣本支持圖像對應的第一類原型向量；通過下採樣操作分支，獲取當前樣本支持圖像對應的第二類原型向量，通過對第一類原型向量和第二類原型向量求平均，獲得當前樣本支持圖像對應的類原型向量，基於改進的原型融合策略，在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
[0098]
在一個實施例中，樣本圖像為樣本支持圖像；基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，包括：
[0099]
針對當前圖像類型的當前樣本支持圖像，提取當前樣本支持圖像的多通道特徵圖；
[0100]
基於當前圖像類型的類原型向量，獲取當前樣本支持圖像的相似度特徵圖，相似度特徵圖用於表徵當前樣本支持圖像的多通道特徵圖和當前圖像類型的類原型向量間的相似程度；
[0101]
基於相似度特徵圖對當前樣本支持圖像的多通道特徵圖作特徵增強處理，獲得增強特徵；
[0102]
對增強特徵作空洞空間卷積池化處理，對處理結果進行卷積分類處理，獲得當前樣本支持圖像對應的掩碼預測結果。
[0103]
對於n-way k-shot訓練任務，表示這個訓練任務下有n個類別，每個類別下有k個樣本支持圖像，對於當前圖像類型下的當前樣本支持圖像，通過vgg-16特徵提取網絡提取包含深層特徵的多通道特徵圖fi'∈rc×h′×w′
，通過原型融合模塊獲取當前樣本支持圖像所屬類型對應的類原型向量v∈rc×1，基於該類原型向量以及當前樣本支持圖像對應的特徵圖fi'，對樣本支持圖像作特徵增強處理。
[0104]
具體地，計算支持圖像ii經過特徵提取模塊得到的特徵圖fi'與該類別的類原型向量v之間的餘弦距離，得到支持圖像和類別原型的相似性圖。其中，相似形圖用於表徵當前樣本支持圖像的深層特徵與對應的類別原型間的關係權重，關係越大對應的權重值越大。將該權重值乘到樣本支持圖像的特徵圖fi'上，得到目標區域增強後的特徵。將目標區域增強後的特徵與特徵提取網絡提取的特徵作相加融合操作，將融合後的特徵輸入至aspp與兩個卷積分類層，從而獲取當前樣本支持圖像的掩碼預測結果。
[0105]
其中，aspp包括四個分支，依次為空洞率為6的3
×
3卷積層、空洞率為12的3
×
3卷積層、空洞率為18的3
×
3卷積層和一個1
×
1卷積層，將四個分支的特徵進行相加得到融合特徵。aspp後接兩個卷積分類層獲取最終的預測掩碼y
ip
，其中第一個卷積的大小為3
×
3，通道數為256，該卷積後添加relu層。最後一個卷積層的卷積核大小為1
×
1，通道數為目標類別數和背景數之和。
[0106]
本實施例中，獲取用於表徵當前樣本支持圖像與對應的類別原型間關係權重的相似形圖，將該相似形圖作用到樣本支持圖像的特徵圖上，得到目標區域增強後的特徵，後續通過aspp與兩個卷積分類層獲取當前樣本支持圖像的掩碼預測結果。將相似形圖充當注意力引導圖，在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
[0107]
在一個實施例中，如圖3所示，樣本圖像為樣本查詢圖像；基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進
行語義分割，獲得各圖像類型的樣本圖像對應的掩碼預測結果，包括：
[0108]
s301：針對當前圖像類型的當前樣本查詢圖像，提取當前樣本查詢圖像的多通道特徵圖，並提取各圖像類型的各樣本支持圖像的多通道特徵圖；
[0109]
s302：對各圖像類型的各樣本支持圖像對應的掩碼標籤作下採樣處理，基於各圖像類型的各樣本支持圖像對應的下採樣結果，提取各圖像類型的各樣本支持圖像對應的前景特徵圖；
[0110]
s303：基於當前樣本查詢圖像的多通道特徵圖和各圖像類型的各樣本支持圖像對應的前景特徵圖，作注意力引導處理，獲得注意力引導處理結果；
[0111]
s304：基於各圖像類型的類原型向量，獲取當前樣本查詢圖像針對各類原型向量的相似度特徵圖，相似度特徵圖用於表徵當前樣本查詢圖像的多通道特徵圖和相應的類原型向量間的相似程度；
[0112]
s305：基於針對各類原型向量的相似度特徵圖，對當前樣本查詢圖像的多通道特徵圖作特徵增強處理，獲得增強特徵；
[0113]
s306：對增強特徵作空洞空間卷積池化處理，對處理結果進行卷積分類處理，獲得當前樣本查詢圖像對應的掩碼預測結果。
[0114]
本技術在n-way k-shot訓練任務的n個類別下設置m個樣本查詢圖像。對於每個訓練任務，通過vgg-16特徵提取網絡提取當前樣本查詢圖像的多通道特徵圖、以及訓練任務下各圖像類型的各樣本支持圖像的多通道特徵圖。對於各樣本支持圖像的特徵圖，通過下採樣分支，獲取各樣本支持圖像對應的前景特徵圖，將各樣本支持圖像對應的前景特徵圖與當前樣本查詢圖像的多通道特徵圖輸入至注意力引導模塊，做注意力引導處理。計算樣本查詢圖像中每個像素點與樣本支持圖像的所有前景像素點的相似性關係。
[0115]
注意力引導處理分兩步實現，第一步的實現過程基於注意力機制，輸入為樣本查詢圖像的多通道特徵圖以及各樣本支持圖像對應的前景特徵圖fm'
ask
，fm'
ask
是由各樣本支持圖像的特徵圖fi'與各樣本支持圖像的前景掩碼yi對應點乘得到，具體的實現原理可表示為：
[0116][0117]
其中，是在第i個空間位置上的值，其維度與的通道數一致；xj為前景特徵fm'
ask
在第j個空間位置上的值，其維度與fm'
ask
的通道數一致；f(
·
)為相似度計算函數，用於計算查詢特徵與前景特徵xj的相似度；g(
·
)是一個映射函數，將前景特徵圖fm'
ask
中的每個點映射為一個向量；c(x)代表歸一化係數。對於每一樣本查詢圖像，分別與當前訓練任務下所有圖像類型的類別原型作比對，以進行前進特徵增強操作，然後在特徵圖上的每個點求特徵響應的最大值，最終最終輸出注意力特徵圖
[0118]
第二步計算類原型向量v和查詢圖像的特徵圖間的餘弦距離，得到樣本支持圖像與樣本查詢圖像的相似形圖，然後將相似形圖作用到注意力特徵圖上，具體方式為將衡量查詢特徵與類別原型相似度的權重值乘到上，得到查詢圖像目標區域增
強後的特徵。將與作相加融合操作，將融合後的特徵輸入至aspp(atrous spatial pyramid pooling，空洞空間金字塔池化層)與兩個卷積分類層，從而獲取當前樣本查詢圖像的掩碼預測結果。
[0119]
本實施例中，針對訓練任務集中的每一個樣本查詢圖像，首先基於注意力機制，通過支持圖像的前景特徵引導查詢圖像，在目標區域內實現特徵增強，輸出注意力特徵圖；然後基於類原型向量與查詢圖像深層特徵的相似性關係，得到樣本支持圖像與樣本查詢圖像的相似形圖；最後將相似形圖作用到注意力特徵圖上，得到目標區域增強特徵圖，在特徵融合後輸入至aspp分類層與兩個卷積分類層，獲取當前樣本查詢圖像的掩碼預測結果。通過注意力引導模塊，加強了樣本查詢圖像與樣本支持圖像之間的信息交互，增強了兩者在分割過程中的相關性，從而更好地對樣本查詢圖像進行分割。在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
[0120]
在一個實施例中，上述語義分割模型訓練方法還包括：
[0121]
在獲得訓練後的語義分割模型之後，獲取待進行語義分割的目標圖像集，目標圖像集對應的目標圖像類型為未參與針對語義分割模型的訓練過程，目標圖像集包括至少一個目標支持圖像和至少一個目標查詢圖像；
[0122]
基於目標支持圖像和目標支持圖像對應的掩碼標籤，確定目標圖像類型對應的類原型向量；
[0123]
基於目標支持圖像和目標圖像類型對應的類原型向量，通過訓練後的語義分割模型對目標支持圖像進行語義分割，獲得目標支持圖像對應的掩碼預測結果；
[0124]
基於目標支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第三損失函數，基於第三損失函數對訓練後的語義分割模型進行再次訓練；
[0125]
基於再次訓練後的語義分割模型，對目標查詢圖像進行語義分割。
[0126]
從測試集(ij表示圖像，yj表示圖像對應的分割掩碼，m為測試集中圖像的數量)中抽取若干測試任務，測試任務包括至少一種圖像類型的目標圖像集，且目標圖像集與樣本圖像集的圖像類別不相交。每個測試任務同樣由支持圖像集和查詢圖像集組成，支持圖像集中包括至少一個目標支持圖像，查詢圖像集中包括至少一個目標查詢圖像。
[0127]
將每個測試任務下的所有目標圖像以及所有目標圖像對應的分割掩碼輸入至訓練後的語義分割模型，從而使語義分割模型對新的測試任務下的新圖像類型進行語義分割。對於當前測試任務，為了使語義分割模型可以提取到這一任務下更具有代表性的類別原型，使用新類別的目標支持圖像的預測損失對網絡進行進一步的優化，以適應不可見類。
[0128]
具體的，針對每個測試任務，同訓練階段一樣，將每個測試任務下的所有目標支持圖像輸入至特徵提取網絡，獲取目標支持圖像的深層特徵，將目標支持圖像的深層特徵輸入至原型融合模塊，通過目標支持圖像的深層特徵以及目標支持圖像對應的前景掩碼標籤，獲取目標支持圖像中每種圖像類型對應的原型向量。
[0129]
基於目標支持圖像和各目標圖像類型對應的類原型向量，通過語義分割模型對各圖像類型的目標支持圖像進行分割，計算目標支持圖像的深層特徵與該類別的類原型間的相似性圖，將該相似形圖作用到目標支持圖像的深層特徵上，以對目標支持圖像進行特徵
增強，後接aspp與兩個卷積分類層獲取目標支持圖像的掩碼預測結果。
[0130]
構建用于衡量目標支持圖像掩碼預測值以及目標支持圖像掩碼真值的交叉熵損失函數，作為第三損失函數。在測試任務中，測試階段的預測損失只用於更新模型的分類層，其它層的參數固定，為訓練階段學習所得。更新完的模型用於分割這一測試任務下的目標查詢圖像，最終得到每一個目標查詢圖像的預測掩碼。
[0131]
本實施例中，將訓練後的語義分割模型作為基礎模型對目標圖像集中的新圖像類型進行分割，為了使模型提取到更有代表性的類別原型，使用新類別的目標支持圖像的預測損失對語義分割模型的參數進行進一步的調整，以適應不可見類，通過在訓練後的語義分割模型基礎上進行模型參數適應性調整，在僅有少量樣本數據的情況下提升了貸款監測圖像語義分割的準確性。
[0132]
在其中一個實施例中，上述語義分割模型訓練方法還包括：
[0133]
樣本圖像集和目標圖像集是對貸款對象進行貸前調查或者貸後監測所拍攝獲取得到的。
[0134]
其中，樣本圖像集與目標圖像集中均包含至少一種圖像類型，且樣本圖像集的類型與目標圖像集的類別不重合。
[0135]
通常業務人員通過對比不同時期貸款項目的圖像來進行貸前背景調查與貸後實時監測。然而在道路維修、農田種植等貸款領域存在偏遠地區背景調查困難、監測數據有效值少的問題，只能獲取少量樣本數據。因此需要將貸前調查或者貸後監測所拍攝的調查圖片劃分為樣本圖像集和目標圖像集，通過建立語義分割模型，對貸款監測圖像進行分割，通過對比不同時期的分割結果，輔助業務人員進行貸款前後的風險分析。
[0136]
具體地，可以基於包含兩種類型(例如道路和農田)的樣本圖像集訓練語義分割模型，在根據樣本圖像集訓練語義分割模型後，將訓練後的語義分割模型作為基礎模型對目標圖像集中的新圖像類型(例如湖泊和森林)進行分割，使用新圖像類型下的預測損失對語義分割模型的參數進行進一步的調整。
[0137]
本實施例中，針對偏遠地區貸前背景調查與貸後實時監測只能獲取少量樣本數據的情況，將貸前調查或貸後監測的圖像劃分為類型不重合的樣本圖像集和目標圖像集。基於樣本圖像集和目標圖像集建立語義分割模型，提升貸款監測圖像語義分割的準確性，以輔助業務人員通過對比不同時期的分割結果進行貸款前後的風險分析。
[0138]
為詳細說明本技術語義分割模型訓練方法的技術方案，下面將採用具體應用實例並結合圖4和圖5說明整個處理過程，其具體包括以下步驟：
[0139]
1、從訓練集中抽取若干訓練任務，每個訓練任務由支持圖像集和查詢圖像集組成。模型的訓練階段以其中一個2-way 3-shot訓練任務為例進行說明，其它訓練任務與該訓練任務的訓練過程相同。該訓練任務下有道路和農田兩種類型，每種類型下有3張樣本支持圖像、5張樣本查詢圖像，則該任務的樣本圖像共有16張。其中，每張樣本查詢圖像的圖片中可以有道路和農田兩類，也可以只有其中一類。將該訓練任務下所有的樣本圖像以及樣本圖像對應的分割掩碼輸入至語義分割模型進行訓練，其中，分割掩碼可以是標籤為0或1的前景掩碼。
[0140]
2、針對該任務下的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定該任務下各圖像類型對應的類原型向量。具體進行如下處理：
[0141]
a)、將樣本支持圖像ii∈r3×
400
×
400
以及其對應的掩碼yi∈{0,1}
400
×
400
作為模型輸入，首先通過特徵提取網絡vgg-16提取樣本支持圖像ii∈r3×
400
×
400
的深層特徵，獲取包含樣本深層特徵的特徵圖fi'∈r
512
×
345
×
345
，將包含樣本深層特徵的特徵圖fi'與樣本支持圖像掩碼yi輸入至原型融合模塊。
[0142]
b)、原型融合模塊通過上採樣操作分支和下採樣操作分支，按圖像類型提取樣本支持圖像對應的類原型向量。在上採樣操作分支中，將樣本支持圖像的多通道特徵圖fi'∈r
512
×
345
×
345
按通道上採樣到和樣本支持圖像掩碼yi∈{0,1}
400
×
400
同樣的尺寸大小，並獲取每一通道的第一類原型特徵，將所有通道的第一類原型特徵求平均，構建當前樣本支持圖像對應的第一類原型向量vi。在下採樣操作分支中，將樣本支持圖像掩碼yi∈{0,1}
400
×
400
下採樣到和樣本支持圖像的多通道特徵圖fi'∈r
512
×
345
×
345
同樣的尺寸大小，並獲取每一通道的第二類原型特徵，將所有通道的第二類原型特徵求平均，構建當前樣本支持圖像對應的第二類原型向量vi'。對第一類原型向量vi和第二類原型向量vi'求平均，獲取當前樣本支持圖像對應的類原型向量，按圖像類型對各樣本支持圖像對應的類原型向量再次求平均進行整合，獲得該訓練任務下道路和農田兩種圖像類型對應的類原型向量，均為v∈r
512
×1。
[0143]
3、根據兩種圖像類型對應的類原型向量和樣本支持圖像，獲得該任務下樣本支持圖像對應的掩碼預測結果，並構建損失函數。具體進行如下處理：
[0144]
a)、計算樣本支持圖像ii經過特徵提取模塊得到的特徵圖fi'與該類別的類原型向量v之間的餘弦距離，得到樣本支持圖像和類別原型的相似性圖。將該相似形圖作用到樣本支持圖像的特徵圖fi'上，得到樣本支持圖像目標區域增強後的特徵，將增強後的特徵與樣本支持圖像的深層特徵進行相加融合操作，輸入至aspp與兩個卷積分類層，獲取該訓練任務下道路和農田兩種圖像類型下每張樣本支持圖像的掩碼預測結果。構建用于衡量樣本支持圖像掩碼預測值以及樣本支持圖像掩碼真值的交叉熵損失函數，作為第一損失函數。
[0145]
4、根據兩種圖像類型對應的類原型向量、樣本支持圖像以及樣本查詢圖像，獲得該任務下樣本查詢圖像對應的掩碼預測結果，並構建損失函數。具體進行如下處理：
[0146]
a)、將樣本查詢圖像以及其對應的掩碼作為模型輸入，首先通過特徵提取網絡vgg-16提取樣本查詢圖像ii∈r3×
400
×
400
的深層特徵，獲取包含樣本深層特徵的特徵圖將包含樣本深層特徵的特徵圖fi'與樣本支持圖像的前景特徵圖fm'
ask
輸入至注意力引導模塊。其中，樣本支持圖像對應的前景特徵圖fm'
ask
是由各樣本支持圖像的特徵圖fi'，與各樣本支持圖像的掩碼yi在下採樣操作分支對應點乘得到。
[0147]
b)、請參見圖5，注意力引導模塊首先基於注意力機制，計算查詢圖像的深層特徵與樣本支持圖像前景特徵的相似度，對於每一張樣本查詢圖像，分別與道路和農田這兩類的類原型作比對以進行前進特徵增強操作，然後在特徵圖上的每個點求特徵響應的最大值，最終最終輸出注意力特徵圖然後計算類原型向量v和查詢圖像的特徵圖間的餘弦距離，得到樣本支持圖像與樣本查詢圖像的相似形圖，將相似形圖作用到注意力特徵圖上，並將與fi'作相加融合操作，將融合後的特徵輸入至aspp與兩個卷積分類層，從而獲取當前樣本查詢圖像的掩碼預測結果。構建用于衡量樣本查詢圖像掩碼預測值以及樣本查詢圖像掩碼真值的交叉熵損失函數，作為第二損失函數。
[0148]
5、基於第一損失函數和第二損失函數，構建目標損失函數，通過計算目標損失函數的極小值，讓樣本掩碼預測結果儘量接近樣本掩碼真實結果，以學習支持圖像分類層和查詢圖像分類層的參數，同時可讓梯度反向傳播到特徵提取網絡，更新特徵提取網絡的參數，以使提取的特徵更有效。在模型訓練階段，每進行一次訓練任務，更新一次模型的參數值，基於所有訓練任務得到訓練後的語義分割模型。
[0149]
6、從測試集(ij表示圖像，yj表示圖像對應的分割掩碼，m為測試集中圖像的數量)中抽取若干測試任務，測試任務包括至少一種圖像類型的目標圖像集，且目標圖像集與樣本圖像集的圖像類別不相交。每個測試任務同樣由支持圖像集和查詢圖像集組成。模型的測試階段以其中一個2-way 3-shot訓練任務為例進行說明，該測試任務下有湖泊和森林兩種類型。語義分割模型沒有學習過測試任務中的新類別，為了使語義分割模型可以提取到這一任務下更具有代表性的類別原型，使用新類別的目標支持圖像的預測損失對網絡進行進一步的優化，以適應不可見類。具體進行如下處理：
[0150]
a)、針對每個測試任務，同訓練階段一樣，將每個測試任務下的所有目標支持圖像輸入至特徵提取網絡，獲取目標支持圖像的深層特徵，將目標支持圖像的深層特徵輸入至原型融合模塊，通過目標支持圖像的深層特徵以及目標支持圖像對應的前景掩碼標籤，獲取目標支持圖像中每種圖像類型對應的原型向量。
[0151]
b)、基於目標支持圖像和各目標圖像類型對應的類原型向量，通過語義分割模型對各圖像類型的目標支持圖像進行分割，計算目標支持圖像的深層特徵與該類別的類原型間的相似性圖，將該相似形圖作用到目標支持圖像的深層特徵上，以對目標支持圖像進行特徵增強，後接aspp與兩個卷積分類層獲取目標支持圖像的掩碼預測結果。
[0152]
c)、構建用于衡量目標支持圖像掩碼預測值以及目標支持圖像掩碼真值的交叉熵損失函數，作為第三損失函數。在測試任務中，測試階段的預測損失只用於更新模型的分類層，其它層的參數固定，為訓練階段學習所得。更新完的模型用於分割這一測試任務下的目標查詢圖像，最終得到每一個目標查詢圖像的預測掩碼。
[0153]
應該理解的是，雖然如上所述的各實施例所涉及的流程圖中的各個步驟按照箭頭的指示依次顯示，但是這些步驟並不是必然按照箭頭指示的順序依次執行。除非本文中有明確的說明，這些步驟的執行並沒有嚴格的順序限制，這些步驟可以以其它的順序執行。而且，如上所述的各實施例所涉及的流程圖中的至少一部分步驟可以包括多個步驟或者多個階段，這些步驟或者階段並不必然是在同一時刻執行完成，而是可以在不同的時刻執行，這些步驟或者階段的執行順序也不必然是依次進行，而是可以與其它步驟或者其它步驟中的步驟或者階段的至少一部分輪流或者交替地執行。
[0154]
基於語義分割模型訓練方法的發明構思，如圖6所示，本技術實施例還提供了一種用於實現上述所涉及的語義分割模型訓練方法的語義分割模型訓練裝置。裝置包括：
[0155]
任務獲取模塊601，用於獲取訓練任務，訓練任務均包括至少一種圖像類型的樣本圖像集，樣本圖像集中包括至少一個樣本支持圖像和至少一個樣本查詢圖像；
[0156]
原型融合模塊602，用於基於各圖像類型的樣本支持圖像和樣本支持圖像對應的掩碼標籤，確定各圖像類型對應的類原型向量；
[0157]
掩碼預測模塊603，用於基於各圖像類型對應的類原型向量和各圖像類型的樣本支持圖像，通過語義分割模型對各圖像類型的樣本圖像進行語義分割，獲得各圖像類型的
樣本圖像對應的掩碼預測結果，樣本圖像為樣本支持圖像或者樣本查詢圖像；
[0158]
損失構建模塊604，用於基於各圖像類型的樣本支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第一損失函數，基於各圖像類型的樣本查詢圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第二損失函數；
[0159]
模型優化模塊605，用於基於第一損失函數和第二損失函數，構建目標損失函數，基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。
[0160]
上述語義分割模型訓練裝置，基於訓練任務中的樣本支持圖像以及樣本支持圖像對應的掩碼標籤，獲取各圖像類型對應的類原型向量；基於類原型向量對各樣本圖像進行語義分割，獲得樣本支持圖像對應的掩碼預測結果以及樣本查詢圖像對應的掩碼預測結果；基於樣本支持圖像對應的掩碼預測結果以及樣本查詢圖像對應的掩碼預測結果構建目標損失函數；基於目標損失函數對語義分割模型進行訓練，獲得訓練後的語義分割模型。整個語義分割模型訓練過程僅需少量的訓練樣本，對於每一訓練任務，首先通過樣本支持圖像以及相應的掩碼標籤，獲取這一訓練任務中所有圖像類型對應的類原型向量，然後基於類原型向量對樣本支持圖像與樣本查詢圖像進行分割，最後構建聯合樣本支持圖像損失與樣本查詢圖像損失的目標損失函數，在僅有少量樣本數據的情況下保證了貸款監測圖像語義分割的準確性。整個語義分割模型訓練過程僅需少量的訓練樣本，對於每一訓練任務，首先通過樣本支持圖像以及相應的掩碼標籤，獲取這一訓練任務中所有圖像類型對應的類原型向量，然後基於類原型向量對樣本支持圖像與樣本查詢圖像進行分割，最後構建聯合樣本支持圖像損失與樣本查詢圖像損失的目標損失函數，在僅有少量樣本數據的情況下保證了貸款監測圖像語義分割的準確性。
[0161]
在其中一個實施例中，原型融合模塊602還用於針對當前圖像類型的各樣本支持圖像，提取各樣本支持圖像的多通道特徵圖；基於各樣本支持圖像的多通道特徵圖和各樣本支持圖像對應的掩碼標籤，獲取各樣本支持圖像對應的類原型向量；對各樣本支持圖像對應的類原型向量進行整合，獲得當前圖像類型對應的類原型向量。
[0162]
在其中一個實施例中，原型融合模塊602還用於針對當前圖像類型的當前樣本支持圖像，對當前樣本支持圖像的多通道特徵圖作上採樣處理，基於當前樣本支持圖像對應的掩碼標籤，提取多個通道的上採樣處理結果中處於掩碼標籤對應的第一掩碼區域內的第一前景特徵圖；基於每一通道的第一前景特徵圖，獲取每一通道的第一類原型特徵，並基於每一通道的第一類原型特徵，構建當前樣本支持圖像對應的第一類原型向量；對當前樣本支持圖像對應的掩碼標籤作下採樣處理，基於下採樣結果，提取當前樣本支持圖像的多通道特徵圖中處於下採樣結果對應的第二掩碼區域內的第二前景特徵圖；基於每一通道的第二前景特徵圖，獲取每一通道的第二類原型特徵，並基於每一通道的第二類原型特徵，構建當前樣本支持圖像對應的第二類原型向量；對第一類原型向量和第二類原型向量進行整合，獲得當前樣本支持圖像對應的類原型向量。
[0163]
在其中一個實施例中，掩碼預測模塊603還用於針對當前圖像類型的當前樣本支持圖像，提取當前樣本支持圖像的多通道特徵圖；基於當前圖像類型的類原型向量，獲取當前樣本支持圖像的相似度特徵圖，相似度特徵圖用於表徵當前樣本支持圖像的多通道特徵圖和當前圖像類型的類原型向量間的相似程度；基於相似度特徵圖對當前樣本支持圖像的多通道特徵圖作特徵增強處理，獲得增強特徵；對增強特徵作空洞空間卷積池化處理，對處
理結果進行卷積分類處理，獲得當前樣本支持圖像對應的掩碼預測結果。
[0164]
在其中一個實施例中，掩碼預測模塊603還用於針對當前圖像類型的當前樣本查詢圖像，提取當前樣本查詢圖像的多通道特徵圖，並提取各圖像類型的各樣本支持圖像的多通道特徵圖；對各圖像類型的各樣本支持圖像對應的掩碼標籤作下採樣處理，基於各圖像類型的各樣本支持圖像對應的下採樣結果，提取各圖像類型的各樣本支持圖像對應的前景特徵圖；基於當前樣本查詢圖像的多通道特徵圖和各圖像類型的各樣本支持圖像對應的前景特徵圖，作注意力引導處理，獲得注意力引導處理結果；基於各圖像類型的類原型向量，獲取當前樣本查詢圖像針對各類原型向量的相似度特徵圖，相似度特徵圖用於表徵當前樣本查詢圖像的多通道特徵圖和相應的類原型向量間的相似程度；基於針對各類原型向量的相似度特徵圖，對當前樣本查詢圖像的多通道特徵圖作特徵增強處理，獲得增強特徵；對增強特徵作空洞空間卷積池化處理，對處理結果進行卷積分類處理，獲得當前樣本查詢圖像對應的掩碼預測結果。
[0165]
在其中一個實施例中，模型優化模塊605還用於在獲得訓練後的語義分割模型之後，獲取待進行語義分割的目標圖像集，目標圖像集對應的目標圖像類型為未參與針對語義分割模型的訓練過程，目標圖像集包括至少一個目標支持圖像和至少一個目標查詢圖像；基於目標支持圖像和目標支持圖像對應的掩碼標籤，確定目標圖像類型對應的類原型向量；基於目標支持圖像和目標圖像類型對應的類原型向量，通過訓練後的語義分割模型對目標支持圖像進行語義分割，獲得目標支持圖像對應的掩碼預測結果；基於目標支持圖像對應的掩碼預測結果與對應的掩碼標籤間的差異，構建第三損失函數，基於第三損失函數對訓練後的語義分割模型進行再次訓練；基於再次訓練後的語義分割模型，對目標查詢圖像進行語義分割。
[0166]
在其中一個實施例中，任務獲取模塊601還用於獲取樣本圖像集和目標圖像集，樣本圖像集和目標圖像集是對貸款對象進行貸前調查或者貸後監測所拍攝獲取得到的。
[0167]
上述語義分割模型訓練裝置中的各個模塊可全部或部分通過軟體、硬體及其組合來實現。上述各模塊可以硬體形式內嵌於或獨立於計算機設備中的處理器中，也可以以軟體形式存儲於計算機設備中的存儲器中，以便於處理器調用執行以上各個模塊對應的操作。
[0168]
在一個實施例中，提供了一種計算機設備，該計算機設備可以是伺服器，其內部結構圖可以如圖7所示。該計算機設備包括處理器、存儲器、輸入/輸出接口(input/output，簡稱i/o)和通信接口。其中，處理器、存儲器和輸入/輸出接口通過系統總線連接，通信接口通過輸入/輸出接口連接到系統總線。其中，該計算機設備的處理器用於提供計算和控制能力。該計算機設備的存儲器包括非易失性存儲介質和內存儲器。該非易失性存儲介質存儲有作業系統、電腦程式和資料庫。該內存儲器為非易失性存儲介質中的作業系統和電腦程式的運行提供環境。該計算機設備的資料庫用於存儲語義分割模型訓練數據。該計算機設備的輸入/輸出接口用於處理器與外部設備之間交換信息。該計算機設備的通信接口用於與外部的終端通過網絡連接通信。該電腦程式被處理器執行時以實現一種語義分割模型訓練方法。
[0169]
本領域技術人員可以理解，圖7中示出的結構，僅僅是與本技術方案相關的部分結構的框圖，並不構成對本技術方案所應用於其上的計算機設備的限定，具體的計算機設備
可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件布置。
[0170]
在一個實施例中，提供了一種計算機設備，包括存儲器和處理器，存儲器中存儲有電腦程式，該處理器執行電腦程式時實現上述各方法實施例中的步驟。
[0171]
在一個實施例中，提供了一種計算機可讀存儲介質，其上存儲有電腦程式，該電腦程式被處理器執行時實現上述各方法實施例中的步驟。
[0172]
在一個實施例中，還提供了一種電腦程式產品，包括電腦程式，該電腦程式被處理器執行時實現上述各方法實施例中的步驟。
[0173]
需要說明的是，本技術所涉及的用戶信息(包括但不限於用戶設備信息、用戶個人信息等)和數據(包括但不限於用於分析的數據、存儲的數據、展示的數據等)，均為經用戶授權或者經過各方充分授權的信息和數據，且相關數據的收集、使用和處理需要遵守相關國家和地區的相關法律法規和標準。
[0174]
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一非易失性計算機可讀取存儲介質中，該電腦程式在執行時，可包括如上述各方法的實施例的流程。其中，本技術所提供的各實施例中所使用的對存儲器、資料庫或其它介質的任何引用，均可包括非易失性和易失性存儲器中的至少一種。非易失性存儲器可包括只讀存儲器(read-only memory，rom)、磁帶、軟盤、快閃記憶體、光存儲器、高密度嵌入式非易失性存儲器、阻變存儲器(reram)、磁變存儲器(magnetoresistive random access memory，mram)、鐵電存儲器(ferroelectric random access memory，fram)、相變存儲器(phase change memory，pcm)、石墨烯存儲器等。易失性存儲器可包括隨機存取存儲器(random access memory，ram)或外部高速緩衝存儲器等。作為說明而非局限，ram可以是多種形式，比如靜態隨機存取存儲器(static random access memory，sram)或動態隨機存取存儲器(dynamic random access memory，dram)等。本技術所提供的各實施例中所涉及的資料庫可包括關係型資料庫和非關係型資料庫中至少一種。非關係型資料庫可包括基於區塊鏈的分布式資料庫等，不限於此。本技術所提供的各實施例中所涉及的處理器可為通用處理器、中央處理器、圖形處理器、數位訊號處理器、可編程邏輯器、基於量子計算的數據處理邏輯器等，不限於此。
[0175]
以上實施例的各技術特徵可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特徵所有可能的組合都進行描述，然而，只要這些技術特徵的組合不存在矛盾，都應當認為是本說明書記載的範圍。
[0176]
以上所述實施例僅表達了本技術的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本技術專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本技術構思的前提下，還可以做出若干變形和改進，這些都屬於本技術的保護範圍。因此，本技術的保護範圍應以所附權利要求為準。