一種基於高解析度遙感影像的半監督建築物實例提取方法
2024-04-15 08:34:05
1.本發明涉及圖像目標提取領域，尤其涉及一種基於高解析度遙感影像的半監督建築物實例提取方法。
背景技術：
2.建築物信息作為城市基礎地理信息中不可或缺的組成部分，在城市的運行、管理和規劃有著重要的支撐作用。近年來，現代衛星遙感技術不斷發展，為建築物的提取提供了充足的數據來源，與此同時，人工智慧方法在計算機視覺相關領域的進步，為建築物的自動提取提供了有效的方法。
3.建築物實例提取的目的是檢測所有的建築物，並精確地分割每一棟建築。從高解析度遙感影像中提取出的建築物實例信息，在城市規劃、環境管理、城市變遷和地圖更新的研究中具有重要的意義。傳統的高解析度遙感圖像建築物提取方法主要基於對地理對象的圖像解析，這類方法建立在專業領域知識的基礎上，且提取的性能依賴於手工特徵的選擇。隨著深度學習方法在遙感領域的落地，基於深度學習的高解析度遙感影像建築物實例提取方法取得了顯著的性能優勢，它通過實例分割方法為遙感影像中每個建築物分配像素級的實例標籤，實現建築物實例的自動化提取。
4.對於實例分割方法，同樣遵循有監督的機器學習範式，需要大量的數據來驅動模型學習。實例分割模型需要使用大量帶有像素級實例標籤的樣本進行訓練得到，然而高解析度遙感影像中建築物的像素級實例標籤獲取困難，進行人工標註的成本較高，所以往往只能得到部分的有標籤數據。因此，如何在像素級建築物實例標籤有限的前提下，儘可能獲得泛化能力強和提取效果更好的建築物提取方法就顯得尤為重要。
5.半監督學習為像素級實例標籤有限的建築物實例提取任務提供了一個有效途徑。相比於傳統的全監督學習方法，半監督學習的建築物實例分割模型在學習有像素級實例標籤遙感影像中建築物特徵的同時，能夠從無標籤的高解析度遙感影像中獲得更豐富的建築物特徵表示，從而獲得更佳的分割性能。
6.高解析度遙感影像的建築物實例提取方法除了提高分割的性能外，提取出建築物實例的輪廓精細程度也尤為重要。然而，普通的實例分割模型受限於建築物尺度和遙感影像背景多樣等因素，提取的建築物存在輪廓模糊、邊緣不夠精細的問題。
7.綜上所述，基於高解析度遙感影像的建築物實例提取主要存在如下挑戰：像素級實例標籤獲取困難、有標籤的數據有限、提取的建築物邊緣不夠精細。
技術實現要素：
8.本發明的主要目的在於，解決現有技術中，建築物實例提取方法的建築物像素級標籤獲取困難、進行人工標註成本高、有標籤的數據有限、提取方法泛化能力不強、所提取建築物的邊緣不夠精細等技術問題，在提升模型通用性的同時提高建築物實例提取的精度。
9.本發明提出的一種基於高解析度遙感影像的半監督建築物實例提取方法包括以下步驟：
10.s1：獲取高解析度遙感影像i並進行裁剪，根據建築物像素級標註l，獲得符合實際需求尺寸的有像素級建築物實例標籤的高解析度遙感影像數據i
l
和對應尺寸的無像素級建築物實例標籤的高解析度遙感影像數據iu；
11.s2：將所述有像素級建築物實例標籤的高解析度遙感影像i
l
進行鏡像衍生數據增廣，獲得增廣後的有像素級實例標籤的高解析度遙感影像數據
12.s3：將所述有像素級建築物實例標籤的高解析度遙感影像數據i
l
和所述數據增廣後的有像素級建築物實例標籤的高解析度遙感影像數據相結合，輸入到待訓練的第一實例分割網絡中進行訓練，獲得訓練好的第一實例分割網絡；
13.s4：將所述無像素級建築物實例標籤的高解析度遙感影像數據iu輸入訓練好的第一實例分割網絡進行提取，獲得無像素級建築物實例標籤的高解析度遙感影像數據iu中的建築物的實例偽標籤；
14.s5：將所述建築物實例偽標籤以及對應的無像素級建築物實例標籤的高解析度遙感影像數據iu，與有像素級建築物實例標籤的高解析度遙感影像數據i
l
相結合作為第二實例分割網絡的輸入，並進行訓練，得到訓練好的第二實例分割網絡。
15.s6：將待預測的高解析度遙感影像輸入所述訓練好的第二實例分割網絡，提取出建築物實例。
16.本發明提供的有益效果是：解決了傳統建築物實例提取方法中，建築物標籤獲取困難、進行人工標註成本高、提取方法泛化能力不強、所提取建築物的邊緣不夠精細等技術問題，在提升模型通用性的同時提高建築物實例提取的精度。
附圖說明
17.圖1是本發明方法簡單流程示意圖；
18.圖2是本發明中第一實例分割網絡的訓練流程圖；
19.圖3是本發明中第二實例分割網絡優化後的mask分支的結構圖；
20.圖4是邊緣優化結果對比圖。
具體實施方式
21.為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地描述。
22.請參考圖1，圖1是本發明方法簡單流程示意圖；
23.一種基於高解析度遙感影像的半監督建築物實例提取方法包括以下步驟：
24.s1：獲取高解析度遙感影像i並進行裁剪，根據建築物像素級標註l，獲得符合實際需求尺寸的有像素級建築物實例標籤的高解析度遙感影像數據i
l
和對應尺寸的無像素級建築物實例標籤的高解析度遙感影像數據iu；
25.步驟s1中所述高解析度遙感影像i，具體表示形式如下：
[0026][0027]
其中，i
l
表示有像素級建築物實例標籤的高解析度遙感影像數據，u表示無像素級建築物實例標籤的高解析度遙感影像數據；l代表高解析度遙感影像中所有建築物的標註框，k代表標註框的數量；p指裁剪後的高解析度遙感影像，c代表裁剪後的影像數量。
[0028]
s2：將所述有像素級建築物實例標籤的高解析度遙感影像i
l
進行鏡像衍生數據增廣，獲得增廣後的有像素級實例標籤的高解析度遙感影像數據
[0029]
步驟s2中增強後的有標籤高解析度遙感影像數據具體為：
[0030][0031]
其中ti表示對第i張數據進行增強，n表示操作的次數，θn表示第n次操作的權重，η表示操作的參數；g表示具體的增強操作，包括翻轉、對稱和鏡像操作中的任意一種或幾種的結合。
[0032]
s3：將所述有像素級建築物實例標籤的高解析度遙感影像數據i
l
和所述數據增廣後的有像素級建築物實例標籤的高解析度遙感影像數據相結合，輸入到待訓練的第一實例分割網絡中進行訓練，獲得訓練好的第一實例分割網絡；
[0033]
請參考圖2，圖2是本發明中第一實例分割網絡的訓練流程圖；步驟s3具體為：
[0034]
s31：採用resnet網絡作為第一實例分割網絡的主幹網絡，將有像素級建築物實例標籤的高解析度遙感影像數據i
l
以及增廣後的有像素級實例標籤的高解析度遙感影像數據輸入第一實例分割網絡的主幹網絡中，得到多個不同尺度的特徵圖；
[0035]
s32：通過所述提取的不同尺度特徵圖輸入到特徵金字塔網絡fpn模塊中進行特徵融合，得到多個融合後的特徵圖；
[0036]
s33：將所述多個融合後的特徵圖輸入到區域候選網絡rpn模塊中，進行前景和背景的分類以及邊界框的回歸，獲得候選區域，並計算rpn模塊損失l
′
，如下：
[0037]
l
′
＝l
′
cls
+l
′
box
ꢀꢀꢀ
(3)
[0038]
其中，l
′
cls
表示rpn模塊前景和背景的分類損失，l
′
box
表示邊界框回歸損失；
[0039]
s34：將所述候選區域輸入到roialign模塊中進行統一採樣，得到包含建築物的候選特徵圖；
[0040]
s35：將所述候選特徵圖分別送入box分支和mask分支，box分支得到提取建築物的分類和標籤框，mask分支得到對應的建築物實例掩膜，並計算兩個分支的損失l，具體為：
[0041]
l＝l
cls
+l
box
+l
mask
ꢀꢀꢀꢀꢀꢀ
(4)
[0042]
其中，l
cls
表示提取建築物實例的分類損失，l
box
表示標籤框的回歸損失，l
mask
表示建築物實例掩膜的損失。
[0043]
s36：計算實例分割模型總的損失l
all
，進行梯度下降並反向傳播，從而訓練第一實例分割網絡，得到訓練好的第一實例分割網絡。
[0044]
所述第一實例分割網絡總的損失l
all
具體為：
[0045]
l
all
＝l+l
′ꢀꢀ
(5)
[0046]
優選地，步驟s33中l
′
cls
計算方式具體為：
[0047][0048]
其中，n
cls
表示類別的數量，表示真實的類別標籤，pi表示預測的標籤。
[0049]
步驟s33中l
′
box
計算方式具體為：
[0050][0051]
其中，表示真實的框標籤，ti表示預測的框標籤。
[0052]
優選地，步驟s35中l
cls
和l
box
與s33中l
′
cls
和l
′
box
計算方式一致，l
mask
的計算方式為：
[0053]
l
mask
＝-ylogy
*-(1-y)log(1-y
*
)
ꢀꢀꢀ
(8)
[0054]
其中，y
*
表示真實的建築物掩膜標籤，y表示預測的建築物掩膜標籤。
[0055]
s4：將所述無像素級建築物實例標籤的高解析度遙感影像數據iu輸入訓練好的第一實例分割網絡進行提取，獲得無像素級建築物實例標籤的高解析度遙感影像數據iu中的建築物的實例偽標籤；
[0056]
步驟s4具體為：
[0057]
s41：將所述無像素級建築物實例標籤的高解析度遙感影像數據iu輸入到所述訓練好的第一實例分割網絡進行提取，得到預測的框標籤和置信度分數，具體表示為：
[0058][0059]
其中，bm預測的框位置，sm表示置信度分數，zm表示預測的實例掩膜，m表示無標籤高解析度遙感影像數據iu的數量；
[0060]
s42：通過設置閾值對得到的置信度分數進行過濾，獲取高於閾值的標籤作為無像素級建築物實例標籤的高解析度遙感影像數據iu的偽標籤。
[0061]
所述的閾值計算公式為：
[0062][0063]
s5：將所述建築物實例偽標籤以及對應的無像素級建築物實例標籤的高解析度遙感影像數據iu，與有像素級建築物實例標籤的高解析度遙感影像數據i
l
相結合作為第二實例分割網絡的輸入，並進行訓練，得到訓練好的第二實例分割網絡。
[0064]
需要說明的是，步驟s5中實第二實例分割網絡的訓練過程可參考步驟s3。
[0065]
特別的，請參考圖3，圖3是本發明中第二實例分割網絡優化後的mask分支的結構圖；步驟s5具體為：
[0066]
s51：將所述無像素級建築物實例標籤的高解析度遙感影像數據iu，和有像素級建築物實例標籤的高解析度遙感影像數據i
l
輸入第二實例分割網絡，所述第二實例分割網絡與第一實例分割網絡結構相同；在經過特徵提取器、fpn模塊、rpn模塊和roialign模塊後，獲得包含建築物的候選特徵圖；
[0067]
s52：將所述包含建築物的候選特徵圖送入box分支，得到提取建築物的分類、標籤框，並計算相應的損失l
cls
和l
box
；
[0068]
s53：將所述包含建築物的候選特徵圖mask分支，通過兩個不同尺度的子分支進行
特徵提取出兩個特徵圖f1和f2，並融合得到特徵圖fm，具體維度表示為：
[0069]
；
[0070][0071]
s54：將所述融合後的特徵圖fm，通過sobel邊緣算子提取建築物水平和垂直方向的邊緣特徵，並融合得到細化建築物邊緣的特徵圖fs，並計算相應的損失l
mask
；
[0072]
所述fs計算公式為：
[0073][0074]
其中c1d表示1
×
1的卷積操作，ξ
x
表示水平方向的sobel運算，ξy表示垂直方向的sobel運算，表示特徵融合操作。
[0075]
s55：計算總的損失l
all
，進行梯度下降並反向傳播，從而訓練實例分割模型，得到訓練好的第二實例分割網絡。
[0076]
s6：將待預測的高解析度遙感影像輸入所述訓練好的第二實例分割網絡，提取出建築物實例。
[0077]
作為一種實施例，本技術使用whu數據集進行實驗，按照5％、10％、20％、30％和40％的比例在whu數據集的訓練集中劃分作為有標籤的數據，剩下的數據作為無標籤數據，在上述方法進行訓練，並在whu數據集的測試集上測試，最終的平均map精度結果如表1所示。表中supervised行表示步驟s3僅使用有標籤數據訓練的精度。semi-super行表示s5最終的結果精度，即：同時使用有真實標籤的數據和有偽標籤的無標籤數據進行訓練。
[0078]
對比第二行和第三行的結果可以看出，第三行的精度有較大提升，說明所提出的方法同時利用了有標籤數據和無標籤數據進行學習，提升了建築物的實例提取精度，完成數據標籤有限場景下的高解析度遙感影像建築物實例提取任務。
[0079]
表1實驗結果數據表
[0080][0081]
圖4是邊緣優化結果對比圖；如圖4所示表示s5中mask分支優化前後的結果可視化對比，每一列使用同一張圖片進行結果對比。第一行表示未進行優化的結果，用圓圈標識出邊緣分割不佳的區域。第二行表示s5中所述方法優化mask分支後的結果，使用圓圈標識出精細化的建築物邊緣。對比優化前後的可視化結果可知，s5中所述優化mask分支方法能更精細的提取建築物實例。
[0082]
綜上，通過實驗結果說明：所述方法完成數據標籤有限場景下的高解析度遙感影像建築物實例提取任務，提高建築物提取精度的同時，精細化提取建築物的邊緣。
[0083]
本發明的有益效果是：解決了傳統建築物實例提取方法中，建築物標籤獲取困難、
進行人工標註成本高、提取方法泛化能力不強、所提取建築物的邊緣不夠精細等技術問題，在提升模型通用性的同時提高建築物實例提取的精度。
[0084]
以上所述僅為本發明的較佳實施例，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。