一種基於深度學習的多尺度船舶目標檢測方法與流程
2024-04-14 00:11:05
1.本發明涉及圖像處理和深度學習技術領域，具體涉及一種基於深度學習的多尺度船舶目標檢測方法。
背景技術：
2.在現代智慧海事系統中，高清攝像機已經應用於各種港口和海域，用於查看和監管航道信息等。由於雷達使用時的不直觀以及雷達圖像中少有的信息，導致海事航道的重要部分都採用高清攝像機用以直觀判斷航道情況，需要通過人工查看過往船舶類型，明確重點關注對象，隨著近年海運繁忙，人工查看費時費力，還容易出錯，而通過深度學習等技術手段，使得機器代替人工對船舶圖像進行目標檢測，識別船舶並標註，大大減少了人工的投入，節約成本，因此，基於深度學習的船舶圖像分類識別將成為水上交通系統的重要部分。
3.傳統船舶檢測模型都是採用單一通道，只能針對一種尺度的圖像提取相關特徵，導致提取的特徵比較單一，並且容錯能力較差。
技術實現要素：
4.一種基於深度學習的多尺度船舶目標檢測方法，基於雙通道檢測模型，可以提取兩種不同尺度圖像的特徵，並且雙通道互為補充，提高了網絡的容錯能力，可快速對船舶目標進行檢測，進一步提高了對於船舶類型識別的準確率。為實現上述目的，採用如下技術方案：
5.一種基於深度學習的多尺度船舶目標檢測方法，包括以下步驟：
6.s1、獲取數據集：所述數據集包括只含有船舶信息的圖像o2、原始圖像o1；所述原始圖像o1中包含船舶信息和背景信息；
7.s2、構建並訓練圖卷積神經網絡、fasterrcnn網絡；
8.所述fasterrcnn網絡，用於檢測圖像類型，並提取圖像的特徵，包括依次連接的rpn層、第一最大池化層和rcnn層；
9.所述圖卷積神經網絡，用於提取圖像的特徵，包括注意力-池化層；
10.s3、構建雙通道網絡模型：
11.所述fasterrcnn網絡和圖卷積神經網絡共享一個融合層；
12.所述融合層的輸入端連接fasterrcnn網絡中第一最大池化層的輸出端、圖卷積神經網絡中注意力-池化層的輸出端；
13.所述融合層的輸出端連接fasterrcnn網絡的rcnn層；
14.s4、將原始圖像o1輸入fasterrcnn網絡，在fasterrcnn網絡的第一最大池化層的輸出端獲取第一特徵圖f1，第一特徵圖f1中將原始圖像o1中的船舶信息和背景信息分別進行分類提取；
15.將只含有船舶信息的圖像o2輸入圖卷積神經網絡，在圖卷積神經網絡的輸出端獲
取第二特徵圖f2；所述第二特徵圖f2將只含有船舶信息的圖像o2中的船舶信息進行分類提取；
16.s5、將第一特徵圖f1、第二特徵圖f2輸入融合層，利用融合層生成具有船舶信息的目標檢測圖t1；
17.s6、將目標檢測圖t1經融合層輸入至fasterrcnn網絡的rcnn層，並輸出目標檢測識別結果圖t2。
18.優選地，步驟s5中，進行融合處理的方法具體為：
19.將第一特徵圖f1和第二特徵圖f2分別調整為統一尺寸，後將兩特徵圖中的特徵融合至一個像素層，以獲得所述目標檢測圖t1。
20.優選地，所述fasterrcnn網絡還包括依次連接的第四卷積層、第三最大池化層、第三卷積層、第二卷積層、第二最大池化層和第一卷積層；所述第一卷積層的輸出端連接rpn層的輸入端。
21.優選地，圖卷積神經網絡還包括三個依次連接的圖卷積層；最後一個圖卷積層的輸出端連接所述注意力-池化層的輸入端。
22.優選地，只含有船舶信息的圖像o2、原始圖像o1的尺度不同。
23.優選地，所述圖卷積神經網絡採用第三代圖卷積模型。
24.與現有技術相比，本發明的優點為：
25.(1)本發明可以提取兩種不同尺度圖像的特徵，並且雙通道互為補充，提高了網絡的容錯能力；能夠快速對船舶目標進行檢測，自動識別船舶。具體的，將不同尺寸的數據集(圖像)分別輸入兩通道進行特徵提取，模型從不同數據集中提取到的特徵不同。原始圖像中包含前景和船舶信息，fasterrcnn通道提取的信息多而雜，也存在信息丟失問題。圖卷積神經網絡只提取包含船舶特徵的信息，特徵準確，並且可以提取到fasterrcnn通道沒有提取到的特徵，再將兩部分特徵融合，從而相互補充，進一步提高了對於船舶類型識別的準確率。
26.此外，雙通道互為補充，並且一通道只輸入包含單純的船舶圖像，使得模型對於船舶的判別能力更強，使得該模型具有良好的容錯能力，可以處理環境信息複雜、推理結構不明確情況下的問題，允許原始圖像有缺損。
27.(2)該雙通道網絡模型採用其中一通道輸入小尺寸圖像，使得雙通道網絡模型的訓練時間和同層數的單通道模型訓練時間相差較小，節省訓練資源，因此具有廣闊的應用前景。
附圖說明
28.圖1為本發明一實施例的基於深度學習的多尺度船舶目標檢測方法流程圖；
29.圖2為本發明一實施例的雙通道網絡模型示意圖。
具體實施方式
30.下面將結合示意圖對本發明進行更詳細的描述，其中表示了本發明的優選實施例，應該理解本領域技術人員可以修改在此描述的本發明，而仍然實現本發明的有利效果。因此，下列描述應當被理解為對於本領域技術人員的廣泛知道，而並不作為對本發明的限
制。
31.圖1～2所示，一種基於深度學習的多尺度船舶目標檢測方法，該方法用於對水上船舶目標進行自動檢測識別，包括以下步驟：
32.s1、獲取數據集：數據集包括只含有船舶信息的圖像o2、原始圖像o1；原始圖像o1中包含船舶信息和背景信息。
33.只含有船舶信息的圖像o2、原始圖像o1的尺度不同。
34.在本實施例中，首先採集大量內河港口和長江進出口等位置的船舶圖像作為資料庫，將圖像人工分類作為圖卷積神經網絡的據集，即只含有船舶信息的圖像o2；作為fasterrcnn的數據集，即原始圖像o1。
35.共採集水上船舶圖片3875張，通過處理使其分成只包含船舶信息的圖像o2和原圖像o1的兩種尺度船舶圖像。只含有船舶信息的圖像o2，其尺寸為64*64，原始圖像o1，其尺寸為128*128。
36.s2、構建並訓練圖卷積神經網絡、fasterrcnn網絡。
37.fasterrcnn網絡，用於檢測圖像類型，並提取圖像的特徵，包括依次連接的rpn層、第一最大池化層和rcnn層。
38.圖卷積神經網絡，採用第三代圖卷積模型，用於提取圖像的特徵，包括注意力-池化層。
39.在本實施例中，fasterrcnn網絡還包括依次連接的第四卷積層、第三最大池化層、第三卷積層、第二卷積層、第二最大池化層和第一卷積層；第一卷積層的輸出端連接rpn層的輸入端。
40.圖卷積神經網絡還包括三個依次連接的圖卷積層；最後一個圖卷積層的輸出端連接注意力-池化層的輸入端。
41.s3、構建雙通道網絡模型，該模型為雙輸入單輸出模型。
42.fasterrcnn網絡和圖卷積神經網絡共享一個融合層。
43.融合層的輸入端連接fasterrcnn網絡中第一最大池化層的輸出端、圖卷積神經網絡中注意力-池化層的輸出端。
44.融合層的輸出端連接fasterrcnn網絡的rcnn層。
45.s4、將原始圖像o1輸入fasterrcnn網絡，在fasterrcnn網絡的第一最大池化層的輸出端獲取第一特徵圖f1，第一特徵圖f1中將原始圖像o1中的船舶信息和背景信息分別進行分類提取。
46.fasterrcnn網絡輸出從原始圖像o1中提取船舶特徵和背景特徵，即形成第一特徵圖f1。fasterrcnn網絡提取的信息多而雜，也存在信息丟失問題。
47.船舶特徵例如：船舶的顏色、大小、船舶在水域中的姿態等顯著特徵。
48.背景特徵例如：背景中水的顏色、紋路、樹木的顏色等特徵。
49.將只含有船舶信息的圖像o2輸入圖卷積神經網絡，在圖卷積神經網絡的輸出端獲取第二特徵圖f2；第二特徵圖f2將只含有船舶信息的圖像o2中的船舶信息進行分類提取。
50.圖卷積神經網絡只輸出船舶顏色、大小、船舶在水域中的姿態等船舶特徵。相對於fasterrcnn網絡道提取的特徵純粹，只包含船舶特徵。
51.圖卷積神經網絡提取特徵準確，並且可以提取到fasterrcnn通道沒有提取到的特
徵，再將兩部分特徵融合，從而相互補充，進一步提高了對於船舶類型識別的準確率。
52.由於fasterrcnn包含檢測模塊(rpn模塊，畫出檢測框，並通過softmax分類判別)，如果只輸入包含船舶信息的圖像數據集就失去船舶檢測功能(即圖像中只有船舶，無需檢測)所以只能輸入原始圖像數據集；圖卷積通道輸入只包含船舶信息的圖像數據集，提取船舶特徵，用於補充fasterrcnn通道提取的特徵。
53.s5、將第一特徵圖f1、第二特徵圖f2輸入融合層，利用融合層生成具有船舶特徵的目標檢測圖t1。
54.進行融合處理的方法具體為：
55.將第一特徵圖f1和第二特徵圖f2分別調整為統一尺寸，後將兩特徵圖中的特徵融合至一個像素層，以獲得目標檢測圖t1。
56.s6、將目標檢測圖t1經融合層輸入至fasterrcnn網絡的rcnn層，並輸出檢測識別結果圖t2。
57.上述僅為本發明的優選實施例而已，並不對本發明起到任何限制作用。任何所屬技術領域的技術人員，在不脫離本發明的技術方案的範圍內，對本發明揭露的技術方案和技術內容做任何形式的等同替換或修改等變動，均屬未脫離本發明的技術方案的內容，仍屬於本發明的保護範圍之內。