圖像分類模型的訓練方法、圖像分類方法及裝置與流程

2024-04-12 13:08:05 1

1.本公開涉及計算機技術領域，尤其涉及深度學習、計算機視覺等人工智慧領域，具體涉及一種圖像分類模型的訓練方法、圖像分類方法及裝置。


背景技術：

2.在人工智慧領域，注意力機制是在原來神經網絡結構上加入一個注意力模塊，作用是讓神經網絡更加關注圖片中對類別劃分更具影響力的區域，例如在識別不同動物的任務中，注意力模塊希望神經網絡更關注到圖像中動物主體的區域而忽略幹擾的背景項。
3.相關技術中，通常注意力機制模塊的訓練是和分類任務一同進行的，通過分類任務的損失反向傳導來更新注意力模塊的權重。但是，這種權重更新方式依賴於訓練數據本身的分布情況，可能會影響分類效果。


技術實現要素：

4.本公開提供了一種圖像分類模型的訓練方法、圖像分類方法及裝置。具體方案如下：
5.根據本公開的一方面，提供了一種圖像分類模型的訓練方法，包括：
6.獲取第一圖像和第二圖像，其中，所述第二圖像與所述第一圖像互為鏡像；
7.分別對所述第一圖像和所述第二圖像進行特徵提取，以獲取所述第一圖像對應的第一特徵圖和所述第二圖像對應的第二特徵圖；
8.分別對所述第一特徵圖和所述第二特徵圖按通道維度進行池化操作，以獲取所述第一特徵圖對應的第一空間注意力權重圖和所述第二特徵圖對應的第二空間注意力權重圖；
9.根據所述第一空間注意力權重圖與所述第二空間注意力權重圖，確定第一約束損失；
10.根據所述第一約束損失對圖像分類模型進行訓練。
11.根據本公開的另一方面，提供了一種圖像分類方法，包括：
12.獲取待分類圖像；
13.將所述待分類圖像輸入圖像分類模型，以獲取所述待分類圖像對應的預測類別，其中，所述圖像分類模型是採用上述實施例所述的方法訓練得到的。
14.根據本公開的另一方面，提供了一種圖像分類模型的訓練裝置，包括：
15.第一獲取模塊，用於獲取第一圖像和第二圖像，其中，所述第二圖像與所述第一圖像互為鏡像；
16.第二獲取模塊，用於分別對所述第一圖像和所述第二圖像進行特徵提取，以獲取所述第一圖像對應的第一特徵圖和所述第二圖像對應的第二特徵圖；
17.第三獲取模塊，用於分別對所述第一特徵圖和所述第二特徵圖按通道維度進行池化操作，以獲取所述第一特徵圖對應的第一空間注意力權重圖和所述第二特徵圖對應的第
二空間注意力權重圖；
18.確定模塊，用於根據所述第一空間注意力權重圖與所述第二空間注意力權重圖，確定第一約束損失；
19.訓練模塊，用於根據所述第一約束損失對圖像分類模型進行訓練。
20.根據本公開的另一方面，提供了一種圖像分類裝置，包括：
21.第一獲取模塊，用於獲取待分類圖像；
22.第二獲取模塊，用於將所述待分類圖像輸入圖像分類模型，以獲取所述待分類圖像對應的預測類別，其中，所述圖像分類模型是採用上述實施例所述的圖像分類模型的訓練方法訓練得到的。
23.根據本公開的另一方面，提供了一種電子設備，包括：
24.至少一個處理器；以及
25.與所述至少一個處理器通信連接的存儲器；其中，
26.所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述一方面實施例所述的方法或能夠執行上述另一方面實施例所述的方法。
27.根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用於使所述計算機執行根據上述一方面實施例所述的方法或執行根據上述另一方面實施例所述的方法。
28.根據本公開的另一方面，提供了一種電腦程式產品，包括電腦程式，所述電腦程式在被處理器執行時實現上述一方面實施例所述方法的步驟或實現上述另一方面實施例所述的方法。
29.應當理解，本部分所描述的內容並非旨在標識本公開的實施例的關鍵或重要特徵，也不用於限制本公開的範圍。本公開的其它特徵將通過以下的說明書而變得容易理解。
附圖說明
30.附圖用於更好地理解本方案，不構成對本公開的限定。其中：
31.圖1為本公開一實施例提供的圖像分類模型的訓練方法的流程示意圖；
32.圖2為本公開另一實施例提供的圖像分類模型的訓練方法的流程示意圖；
33.圖3為本公開另一實施例提供的圖像分類模型的訓練方法的流程示意圖；
34.圖4為本公開實施例提供的一種對圖像進行空間注意力約束的示意圖一；
35.圖5為本公開另一實施例提供的圖像分類模型的訓練方法的流程示意圖；
36.圖6為本公開實施例提供的一種對圖像進行空間注意力約束的示意圖二；
37.圖7為本公開一實施例提供的圖像分類方法的流程示意圖；
38.圖8為本公開一實施例提供的圖像分類模型的訓練裝置的結構示意圖；
39.圖9為本公開一實施例提供的圖像分類裝置的結構示意圖；
40.圖10是用來實現本公開實施例的圖像分類模型的訓練方法的電子設備的框圖。
具體實施方式
41.以下結合附圖對本公開的示範性實施例做出說明，其中包括本公開實施例的各種
細節以助於理解，應當將它們認為僅僅是示範性的。因此，本領域普通技術人員應當認識到，可以對這裡描述的實施例做出各種改變和修改，而不會背離本公開的範圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結構的描述。
42.下面參考附圖描述本公開實施例的圖像分類模型的訓練方法、圖像分類方法及裝置。
43.人工智慧是研究使用計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規劃等)的學科，既有硬體層面的技術領域也有軟體層面的技術。人工智慧硬體技術一般包括如傳感器、專用人工智慧晶片、雲計算、分布式存儲、大數據處理等技術；人工智慧軟體技術包括計算機視覺技術、語音識別技術、自然語言處理技術以及深度學習、大數據處理技術、知識圖譜技術等幾大方向。
44.深度學習是機器學習領域中一個新的研究方向。深度學習是學習樣本數據的內在規律和表示層次，這些學習過程中獲得的信息對諸如文字，圖像和聲音等數據的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數據。
45.計算機視覺是一門研究如何使機器「看」的科學，是指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺，並進一步做圖形處理，使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。
46.圖1為本公開一實施例提供的圖像分類模型的訓練方法的流程示意圖。
47.本公開實施例的圖像分類模型的訓練方法，可以由本公開實施例的圖像分類模型的訓練裝置執行，該裝置可以配置於電子設備中，通過根據互為鏡像的第一圖像和第二圖像的空間注意力權重圖，進行注意力一致性約束，基於約束損失對圖像分類模型進行訓練，提高了模型的分類效果。
48.其中，電子設備可以為任一具有計算能力的設備，例如可以為個人電腦、移動終端、伺服器等，移動終端例如可以為車載設備、手機、平板電腦、個人數字助理、穿戴式設備等具有各種作業系統、觸控螢幕和/或顯示屏的硬體設備。
49.如圖1所示，該圖像分類模型的訓練方法，包括：
50.步驟101，獲取第一圖像和第二圖像，其中，第二圖像與第一圖像互為鏡像。
51.本公開中，可以從樣本集中採樣得到第一圖像，通過對第一圖像進行鏡像變換得到第二圖像，或者也可以從樣本集中採樣得到第二圖像，對第二圖像進行鏡像變換得到第一圖像，或者採樣集中包含多對互為鏡像的圖像，也可以通過從採樣集中採樣得到互為鏡像的第一圖像和第二圖像等，或者也可以通過其他方式獲取第一圖像和第二圖像，本公開對此不作限定。
52.本公開中，互為鏡像可以是互為左右鏡像，也可以是互為上下鏡像等，本公開對此不作限定。
53.本公開中，可以獲取一個類別的第一圖像和第二圖像，也可以獲取多個類別的第一圖像和第二圖像，本公開對此不作限定。
54.比如，可以從類別a的樣本集中採樣得到第一圖像，並對第一圖像進行鏡像變換得到第二圖像，並從類別b的樣本集中採樣得到第一圖像，並對第一圖像進行鏡像變換得到第二圖像。
55.另外，本公開中，第一圖像可以是一張，也可以是多張，本公開對此不作限定。
56.步驟102，分別對第一圖像和第二圖像進行特徵提取，以獲取第一圖像對應的第一特徵圖和第二圖像對應的第二特徵圖。
57.本公開中，圖像分類模型的結構中可以包括特徵提取網絡，可以將第一圖像輸入到特徵提取網絡進行特徵提取，得到第一特徵圖，將第二圖像輸入到特徵提取網絡進行特徵提取，得到第二特徵圖。
58.由於第一圖像和第二圖像互為鏡像，那麼第一特徵圖和第二特徵圖之間也互為鏡像。
59.步驟103，分別對第一特徵圖和第二特徵圖按通道維度進行池化操作，以獲取第一特徵圖對應的第一空間注意力權重圖和第二特徵圖對應的第二空間注意力權重圖。
60.本公開中，可以對第一特徵圖按通道維度進行最大池化操作和平均池化操作，得到兩個向量，將兩個向量拼接，並對拼接後的向量進行卷積操作，得到第一特徵圖對應的第一空間注意力權重圖。同樣地，可以對第二特徵圖按通道維度進行最大池化操作和平均池化操作，得到兩個權重圖，將兩個權重圖拼接，並對拼接後的權重圖進行卷積操作，得到第二特徵圖對應的第二空間注意力權重圖。
61.比如，第一特徵圖為[c，h，w]的向量，其中，c為通道數，h為深度，w為寬度，對第一特徵圖按通道維度進行最大池化和平均池化，也即按通道維度分別計算均值和最大值，得到兩個[1，h，w]的向量，將兩個向量拼接形成[2，h，w]的向量，經過一層卷積層得到[1，h，w]的第二空間注意力權重圖。
[0062]
本公開中，第一空間注意力權重圖中各元素可以表示第一特徵圖上每個點的權重，也就是說第一空間注意力權重圖可以表徵第一特徵圖上每個點的重要程度，第二空間注意力權重圖中各元素可以表示第二特徵圖上每個點的權重，也就是說第二空間注意力權重圖可以表徵第二特徵圖上每個點的重要程度。
[0063]
步驟104，根據第一空間注意力權重圖與第二空間注意力權重圖，確定第一約束損失。
[0064]
由於第二圖像與第一圖像互為鏡像，那麼影響類別劃分的區域也互為鏡像。比如，對於一張圖像(也即原圖)如果做左右的鏡像變換，可以認為兩個圖像仍同屬一個類別，原圖中影響類別劃分的區域也會對應到鏡像之後的位置。
[0065]
基於此，本公開中，可以將第一空間注意力權重圖與第二空間注意力權重圖進行比較，根據第一空間注意力權重圖與第二空間注意力權重圖之間的差異，確定第一約束損失，以約束兩個權重圖保持一致，從而保證注意力一致性。
[0066]
比如，第一圖像為i，對第一圖像i進行左右鏡像變換得到第二圖像t(i)，第一約束損失的計算可以參見如下公式：
[0067][0068]
其中，ms(i)表示第一圖像i的第一空間注意力權重圖，表示第二圖像t(i)的第二空間注意力權重圖，|| ||2表示矩陣的範數也即ms(i)與在空間上的距離，h表示第一注意力權重圖的高度，w表示第一注意力權重圖的寬度。
[0069]
步驟105，根據第一約束損失對圖像分類模型進行訓練。
[0070]
本公開中，可以根據第一約束損失對模型參數進行調整，如果當前訓練階段得到的圖像分類模型未滿足訓練結束條件，可以在下一個訓練階段繼續對圖像分類模型進行訓練直至滿足訓練結束條件。
[0071]
本公開中，一個訓練階段可以認為一次迭代過程，一個訓練階段可以利用多個訓練批次對模型參數進行調整，一個訓練批次中可以包括多個圖像，比如將32張圖一同輸入模型，訓練結束條件可以是迭代次數達到預設次數，或者也可以模型損失小於預設閾值等，本公開對此不作限定。
[0072]
本公開中，在對圖像分類模型進行訓練時，可以通過深度學習的方式進行訓練，相比於其他機器學習方法，深度學習在大數據集上的表現更好。
[0073]
相關技術中，通常注意力機制模塊的訓練是和分類任務一同進行的，通過分類任務的損失反向傳導來更新注意力模塊的權重。但是，這種權重更新方式依賴於訓練數據本身的分布情況，可能學習到的關注區域和人關注的區域存在較大偏差，從而會影響分類效果。而本公開的圖像分類模型的訓練方法，基於互為鏡像的圖像的空間注意力權重圖，進行注意力一致性約束，提高了模型的分類效果。
[0074]
本公開實施例中，通過分別對互為鏡像的第一圖像和第二圖像進行特徵提取，以獲取第一圖像對應的第一特徵圖和第二圖像對應的第二特徵圖，並分別對第一特徵圖和第二特徵圖按通道維度進行池化操作，以獲取第一特徵圖對應的第一空間注意力權重圖和第二特徵圖對應的第二空間注意力權重圖，並根據第一空間注意力權重圖與第二空間注意力權重圖，確定第一約束損失，根據第一約束損失對圖像分類模型進行訓練。由此，通過根據互為鏡像的第一圖像和第二圖像的空間注意力權重圖，進行注意力一致性約束，基於一致性約束損失對圖像分類模型進行訓練，提高了模型的分類效果。
[0075]
圖2為本公開另一實施例提供的圖像分類模型的訓練方法的流程示意圖。
[0076]
如圖2所示，該圖像分類模型的訓練方法可以包括：
[0077]
步驟201，獲取第一圖像和第二圖像，其中，第二圖像與第一圖像互為鏡像。
[0078]
步驟202，分別對第一圖像和第二圖像進行特徵提取，以獲取第一圖像對應的第一特徵圖和第二圖像對應的第二特徵圖。
[0079]
步驟203，分別對第一特徵圖和第二特徵圖按通道維度進行池化操作，以獲取第一特徵圖對應的第一空間注意力權重圖和第二特徵圖對應的第二空間注意力權重圖。
[0080]
步驟204，根據第一空間注意力權重圖與第二空間注意力權重圖，確定第一約束損失。
[0081]
本公開中，步驟201-步驟204可以分別採用本公開的各實施例中的任一種方式實現，本公開實施例並不對此作出限定，也不再贅述。
[0082]
步驟205，根據第一空間注意力權重圖和第一特徵圖，獲取第一圖像對應的第一注意力特徵圖。
[0083]
本公開中，可以將第一空間注意力權重圖與第一特徵圖相乘，對第一特徵圖上每個點都賦予了權重，得到第一圖像對應的第一注意力特徵圖，也即對第一圖像的不同空間位置賦予不同的權重，從而可以實現對第一圖像中重點區域的關注。
[0084]
比如，大小為[1,h,w]的第一空間注意力權重圖與大小為[c,h,w]的第一特徵圖相
乘，即第一特徵圖上[h,w]的每個點都賦予了權重。
[0085]
步驟206，對第一注意力特徵圖進行解碼，以獲取第一圖像對應的預測類別。
[0086]
本公開中，在獲取第一注意力特徵圖後，可以將第一注意力特徵圖與第一圖像的原特徵圖進行融合，得到融合後的特徵圖，並對融合後的特徵圖進行解碼，可以獲取第一圖像對應的預測類別。
[0087]
其中，原特徵圖可以看作是注意力網絡的前一網絡結構的輸出，可以對原特徵圖進行卷積操作得到的第一特徵圖。
[0088]
步驟207，根據預測類別與第一圖像的標註類別之間的差異，確定標籤損失。
[0089]
本公開中，可以根據預測類別與第一圖像的標註類別之間的差異，確定標籤損失。其中，標籤損失可以用於表徵圖像分類模型的預測結果與標註類別之間的差異程度，標籤損失越大說明差距越大。
[0090]
由於第一圖像與第二圖像互為鏡像，那麼兩者所屬的類別也相同，因此，也可以根據第二注意力權重圖和第二特徵圖，獲取第二圖像對應的預測類別，基於第二圖像對應的預測類別與標註類別之間的差異，確定標籤損失。
[0091]
步驟208，根據標籤損失和第一約束損失對圖像分類模型進行訓練。
[0092]
本公開中，可以將標籤損失和第一約束之和作為總損失，根據總損失對模型參數進行調整，並對參數調整後的模型繼續訓練直至滿足訓練結束條件。
[0093]
本公開中，如果第一圖像為多個也即一次輸入多張圖像，可以將多個第一圖像的標籤損失和第一約束損失相加，得到總損失，根據總損失調整模型參數。
[0094]
本公開中，在根據第一約束損失對圖像分類模型進行訓練時，可以根據第一空間注意力權重圖和第一特徵圖，獲取第一圖像對應的第一注意力特徵圖，並對第一注意力特徵圖進行解碼，以獲取第一圖像對應的預測類別，根據預測類別與第一圖像的標註類別之間的差異，確定標籤損失，再根據標籤損失和第一約束損失對圖像分類模型進行訓練。由此，通過根據標籤損失和互為鏡像的第一圖像和第二圖像的空間注意力權重圖之間的約束損失對圖像分類模型進行訓練，提高了模型的分類效果。
[0095]
圖3為本公開另一實施例提供的圖像分類模型的訓練方法的流程示意圖。
[0096]
如圖3所示，該圖像分類模型的訓練方法可以包括：
[0097]
步驟301，獲取第一圖像和第二圖像，其中，第二圖像與第一圖像互為鏡像。
[0098]
步驟302，分別對第一圖像和第二圖像進行特徵提取，以獲取第一圖像對應的第一特徵圖和第二圖像對應的第二特徵圖。
[0099]
步驟303，分別對第一特徵圖和第二特徵圖按通道維度進行池化操作，以獲取第一特徵圖對應的第一空間注意力權重圖和第二特徵圖對應的第二空間注意力權重圖。
[0100]
本公開中，可以直接對第一特徵圖按通道維度進行池化操作，得到第一空間注意力權重圖，也可以對第一特徵圖按空間維度進行池化操作，得到通道注意力權重圖，並根據通道注意力權重圖與第一特徵圖，得到注意力特徵圖，並對注意力特徵圖按通道維度進行池化操作，得到第一空間注意力權重圖。
[0101]
步驟304，根據第一空間注意力權重圖與第二空間注意力權重圖，確定第一約束損失。
[0102]
本公開中，步驟301-步驟304可以分別採用本公開的各實施例中的任一種方式實
現，本公開實施例並不對此作出限定，也不再贅述。
[0103]
步驟305，在第一圖像具有標註框的情況下，根據標註框生成第三空間注意力權重圖。
[0104]
本公開中，對每個類別可以隨機抽取一定比例的樣本進行注意力區域標註，以使樣本具有標註框。若第一圖像具有標註框，那麼可以根據標註框生成第一圖像對應的第三空間注意力權重圖。
[0105]
其中，第三空間注意力權重圖中標註框內各點的權重可以大於標註框外其他點的權重。
[0106]
在生成第三空間主力權重圖時，作為一種可能的實現方式，對於標註框內的點，可以認為標註框內各點的權重相同，對於未在標註框內的點，可以根據未在標註框內的各點與標註框之間的距離確定權重，距離越遠權越小，並根據各點的權重，生成第三空間注意力特徵圖。
[0107]
作為另一種可能的實現方式，可以根據標註框的長度和寬度，確定高斯分布函數中的標準差，並根據標註框的中心點坐標，確定高斯分布函數中的均值，根據標準差和均值，利用高斯分布函數，確定第一圖像中各坐標點的權重，再根據各坐標點的權重，生成第三空間注意力權重圖。由此，基於高斯分布函數生成第三注意力權重圖，使得第三注意力權重圖的關注區域更加符合人的關注區域。
[0108]
比如，某圖像的標註框的寬度為w，高度為h，可以取標註框的中心點坐標(x1,y1)，半徑該圖像中各坐標點的權重可以根據下述公式確定：
[0109][0110]
其中，g(x,y)為高斯分布函數，g(x,y)表示該圖像中坐標點(x,y)的權重，σ表示高斯分布函數中的標準差，x1和y1表示高斯分布函數中的均值。
[0111]
需要說明的是，上述公式中標準差σ與半徑r之間的關係僅為示例，本公開對此不作限定。
[0112]
步驟306，根據第一空間注意力權重圖和第三空間注意力權重圖之間的差異，確定第二約束損失。
[0113]
本公開中，可以將第一空間注意力權重圖與第三空間注意力權重進行比較，進行注意力先驗證區域約束，根據第一空間注意力權重圖與第三空間注意力權重圖之間的差異，確定第二約束損失，以約束空間注意力的權重關注區域與標註的標註框相符。
[0114]
步驟307，根據第一約束損失和第二約束損失對圖像分類模型進行訓練。
[0115]
本公開中，可以根據第一約束損失和第二約束損失之和，對模型參數進行調整，並對調整後的模型繼續訓練直至滿足訓練結束條件。
[0116]
本公開中，可以根據第一空間注意力權重圖和第一特徵圖，獲取第一圖像對應的第一注意力特徵圖，並對第一注意力特徵圖進行解碼，獲取第一圖像對應的預測類別，具體方法可以參見上述實施例，故在此不再贅述。
[0117]
在獲取第一圖像對應的預測類別後，可以根據預測類別與第一圖像的標註類別之間的差異，確定標籤損失，並將標籤損失、第一約束損失和第二約束損失之和作為總損失，
根據總損失調整模型參數。由此，通過根據標籤損失、互為鏡像的第一圖像和第二圖像的空間注意力權重圖之間的約束損失和注意力先驗區域約束，對圖像分類模型進行訓練，提高了模型的分類效果。
[0118]
為了便於理解，下面結合圖4進行說明，圖4為本公開實施例提供的一種對圖像進行空間注意力約束的示意圖一。
[0119]
如圖4所示，圖像p具有標註框，可以根據標註框生成第三注意力權重圖，並對圖像p進行特徵提取，其中，f是前一個網絡結構輸出的特徵圖，對特徵圖f進行卷積操作，得到特徵圖f，對f按空間維度進行池化操作得到第一通道注意力權重圖mc(f)，將mc(f)與f進行相乘得到注意力特徵圖之後對f
′
按通道維度進行池化操作得到第一空間注意力權重圖ms(f
′
)，將ms(f
′
)與f
′
相乘得到注意力特徵圖將f
″
與特徵圖f進行融合得到融合特徵圖，對融合後的特徵圖進行解碼得到預測類別，基於預測類別與圖像p之間差異，得到標籤損失，並根據第三注意力權重圖與第一空間注意力權重圖ms(f
′
)之間的差異，確定第二約束損失。
[0120]
本公開實施例中，通過根據互為鏡像的第一圖像和第二圖像的空間注意力權重圖，進行注意力一致性約束，還可以根據第一空間注意力權重圖與第三空間注意力權重圖，進行注意力先驗證區域約束，可以使空間注意力更好的關注到希望它關注到的區域，也就是使學習到的關注區域與人關注的區域接近，使學習到的關注區域與人關注的區域接近，由此基於第一約束損失和第二約束損失對圖像分類模型進行訓練，可以進一步提高模型的分類效果。
[0121]
圖5為本公開另一實施例提供的圖像分類模型的訓練方法的流程示意圖。
[0122]
如圖5所示，該圖像分類模型的訓練方法可以包括：
[0123]
步驟501，獲取第一圖像和第二圖像，其中，第二圖像與第一圖像互為鏡像。
[0124]
步驟502，分別對第一圖像和第二圖像進行特徵提取，以獲取第一圖像對應的第一特徵圖和第二圖像對應的第二特徵圖。
[0125]
本公開中，步驟501-步驟502可以分別採用本公開的各實施例中的任一種方式實現，本公開實施例並不對此作出限定，也不再贅述。
[0126]
步驟503，分別對第一特徵圖和第二特徵圖按空間維度進行池化操作，以獲取第一特徵圖對應的第一通道注意力權重圖和第二特徵圖對應的第二通道注意力權重圖。
[0127]
本公開中，可以按空間維度分別對第一特徵圖進行最大池化操作和平均池化操作，得到兩個向量，兩個向量分別經過同一個mlp(multi-layer perception,多層感知機)網絡，映射成每個通道的權重，將映射後的權重相加得到第一通道注意力權重圖。同樣地，對第二圖像進行相同的操作，可以得到第二通道注意力權重圖。
[0128]
比如，第一特徵圖為[c，h，w]的向量，第一特徵圖經過最大池化層和平均池化層，形成兩個[c,1,1]的向量，兩個[c,1,1]的向量分別經過同一個mlp網絡再相加得到第一通道注意力權重圖[c,1,1]。
[0129]
其中，第一通道注意力權重圖中各元素可以表示第一特徵圖中各通道維度的權重；第二通道注意力權重圖中各元素可以表示第二特徵圖中各通道維度的權重。
[0130]
步驟504，根據第一通道注意力權重圖和第一特徵圖，獲取第一圖像對應的第三注意力特徵圖。
[0131]
本公開中，可以將第一通道注意力權重圖與第一特徵圖相乘，得到第一圖像對應的第三注意力特徵圖，如下公式所示：
[0132][0133]
其中，f
′
表示第三注意力特徵圖，f表示第一特徵圖，mc(f)表示第一通道注意力權重圖。
[0134]
由於第一通道注意力權重圖中各元素可以表示第一特徵圖中各通道維度的權重，那麼將第一通道注意力權重圖與第一特徵圖相乘，可以對第一特徵圖的不同通道維度上賦予不同的權重，從而可以實現對第一圖像中的有效信息的關注。
[0135]
步驟505，根據第二通道注意力權重圖和第二特徵圖，獲取第二圖像對應的第四注意力特徵圖。
[0136]
本公開中，可以將第二通道注意力權重圖與第二特徵圖相乘，得到第二圖像對應的第四注意力特徵圖。
[0137]
由於第二通道注意力權重圖中各元素可以表示第二特徵圖中各通道維度的權重，那麼將第二通道注意力權重圖與第二特徵圖相乘，可以對第二特徵圖的不同通道維度上賦予不同的權重，從而可以實現對第二圖像中的有效信息的關注。
[0138]
步驟506，分別對第三注意力特徵圖和第四注意力特徵圖按通道維度進行池化操作，以獲取第一空間注意力權重圖和第二空間注意力權重圖。
[0139]
本公開中，對第三注意力特徵圖按通道維度進行池化操作，得到第一空間注意力權重圖的方法，與上述對第一特徵圖按通道維度進行池化操作，得到第一空間注意力權重圖類似，故在此步驟贅述。
[0140]
本公開中，對第四注意力特徵圖進行按通道維度進行池化操作，得到第二空間注意力權重圖的方法，與上述對第一特徵圖按通道維度進行池化操作，得到第一空間注意力權重圖類似，故在此步驟贅述。
[0141]
步驟507，根據第一空間注意力權重圖與第二空間注意力權重圖，確定第一約束損失。
[0142]
步驟508，根據第一約束損失對圖像分類模型進行訓練。
[0143]
本公開中，步驟507-步驟508可以分別採用本公開的各實施例中的任一種方式實現，本公開實施例並不對此作出限定，也不再贅述。
[0144]
為了便於理解，下面結合圖6進行說明，圖6為本公開實施例提供的一種對圖像進行空間注意力約束的示意圖二。
[0145]
如圖6所示，圖像p為原圖像，t(p)是對圖像p進行變換得到的，對圖像p和t(p)分別進行特徵提取，以圖像p為例，對圖像p進行特徵提取，其中，f是前一個網絡結構輸出的特徵圖，對特徵圖f進行卷積操作，得到特徵圖f，對f按空間維度進行池化操作得到第一通道注意力權重圖mc(f)，將mc(f)與f進行相乘得到第三注意力特徵圖之後對f
′
按通道維度進行池化操作得到第一空間注意力權重圖ms(f
′
)，將ms(f
′
)與f
′
相乘得到第一注意力特徵圖將f
″
與特徵f進行融合得到融合特徵圖，對融合後的特徵圖進行解碼得到預測類別，基於預測類別與圖像p之間差異，得到標籤損失。
[0146]
同樣地，可以對t(p)進行特徵提取、按空間維度進行池化操作和按通道維度進行
池化操作，得到t(p)對應的第二空間注意力權重圖，基於圖像p對應的第一空間注意力權重圖和t(p)對應的第二空間注意力權重圖之間的差異，得到第一約束損失。之後，可以根據標籤損失和第一約束損失對圖像分類模型進行訓練。
[0147]
本公開實施例中，可以先分別對第一特徵圖和第二特徵圖按空間維度進行池化操作，得到第一通道注意力權重圖和第二通道注意力權重圖，並根據第一通道注意力權重圖和第一特徵圖，得到第三注意力特徵圖，根據第二通道注意力權重圖和第二特徵圖，得到第四注意力特徵圖，再對第三注意力特徵圖和第四注意力特徵圖按通道維度進行池化操作，得到第一空間注意力權重圖和第二空間注意力權重圖，由此，在學習圖像中有哪些有效信息的基礎上並通過根據互為鏡像的第一圖像和第二圖像的空間注意力權重圖，進行注意力一致性約束，基於一致性約束損失對圖像分類模型進行訓練，可以進一步提高了模型的分類效果。
[0148]
在本公開的一個實施例中，可以獲取當前訓練階段的前一訓練階段的模型評價指標及各類別的第一樣本數量，並根據前一訓練階段的模型評價指標和前一訓練階段所用的樣本的第一樣本數量，確定當前訓練階段各類別的第二樣本數量，再根據各類別的第二樣本數量，從各類別的樣本集中獲取第一圖像，也即從每個類別的樣本集中獲取每個類別的第二樣本數量的第一圖像。
[0149]
在確定當前訓練階段各類別的第二樣本數量時，可以根據前一訓練階段的模型評價指標，對前一訓練階段所用的樣本的第一樣本數量進行調整，以得到當前訓練階段各類別的第二樣本數量，由此動態調整樣本數量，可以提高模型的訓練效率。
[0150]
在實際應用中，可能會比較關注某中類別的識別效果，比如確定機動車道上是否包含非機動車輛的場景，可能會比較關注包含非機動車輛這種類別。
[0151]
基於此，本公開中，模型評價指標可以包括各類別中目標類別對應的召回率和精度，如果目標類別的召回率大於第一閾值且精度小於第二閾值，可以根據第一預設比例，降低目標類別的第一樣本數量，得到目標類別的第二樣本數量，並根據第一預設比例和目標類別的第一樣本數量，增加各類別中除目標類別外的其他類別的第一樣本數量，以得到其他類別的第二樣本數量。
[0152]
比如，前一訓練階段中類別1和類別2的第一樣本數量分別為a1和b1，其中類別1為目標類別，第一預設比例為r1，如果類別1的召回率大於90％且精度小於50％，當前訓練階段類別1的數量a2＝a1*(1-r1)，類別b的數量b2＝b1+r1*a1。
[0153]
由此，在目標類別高召回低精度時，可以使當前訓練階段中目標類別的樣本數量比前一訓練階段少，使其他類別的樣本數量比前一訓練階段多，從而可以提高模型精度。
[0154]
如果召回率小於第三閾值且精度大於第四閾值，可以根據第二預設比例，增加目標類別的第一樣本數量，以得到目標類別的第二樣本數量，並根據第二預設比例和目標類別的第一樣本數量，降低其他類別的第一樣本數量，以得到其他類別的第二樣本數量。
[0155]
其中，第一閾值可以大於第三閾值，第二閾值可以小於第四閾值，第一預設比例可以與第二預設比例可以相同，也可以不同，本公開對此不作限定。
[0156]
比如，前一訓練階段中類別1和類別2的第一樣本數量分別為a1和b1，其中類別1為目標類別，第二預設比例為r2，如果類別1的召回率小於70％且精度大於80％，當前訓練階段類別1的數量a2＝a1*(1+r2)，類別b的數量b2＝b1-(r2*a1)。
[0157]
由此，在目標類別低召回高精度時，可以使當前訓練階段中目標類別的樣本數量比前一訓練階段多，使其他類別的樣本數量比前一訓練階段少，從而可以提高模型召回率。
[0158]
需要說明的是，本公開中，第一預設比例和第二預設比例可以根據需要設定，本公開對此不作限定。
[0159]
在實際應用中，對於相同類別的圖像，存在難以程度的問題，只關注困難樣本或只關注簡單樣本，均會影響最終模型的分類效果。
[0160]
基於此，在本公開的一個實施例中，可以利用當前訓練階段的前一訓練階段得到的圖像分類模型，對每個類別對應的樣本集中每個樣本圖像進行類別預測，以獲取每個樣本圖像所屬預測類別的預測概率，並根據每個樣本圖像對應的預測概率，確定每個類別的樣本圖像的預測概率位於各概率區間的數量佔比，並根據數量佔比，確定各概率區間內樣本圖像的採樣概率，根據採樣概率在樣本集中進行採樣，以獲取每個類別的第一圖像。
[0161]
其中，可以將概率[0,1]劃分為多個概率區間，劃分方式可以根據需要確定。
[0162]
比如，某類別的樣本集合中有10000張圖像，可以將[0,1]分成4個概率區間，[0-0.25]，(0.25,0.5]，(0.5,0.75]，(0.75,1]，利用前一個訓練階段的模型對該樣本集中每個圖像進行類別預測，可以得到預測概率，並確定每個圖像落在哪個概率區間，4個概率區中樣本的數量分別是4000，1000，1000，4000，落在概率區間[0-0.25]中圖像的採樣概率可以確定為1/(4000/10000)＝2.5,落在概率區間(0.25,0.5]中圖像的採樣概率可以確定為1/(1000/10000)＝10，落在概率區間(0.5,0.75]中圖像的採樣概率為10，落在概率區間(0.75,1]中圖像的採樣概率為2.5。樣本集中每個圖像分配這樣的採樣概率之後，可以按照上述採樣概率，在樣本集中採樣，獲取每個類別的第一圖像。
[0163]
可見，當前訓練階段再從這10000張圖片中抽取2000張圖像時，概率區間(0.25,0.5]中的圖像被抽樣到的概率比概率區間[0-0.25]中圖像被抽樣到的概率大。
[0164]
本公開實施例中，對於每個類別，可以基於前一訓練階段的模型得到樣本集中各樣本圖像的概率，根據落在各概率區間的數量佔比，更新採樣概率，根據採樣概率進行採樣得到當前訓練階段所需的第一圖像，由此，每個訓練階段完成後更新採樣概率，根據更新後的採樣概率從樣本集中抽取第一圖像，可以解決在訓練過程中同一類別難易樣本不均衡的問題，提高了模型的分類效果。
[0165]
為了實現上述實施例，本公開實施例還提出一種圖像分類方法。圖7為本公開一實施例提供的圖像分類方法的流程示意圖。
[0166]
如圖7所示，該圖像分類方法包括：
[0167]
步驟701，獲取待分類圖像。
[0168]
本公開中，待分類圖像可以是實時拍攝的，也可以是用戶上傳的，也可以是視頻中的圖像，也可以是其他方式獲取的，本公開對此不作限定。
[0169]
步驟702，將待分類圖像輸入圖像分類模型，以獲取待分類圖像對應的預測類別。
[0170]
本公開中，可以將待分類模型輸入到圖像分類模型進行類別預測，以獲取圖像分類模型輸出的待分類圖像對應的預測類別。其中，圖像分類模型可以採用上述任一實施例所述的圖像分類模型的訓練方法訓練得到的。
[0171]
本公開實施例中，通過利用上述實施例所述的圖像分類模型的訓練方法訓練得到的圖像分類模型，對待分類模型進行類別預測，得到待分類圖像的預測類別。由此，通過利
用空間注意力一致性約束訓練得到的圖像分類模型進行類別預測，可以提高分類準確性。
[0172]
為了實現上述實施例，本公開實施例還提出一種圖像分類模型的訓練裝置。圖8為本公開一實施例提供的圖像分類模型的訓練裝置的結構示意圖。
[0173]
如圖8所示，該圖像分類模型的訓練裝置800包括：
[0174]
第一獲取模塊810，用於獲取第一圖像和第二圖像，其中，所述第二圖像與所述第一圖像互為鏡像；
[0175]
第二獲取模塊820，用於分別對所述第一圖像和所述第二圖像進行特徵提取，以獲取所述第一圖像對應的第一特徵圖和所述第二圖像對應的第二特徵圖；
[0176]
第三獲取模塊830，用於分別對所述第一特徵圖和所述第二特徵圖按通道維度進行池化操作，以獲取所述第一特徵圖對應的第一空間注意力權重圖和所述第二特徵圖對應的第二空間注意力權重圖；
[0177]
確定模塊840，用於根據所述第一空間注意力權重圖與所述第二空間注意力權重圖，確定第一約束損失；
[0178]
訓練模塊850，用於根據所述第一約束損失對圖像分類模型進行訓練。
[0179]
在本公開實施例一種可能的實現方式中，所述訓練模塊850，用於：
[0180]
根據所述第一空間注意力權重圖和所述第一特徵圖，獲取所述第一圖像對應的第一注意力特徵圖；
[0181]
對所述第一注意力特徵圖進行解碼，以獲取所述第一圖像對應的預測類別；
[0182]
根據所述預測類別與所述第一圖像的標註類別之間的差異，確定標籤損失；
[0183]
根據所述標籤損失和所述第一約束損失對所述圖像分類模型進行訓練。
[0184]
在本公開實施例一種可能的實現方式中，所述訓練模塊850，用於：
[0185]
在所述第一圖像具有標註框的情況下，根據所述標註框生成第三空間注意力權重圖；
[0186]
根據所述第一空間注意力權重圖和所述第三空間注意力權重圖之間的差異，確定第二約束損失；
[0187]
根據所述第一約束損失和所述第二約束損失對所述圖像分類模型進行訓練。
[0188]
在本公開實施例一種可能的實現方式中，所述訓練模塊850，用於：
[0189]
根據所述標註框的長度和寬度，確定高斯分布函數中的標準差；
[0190]
根據所述標註框的中心點坐標，確定所述高斯分布函數中的均值；
[0191]
根據所述標準差和所述均值，利用所述高斯分布函數，確定所述第一圖像中各坐標點的權重；
[0192]
根據所述各坐標點的權重，生成所述第三空間注意力權重圖。
[0193]
在本公開實施例一種可能的實現方式中，所述訓練模塊850，用於：
[0194]
根據所述第一空間注意力權重圖和所述第一特徵圖，獲取所述第一圖像對應的第一注意力特徵圖；
[0195]
對所述第一注意力特徵圖進行解碼，以獲取所述第一圖像對應的預測類別；
[0196]
根據所述預測類別與所述第一圖像的標註類別之間的差異，確定標籤損失；
[0197]
根據所述標籤損失、第一約束損失及所述第二約束損失對所述圖像分類模型進行訓練。
[0198]
在本公開實施例一種可能的實現方式中，所述第二獲取模塊820，用於：
[0199]
分別對所述第一特徵圖和所述第二特徵圖進行按空間維度進行池化操作，以獲取所述第一特徵圖對應的第一通道注意力權重圖和所述第二特徵圖對應的第二通道注意力權重圖；
[0200]
根據所述第一通道注意力權重圖和所述第一特徵圖，獲取所述第一圖像對應的第三注意力特徵圖；
[0201]
根據所述第二通道注意力權重圖和所述第二特徵圖，獲取所述第二圖像對應的第四注意力特徵圖；
[0202]
分別對所述第三注意力特徵圖和所述第四注意力特徵圖按通道維度進行池化操作，以獲取所述第一空間注意力權重圖和所述第二空間注意力權重圖。
[0203]
在本公開實施例一種可能的實現方式中，所述第一獲取模塊810，用於：
[0204]
獲取當前訓練階段的前一訓練階段的模型評價指標及各類別的第一樣本數量；
[0205]
根據所述模型評價指標及所述第一樣本數量，確定當前訓練階段所述各類別的第二樣本數量；
[0206]
根據所述第二樣本數量，從所述各類別的樣本集中獲取所述第一圖像。
[0207]
在本公開實施例一種可能的實現方式中，所述模型評價指標包括所述各類別中目標類別對應的召回率和精度，所述第一獲取模塊810，用於：
[0208]
在所述召回率大於第一閾值且所述精度小於第二閾值的情況下，根據第一預設比例，降低所述目標類別的第一樣本數量，以得到所述目標類別的第二樣本數量；
[0209]
根據所述第一預設比例和所述目標類別的第一樣本數量，增加所述各類別中除所述目標類別外的其他類別的第一樣本數量，以得到所述其他類別的第二樣本數量。
[0210]
在本公開實施例一種可能的實現方式中，所述第一獲取模塊810，還用於：
[0211]
在所述召回率小於第三閾值且所述精度大於第四閾值的情況下，根據第二預設比例，增加所述目標類別的第一樣本數量，以得到所述目標類別的第二樣本數量；
[0212]
根據所述第二預設比例和所述目標類別的第一樣本數量，降低所述其他類別的第一樣本數量，以得到所述其他類別的第二樣本數量。
[0213]
在本公開實施例一種可能的實現方式中，所述第一獲取模塊810，用於：
[0214]
利用當前訓練階段的前一訓練階段得到的圖像分類模型，對每個類別對應的樣本集中每個樣本圖像進行類別預測，以獲取所述每個樣本圖像所屬預測類別的預測概率；
[0215]
根據所述每個樣本圖像對應的預測概率，確定所述每個類別的樣本圖像的預測概率位於各概率區間的數量佔比；
[0216]
根據所述數量佔比，確定所述各概率區間內樣本圖像的採樣概率；
[0217]
根據所述採樣概率在所述樣本集中進行採樣，以獲取所述每個類別的第一圖像。
[0218]
在本公開實施例一種可能的實現方式中，所述確定模塊840，用於：
[0219]
確定所述第一空間注意力權重圖與所述第二空間注意力權重圖在空間上的距離；根據所述距離、所述第一空間注意力權重圖的高度及寬度，確定所述第一約束損失。
[0220]
需要說明的是，前述圖像分類模型的訓練方法實施例的解釋說明，也適用於該實施例的圖像分類模型的訓練裝置，故在此不再贅述。
[0221]
本公開實施例中，通過分別對互為鏡像的第一圖像和第二圖像進行特徵提取，以
獲取第一圖像對應的第一特徵圖和第二圖像對應的第二特徵圖，並分別對第一特徵圖和第二特徵圖按通道維度進行池化操作，以獲取第一特徵圖對應的第一空間注意力權重圖和第二特徵圖對應的第二空間注意力權重圖，並根據第一空間注意力權重圖與第二空間注意力權重圖，確定第一約束損失，根據第一約束損失對圖像分類模型進行訓練。由此，通過根據互為鏡像的第一圖像和第二圖像的空間注意力權重圖，進行注意力一致性約束，基於一致性約束損失對圖像分類模型進行訓練，提高了模型的分類效果。
[0222]
為了實現上述實施例，本公開實施例還提出一種圖像分類裝置。圖9為本公開一實施例提供的圖像分類裝置的結構示意圖。
[0223]
如圖9所示，該圖像分類裝置900包括：
[0224]
第一獲取模塊910，用於獲取待分類圖像；
[0225]
第二獲取模塊920，用於將所述待分類圖像輸入圖像分類模型，以獲取所述待分類圖像對應的預測類別，其中，所述圖像分類模型是採用上述實施例所述的圖像分類模型的訓練方法訓練得到的。
[0226]
需要說明的是，前述圖像分類模型的訓練方法實施例的解釋說明，也適用於該實施例的圖像分類模型的訓練裝置，故在此不再贅述。
[0227]
本公開實施例中，通過利用上述實施例所述的圖像分類模型的訓練方法訓練得到的圖像分類模型，對待分類模型進行類別預測，得到待分類圖像的預測類別。由此，通過利用空間注意力一致性約束訓練得到的圖像分類模型進行類別預測，可以提高分類準確性。
[0228]
根據本公開的實施例，本公開還提供了一種電子設備、一種可讀存儲介質和一種電腦程式產品。
[0229]
圖10示出了可以用來實施本公開的實施例的示例電子設備1000的示意性框圖。電子設備旨在表示各種形式的數字計算機，諸如，膝上型計算機、臺式計算機、工作檯、個人數字助理、伺服器、刀片式伺服器、大型計算機、和其它適合的計算機。電子設備還可以表示各種形式的移動裝置，諸如，個人數字處理、蜂窩電話、智慧型電話、可穿戴設備和其它類似的計算裝置。本文所示的部件、它們的連接和關係、以及它們的功能僅僅作為示例，並且不意在限制本文中描述的和/或者要求的本公開的實現。
[0230]
如圖10所示，設備1000包括計算單元1001，其可以根據存儲在rom(read-only memory，只讀存儲器)1002中的電腦程式或者從存儲單元1008加載到ram(random access memory，隨機訪問/存取存儲器)1003中的電腦程式，來執行各種適當的動作和處理。在ram 1003中，還可存儲設備1000操作所需的各種程序和數據。計算單元1001、rom 1002以及ram 1003通過總線1004彼此相連。i/o(input/output，輸入/輸出)接口1005也連接至總線1004。
[0231]
設備1000中的多個部件連接至i/o接口1005，包括：輸入單元1006，例如鍵盤、滑鼠等；輸出單元1007，例如各種類型的顯示器、揚聲器等；存儲單元1008，例如磁碟、光碟等；以及通信單元1009，例如網卡、數據機、無線通信收發機等。通信單元1009允許設備1000通過諸如網際網路的計算機網絡和/或各種電信網絡與其他設備交換信息/數據。
[0232]
計算單元1001可以是各種具有處理和計算能力的通用和/或專用處理組件。計算單元1001的一些示例包括但不限於cpu(central processing unit，中央處理單元)、gpu(graphic processing units，圖形處理單元)、各種專用的ai(artificial intelligence，
人工智慧)計算晶片、各種運行機器學習模型算法的計算單元、dsp(digital signal processor，數位訊號處理器)、以及任何適當的處理器、控制器、微控制器等。計算單元1001執行上文所描述的各個方法和處理，例如圖像分類模型的訓練方法。例如，在一些實施例中，圖像分類模型的訓練方法可被實現為計算機軟體程序，其被有形地包含於機器可讀介質，例如存儲單元1008。在一些實施例中，電腦程式的部分或者全部可以經由rom 1002和/或通信單元1009而被載入和/或安裝到設備1000上。當電腦程式加載到ram 1003並由計算單元1001執行時，可以執行上文描述的圖像分類模型的訓練方法的一個或多個步驟。備選地，在其他實施例中，計算單元1001可以通過其他任何適當的方式(例如，藉助於固件)而被配置為執行圖像分類模型的訓練方法。
[0233]
本文中以上描述的系統和技術的各種實施方式可以在數字電子電路系統、集成電路系統、fpga(field programmable gate array，現場可編程門陣列)、asic(application-specific integrated circuit，專用集成電路)、assp(application specific standard product，專用標準產品)、soc(system on chip，晶片上系統的系統)、cpld(complex programmable logic device，複雜可編程邏輯設備)、計算機硬體、固件、軟體、和/或它們的組合中實現。這些各種實施方式可以包括：實施在一個或者多個電腦程式中，該一個或者多個電腦程式可在包括至少一個可編程處理器的可編程系統上執行和/或解釋，該可編程處理器可以是專用或者通用可編程處理器，可以從存儲系統、至少一個輸入裝置、和至少一個輸出裝置接收數據和指令，並且將數據和指令傳輸至該存儲系統、該至少一個輸入裝置、和該至少一個輸出裝置。
[0234]
用於實施本公開的方法的程序代碼可以採用一個或多個程式語言的任何組合來編寫。這些程序代碼可以提供給通用計算機、專用計算機或其他可編程數據處理裝置的處理器或控制器，使得程序代碼當由處理器或控制器執行時使流程圖和/或框圖中所規定的功能/操作被實施。程序代碼可以完全在機器上執行、部分地在機器上執行，作為獨立軟體包部分地在機器上執行且部分地在遠程機器上執行或完全在遠程機器或伺服器上執行。
[0235]
在本公開的上下文中，機器可讀介質可以是有形的介質，其可以包含或存儲以供指令執行系統、裝置或設備使用或與指令執行系統、裝置或設備結合地使用的程序。機器可讀介質可以是機器可讀信號介質或機器可讀儲存介質。機器可讀介質可以包括但不限於電子的、磁性的、光學的、電磁的、紅外的、或半導體系統、裝置或設備，或者上述內容的任何合適組合。機器可讀存儲介質的更具體示例會包括基於一個或多個線的電氣連接、可攜式計算機盤、硬碟、ram、rom、eprom(electrically programmable read-only-memory，可擦除可編程只讀存儲器)或快閃記憶體、光纖、cd-rom(compact disc read-only memory，便捷式緊湊盤只讀存儲器)、光學儲存設備、磁儲存設備、或上述內容的任何合適組合。
[0236]
為了提供與用戶的交互，可以在計算機上實施此處描述的系統和技術，該計算機具有：用於向用戶顯示信息的顯示裝置(例如，crt(cathode-ray tube，陰極射線管)或者lcd(liquid crystal display，液晶顯示器)監視器)；以及鍵盤和指向裝置(例如，滑鼠或者軌跡球)，用戶可以通過該鍵盤和該指向裝置來將輸入提供給計算機。其它種類的裝置還可以用於提供與用戶的交互；例如，提供給用戶的反饋可以是任何形式的傳感反饋(例如，視覺反饋、聽覺反饋、或者觸覺反饋)；並且可以用任何形式(包括聲輸入、語音輸入或者、觸覺輸入)來接收來自用戶的輸入。
[0237]
可以將此處描述的系統和技術實施在包括後臺部件的計算系統(例如，作為數據伺服器)、或者包括中間件部件的計算系統(例如，應用伺服器)、或者包括前端部件的計算系統(例如，具有圖形用戶界面或者網絡瀏覽器的用戶計算機，用戶可以通過該圖形用戶界面或者該網絡瀏覽器來與此處描述的系統和技術的實施方式交互)、或者包括這種後臺部件、中間件部件、或者前端部件的任何組合的計算系統中。可以通過任何形式或者介質的數字數據通信(例如，通信網絡)來將系統的部件相互連接。通信網絡的示例包括：lan(local area network，區域網)、wan(wide area network，廣域網)、網際網路和區塊鏈網絡。
[0238]
計算機系統可以包括客戶端和伺服器。客戶端和伺服器一般遠離彼此並且通常通過通信網絡進行交互。通過在相應的計算機上運行並且彼此具有客戶端-伺服器關係的電腦程式來產生客戶端和伺服器的關係。伺服器可以是雲伺服器，又稱為雲計算伺服器或雲主機，是雲計算服務體系中的一項主機產品，以解決了傳統物理主機與vps服務(virtual private server，虛擬專用伺服器)中，存在的管理難度大，業務擴展性弱的缺陷。伺服器也可以為分布式系統的伺服器，或者是結合了區塊鏈的伺服器。
[0239]
需要說明的是，上述電子設備還可以實現本公開實施例的圖像分類方法。
[0240]
根據本公開的實施例，本公開還提供了一種電腦程式產品，當電腦程式產品中的指令處理器執行時，執行本公開上述實施例提出的圖像分類模型的訓練方法或者圖像分類方法。
[0241]
應該理解，可以使用上面所示的各種形式的流程，重新排序、增加或刪除步驟。例如，本公開中記載的各步驟可以並行地執行也可以順序地執行也可以不同的次序執行，只要能夠實現本公開公開的技術方案所期望的結果，本文在此不進行限制。
[0242]
上述具體實施方式，並不構成對本公開保護範圍的限制。本領域技術人員應該明白的是，根據設計要求和其他因素，可以進行各種修改、組合、子組合和替代。任何在本公開的精神和原則之內所作的修改、等同替換和改進等，均應包含在本公開保護範圍之內。