基於豬臉識別與豬只重識別的豬只唯一化識別方法及系統

2024-04-12 13:07:05

1.本發明涉及圖像識別技術領域，尤其涉及一種豬只重識別方法及系統。


背景技術：

2.生豬養殖行業中，對豬只個體做區分編號是記錄豬只資料庫表項的基礎，例如稱量豬只體重的記錄，記錄豬只疫苗接種情況等，都是基於豬只個體已經做好區分的前提下進行的。傳統的豬只個體區分方法主要依靠人工巡視，檢查比對豬只欄圈、臉部、生活習性、體表體徵等以區分不同個體。此方法效率低下，並且十分消磨工作人員的意志與精力。對於長年累月生活在小型養殖場（40頭左右規模）的工作人員來說，區分不同豬只個體的任務並不困難，然而對於大型養殖場，僅依靠人工記錄區分不同個體，並且以之作為依據開展諸如稱重、接種疫苗、配種等其他工作將會是一項繁瑣且龐大的工作。該項人力成本佔據了生產成本的很大部分，並且隨著養殖規模的增大，該項人力成本亦將隨之增加。神經網絡深度學習等人工智慧技術應用於行人重識別領域已取得極大成功，在業界首次命中率最高已達到99%，並且重識別框架已足夠成熟，足以投入工農業生產。所謂行人重識別（person re-identification）指的是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術，被廣泛認為是一個圖像檢索的子問題。行人重識別可以實現在給定一個監控行人圖像的條件下跨設備檢索該行人圖像。它旨在彌補目前固定的攝像頭的視覺局限，並可與行人檢測/行人跟蹤技術相結合，可廣泛應用於智能視頻監控、智能安保等領域。應用於野生動物或家畜的重識別（re-identification）基於已有的行人重識別框架而產生，可實現依據拍攝到圖像或者視頻序列中的野生動物或家畜的體表特徵來確定其個體編號的功能，方興未艾，有望實現科技反哺工農業發展的美好願景。
3.本技術人發現現有技術當中至少存在以下技術問題：在生豬養殖行業中，現有的豬只個體的識別方法效率較低，並且精度較差，無法滿足日常飼養工作。


技術實現要素：

4.本發明的目的在於提供一種基於豬臉識別與豬只重識別的豬只唯一化識別方法及系統，以解決現有的豬只個體的識別方法效率較低，並且精度較差的技術問題。
5.本發明的目的是採用以下技術方案實現的：基於豬臉識別與豬只重識別的豬只唯一化識別方法，包括如下步驟：s1：獲取待識別的圖片或圖片序列；s2：並行進行豬臉識別和豬只重識別，分別輸出豬臉識別結果特徵向量和豬只重識別結果特徵向量；s3：通過輸出整合神經網絡對豬臉識別結果特徵向量和豬只重識別結果特徵向量進行輸出整合，計算加權平均後的結果特徵向量；s4：將結果特徵向量與底庫中的特徵向量進行比對相似度最高的豬只個體編號標
籤。
6.進一步的，所述豬臉識別包括如下步驟：利用目標檢測模型對圖片或圖片序列中的豬臉進行檢測，並截取感興趣區域；通過神經網絡對截取的感興趣區域進行特徵提取，將原圖片轉化為一個若干維的特徵向量；將豬臉識別的結果特徵輸入到輸出整合神經網絡。
7.進一步的，所述神經網絡包括resnet50和facenet，通過神經網絡對截取的感興趣區域進行特徵提取，並通過多次卷積和池化操作，將原圖片轉化為一個若干維的特徵向量，並通過歐幾裡得距離計算方法或餘弦距離計算方法計算該特徵向量與目標個體特徵向量之間的特徵距離。
8.進一步的，若是單張感興趣區域，則通過神經網絡直接提取特徵；若是多張相同部位感興趣區域，則通過神經網絡分別提取特徵，並取平均；若是多張不同部位感興趣區域，則採用策略a或策略b提取特徵，其中，策略a為：通過神經網絡對相應部位提取特徵，得到多個分別代表不同部位特徵的特徵向量組，並計算該特徵向量組與目標個體的特徵向量組中對應向量之間的度量距離，得到多個不同部位的度量距離值，對度量距離值進行加權平均，作為原圖與目標個體之間的度量距離；策略b為：通過神經網絡對相應部位提取特徵，得到多個分別代表不同部位特徵的特徵向量組，然後將特徵向量組按順序連接，再經過全連接層縮減維數，最終得到一個融合了多特徵的總特徵向量，並利用該特徵向量計算其與目標個體之間的度量距離。
9.進一步的，所述豬只重識別包括如下步驟：利用目標檢測模型對圖片或圖片序列中的豬臉進行檢測，並截取感興趣區域；通過特徵提取網絡對截取的感興趣區域進行特徵提取，得到特徵信息；將該上述特徵向量輸入到整合輸出神經網絡中。
10.進一步的，所述特徵提取網絡包括resnet和cnn，通過特徵提取網絡對截取區域進行特徵提取的策略包括只進行全局特徵提取、只進行局部特徵提取和全局特徵提取與局部特徵提取相結合。
11.進一步的，所述全局特徵提取包括：輸入圖片、卷積網絡層、輸出全局特徵圖譜、池化層、輸出特徵向量、全連接層和輸出分類結果；所述局部特徵提取包括：輸入圖片、依據分塊策略分塊、每個子塊均輸入卷積網絡、每個子塊均輸出特徵圖譜、特徵融合、輸出特徵向量、全連接層和輸出分類結果。
12.進一步的，所述分塊策略包括水平切塊、依據姿態信息切塊、語義分割和網格切塊。
13.進一步的，所述輸出整合神經網絡包括誤差逆傳播多層前饋網絡，通過誤差逆傳播多層前饋網絡將豬臉識別結果特徵向量和豬只重識別結果特徵向量進行輸出整合。
14.基於豬臉識別與豬只重識別的豬只唯一化識別系統，包括圖片獲取模塊、豬臉識別模塊、豬只重識別模塊和輸出整合模塊，其中，所述圖片獲取模塊用以獲取待識別的圖片或圖片序列；豬臉識別模塊和豬只重識別模塊用於對豬只個體進行並行識別，並所述分別輸出豬臉識別結果特徵向量和豬只重識別結果特徵向量；所述輸出整合模塊用以對豬臉識別結果特徵向量和豬只重識別結果特徵向量進行輸出整合，計算加權平均後的結果特徵向
量，並將結果特徵向量與底庫中的特徵向量進行比對，計算相似度，輸出相似度最高的豬只個體編號標籤。
15.本發明的有益效果在於：本發明創造性地提出了一種基於計算機視覺技術、關鍵點檢測技術、重識別技術與深度神經網絡技術，可用於全自動區分識別豬只個體編號的方法，相較於傳統的全人工流程，效率提高了多個量級，減輕了從業人員進行稱重工作所面臨的風險，大大減輕了測溫過程對豬只健康的不良影響，大幅度降低了人力成本；本發明使用模塊化解耦，可針對不同使用場景採取不同策略，靈活性強，邏輯結構清晰；本發明是一種低成本、高效率、廣適應性、高魯棒性於一體的科學化規模化豬只唯一化識別方案，極大程度上提升了豬只個體的識別效率以及識別精度。
16.本發明依託於計算機視覺與深度學習等計算機科學領域的快速發展，為現代化、科學化的豬只養殖提供了有力保障，在真正意義上實現了養殖學、食品工程、材料科學與計算機科學等多學科的交叉融合，以新興技術領域為傳統工農業賦能；同時，本發明在現代化養殖產業中具有較高的技術優勢和市場價值，適合於生產中的實際應用與技術上的進一步推廣。
附圖說明
17.為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖示出的結構獲得其他的附圖。
18.圖1為本發明流程圖；圖2為豬臉識別流程圖；圖3為豬只重識別流程圖；圖4為輸出整合流程圖；圖5為本發明系統框圖。
具體實施方式
19.為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的組件可以以各種不同的配置來布置和設計。
20.本發明的目的是：為提高養殖作業過程中確定豬只個體編號的效率，減輕人員勞動強度，同時用於輔助其他高精確度個體區分技術，如在豬臉識別、豬只體表二維碼識別失效時提供替代技術，本發明基於計算機視覺技術、神經網絡與深度學習方法、目標檢測技術、重識別技術、圖像檢索技術等實現了全自動標識豬只個體編號，以達到區分不同個體的功能，為其他重要的生產作業過程，如稱重、接種疫苗的開展等提供了基礎。
21.為了達到上述目的，本發明提供了以下實施例，下面結合附圖，對本發明的一些實施方式作詳細說明，在不衝突的情況下，下述的實施例及實施例中的特徵可以相互組合。
22.實施例1：
參閱圖1，基於豬臉識別與豬只重識別的豬只唯一化識別方法，包括如下步驟：s1：獲取待識別的圖片或圖片序列；s2：並行進行豬臉識別和豬只重識別，分別輸出豬臉識別結果特徵向量和豬只重識別結果特徵向量；s3：通過輸出整合神經網絡對豬臉識別結果特徵向量和豬只重識別結果特徵向量進行輸出整合，計算加權平均後的結果特徵向量；s4：將結果特徵向量與底庫中的特徵向量進行比對，計算相似度，輸出相似度最高的豬只個體編號標籤。
23.進一步的，所述豬臉識別主要包括目標檢測/關鍵點檢測、特徵提取與度量學習以及測試評估三個階段，具體包括如下步驟：目標檢測/關鍵點檢測：本階段是利用已經訓練好的目標檢測模型，如yolov5、fastrcnn等目標檢測模型檢測豬臉在圖片中所在的位置，獲得豬臉的錨框（bounding box），並將該部分作為roi（感興趣區域）截取出來以供後續階段使用。若要提高模型的準確度，可以使用mtcnn等多任務目標檢測模型同時檢測豬臉和豬臉部關鍵點（如耳朵、鼻子、眼睛等特徵明顯的區域）所在位置，並將豬臉以及豬臉部關鍵點周圍一定大小的區域均作為roi進行截取以供後續階段統一進行特徵提取。此階段主要是為了儘可能地減少無關信息的幹擾，提高特徵提取的準確度；特徵提取與度量學習：本階段在上一階段得到的roi的基礎上，使用resnet50、facenet等神經網絡對於roi圖片進行特徵提取，通過多次卷積和池化操作，將原圖片轉化為一個若干維的特徵向量。隨後計算該特徵向量與目標個體的特徵向量之間的度量距離。常用的度量距離表示方式有歐幾裡得距離、餘弦距離等，其中歐幾裡得距離的計算公式為，餘弦距離的計算公式為；測試評估：在對模型進行訓練時，只需要進行前兩個階段的步驟，進行測試評估的基礎思路如下：首先使用目標檢測/關鍵點檢測以及特徵提取和度量學習過程的方法對待測試的圖片（稱為query或者probe）的臉部/臉部關鍵點區域進行錨框並提取特徵，在底庫（gallery）中已經預先保存了所有豬只個體的臉部特徵信息與身份信息的對應關係，利用度量學習過程的方法計算出待測試的圖片與所有豬只個體的特徵距離，依據一定規則將特徵距離轉換為相似度，隨後對於相似度從高到低進行排序，選出排序最靠前的若干個豬只個體，並認為待測試的圖片最有可能屬於這些豬只個體之一，若最高相似度仍低於一定的閾值，則認為待測試圖片中的豬只個體不存在於底庫中，需要將其臉部特徵信息與身份信息存入底庫中。
24.進一步的，為了提升預測速度，有以下可行的改進思路。在算力有限的條件下，在第一階段可以進行單獨的臉部檢測而不進行關鍵點檢測，而後進行特徵提取、度量和相似度排序時也只使用臉部的全局特徵進行計算，但可能對精度產生一定的影響。同時，可以使用聚類的方式縮小檢索的範圍，即將底庫中已存在的豬只個體根據特徵信息分為若干類，在檢索時先確定待測試的圖片屬於哪一類，再在將待測試的圖片在該類中進行度量和相似度排序。此種方法需要事先消耗一定的算力進行聚類，但實時性好，能夠儘快找到符合要求的個體。
25.在豬臉識別過程中，若是單張感興趣區域，則通過神經網絡直接提取特徵；若是多張相同部位感興趣區域，則分別使用同一模型對每張圖片進行特徵提取，並對得到的特徵向量取平均，而後再計算度量距離；若是多張不同部位感興趣區域，則採用策略a或策略b提取特徵。
26.策略a為：通過神經網絡對相應部位提取特徵，得到多個分別代表不同部位特徵的特徵向量組，並計算該特徵向量組與目標個體的特徵向量組中對應向量之間的度量距離，得到多個不同部位的度量距離值，對度量距離值進行加權平均，作為原圖與目標個體之間的度量距離；這種方法在實現上較為簡單，但必須分別對於各模型進行訓練，因此訓練代價較高。
27.策略b為：通過神經網絡對相應部位提取特徵，得到多個分別代表不同部位特徵的特徵向量組，然後將特徵向量組按順序連接，再經過全連接層縮減維數，最終得到一個融合了多特徵的總特徵向量，並利用該特徵向量計算其與目標個體之間的度量距離。在進行訓練時，損失值（loss）先會通過全連接層反向傳播給各部位的專用模型，再由每個模型分別反向傳播，以保證各模型都能夠得到有效的訓練。
28.在傳入多張不同部位roi圖片的情況下，最好使用餘弦距離作為度量距離，以解決各特徵之間的可比性問題。常用的損失值表示有交叉熵損失（cross entropy loss）、對比損失（contrastive loss）、三元組損失（triplet loss）、改進三元組損失（improved triplet loss）、四元組損失（quadruplet loss）。其中交叉熵損失的定義式為，其中為樣本數量，為類別數量，為符號函數，若樣本的真實類別為則取1，否則為0，為樣本屬於類別的預測概率；對比損失的定義式為，式中為兩個樣本是否匹配的標籤，代表兩個樣本相似或者匹配，則代表不匹配，為設定的閾值，為兩樣本的歐氏距離，計算公式見上文，表示，即當時，取z，否則取0；三元組損失的定義式為，式中下標中的分別代表錨點圖片（anchor）、正樣本圖片（positive）、負樣本圖片（negative），為錨點圖片與正樣本圖片的距離，為錨點圖片與負樣本圖片的距離，為設定的閾值，三元組即隨機挑選的的錨點圖片、與錨點圖片個體相同的正樣本圖片、與錨點圖片個體不同的負樣本圖片所組成的元組，表示；改進三元組損失定義式為，式中各項表徵意義同三元組損失；四元組損失是三元組損失的另一個改進版本，其定義式為，式中下標中為設定的兩個閾值，通常令為兩張不同的負樣本圖
片，其餘定義與上文相同，通常稱式中前一項為強推動，後一項為弱推動。在實際訓練的過程中，resnet50模型使用的是交叉熵損失，而facenet使用的是三元組損失。訓練過程中，在通過多級神經網絡得到預測的特徵向量值並計算其與真實值之間的損失值之後，將損失值反向傳播，同時使用如sgd、adam等優化器（optimizer）迭代尋找損失值最小值，通過不斷更新網絡的參數達到學習的效果。當調整網絡參數得到近似收斂的損失值時，此時產生的權重即為目標模型的權重。
29.在本實施例當中，豬臉識別根據精度要求與算力條件選擇目標檢測模型或者帶關鍵點檢測的多目標檢測模型進行錨框，並將該部分作為roi截取出來以供後續階段使用。隨後根據roi圖片的類型選擇合適的特徵提取策略：若為單張roi圖片則直接進行特徵提取並輸出特徵向量；若為多張相同部位roi圖片則分別提取特徵並求平均；若為多張不同部位roi圖片則有兩種特徵提取策略，可以根據需要進行選擇，一般使用resnet50或facenet作為特徵提取的骨幹網絡。在訓練過程中，得到特徵向量之後，計算其與目標個體的度量距離，並根據度量距離計算推理結果與真實結果之間的損失值。損失值有多種計算形式，在實際訓練的過程中，resnet50模型使用的是交叉熵損失，而facenet使用的是三元組損失。在完成損失計算後，需要將損失值反向傳播，同時使用如sgd、adam等優化器（optimizer）迭代尋找損失值最小值，通過不斷更新網絡的參數達到學習的效果。當調整網絡參數得到近似收斂的損失值時，此時產生的權重即為目標模型的權重。在測試評估的過程中，直接將提取出的特徵向量作為輸出整合神經網絡的輸入即可。（參閱圖2）進一步的，所述豬只重識別包括目標檢測、特徵提取、度量學習和測試評估四個階段，具體包括如下步驟：目標檢測：利用已經訓練好的目標檢測模型，如yolo系列、fast rcnn等目標檢測模型檢測豬只個體，獲得豬只個體的錨框（bounding-box），並且將此部分利用save crop等截取roi功能截取出來以供後續步驟使用。此步驟主要是為了儘可能地減少無關信息的幹擾，提高特徵提取的準確度；特徵提取：根據已有的自有數據集訓練特徵提取網絡，骨幹網絡一般選取resnet、cnn等。訓練過程中採取全局特徵與局部特徵相結合的策略，用戶可根據實際的軟硬體狀況與實際需求選擇，其中局部特徵的切塊風格包括但不限於水平切塊、依據姿態信息切塊、語義分割、網格切塊等；度量學習：根據黑盒性質的諸多特徵所計算得到的度量距離得到損失值（loss），常用的度量距離表示方式有歐幾裡得距離、餘弦距離等，其中歐幾裡得距離的計算公式為，餘弦距離的計算公式為；常用的損失值表示有softmax、對比損失（contrastive loss）、三元組損失（triplet loss）、改進三元組損失（improved triplet loss）、四元組損失（quadruplet loss）。其中對比損失的定義式為，式中為兩個樣本是否匹配的標籤，代表兩個樣本相似或者匹配，則代表不匹配，為設定的閾值，為兩樣本的歐氏距離，計算公式見上文，表示，即當時，取z，否則取0；三元
組損失的定義式為，式中下標中的分別代表錨點圖片（anchor）、正樣本圖片（positive）、負樣本圖片（negative），為錨點圖片與正樣本圖片的距離，為錨點圖片與負樣本圖片的距離，為設定的閾值，三元組即隨機挑選的的錨點圖片、與錨點圖片個體相同的正樣本圖片、與錨點圖片個體不同的負樣本圖片所組成的元組，表示；改進三元組損失定義式為，式中各項表徵意義同三元組損失；四元組損失是三元組損失的另一個改進版本，其定義式為，式中下標中為設定的兩個閾值，通常令為兩張不同的負樣本圖片，其餘定義與上文相同，通常稱式中前一項為強推動，後一項為弱推動；選用優化器（optimizer）迭代尋找損失值最小值，並不斷更新網絡的參數達到學習的效果；測試評估：在對模型進行訓練時，只需要進行前三個部分的步驟，進行測試評估的基礎思路如下：首先使用目標檢測和特徵提取過程的方法對待測試的圖片（稱為query或者probe）進行錨框並提取特徵。在底庫（gallery）中已經預先保存了所有豬只個體的特徵信息與身份信息的對應關係。利用度量學習過程的方法計算出待測試的圖片與所有豬只個體的特徵距離，依據一定規則將特徵距離轉換為相似度。隨後對於相似度從高到低進行排序，選出排序最靠前的若干個豬只個體，並認為待測試的圖片最有可能屬於這些豬只個體之一。若最高相似度仍低於一定的閾值，則認為待測試圖片中的豬只個體不存在於底庫中，需要將其特徵信息與身份信息存入底庫中。
30.為了提升預測速度，有以下可行的改進思路。在算力有限的條件下，可以只進行全局特徵提取的步驟，略去局部特徵提取的步驟，而後進行度量和相似度排序時也只使用全局特徵進行計算，但可能對精度產生一定的影響。同時，可以使用聚類的方式縮小檢索的範圍，即將底庫中已存在的豬只個體根據特徵信息分為若干類，在檢索時先確定待測試的圖片屬於哪一類，再在將待測試的圖片在該類中進行度量和相似度排序。此種方法需要事先消耗一定的算力進行聚類，但實時性好，能夠儘快找到符合要求的個體。
31.進一步的，所述特徵提取網絡包括resnet和cnn，通過特徵提取網絡對截取區域進行特徵提取的策略包括只進行全局特徵提取、只進行局部特徵提取和全局特徵提取與局部特徵提取相結合。所述全局特徵提取包括：輸入圖片、卷積網絡層、輸出全局特徵圖譜、池化層、輸出特徵向量、全連接層和輸出分類結果；所述局部特徵提取包括：輸入圖片、依據分塊策略分塊、每個子塊均輸入卷積網絡、每個子塊均輸出特徵圖譜、特徵融合、輸出特徵向量、全連接層和輸出分類結果。
32.進一步的，水平切塊是指，將圖像進行水平方向的等分，每一個水平切塊通過水平池化提取一個特徵，運用了水平切塊的常見算法有gate siamese、alignedreid、pcb、icnn、scpnet等等。以alignedreid為例說明其過程，alignedreid對切塊的對齊方面採取了動態連接 (dynamic time warping) 的策略，計算局部特徵的特徵距離時會進行歸一化處理，歸一化公式為，式中分別表示圖片a第塊切塊的特
徵與圖片b第塊切塊的特徵，故歸一化距離與原始的歐氏距離是成正相關的關係，將歸一化公式對原始的歐氏距離（用表示）求導有，由此可得，距離越小梯度越大，即網絡將會更加關注相似的區域。其他水平切塊方式大同小異，基本路線與目的相同。
33.進一步的，依據姿態信息切塊可以藉助豬只骨架關鍵點檢測模型（pigpose）進行關鍵點檢測，再依據關鍵點將圖像切分成具有語義的不同部分，隨後進行特徵提取，具體分塊的數量與多少可以根據實際的軟硬體計算可承載量情況取捨，下面將以頭部，前肢，軀幹，後肢，臀部五個部分為例，說明基於姿態信息切塊的特徵提取的運作過程。
34.進一步的，豬只姿態關鍵點識別（pigpose）是一種基於開源算法人體姿態檢測（openpose）開發的自底向上的豬只2d姿態無參數表示方法。它將豬全身分為22個關鍵點，其位置分別位於豬左耳、豬右耳、豬鼻子最前端、豬左前肢肩胛骨中心位置、豬左前肢尺骨與臂骨的交接點、豬左前肢腕與臂交接處、豬左前肢系的中心處、豬右前肢肩胛骨中心處、豬右前肢尺骨與臂骨的交接點、豬右前肢腕與臂交接處、豬右前肢系的中心處、豬左後肢髖骨與股骨連接處的位置、豬左後肢股骨與脛骨的交界點、豬左後肢腓骨與跌骨連接處、豬左後肢系的中心位置、豬右後肢髖骨與股骨連接處的位置、豬右後肢股骨與脛骨的交界點、豬右後肢腓骨與跌骨連接處位置、豬右後肢系的中心位置、豬背、腰處中點處、豬下腹中點處。仿照spindle net結構實現專用於豬只重識別特徵提取的pig spindle net，經由姿態信息關鍵點估計模型預測得到22個關鍵點後，根據關鍵點信息分為五個部分，頭部、前肢、軀幹、後肢、臀部。先進行特徵提取（feature extraction）的過程如下：首先提取身體與四肢的特徵提取，隨後對身體進行拆分，提取頭部、軀幹、臀部的特徵，然後對四肢區分為左前肢、右前肢、左後肢、右後肢四個部分提取特徵，最終得到7個特徵。後進行特徵融合（feature fusion）的過程如下：首先將軀幹特徵與前、後肢特徵融合，隨後依次融合頭部、臀部特徵，最後與原始的全局特徵融合得到最終特徵。整個過程呈現三層特徵提取，得到5個局部特徵，三層特徵融合得到最終的特徵圖（feature map），特徵提取與特徵融合呈現對稱特點，保證了該網絡的精準性。
35.進一步的，利用語義分割的局部特徵提取可以通過圖像蒙版技術（image matting）實現。利用已經訓練好的針對豬只身體輪廓識別的語義分割模型（骨架網絡為hardnet，使用兩千餘張豬只照片作為數據集，使用labelme作為標註工具）對圖片中待重識別的豬只個體進行圖像蒙版處理。其中語義分割模型的分割風格分為粗粒度分割和細粒度分割：粗粒度分割即只講豬只整體輪廓作為蒙版將豬只語義區域摳像處理；細粒度分割即藉助豬只關鍵點檢測模型預測出當前圖片中存在的關鍵點，依據關鍵點將豬只身體分為不同部分，以五個部分為例，可分為頭部、前肢、軀幹、後肢、臀部五個部分，依次將語義分割得到的圖像蒙版中對應部分提取局部特徵。語義分割的結果除了可以作為圖像蒙版中的遮罩（mask）參與到局部特徵提取中，還可以作為特徵圖中注意力（attention）與原圖相乘以達成提取特徵的目的。
36.網格切塊的過程類似於水平切塊，同樣是基於骨幹網絡，對圖像做分塊處理，分為若干網格，對每個一個網格提取局部特徵，一般來說依據語義分割進行局部特徵提取的方法和網格切塊進行局部特徵提取的方法並不常用。
37.在本實施例當中，豬只重識別不返回個體編號標籤，而是返回該個體特徵向量，在工作時首先使用目標檢測算法模型獲取圖片中含有豬只部分的roi並儲存；隨後進入特徵提取階段，此階段可選擇全局特徵、局部特徵、全局特徵與局部特徵相結合三種策略，對於追求預測速度的場合，一般使用全局特徵，在姿態過於豐富、遮擋較為嚴重、應用序列重識別的場合一般使用全局特徵與局部特徵相結合，在追求精確度而算力條件有限的情況下使用局部特徵；隨後對提取出的特徵距離進行度量學習，本實施例對特徵距離選取最常用的歐氏距離，而對於損失值通常選取三元組損失，進行有監督學習，不斷調整網絡參數得到損失值最小的最優模型並保存；測試階段將會拍攝或抽取視頻中的某一幀含有底庫所包含的個體的圖片，輸入模型網絡中錨框並提取特徵（為保證預測速度，測試階段可以只提取全局特徵），輸出該個體重識別結果的特徵向量。（參閱圖3）在本實施例當中，所述輸出整合神經網絡用於綜合豬臉識別與豬只重識別的結果生成最終識別結果，包括誤差逆傳播多層前饋網絡，設矩陣為權重矩陣，令最終特徵向量，即輸出結果為向量，豬臉識別的結果特徵向量為，豬只重識別的結果特徵向量為，則定義中間結果為矩陣，則最終結果的表達式為，即。在訓練過程中，依據正確標籤不斷調整權重矩陣，一個完整的訓練輪次過程如下：輸入若干圖片，對每一張圖片同時進行豬臉識別與豬只重識別，得到上文所述的兩個特徵向量和，由最終結果特徵向量表達式計算得到本層次結果（矩陣初始化為0到1之間的隨機值），經過若干隱含層計算後由輸出層輸出本輪次結果，依據正確標籤計算該圖片所表徵個體的正確，根據選取的損失函數計算損失值，修改權重矩陣，隨後開始下一輪訓練，直至損失函數值收斂即可得到最佳的權重矩陣。（參閱圖4）本方法在正式使用前，將使用最佳權重矩陣對底庫內的圖片與圖片序列做豬臉識別與豬只重識別處理並在整合輸出後存儲其對應的最終結果特徵向量。在用戶使用過程中，圖片輸入後，同時進行豬臉識別與豬只重識別，得到上文所述的兩個特徵向量和，由最終結果特徵向量表達式計算得到本輪次結果，與底庫中的最終結果特徵向量值比對，依據一定規則定義相似度，例如使用餘弦相似度，其定義式為，式中s為相似度，為餘弦距離，返回最可能的個體編號標籤。
38.參閱圖5，基於同一方面構思，本發明還提供了一種基於豬臉識別與豬只重識別的豬只唯一化識別系統，該系統包括圖片獲取模塊、豬臉識別模塊、豬只重識別模塊和輸出整合模塊，其中，所述圖片獲取模塊用以獲取待識別的圖片或圖片序列；豬臉識別模塊和豬只
重識別模塊用於對豬只個體進行並行識別，並所述分別輸出豬臉識別結果特徵向量和豬只重識別結果特徵向量；所述輸出整合模塊用以對豬臉識別結果特徵向量和豬只重識別結果特徵向量進行輸出整合，計算加權平均後的結果特徵向量，並將結果特徵向量與底庫中的特徵向量進行比對，計算相似度，輸出相似度最高的豬只個體編號標籤。
39.本發明至少具備以下技術效果：本發明創造性地提出了一種基於計算機視覺技術、關鍵點檢測技術、重識別技術與深度神經網絡技術，可用於全自動區分識別豬只個體編號的方法，相較於傳統的全人工流程，效率提高了多個量級，減輕了從業人員進行稱重工作所面臨的風險，大大減輕了測溫過程對豬只健康的不良影響，大幅度降低了人力成本；本發明使用模塊化解耦，可針對不同使用場景採取不同策略，靈活性強，邏輯結構清晰；本發明是一種低成本、高效率、廣適應性、高魯棒性於一體的科學化規模化豬只唯一化識別方案，極大程度上提升了豬只個體的識別效率以及識別精度。
40.本發明依託於計算機視覺與深度學習等計算機科學領域的快速發展，為現代化、科學化的豬只養殖提供了有力保障，在真正意義上實現了養殖學、食品工程、材料科學與計算機科學等多學科的交叉融合，以新興技術領域為傳統工農業賦能；同時，本發明在現代化養殖產業中具有較高的技術優勢和市場價值，適合於生產中的實際應用與技術上的進一步推廣。
41.需要說明的是，對於前述的實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本技術並不受所描述的動作順序的限制，因為依據本技術，某一些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例屬於優選實施例，所涉及的動作並不一定是本技術所必須的。
42.上述實施例中，描述了本發明的基本原理和主要特徵和本發明的優點。本行業的技術人員應該了解，本發明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發明的原理，在不脫離本發明精神和範圍的前提下，本領域人員所進行的改動和變化不脫離本發明的精神和範圍，則都應在本發明所附權利要求的保護範圍內。