一種基於全卷積網絡的紋理分割方法與流程
2023-04-29 04:49:01
本發明涉及紋理分割領域，尤其是涉及了於一種基於全卷積網絡的紋理分割方法。
背景技術：
對於計算機視覺領域來講，紋理分割與分析任務非常重要，是眾多圖像分析和機器視覺應用的基礎。然而，由於自然紋理類型龐雜、形態各異且結構繁複，同時也因為對人類視覺系統感知紋理的機理認識不足，紋理圖像分割一直是圖像處理領域的一大難題。紋理區域一般被認為是像素密度的統計性空域分布，並且能夠被描述評級為好、中、粗糙等。紋理是圖像分割的一條重要線索，能夠清晰地獲得圖像的紋理分割，極大地幫助了解多場景下的不同應用，例如海洋島嶼測繪、森林火災防禦、紅外遙感圖像識別等實用領域。
深度學習是近年來非常熱門的研究方法，此前在其他應用例如文本識別、語音識別等問題上取得突破性的成功，此次引入深度學習，一方面驗證對抗已有的圖像分割算法，另一方面要從傳統卷積網絡入手改進，發展延伸出全卷積網絡，並且充分利用局部信息利用輸出改善了區域分割方法。
本發明提出了一種基於紋理區域識別的新框架。使用卷積網絡和池化函數對輸入圖像進行處理，得到多個階段的特徵圖並對特徵圖進行反卷積處理，得到上採樣填充的特徵圖，再對此最後階段的特徵圖進行分割函數處理，得到概率最高的類別作為分割結果。本發明可以有效分割紋理區域，提供一個更完善的區域分割函數來完成紋理特徵識別，同時提高了其精細程度。
技術實現要素：
針對在圖像中尋找紋理特徵區別紋理區域的問題，本發明的目的在於提供一種基於全卷積網絡的紋理分割方法，提出了一種基於紋理區域識別的新框架。
為解決上述問題，本發明提供一種基於視頻數據的人體動作分析方法，其主要內容包括：
(一)卷積和池化模塊；
(二)數據層融合模塊；
(三)反卷積模塊；
(四)分類模塊。
(五)分割區域的改善方法
其中，所述的卷積和池化模塊，對於輸入圖像，組合使用卷積和池化函數組成相應的集合，從而得到經過處理的特徵圖，具體的，依次使用10層函數，其中第1、3、5、7、9、10層為卷積函數(共6層)，第2、4、6、8層為池化函數(共4層)，因此為了敘述方便可分別命名為conv1，conv2，……，conv6和poll1，pool2，pool3，pool4兩個模塊系統。
進一步地，所述的卷積和池化函數，對於在給定層位置(i,j)其數據向量為xi,j，則緊跟著下一層的對應數據向量為：
yi,j＝fks(0≤δi,δj≤k)(1)
這裡k指的是卷積核尺寸大小，s指的是步長或者下採樣因子，fks則是具體的函數，即可以為卷積函數或者池化函數；
其中，在卷積函數中，卷積核大小由最終分類特徵圖的大小決定；池化函數中，步長默認設置為2，即相當於使用步長為2的下採樣函數。
進一步地，所述的數據層融合模塊，從輸入圖像經過10層函數處理過後，具體地抽出第n層函數處理後的特徵圖，在各自擴充到統一維度後進行相互疊加，具體為：輸入圖像依次經過每層函數的運算後，依次得到每個函數使用完時得到的特徵圖mi(i＝1,2,…,n)，然後使用反卷積的方法統一特徵圖的尺寸，然後線性相加融合；特別地，抽取的特徵圖為pool1，pool2，pool3和conv6，這四個特徵圖的尺寸分別為原圖像尺寸的1/2，1/4，1/16和1/32。
進一步地，所述的反卷積模塊，假若通過卷積或者池化後的特徵圖尺寸是原輸入圖像尺寸的1/f，並且f是整數，那麼通過改變卷積核的大小，可將此特徵圖通過卷積的方法上採樣填充至原輸入圖像的尺寸，由此可實現網絡的端對端調整。
進一步地，所述的上採樣填充，對pool2，pool3和conv6三個特徵圖mi經過反卷積函數處理，得到與pool1尺寸(即輸入圖像尺寸的1/2)同等大小的特徵圖，然後將這三個經過處理的特徵圖與pool1四者線性疊加，得到新的特徵圖ms(此特徵圖的尺寸仍為輸入圖像的1/2)；
對ms再進行反卷積模塊的操作，使之上採樣填充至與輸入圖像尺寸相等的特徵圖mf，mf即為用待分類的特徵圖。
進一步地，所述的分類模塊，對輸入圖像做區域分割時，不同的區域由邊界隔開並用數字標籤1到x(x≥1)標示，因此待分割區域數目等於類別數目等於數字標籤數目，即x；對於具有x個標籤的特徵圖mf，使用分類函數對其進行分割。
進一步地，所述的分類函數，使用softmax函數對特徵圖mf對不同類別的大小概率進行估計：
其中θi和x是列向量，通過此函數，可以使得p(i)的範圍在[0,1]之間，實現端對端調節；
最後輸出的結果是一個概率估計圖，圖中對應像素點的某個標籤值越大，其像素為該類的結果也越大。
進一步地，所述的分割區域的改善方法，根據分類函數輸出的概率向量中有各個類別(區域)的概率值，概率值最高的標籤將代表這個像素所處在的區域，因此，利用剩餘的概率信息，可以將獨立成塊的、非單個像素的區域進行迭代重新賦予標籤。
進一步地，所述的迭代重新賦予標籤，對於圖像中獨立成塊、非單個像素的區域，按照從大到小的方式賦予標籤1到x(x≥1)，即：
1)定位最大的像素塊；
2)重新賦予標籤1；
3)尋找剩餘區域最大的像素塊；
4)重新賦予標籤2；
……
5)重新賦予標籤x；
其中如果有相同大小的像素塊，回到上一級並賦予標籤xi-1。
附圖說明
圖1是本發明一種基於全卷積網絡的紋理分割方法的系統流程圖。
圖2是本發明一種基於全卷積網絡的紋理分割方法檢測結果的比較圖。
具體實施方式
需要說明的是，在不衝突的情況下，本申請中的實施例及實施例中的特徵可以相互結合，下面結合附圖和具體實施例對本發明作進一步詳細說明。
圖1是本發明一種基於全卷積網絡的紋理分割方法的系統流程圖。主要包括卷積和池化模塊；數據層融合模塊；反卷積模塊；分類模塊；分割區域的改善方法。
其中，對於輸入圖像，組合使用卷積和池化函數組成相應的集合，從而得到經過處理的特徵圖，具體的，依次使用10層函數，其中第1、3、5、7、9、10層為卷積函數(共6層)，第2、4、6、8層為池化函數(共4層)，因此為了敘述方便可分別命名為conv1，conv2，……，conv6和poll1，pool2，pool3，pool4兩個模塊系統。
對於在給定層位置(i,j)其數據向量為xi,j，則緊跟著下一層的對應數據向量為：
yi,j＝fks(0≤δi,δj≤k)(1)
這裡k指的是卷積核尺寸大小，s指的是步長或者下採樣因子，fks則是具體的函數，即可以為卷積函數或者池化函數；
其中，在卷積函數中，卷積核大小由最終分類特徵圖的大小決定；池化函數中，步長默認設置為2，即相當於使用步長為2的下採樣函數。
從輸入圖像經過10層函數處理過後，具體地抽出第n層函數處理後的特徵圖，在各自擴充到統一維度後進行相互疊加，具體為：輸入圖像依次經過每層函數的運算後，依次得到每個函數使用完時得到的特徵圖mi(i＝1,2,…,n)，然後使用反卷積的方法統一特徵圖的尺寸，然後線性相加融合；特別地，抽取的特徵圖為pool1，pool2，pool3和conv6，這四個特徵圖的尺寸分別為原圖像尺寸的1/2，1/4，1/16和1/32。
假若通過卷積或者池化後的特徵圖尺寸是原輸入圖像尺寸的1/f，並且f是整數，那麼通過改變卷積核的大小，可將此特徵圖通過卷積的方法上採樣填充至原輸入圖像的尺寸，由此可實現網絡的端對端調整。
對pool2，pool3和conv6三個特徵圖mi經過反卷積函數處理，得到與pool1尺寸(即輸入圖像尺寸的1/2)同等大小的特徵圖，然後將這三個經過處理的特徵圖與pool1四者線性疊加，得到新的特徵圖ms(此特徵圖的尺寸仍為輸入圖像的1/2)；
對ms再進行反卷積模塊的操作，使之上採樣填充至與輸入圖像尺寸相等的特徵圖mf，mf即為用待分類的特徵圖。
對輸入圖像做區域分割時，不同的區域由邊界隔開並用數字標籤1到x(x≥1)標示，因此待分割區域數目等於類別數目等於數字標籤數目，即x；對於具有x個標籤的特徵圖mf，使用分類函數對其進行分割。
使用softmax函數對特徵圖mf對不同類別的大小概率進行估計：
其中θi和x是列向量，通過此函數，可以使得p(i)的範圍在[0,1]之間，實現端對端調節；
最後輸出的結果是一個概率估計圖，圖中對應像素點的某個標籤值越大，其像素為該類的結果也越大。
根據分類函數輸出的概率向量中有各個類別(區域)的概率值，概率值最高的標籤將代表這個像素所處在的區域，因此，利用剩餘的概率信息，可以將獨立成塊的、非單個像素的區域進行迭代重新賦予標籤。
對於圖像中獨立成塊、非單個像素的區域，按照從大到小的方式賦予標籤1到x(x≥1)，即：
1)定位最大的像素塊；
2)重新賦予標籤1；
3)尋找剩餘區域最大的像素塊；
4)重新賦予標籤2；
……
5)重新賦予標籤x；
其中如果有相同大小的像素塊，回到上一級並賦予標籤xi-1。
圖2是本發明一種基於全卷積網絡的紋理分割方法檢測結果的比較圖。如圖所示，從a)到g)分別為薯條、輸入圖像、實際有效分割、基於馬爾科夫隨機場的分割、基於共生特徵的分割、基於con-col方法的分割、沒有改善方法的全卷積網絡分割、改善方法的全卷積網絡分割，可以看出，最後一張結果圖也就是本發明的結果圖要比其他方法得到的圖像更加真實，更加接近實際，邊界銳利，說明精細程度高。
對於本領域技術人員，本發明不限制於上述實施例的細節，在不背離本發明的精神和範圍的情況下，能夠以其他具體形式實現本發明。此外，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍，這些改進和變型也應視為本發明的保護範圍。因此，所附權利要求意欲解釋為包括優選實施例以及落入本發明範圍的所有變更和修改。