一種結合深度學習與稀疏表示的室內場景識別方法與流程
2023-07-20 02:52:26 2
本發明涉及一種結合深度學習與稀疏表示的室內場景識別方法，屬於圖像處理技術的技術領域。
背景技術：
隨著信息技術和智慧機器人的發展與普及，場景識別作為重要的研究內容，已成為計算機視覺和模式識別領域的重要研究問題。場景圖像分類是依據一組給定的語義標籤來對圖像數據集進行自動分類。場景識別模型主要分為三大塊：基於低級特徵、基於中級特徵、基於視覺詞彙。所謂低級特徵，即對場景圖像提取全局或者分塊的紋理、顏色等特徵對場景圖像進行分類，比如Valiaya和Szumme等人的研究，但是這種提取底層特徵的方法只適用於比較簡單的場景或者場景差別較大的圖像場景(沙灘和藍天、室內和室外等)，因而人們又繼續進行探索，David G[6]提出了一種基於尺度空間的、具有圖像縮放、旋轉和仿射不變形的圖像局部特徵描述算子SIFT，Dalal等人提出了HOG圖像局部特徵，得到了高性能的底層特徵。隨著人們對圖像識別研究領域的深入，人們逐漸發現僅僅提取底層特徵不能有效解決語義鴻溝問題，因此構建中層特徵作為一個新的研究思路，引起了廣大研究者們的關注，其中最具代表性的是視覺詞袋模型(Bag of visual Words,BoW)，但它是將圖像表示成了一個無序局部特徵集的特徵包方法，忽略了所有的關於圖像塊的位置信息，為了解決這個問題，Lazebnik等人提出一種基於空間金字塔匹配(Spatial Pyramid Matching,SPM)的方法來改進傳統的BoW模型，取得了較好的識別效果。
當把上述方法應用在室內場景識別時，識別效果顯著下降，究其原因是室內場景主要存在類內差異大類間差異小、遮擋、尺度、角度變化等原因，比如同是書店，有可能只有書櫃和書，也有可能只有書，而書店和圖書館兩個場景同時有書櫃和書。為此，Vogel和Schiele[12]最早提出了採用局部區域目標來對自然場景進行建模的方法。因此，基於目標的高層圖像表示方法被相繼提出，如Li-feifei等提出的目標銀行模型，這些方法將目標作為圖像的基本元素，通過分析圖像中所包含的一系列目標來進一步分類場景圖像，但是由於室內場景圖像較複雜，目前並沒有一種特別好的解決室內場景圖像識別效果差的方法，其識別仍然普遍偏低，無法滿足現實的需求。
技術實現要素：
本發明所要解決的技術問題在於克服現有技術的不足，提供一種結合深度學習與稀疏表示的室內場景識別方法，解決由於目前室內場景類內差異大類間差異小、遮擋、尺度、角度變化等原因，造成了目前室內場景識別相比較於室外場景識別來說其複雜度和困難性更大，因而識別效果差的問題，以提高室內場景識別算法的識別率和魯棒性。
本發明具體採用以下技術方案解決上述技術問題：
一種結合深度學習與稀疏表示的室內場景識別方法，包括以下步驟：
步驟A、從室內場景庫中隨機挑選若干張室內場景圖像作為訓練樣本，及將室內場景庫中剩餘的室內場景圖像作為測試樣本；
步驟B、利用Fast-RCNN算法對所述訓練樣本和測試樣本進行物體類別判別和檢測，得到訓練樣本和測試樣本中每張室內場景圖像中包含的物體類別、位置和分值信息，以構建得到每張室內場景圖像的底層特徵；
步驟C、利用詞袋模型根據所述訓練樣本和測試樣本中每張室內場景圖像的底層特徵，構建得到每張室內場景圖像的中層特徵；
步驟D、對所述訓練樣本中的每張室內場景圖像的中層特徵進行糅合，構建得到稀疏字典；
步驟E、利用所述稀疏字典對輸入的測試樣本進行稀疏表示，及根據求解出的稀疏解與所輸入的測試樣本計算得到殘差，並根據殘差的大小判斷測試樣本所屬的物體類別；
步驟F、將判斷得到測試樣本所屬的物體類別輸出。
進一步地，作為本發明的一種優選技術方案：所述步驟A還包括對每個室內場景圖像進行歸一化尺寸處理。
進一步地，作為本發明的一種優選技術方案：所述步驟C構建得到每張室內場景圖像的中層特徵，具體包括步驟：
步驟C1、將每張室內場景圖像劃分成若干層，每個層劃分得到若干個子塊；
步驟C2、對各層中每個子塊內的每個像素點進行物體類別的判別，及結合判斷出的物體類別所對應的位置和分值信息獲得每個子塊的直方圖特徵；
步驟C3、將所有層的所有子塊的直方圖特徵串聯組成一個特徵向量，以獲得室內場景圖像的中層特徵。
進一步地，作為本發明的一種優選技術方案：所述步驟D所構建得到過完備的稀疏字典。
進一步地，作為本發明的一種優選技術方案：所述步驟E根據殘差最小值判斷測試樣本所屬的物體類別。
本發明採用上述技術方案，能產生如下技術效果：
本發明提供一種結合深度學習與稀疏表示的室內場景識別方法，所述方法在國際上公開的MIT-67室內場景庫上進行檢測，使用基於深度學習的Fast-RCNN算法準確識別出每張室內場景圖片中物體的類別、位置、分值信息，通過這些信息去構建去相關、低維度的底層特徵，並利用這些信息改進傳統的詞袋模型，得到一個反應場景圖像的空間信息的中層特徵，再利用這些中層特徵構建稀疏字典，最後通過稀疏表示的方法進行分類。
本發明在特徵提取階段使用基於深度學習的Fast-RCNN算法，可以精準的得到去相關、低維度的底層特徵，精準地得到了原圖的局部信息，解決了傳統的特徵提取方法存在維數災難的問題；並採用改進詞袋模型，將室內場景圖像中的空間信息考慮在內，較好的得到了室內場景圖像的語義特徵，解決了「語義鴻溝」問題，提高了室內場景的識別正確率；以及，採用稀疏表示算法進行分類，解決了室內場景圖像中特徵提取方面丟失的一些特徵信息以及室內場景圖像存在的遮擋等噪聲問題，提高了系統的識別率和對遮擋的魯棒性。
因此，本發明能夠以工程實踐應用為目標，結合深度學習和稀疏表示算法，提出一種中層特徵構建算法，有效提高室內場景識別的準確率，以及提高室內場景識別算法的識別率和魯棒性，具有很高的實用性能，可以更加接近工程實踐的要求。
附圖說明
圖1為本發明結合深度學習與稀疏表示的室內場景識別方法的流程示意圖。
具體實施方式
下面結合說明書附圖對本發明的實施方式進行描述。
如圖1所示，本發明設計了一種結合深度學習與稀疏表示的室內場景識別方法，其包括底層特徵提取、中層特徵構建和分類器設計三大步驟，具體包括以下步驟：
步驟A、從室內場景庫中隨機挑選若干張室內場景圖像作為訓練樣本，及將室內場景庫中剩餘的室內場景圖像作為測試樣本。
由於本發明應用於室內場景圖像，為了檢測算法的有效性，應挑選國際上公開的室內場景庫中的圖片，本例中選取了典型的MIT-67室內場景庫，該場景庫中的圖片並不是統一尺寸的，所以優選地先對其進行歸一化尺寸處理，並保證每一類室內場景圖像數目也應該是相同的，且隨機挑選其中歸一化後的90％的室內場景圖像作為訓練樣本，剩下歸一化後的10％的室內場景圖像作為測試樣本。
步驟B、利用Fast-RCNN算法對所述訓練樣本和測試樣本中的每張室內場景圖像進行物體類別判別和檢測，得到每張室內場景圖像中包含的物體類別、位置和分值信息，以構建得到每張室內場景圖像的底層特徵。即：在對室內場景圖像底層特徵提取前，必須先確定室內場景圖像中對判別有一定作用的物體類別，然後從ImageNet上下載相對應的物體訓練庫，送入Fast-RCNN算法中進行訓練，然後再用Fast-RCNN算法對室內場景庫中的訓練和測試樣本進行物體檢測，得到每張室內場景圖像中包含的物體類別、位置和分值score信息，構建去相關、低維度的底層特徵。
步驟C、利用詞袋模型根據所述訓練樣本和測試樣本中每張室內場景圖像的底層特徵，通過改進傳統的詞袋模型，構建得到每張室內場景圖像的中層特徵。具體如下：
步驟C1、將每張室內場景圖像劃分成i個level層，第i個level層將得到4i個子塊，其中i為1以上的自然數，則總共將得到若干個子塊。及level 0表示室內場景圖像原圖，level1表示室內場景圖像劃分的第一個level層，level2表示室內場景圖像劃分的第二個level層。由此，level 0層所代表的原圖存在1個子塊，level1層所代表的第一層存在4個子塊，level2層所代表的第二層存在16個子塊。
步驟C2、對各層中每個子塊內的每個像素點進行物體類別的判別，及結合判斷出的物體類別所對應的位置和分值信息獲得每個子塊的直方圖特徵。即：對原室內場景圖像level 0進行判別，根據步驟B得到的原室內場景圖像中所包含的物體的類別、位置和score信息，對原圖片level 0的每個像素點進行類別判別，若像素點存在物體類別信息，則取出該物體類別對應的分值，反之則忽略。若像素點存在類別重疊則判別類別是否相同，如是相同類別，則取該類別對應的分值的最高值與其他被判別為該類的像素點的分值相加；如是不同的類別，則分別取對應類別對應的分值的最高值與其他被判別為該類的像素點的分值相加，最終將Fast-RCNN算法得到的每張場景圖中所包含的物體的類別、位置和分值信息考慮在內的第一個子塊的直方圖特徵。
步驟C3、將所有層的所有子塊的直方圖特徵串聯組成一個特徵向量，以獲得室內場景圖像帶有空間信息的中層特徵。即：對level 1層和level 2層用上述相同的方法統計室內場景圖片在不同level層下的每個子塊的直方圖特徵，最後將所有level層的子塊的直方圖特徵串聯起來組成一個特徵向量vector,以構建帶有空間信息、魯棒性較強的中層特徵，完成中層特徵構建。
步驟D、對所述訓練樣本中的每張室內場景圖像的中層特徵進行糅合，構建得到稀疏字典；即：利用步驟C得到的每張室內場景圖像的中層特徵，即一個維度Nx1的特徵向量，然後將M張訓練樣本所得到的中層特徵進行簡單的糅合，得到過完備的稀疏字典A，其中稀疏字典A的維度為NM，且N<M。
步驟E、利用所述稀疏字典對輸入的測試樣本進行稀疏表示，及根據用1範數求解出的稀疏解與所輸入的測試樣本計算得到殘差，並根據殘差的大小判斷測試樣本所屬的物體類別，其中1範數是指向量中各個元素絕對值之和。具體為：利用步驟D得到的稀疏字典對測試樣本中的室內場景圖像進行稀疏表示，稀疏表示公式：
y＝Ax
其中，y表示測試樣本，A表示由訓練樣本中層特徵構建的稀疏字典，x表示稀疏係數。這裡用1範數進行稀疏求解，求解公式:x1＝argmin||x||1subject to Ax＝y，通過求解出的稀疏解與原始測試樣本進行求殘差，並根據殘差的大小，判斷樣本所屬的類別。
所述計算殘差公式：
min ri(y)＝||y-Aδi(x1)||2
公式中，δi為i類中非零向量構成的新向量。
其中，該過程將稀疏表示算法應用於室內場景識別，來提升室內場景識別的正確率和魯棒性。可優選根據步驟E中計算出的殘差最小值判斷得出最終的分類結果。
步驟F、將判斷得到測試樣本所屬的物體類別輸出。
綜上，本發明在特徵提取階段使用基深度學習的Fast-RCNN算法，可以精準的得到去相關、低維度的底層特徵，並採用改進詞袋模型，將室內場景圖像中的空間信息考慮在內，較好的得到了室內場景圖像的語義特徵，解決了「語義鴻溝」問題，提高了室內場景的識別正確率；以及，採用稀疏表示算法進行分類，解決了室內場景圖像中特徵提取方面丟失的一些特徵信息以及室內場景圖像存在的遮擋等噪聲問題，提高了系統的識別率和對遮擋的魯棒性。
上面結合附圖對本發明的實施方式作了詳細說明，但是本發明並不限於上述實施方式，在本領域普通技術人員所具備的知識範圍內，還可以在不脫離本發明宗旨的前提下做出各種變化。