一種安防視頻中多場景多目標識別和跟蹤方法與流程
2023-04-23 13:45:51 3
本發明涉及一種安防視頻中多場景多目標識別和跟蹤方法，屬於數字圖像處理和計算機視覺
技術領域：
。
背景技術：
：視頻監控網絡中的大規模目標跟蹤已成為計算機視覺領域的研究熱點，並且廣泛應用於交通管理、數字監控、智能城市等。然而，光線的變化和複雜的背景等因素會影響目標跟蹤性能。為了實現高跟蹤精度，近年來研究人員提出大量的算法。基於目標模式匹配搜索的傳統方法將目標對象跟蹤作為一個本地模式匹配優化問題。作為目標模式匹配追蹤算法的經典方法，均值漂移算法具有快速收斂特性，適用於實時跟蹤，但是，對目標的尺寸變化響應弱限制了該方法的發展。基於濾波器理論的另一個傳統方法將目標對象跟蹤轉化為貝葉斯理論架構，它使用先驗概率來預測目標對象的最大後驗概率。卡爾曼濾波算法在處理線性、高斯和單一模型跟蹤任務時效果較好，而粒子濾波算法適用於非線性，非高斯的跟蹤。這些算法都有一定的有益效果，但是也存在自身的缺陷，需要根據實際應用場合靈活配置。眾所周知，跟蹤精度在很大程度上取決於從目標對象提取的特徵，並且對特徵的有效描述是目標跟蹤的關鍵。如今安防視頻監控網絡遍布，每天有大量的安防視頻數據被存儲，但是很少有人對這些數據進行分析和處理。一般來說，安防監控視頻中感興趣的目標往往是一個或者多個人，對視頻中的一個或多個行人目標進行識別和跟蹤具有很大的實用價值，其中同時對大數量的多個目標進行識別和跟蹤是研究人員的主要研究方向。現階段，通過人員值守進行安防監控不僅浪費人力，而且往往會忽視一些目標。通過計算機輔助，對圖像進行處理，進行多目標識別和跟蹤可以彌補人工觀察的缺陷，能夠實現實時提示、預警和信息上傳，不僅節約資源，而且準確、方便、快捷。技術實現要素：針對現有技術的不足，本發明提供了一種安防視頻中多場景多目標識別和跟蹤方法；術語解釋判別反向稀疏表示，即DiscriminativeReverseSparseRepresentation。本發明的技術方案為：一種安防視頻中多場景多目標識別和跟蹤方法，具體步驟包括：(1)從視頻中採集含有目標對象的圖像幀；(2)提取出目標對象的特徵，包括目標對象的顏色直方圖和哈希編碼；如果是一個目標對象，則直接提取該目標對象的顏色直方圖和哈希編碼，如果為兩個或以上目標對象，則對目標對象進行編號，提取編號後的每個目標對象的顏色直方圖和哈希編碼；(3)對後續視頻，通過與目標對象的特徵進行匹配，檢測目標對象，如果檢測到目標對象，進入步驟(4)，否則，重複執行步驟(3)；(4)對目標對象進行跟蹤。根據本發明優選的，所述步驟(3)，檢測目標對象，具體步驟包括：a、運動區域檢測：用幀差分法檢測視頻中運動區域，如果檢測到包含一群人的運動區域，進入步驟b，如果檢測到僅包含一個人的區域，進入步驟c；由於圖像背景是複雜的，檢測到的運動區域中可能包含一群人；b、用人群分割算法把檢測到包含一群人的運動區域分割為僅包含一個人的不同區域，即若干個單人區域；c、提取僅包含一個人的區域的顏色直方圖和哈希編碼，與目標對象的顏色直方圖和哈希編碼分別進行匹配，分別得到巴氏距離和漢明距離，巴氏距離的權重為a，漢明距離的權重為b，用來表示僅包含一個人的區域與目標對象的相似性；巴氏距離用來表示僅包含一個人的區域的顏色直方圖與目標對象的顏色直方圖的相似性，漢明距離用來表示僅包含一個人的區域的哈希編碼與目標對象的哈希編碼的相似性，a的取值範圍為60-80％，b的取值範圍為20-40％，a+b＝100％；d、當僅包含一個人的區域與目標對象的相似性大於等於閾值c時，判定僅包含一個人的區域中含有目標對象，將目標對象區域用矩形框框出，否則，判定僅包含一個人的區域中不含有目標對象；閾值c的取值範圍為70％-90％。根據本發明優選的，a＝70％，b＝30％，c＝80％。根據本發明優選的，所述顏色直方圖，是指不同色彩在整幅圖像中所佔的比例，即對彩色圖像色域值進行區間劃分，對每個區間中的像素個數佔比進行統計。根據本發明優選的，所述哈希編碼，是通過以下步驟獲取的：e、去除圖像的高頻分量；f、將圖像尺寸被縮減到8×8，含有64個像素；g、將8×8尺寸圖象轉化為灰度圖像，並計算出64個像素的平均灰度值；h、將64個像素的平均灰度值與8×8尺寸圖象中每個像素灰度值相比較，如果像素的灰度值比平均灰度值小，該像素的編碼值為0，否則編碼值為1；i、將所有像素灰度值與平均灰度值比較之後，得到的64位編碼為哈希編碼。可以準確描述該圖像的特徵。圖像可以被看作包含不同頻率分量的二維信號，該信號的高頻分量代表變化劇烈的區域，如物體的邊緣，並且它可以很好地描述圖像的細節。低頻分量可以描述圖像的結構，哈希編碼主要利用圖像的低頻信息。根據本發明優選的，所述步驟(2)，具體是指：根據坐標點手動確定採集圖像中的目標對象區域，提取出目標對象的特徵，包括目標對象的顏色直方圖和哈希編碼。從而獲取目標對象的特徵模型。根據本發明優選的，所述步驟(4)，使用判別稀疏相似度圖法(DSSMap)對目標對象進行跟蹤，具體是指：J、初始判別模板集：假設Q(h,v)是目標對象最小矩形區域的中心點，所述最小矩形區域是包含某個目標對象的最小矩形圖像區域；(h,v)是指Q(h,v)的坐標值；在以Q(h,v)為中心的圓形區域內，該圓形區域半徑滿足的取值為正數，且不大於最小矩形區域的較短的邊長的二分之一,取p個樣本圖像區塊作為初始正模板庫，Qi是第i個樣本圖像區塊的中心點，1≤i≤p；從半徑滿足的環形區域中，採樣n個圖像區塊，得到初始負模板庫，Qj是第j個圖像區塊的中心點，和ω是環形區域的內外半徑；ω不大於最小矩形區域的較短的邊長的二分之一。k、判別反向稀疏表示：判別稀疏相似度圖矩陣表示所有候選目標對象和模板集之間的關係，如式(Ⅰ)所示：argmin||T-YC||22+λΣi||ci||1s.t.ci0,i=1,2,3......(p+n).---(I)]]>式(Ⅰ)中，C為判別稀疏相似度圖矩陣，T為模板集，包括初始正模板庫及初始負模板庫，Y為候選目標對象。在判別稀疏相似性映射算法中，跟蹤問題被看做是在候選區域中找出與目標區域相似度最高的區域作為要跟蹤的目標區域，在進行相似度計算時，使用判別反向稀疏相似度表示方法。此方法清晰地描述了候選區域與目標區域之間的關係，並且它是基於多任務的反向稀疏表達公式中最優化解決方案建立的。其中，基於多任務反向稀疏表達公式是對整個候選區域進行多個子集的搜索並重建出具有最小誤差的多個樣本。採用APG算法通過多次迭代來得到最優解決方案。在這個過程中，多個候選區域能夠同時進行相似度的計算而不用一個接一個的單線程計算，因此顯著提高了跟蹤的效率。在此算法中，最終要在判別稀疏相似度映射中提取出判別信息，用來從候選區域中找出要跟蹤的目標區域。在不斷的跟蹤評估過程中，與目標對象最相似的候選對象加入正模板庫，與其差距過大的候選對象加入負模板庫，這種實時動態更新正負模板庫的過程使得有足夠多的判別信息用於跟蹤，並且判別信息能夠被儲存在新的判別稀疏相似映射中，極大提高了跟蹤的準確性，有良好的效果。本發明的有益效果為：本發明主要針對視頻圖像處理算法進行設計，對安防視頻進行計算機自動分析。在該方法中，顏色直方圖和哈希編碼作為目標特徵分佔不同權重混合進行檢測識別，避免單一特徵檢測的誤差，並且動態更新的判別稀疏相似度圖法保證了跟蹤結果的準確性和抗幹擾能力，最終實現對多場景多目標的檢測、識別和跟蹤，明顯提高了準確性和魯棒性，在複雜背景環境中也有良好的效果。該方法為後續的研究打下基礎。計算機輔助多目標識別和跟蹤能夠彌補人工觀察的缺陷，在安防監控工作中實現了實時信息提示，不僅節約資源，而且準確、方便、快捷。附圖說明圖1為本發明一種安防視頻中多場景多目標識別和跟蹤方法的流程示意圖。具體實施方式下面結合說明書附圖和實施例對本發明作進一步限定，但不限於此。實施例一種安防視頻中多場景多目標識別和跟蹤方法，如圖1所示，具體步驟包括：(1)從視頻中採集含有目標對象的圖像幀；一般來說，安防視頻中感興趣的目標對象大多是一個或者多個人，就以人作為目標對象對本發明具體實施進行描述。確定好想要跟蹤的目標對象後，採集含有目標對象的圖像，包括視頻中想要跟蹤的目標對象首次完整出現的那一幀的圖像以及接下來的49幀圖像。(2)採集目標對象訓練樣本集，提取出目標對象的特徵，具體步驟包括：步驟(1)獲取的圖像中包含目標對象，可以是多個目標對象，將需要識別和跟蹤的目標對象框出，即人為確定目標對象區域，並獲取目標對象區域四個頂點的坐標；提取出目標對象的特徵，包括顏色直方圖和哈希編碼兩種特徵，用於提取目標對象顏色直方圖和哈希編碼的圖像是從提取到的每一幀(50幀)中根據頂點坐標分割出的目標對象區域圖像進行畫幅統一，對應位置像素色域值求和並平均得到的圖像。如果同時識別和跟蹤多個目標，需要對目標進行編號，分別進行處理，獲取每個目標相應的特徵模型。得到每個目標的顏色直方圖和哈希編碼分別作為目標對象的顏色直方圖模型和哈希編碼模型。所述顏色直方圖，是指不同色彩在整幅圖像中所佔的比例，即對彩色圖像色域值進行區間劃分，對每個區間中的像素個數佔比進行統計。所述哈希編碼，是通過以下步驟獲取的：e、去除圖像的高頻分量；f、將圖像尺寸被縮減到8×8，含有64個像素；g、將8×8尺寸圖象轉化為灰度圖像，並計算出64個像素的平均灰度值；h、將64個像素的平均灰度值與8×8尺寸圖象中每個像素灰度值相比較，如果像素的灰度值比平均灰度值小，該像素的編碼值為0，否則編碼值為1；i、將所有像素灰度值與平均灰度值比較之後，得到的64位編碼為哈希編碼。可以準確描述該圖像的特徵。圖像可以被看作包含不同頻率分量的二維信號，該信號的高頻分量代表變化劇烈的區域，如物體的邊緣，並且它可以很好地描述圖像的細節。低頻分量可以描述圖像的結構，哈希編碼主要利用圖像的低頻信息。(3)對後續視頻，通過與目標對象的特徵進行匹配，檢測目標對象，如果檢測到目標對象，進入步驟(4)，否則，重複執行步驟(3)；所述步驟(3)，檢測目標對象，具體步驟包括：a、運動區域檢測：用幀差分法檢測視頻中運動區域，如果檢測到包含一群人的運動區域，進入步驟b，如果檢測到僅包含一個人的區域，進入步驟c；由於圖像背景是複雜的，檢測到的運動區域中可能包含一群人；b、用人群分割算法把檢測到包含一群人的運動區域分割為僅包含一個人的不同區域，即若干個單人區域；c、提取僅包含一個人的區域的顏色直方圖和哈希編碼，與目標對象的顏色直方圖和哈希編碼分別進行匹配，分別得到巴氏距離和漢明距離，巴氏距離的權重為a，漢明距離的權重為b，用來表示僅包含一個人的區域與目標對象的相似性；巴氏距離用來表示僅包含一個人的區域的顏色直方圖與目標對象的顏色直方圖的相似性，漢明距離用來表示僅包含一個人的區域的哈希編碼與目標對象的哈希編碼的相似性，a＝70％，b＝30％；d、當僅包含一個人的區域與目標對象的相似性大於等於閾值c時，判定僅包含一個人的區域中含有目標對象，將目標對象區域用矩形框框出，否則，判定僅包含一個人的區域中不含有目標對象；閾值c＝80％。(4)對目標對象進行跟蹤。使用判別稀疏相似度圖法(DSSMap)對目標對象進行跟蹤，具體是指：J、初始判別模板集：假設Q(h,v)是目標對象最小矩形區域的中心點，所述最小矩形區域是包含某個目標對象的最小矩形圖像區域；(h,v)是指Q(h,v)的坐標值；在以Q(h,v)為中心的圓形區域內，該圓形區域半徑滿足的取值為正數，且不大於最小矩形區域的較短的邊長的二分之一,取p個樣本圖像區塊作為初始正模板庫，Qi是第i個樣本圖像區塊的中心點，1≤i≤p；從半徑滿足的環形區域中，採樣n個圖像區塊，得到初始負模板庫，Qj是第j個圖像區塊的中心點，和ω是環形區域的內外半徑；ω不大於最小矩形區域的較短的邊長的二分之一。k、判別反向稀疏表示：判別稀疏相似度圖矩陣表示所有候選目標對象和模板集之間的關係，如式(Ⅰ)所示：argmin||T-YC||22+λΣi||ci||1s.t.ci0,i=1,2,3......(p+n).---(I)]]>式(Ⅰ)中，C為判別稀疏相似度圖矩陣，T為模板集，包括初始正模板庫及初始負模板庫，Y為候選目標對象。在判別稀疏相似性映射算法中，跟蹤問題被看做是在候選區域中找出與目標區域相似度最高的區域作為要跟蹤的目標區域，在進行相似度計算時，使用判別反向稀疏相似度表示方法。此方法清晰地描述了候選區域與目標區域之間的關係，並且它是基於多任務的反向稀疏表達公式中最優化解決方案建立的。其中，基於多任務反向稀疏表達公式是對整個候選區域進行多個子集的搜索並重建出具有最小誤差的多個樣本。採用APG算法通過多次迭代來得到最優解決方案。在這個過程中，多個候選區域能夠同時進行相似度的計算而不用一個接一個的單線程計算，因此顯著提高了跟蹤的效率。在此算法中，最終要在判別稀疏相似度映射中提取出判別信息，用來從候選區域中找出要跟蹤的目標區域。在不斷的跟蹤評估過程中，與目標對象最相似的候選對象加入正模板庫，與其差距過大的候選對象加入負模板庫，這種實時動態更新正負模板庫的過程使得有足夠多的判別信息用於跟蹤，並且判別信息能夠被儲存在新的判別稀疏相似映射中，極大提高了跟蹤的準確性，有良好的效果。當前第1頁1 2 3