基於空間‑光譜結構約束的多尺度分層目標檢測方法與流程
2023-06-12 04:38:12
本發明屬於目標識別領域，具體方法涉及一種分層結構模型中多維窗口特徵的結合。
背景技術：
目標識別是計算機視覺領域一個重要的課題，它包含分類和檢測。目標分類是將一個給定目標歸納至幾個已知種類，而後者是將目標從待測圖像中提取出來。傳統的目標分類是依賴統計學習的分類器模型，並且需要大量的訓練樣本。這種訓練過程緩慢且容易出現參數過擬合現象。因而，無訓練的目標檢測算法在近年來得以發展。
2003年，文獻1(D.Comaniciu,V.Ramesh,P.Meer,Kernel-based object tracking,Pattern Analysis and Machine Intelligence,IEEE Transactions on,25(2003)564-577.)在目標跟蹤中提出使用核作為算子。之後文獻2(H.Takeda,S.Farsiu,P.Milanfar,Kernel regression for image processing and reconstruction,Image Processing,IEEE Transactions on,16(2007)349-366.)提出使用核回歸模型提取局部特徵結構，從而對原圖像進行恢復和重建。在此基礎上，文獻3(H.J.Seo,P.Milanfar,Training-free,generic object detection using locally adaptive regression kernels,Pattern Analysis and Machine Intelligence,IEEE Transactions on,32(2010)1688-1704.)提出了的局部自適應回歸核的目標識別算法，可適用於人臉識別。但是文獻3中採用的單一模版，檢測結果對模板的依賴度高，同時該算法只考慮整體結構，對於多姿態的目標檢測顯得力不從心。針對這些問題，文獻4(F.Luo,J.Han,W.Qi,Y.Zhang,L.Bai,Robust object detection based on local similar structure statistical matching,Infrared Physics&Technology,68(2015)75-83.)將局部細節納入考慮範圍，提出局部相似結構統計匹配(LSSSM)。LSSSM對目標檢測的效果有所改善，但未能在效率和效果兩方面形成雙贏模式。文獻5(Liu J,Han J,Zhang Y,et al.A novel method of target recognition based on 3D-color-space locally adaptive regression kernels model[C]//Applied Optics and Photonics China.International Society for Optics and Photonics,2015:96753A-96753A-6.)中加入了RGB彩色圖像信息，解決了文獻3和4中光譜信息丟失的問題，但卻增加了計算負擔。同時，文獻3，文獻4和文獻5的算法均只考慮局部圖像塊中中心像素點與周圍像素點值之間的關係，而忽視了局部圖像塊之間的結構和光譜關係。例如人體的胳膊與樹幹在局部圖像塊中呈現較高的相似度。因此，只考慮圖像塊的內部關係而忽略圖像塊之間的關係勢必會引起誤檢測。
文獻6(Xue T,Han J,Zhang Y,et al.Aneighboring structure reconstructed matching algorithm based on LARK features[J].Infrared Physics&Technology,2015,73:8-18.)雖然從非負線性重構的角度考慮了鄰域結構，但自然環境中大多的物體的結構關係呈非線性，線性重構勢必不能取得很好的效果；同時，NRSM本質只是進行簡單的特徵融合，鄰域重構與LARK特徵在窗口尺度上沒有形成區域包含關係，只是分別對圖像塊進行處理。
技術實現要素：
本發明的目的在於提供一種能夠同時提高檢測精度與效率的基於空間-光譜結構約束的多尺度分層目標檢測方法。
實現本發明目的的技術解決方案為：一種基於空間-光譜結構約束的多尺度分層目標檢測方法，利用類金字塔分層結構模型，結合局部特徵和近鄰特徵對目標進行檢測，其中局部特徵和近鄰特徵通過多維窗口構建位置關係，具體包括以下步驟：
步驟1，根據待檢測目標，構建多尺度多視角多姿態的模板集；計算該模板集的二值化近鄰特徵矩陣和自適應局部核回歸特徵矩陣，並對兩組特徵矩陣進行去冗餘優化；
步驟2，將待測圖像縮小至原圖像的1/4，根據ITTI顯著目標分析，對待測圖像進行預處理，去除場景中的背景噪聲；計算預處理後待測圖像的近鄰特徵矩陣，根據餘弦相似性準則與模板集的近鄰特徵矩陣進行相似度比較，從而初步確定目標的範圍T1；
步驟3，將待測圖像縮小至原圖像的1/2，計算步驟2中T1區域的自適應局部核回歸特徵矩陣，並與模板集的自適應局部核回歸特徵矩陣進行相似度對比，確定目標區域T2；
步驟4，將待測圖像恢復至原圖大小，計算步驟3中的T2區域的近鄰特徵矩陣，再次根據餘弦相似性準則與模板集的近鄰特徵矩陣進行相似度比較，確定出目標的最終位置，完成目標檢測。
進一步地，步驟1中所述模板集的二值化近鄰特徵矩陣計算過程如下：
局部窗口之間的像素灰度的聯合分布反映該局部區域的紋理分布，公式如下：
其中，T表示局部特徵，w為九宮格中小窗口寬度，gX(i,j)表示中心窗口中點(i,j)的像素灰度，g1(i,j),g2(i,j),…,g8(i,j)表示鄰域8個窗口中點的像素灰度；
按照像素排列順序，將中心窗口的像素灰度與鄰域窗口進行比較，通過差值分布函數反映鄰域窗口的紋理分布情況：
為了更直接的描述中心窗口與鄰域窗口的紋理變化，將上述差值分布函數進行二值化處理：
其中，
因此，鄰域w×w的窗口轉化為0/1組合的二值化圖像，按照位置順序用2p對該二值化圖像進行加權求和：
將鄰域的8個窗口均進行上述操作，構成BP算子：
BP＝{BP1,BP2,...,BP8} (6)
BPk表示第k個鄰域窗口與中心窗口的結構關係，即為權重；對BPk進行歸一化處理得歸一化值NBP：
選取固定的間隔interval，使大窗口歷遍M*N大小的圖像，從而得到全圖的NPBP特徵矩陣即二值化近鄰模式特徵矩陣，矩陣大小為interval為所取間隔大小。
進一步地，步驟1中所述模板集的自適應局部核回歸特徵矩陣計算過程為：
局部核函數反映圖像局部結構區域變化趨勢，公式如下：
K(Xl-X；Cl)＝exp{(Xl-X)TCl(Xl-X)},l∈{1,...,L}. (8)
其中，K(·)為局部核函數，X為窗口中心像素點的位置，Xl為窗口內中心像素點外其他像素點的位置，Cl為協方差矩陣，L為窗口內像素數；
將圖像特徵信息定義為S＝{x,y,r,z(x,y,r)}，其中[x,y]為空間坐標，r為色度坐標，z(x,y,r)為點(x,y,r)的灰度值；
通過黎曼度量建立特徵信息的微分公式：
dS2＝dx2+dy2+dr+dz2＝ΔXTClΔX (9)
其中，ΔX＝[dx,dy,dr]，Cl為適用於多光譜圖像的協方差矩陣：
其中，k為窗口Ωl的中心像素點，zx(k)、zy(k)、zr(k)為點k處灰度值對x、y、r軸的一階偏導，分別為點k處灰度值對x、y、r軸的二階偏導；
將Cl帶入局部核函數，計算出以像素點為中心的w×w×wr窗口內的局部核：
其中，為以i中心像素點的窗口中l像素點處的局部核值；
從而得到該像素點i的權值向量矩陣fi：
用w×w×wr的窗口歷遍全圖，通過計算各個像素點的權值向量矩陣，得到模板集Q的權值向量矩陣，m為模板集圖像的個數，M為模板集m張圖像總的像素數。
進一步地，步驟1所述對兩組特徵矩陣進行去冗餘優化，具體如下：
其中，ρ為相似度值，與分別表示模板Q的權值向量矩陣中的第i行和第j行；
設定閾值τ，如果ρ>τ，則只保留其中一個列向量；反之，兩向量均保留。
本發明與現有技術相比，其顯著優點在於：(1)多尺度的模板集克服了單模板檢測精度不高的缺陷；(2)建立在多維窗口上的兩種空間-光譜特徵結合，解決了光譜信息缺失和目標細節過度拆分造成的誤檢測；(3)類金字塔分層結構模型中的兩種特徵交替檢測，在提高檢測精度的同時提高了檢測效率。
附圖說明
圖1為本發明基於空間-光譜結構約束的多尺度分層目標檢測方法的流程圖。
圖2為本發明實施例中的汽車檢測模板集示意圖。
圖3為本發明實施例中在CBCL資料庫中的汽車檢測結果圖，其中(a)～(h)依次為不同汽車檢測結果圖。
具體實施方式
下面以汽車目標為實例對本發明做進一步的詳細闡述：
本發明提出了一種基於local binary和LARK的多尺度分層結構模型。針對圖像背景信息幹擾，局部特徵過度拆分等問題，融合空間域和光譜域信息，構建了空間-光譜的NPBP特徵矩陣即二值化近鄰模式特徵矩陣；通過多維窗口將近鄰結構特徵與局部細節特徵相結合，交替檢測，提高了目標識別的精確度；同時，針對目標的尺寸差異和姿態多變等問題，建立多尺度多姿態多角度的模板集，確保圖像中的目標均可被檢測識別；最後建立類金字塔分層結構模型，提高檢測精度的同時有效縮短了檢測時間。
結合圖1，本發明基於空間-光譜結構約束的多尺度分層目標檢測方法，利用類金字塔分層結構模型，結合局部特徵和近鄰特徵對目標進行檢測，其中局部特徵和近鄰特徵通過多維窗口構建位置關係，具體包括以下步驟：
步驟1，根據待檢測目標，構建多尺度多視角多姿態的模板集；計算該模板集的二值化近鄰特徵矩陣和自適應局部核回歸特徵矩陣，並對兩組特徵矩陣進行去冗餘優化；
步驟2，將待測圖像縮小至原圖像的1/4，根據ITTI顯著目標分析，對待測圖像進行預處理，去除場景中的背景噪聲；計算預處理後待測圖像的近鄰特徵矩陣，根據餘弦相似性準則與模板集的近鄰特徵矩陣進行相似度比較，從而初步確定目標的範圍T1；
步驟3，將待測圖像縮小至原圖像的1/2，計算步驟2中T1區域的自適應局部核回歸特徵矩陣，並與模板集的自適應局部核回歸特徵矩陣進行相似度對比，確定目標區域T2；
步驟4，將待測圖像恢復至原圖大小，計算步驟3中的T2區域的近鄰特徵矩陣，再次根據餘弦相似性準則與模板集的近鄰特徵矩陣進行相似度比較，確定出目標的最終位置，完成目標檢測。
實施例1
首先，構建如圖2所示的汽車的模板集，汽車模板集中的汽車呈現圖中①-⑦所示的多尺度多視角。
第一步：計算模板集的空間-光譜近鄰結構特徵。近鄰結構特徵是反映中心窗口與鄰域8窗口的結構關係。
局部窗口之間的像素灰度的聯合分布可反映該局部區域的紋理分布：
其中，T表示局部特徵，w為九宮格中小窗口寬度，gX(i,j)表示中心窗口中點(i,j)的像素灰度，g1(i,j),g2(i,j),…,g8(i,j)表示鄰域8個窗口中點的像素灰度；
按照像素排列順序，將中心窗口的像素灰度與鄰域窗口進行比較，通過差值分布函數反映鄰域窗口的紋理分布情況：
為了更直接的描述中心窗口與鄰域窗口的紋理變化，將上述差值分布函數進行二值化處理：
其中，
因此，鄰域w×w的窗口轉化為0/1組合的二值化圖像(也可視為一串長度為w×w的二進位數)。按照位置順序用2p對該二值化圖像進行加權求和：
將鄰域的8個窗口均進行上述操作，構成BP算子：
BP＝{BP1,BP2,...,BP8} (6)
BPk表示第k個鄰域窗口與中心窗口的結構關係，即為權重。權重值的範圍隨著窗口的增大而增加，不利於後續的計算處理，因此對BPk進行歸一化處理得歸一化值NBP：
選取一定的間隔，使圖示的5*5*9的大窗口歷遍M*N大小的圖像，從而得到全圖的NPBP特徵矩陣，矩陣大小為interval為所取間隔大小。可見圖像的NPBP矩陣較原圖陣以interval倍縮小，相當於對圖像進行了一個稀疏編碼的圖像重建過程，有利於節省後續的計算時間，提高識別效率。
第二步：計算模板集的空間-光譜局部自適應核特徵(3D-LARK)矩陣。
局部核函數反映圖像局部結構區域變化趨勢，公式如下：
K(Xl-X；Cl)＝exp{(Xl-X)TCl(Xl-X)},l∈{1,...,L}. (8)
其中，K(·)為局部核函數，X為窗口中心像素點的位置，Xl為窗口內中心像素點外其他像素點的位置，Cl為協方差矩陣，L為窗口內像素數；
將圖像特徵信息定義為S＝{x,y,r,z(x,y,r)}，其中[x,y]為空間坐標，r為色度坐標，z(x,y,r)為點(x,y,r)的灰度值；
通過黎曼度量建立特徵信息的微分公式：
dS2＝dx2+dy2+dr+dz2＝ΔXTClΔX (9)
其中ΔX＝[dx,dy,dr]，Cl為適用於多光譜圖像的協方差矩陣：
其中，k為窗口Ωl的中心像素點，zx(k)、zy(k)、zr(k)為點k處灰度值對x、y、r軸的一階偏導，分別為點k處灰度值對x、y、r軸的二階偏導；
將Cl帶入局部核函數，計算出以像素點為中心的w×w×wr窗口內的局部核：
其中，為以i中心像素點的窗口中l像素點處的局部核值；
從而得到該像素點i的權值向量矩陣fi：
用w×w×wr的窗口歷遍全圖，通過計算各個像素點的權值向量矩陣，得到模板集Q的權值向量矩陣，m為模板集圖像的個數，M為模板集m張圖像總的像素數。
第三步：根據餘弦相似性準測，對上述兩個特徵矩陣去冗餘：
其中，ρ為相似度值，與分別表示模板Q的權值向量矩陣中的第i行和第j行；
設定閾值τ，如果ρ>τ，則只保留其中一個列向量；反之，兩向量均保留。
其次，根據上述理論，計算出待測圖像的空間-光譜NPBP和3D-LARK特徵矩陣。
最終，根據類金字塔分層結構模型，通過每一層待測圖像與模板集特徵矩陣之間的相似性度量，判斷是否包含目標；並通過非極大值抑制，檢測出目標的位置。每一層都對前一層的檢測結果進行修正，最終取得較好的識別效果。首先通過NPBP鄰域特徵對待測圖像進行整體把握，在此基礎上通過3D-LARK進行細節特徵分析，從而在一定程度上減少了原待測圖背景噪聲的幹擾。最後再通過NPBP對第二層的細節分析結果進行整體檢測。實驗證明，如圖3(a)～(h)所示，本算法在彩色圖像上取得了較好的識別效果，識別精度和效率均有所提高。
綜上所述，本發明構建了基於近鄰結構特徵和局部自適應核回歸的類金字塔分層結構模型。將圖像局部區域的內部特徵與區域間的結構特徵相結合，改善了圖像背景信息幹擾，局部特徵過度拆分等問題；並在特徵算子中融合空間域和光譜域信息，使算法可普適到多光譜圖像，並提高了檢測精度；在從多尺度等方面擴充模板集的同時利用類金字塔分層結構中兩種特徵的交替識別，提高識別效率和精度。