一種陰影檢測的方法、裝置及視頻圖像處理系統的製作方法

2023-09-22 16:32:35

專利名稱：一種陰影檢測的方法、裝置及視頻圖像處理系統的製作方法
技術領域：
本發明屬於視頻圖像處理領域，尤其涉及一種陰影檢測的方法、裝置及視頻圖像處理系統。

背景技術：
陰影檢測是檢測由於目標遮擋光線使其不能直接照射背景而導致背景中形成的陰暗區域。由於陰影和運動目標同樣具有運動性，檢測出的運動區域通常包括運動目標區域和運動陰影區域。陰影使運動目標產生變形，從而影響分立運動目標的提取、跟蹤及目標的行為分析。如何檢測並消除目標投影陰影是智能視頻監控中一個關鍵且困難的問題之一。
在已有的陰影檢測方法中，有些文獻提出基於顏色模型的陰影檢測方法，Cucchiara等認為在HSV空間中，陰影像素點與背景像素點相比，具有亮度較低、飽和度和色調相對穩定等特點；Salvador等認為在RGB空間中，陰影像素任意一個顏色分量與背景像素的另外兩個分量的最大值相除，其值的反正切角度不會超過某一閾值，並通過該特性來區分陰影區域和目標區域。以上兩種方法主要都是基於陰影像素點和背景像素點在色調上的差異很小的思想。
也有文獻提出基於幾何特性的陰影檢測消除方法，根據目標的運動特性和攝像機的拍攝位置，建立運動目標的3D模型，從而達到消除陰影區域的目的。但是這種方法需要事先估計許多參數，而且建模難度也較大。
近年來，也有學者提出了統計學習的方法，Fatih Porikli等提出對陰影像素點進行粗分類，並在分類的結果上建立關於陰影的多高斯模型，從而確定陰影的分布特性，但該方法建立陰影多高斯模型時需要統計較多的樣本。此外還有學者使用陰影的紋理特性和梯度特性進行陰影檢測。
綜上所述，現有的陰影檢測方法建立的陰影模型大多基於運動目標，而運動目標存在投影陰影、自陰影兩種情況，陰影模型參數往往不夠準確，同時模型中估計參數過多，不能滿足實時性的需求。目前還沒有一種方法可以在戶外光強度變化劇烈的條件下實時且準確的檢測出陰影。


發明內容
本發明的目的在於提供一種陰影檢測的方法，旨在解決現有技術提供的陰影檢測方法不能在戶外光強度變化劇烈的條件下實時且準確的檢測出陰影的問題。
本發明是這樣實現的，一種陰影檢測的方法，所述方法包括下述步驟 提取預先設置的參照物的陰影特徵，所述陰影特徵包括參照物的陰影強度統計參數和陰影方向； 根據所述參照物的陰影特徵檢測運動目標的陰影。
本發明的另一目的在於提供一種陰影檢測裝置，所述裝置包括 陰影特徵提取單元，用於提取預先設置的參照物的陰影特徵，所述陰影特徵包括參照物的陰影強度統計參數和陰影方向； 運動目標陰影檢測單元，用於根據所述陰影特徵提取單元提取的參照物的陰影特徵檢測運動目標的陰影。
本發明的另一目的在於提供一種視頻圖像處理系統，所述系統包括如上所述的陰影檢測裝置。
在本發明中，通過在場景中設置參照物，自適應地提取參照物陰影強度統計參數及陰影方向，再根據該參照物陰影區的陰影方向和陰影強度比率統計參數對運動目標進行備選陰影區域提取和投影陰影區域的最終判定，實現了運動目標自投影陰影的檢測，在戶外環境中陰影方向不斷變化、陰影光照強度變化劇烈的情況下，有效地消除了運動目標的自投影陰影，較好地解決了運動目標陰影對運動目標提取的幹擾，實現了運動目標投影陰影的自動檢測。



圖1是本發明實施例提供的陰影檢測的方法的流程框圖； 圖2是本發明實施例提供的參照物、定標點信息的接收以及H矩陣的計算示意圖； 圖3是根據本發明實施例的用於提取參照物陰影區域及計算陰影與非陰影強度比率分布的流程圖； 圖4是根據本發明實施例的用於計算參照物陰影方向的流程圖； 圖5是根據本發明實施例的用於求取運動目標的備選陰影區域的流程圖； 圖6(a)是根據本發明實施例的用於計算運動目標腳底點橫坐標位置的流程圖； 圖6(b)是根據本發明實施例的用於計算運動目標腳底點縱坐標位置的流程圖； 圖6(c)是根據本發明實施例的用於計算運動目標腳底區域世界坐標的流程圖； 圖7是根據本發明實施例的用於根據腳底點位置和陰影所在方向最終確定運動目標投影陰影的流程圖； 圖8是根據本發明實施例的陰影檢測裝置的結構示意圖。

具體實施例方式 為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，並不用於限定本發明。
在本發明實施例中，通過在場景中設置參照物，提取參照物陰影區的陰影方向和陰影強度比率統計參數，再根據該參照物陰影區的陰影方向和陰影強度比率統計參數對運動目標進行備選陰影區域提取和投影陰影區域的最終判定，實現了運動目標自投影陰影的檢測，可以在戶外光強變化劇烈的條件下實時、準確且自適應的檢測出運動目標自投影陰影。
圖1是本發明實施例提供的用於運動目標陰影檢測的方法的流程，詳述如下 在步驟S101中，接收用戶輸入的參照物及定標點的信息。
如圖2所示，首先用戶輸入參照物所在位置和參照物的投影陰影區域的位置，其中，輸入的位置坐標為圖像坐標系下的坐標，參照物的投影陰影區域是指參照物陰影可能出現的區域，在任何時刻參照物陰影均出現在此區域內。其次，輸入定標點的信息，根據該定標點信息計算轉換矩陣H，其中，該定標點信息包括圖像上的四個定標點的圖像坐標以及該四個圖像定標點的世界坐標。
在本發明實施例中，為了獲取準確的投影陰影方向，消除圖像中由於拍攝角度引起的同一時刻不同運動目標的陰影方向的差異，進行圖像頂視圖轉換，將參照物的像素點在攝像機坐標系中的坐標(圖像坐標)轉換為絕對坐標系中的坐標(世界坐標)，具體的轉換方法是，根據攝像機攝影的圖像上的四個定標點的圖像坐標以及用戶輸入的該四個圖像定標點的世界坐標(如圖2所示)即可求出轉換矩陣H。
由於本發明實施例的目的是消除投影陰影，而投影陰影均落在地面上，故對運動目標進行頂視圖轉換時只考慮平面信息不需考慮高度信息。H的計算方法如下 h11Xw+h12Yw+h13+0+0+0-h31Xwu-h32Ywu＝u (1) 0+0+0+h21Xw+h22Yw+h23-h31Xwv-h32Ywv＝v其中

(u，v)為定標點的圖像坐標，(Xw，Yw)為對應定標點的世界坐標。上式中共有8個未知數，故選取4組圖像坐標和對應點的世界坐標即可求出轉換矩陣H。
對於圖像上的任意一點(u，v)，利用已經求出的矩陣H，即可求出該像素點對應的世界坐標系下的坐標X，如圖2所示。計算方法如下，將式(1)化簡得 MX＝U X＝M-1U (2) 其中 在步驟S102中，確定參照物的陰影區域的光照強度的範圍。
對參照物的陰影所在區域做光照強度統計直方圖S，查找陰影區域的光照強度對應的光照強度V。
根據陰影區域比非陰影區域光照強度低和同一介質背景下若存在陰影區域與非陰影區域則其光照強度統計直方圖有且僅有兩個分別近似成高斯峰的特點，可知兩個峰中光照強度較小的峰對應的光照強度範圍為參照物陰影的光照強度範圍，即光照強度低於峰谷對應強度值V的範圍。
V＝min{i |S(i-5i-1)＞S(i)&S(i+1i+5)＞S(i)，i＝6，7，…，250} (3) 在步驟S103中，計算參照物的陰影強度統計參數。
任何區域被陰影覆蓋前後的強度比率呈高斯分布。參照物陰影區域強度平均值與非陰影區域強度平均值的比值作為此刻陰影強度的比率均值μ，即高斯分布的均值，如公式(4)所示。由於強光源產生深陰影，弱光源產生的淺陰影。當光照強烈時，亮度變化比率直方圖中亮度比率相對較低，波峰較窄；當光照弱時，亮度比率相對較高，波峰相對較寬。為了能夠適應不同的光照強度，採用線性映射，如公式(4)，計算高斯分布的均值μ以及方差σ。
μ＝μ1/μ2 σ＝k*μ+c 其中，k為映射直線的斜率，c為常數。根據經驗k＝0.2，c＝0.05時確定的映射直線，檢測效果最為理想。
其中，S102和S103的流程圖如圖3所示。
在步驟S104中，計算參照物的陰影方向。
參見圖4，在戶外平行光線的條件下，不同位置的運動目標陰影方向相同。由於在拍攝圖像中不同位置的運動目標陰影方向不同，這就需要對陰影區域進行頂視圖轉換，使其方向達到一致。因此在計算參照物陰影方向時，首先對屬於參照物陰影的像素點根據轉換矩陣H求出對應的世界坐標點，根據主成分分析法求出陰影主軸方向K，計算方法見公式(5)。
Se＝λe (5) λm＝max(λ) K＝eλy/eλx 其中，樣本點x1，x2，…，xn為參照物陰影點的二維世界坐標，e表示通過樣本均值直線的單位向量。式(5)中最大的本徵值λm對應的本徵向量eλ即為投影陰影的方向，可求出陰影主軸方向K。
在本發明實施例中，步驟S102、步驟S103、步驟S104均是提取預先設置的參照物的陰影特徵的步驟，提取的陰影特徵包括參照物的陰影強度統計參數、陰影方向。
在步驟S105中，提取運動目標的備選陰影區域。
對監控視頻首先利用混合高斯背景減除算法求出運動目標，由於陰影和運動目標同樣具有運動性，故同時被檢測出來。
以檢測出來的運動目標作為輸入，利用公式(4)計算出來的μ和σ為參數的高斯分布檢測運動目標上的陰影。凡運動目標上的像素點與對應的背景像素點強度比率在高斯分布的3σ內的像素點均標記為備選陰影點。此過程檢測出的陰影比較粗略，包括投影陰影、部分的自陰影，甚至包括運動目標上的部分區域。
在步驟S106中，計算運動目標腳底區域的位置。
計算運動目標腳底區域由以下三部分組成計算運動目標腳底點橫坐標位置、計算運動目標腳底點縱坐標位置、計算運動目標腳底區域的世界坐標。計算方法詳述如下 運動目標腳底點橫坐標位置的計算，如圖6(a)所示。利用S105求出的運動目標備選陰影區域，以運動目標的非備選陰影區作為輸入，向橫坐標作投影，做統計直方圖，對圖像中運動目標非陰影區域每列的像素點個數進行累加。對於運動目標而言，腳底點的橫坐標對應運動目標的最高點，即累加的像素點個數最多坐標對應腳底點坐標STS(j)。為了避免噪聲幹擾，選取連續2*flagX+1列像素點個數平均值最大的橫坐標作為腳底點所在的橫坐標rootX，公式如下 rootX＝arg max(STS(j)) 其中，若圖像中(i，j)位置像素點是運動目標而不是陰影區域時B(i，j)＝1，否則B(i，j)＝0。公式和流程圖中的flagX是用於消除計算誤差而取的常量。
運動目標腳底點縱坐標位置的計算，如圖6(b)所示。利用S105求出的運動目標備選陰影區域，以運動目標的非備選陰影區作為輸入，向縱坐標作投影，做統計直方圖SR，對圖像中運動目標非備選陰影區域中每行的像素點個數進行累加，選取連續t行像素點個數均大於某個閾值TY的第一個行坐標作為腳底點所在的縱坐標rootY，公式如下 YK＝{k| SR(k-tk)＞TY i＝1，2，…，m-t+1} (7) rootY＝max(YK) 其中，若圖像中(i，j)位置像素點是運動目標而不是陰影區域時B(i，j)＝1，否則B(i，j)＝0；YK為連續t行像素點均大於閾值TY的行坐標集合。
運動目標腳底區域的世界坐標計算，如圖6(c)所示。由於人體姿勢的不確定性，導致人體腳底點的計算存在誤差。為了消除誤差的影響，選取以計算出的腳底點為中心的一塊區域作為運動目標腳底點所在的範圍S0。W為區域的邊長，計算如下 其中，rootX為腳底點的橫坐標，r為閾值。實驗可知，r＝4效果較好。S0的取值為 S0＝{(x，y)|x＝rootX-WW/2rootX+W； (9) y＝rootY-WW/2rootY+W} 利用轉換矩陣H將S0裡的坐標點轉換成世界坐標系下的坐標點，集合為S。
在步驟S107中，提取運動目標投影陰影。
如圖7所示，首先對備選陰影區域內的每個像素點I(i，j)求世界坐標X，接著求X與腳底區域S的所在直線的斜率Ks。
其中，X＝(Xw，Yw)，(Sxw，Syw)∈S。若所求陰影方向在參照物陰影方向範圍內，一般取0.9K＜Ks＜1.1K，則認為此像素點所在的連通區域是運動目標的投影陰影區域。
在本發明實施例中，步驟S105、步驟S106、步驟S107均是根據參照物的陰影特徵檢測運動目標的陰影的步驟。
圖8是本發明實施例提供的陰影檢測裝置的結構，為了便於說明，僅示出了本發明實施例相關的部分。其中，該陰影檢測裝置可以是內置於視頻圖像處理系統的軟體單元，硬體單元或者軟硬結合的單元。在本實施例中，該陰影檢測裝置包括參照物信息接收單元81、定標點信息輸入及轉換矩陣H計算單元82、陰影特徵提取單元83和運動目標陰影檢測單元84。
參照物信息接收單元81接收輸入的參照物的信息，該信息包括參照物所在的位置，參照物投影陰影區域的位置。具體情況如上所述，在此不再贅述。
定標點信息輸入及轉換矩陣H計算單元82接收輸入的定標點的信息，所述信息包括圖像上的四個定標點的圖像坐標以及所述四個圖像定標點的世界坐標，並根據所述定標點信息求取轉換矩陣H。
陰影特徵提取單元83提取預先設置的參照物的陰影特徵，該陰影特徵包括參照物的陰影強度統計參數、陰影方向。其中，陰影特徵提取單元83包括光照強度範圍統計子單元、陰影強度統計參數計算子單元和陰影方向計算子單元。
光照強度範圍統計子單元，確定參照物的陰影區域的光照強度的範圍，具體情況如上所述，在此不再贅述。
陰影強度統計參數計算子單元根據光照強度範圍統計子單元確定的光照強度範圍，計算參照物的陰影強度統計參數，所述參數包括高斯分布的均值和高斯分布的方差，具體情況如上所述，在此不再贅述。
陰影方向計算子單元計算參照物的陰影方向，具體情況如上所述，在此不再贅述。
運動目標陰影檢測單元84根據陰影特徵提取單元83提取的參照物的陰影特徵檢測運動目標的陰影。其中，運動目標陰影檢測單元84包括備選陰影區域提取子單元、腳底區域確定子單元、投影陰影區域確定子單元。
備選陰影區域提取子單元，根據參照物的陰影強度統計參數提取運動目標的備選陰影區域，具體情況如上所述，在此不再贅述。
腳底區域確定子單元，確定運動目標的腳底區域，具體情況如上所述，在此不再贅述。
投影陰影區域確定子單元，在備選的陰影區域中，將和腳底區域所成方向與陰影方向一致的陰影區域確定為運動目標的投影陰影區域，具體情況如上所述，在此不再贅述。
在本發明實施例中，通過在場景中設置參照物，自適應地提取參照物陰影強度統計參數及陰影方向，利用這些陰影區的統計參數，可以較精確地提取出運動目標的備選陰影區域，有效地減少陰影區域的漏檢和誤檢情況。提取出參照物陰影強度統計參數及陰影方向後，再根據該參照物陰影區的陰影方向和陰影強度比率統計參數對運動目標進行備選陰影區域提取和投影陰影區域的最終判定，實現了運動目標自投影陰影的檢測，在戶外環境中陰影方向不斷變化、陰影光照強度變化劇烈的情況下，有效地消除了運動目標的自投影陰影，較好地解決了運動目標陰影對運動目標提取的幹擾，實現運動目標投影陰影的自動檢測，保證了同一時刻不同運動目標陰影方向的一致性。另外，在本實施例中，事先選擇圖像中四個點的圖像坐標並確定其對應的世界坐標系坐標，通過將圖像坐標轉換為絕對坐標，解決了由於攝像機成像角度有限造成的目標陰影方向不一致的問題。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種陰影檢測的方法，其特徵在於，所述方法包括下述步驟
提取預先設置的參照物的陰影特徵，所述陰影特徵包括參照物的陰影強度統計參數和陰影方向；
根據所述參照物的陰影特徵檢測運動目標的陰影。
2.如權利要求1所述的方法，其特徵在於，在所述提取預先設置的參照物的陰影特徵的步驟之前，所述方法還包括下述步驟
接收輸入的參照物的信息，所述信息包括參照物所在的位置和參照物投影陰影區域的位置。
3.如權利要求1所述的方法，其特徵在於，在所述提取預先設置的參照物的陰影特徵的步驟之前，所述方法還包括下述步驟
接收輸入的定標點的信息，所述信息包括圖像上的四個定標點的圖像坐標以及所述四個圖像定標點的世界坐標，並根據所述定標點信息求取轉換矩陣H。
4.如權利要求1所述的方法，其特徵在於，所述提取預先設置的參照物的陰影特徵的步驟具體為
確定參照物的陰影區域的光照強度的範圍；
根據所述範圍，計算參照物的陰影強度統計參數，所述參數包括高斯分布的均值和高斯分布的方差；
計算參照物的陰影方向。
5.如權利要求1所述的方法，其特徵在於，所述根據所述參照物的陰影特徵檢測運動目標的陰影的步驟具體為
根據參照物的陰影強度統計參數提取運動目標的備選陰影區域；
確定運動目標的腳底區域；
在備選的陰影區域中，將和腳底區域所成方向與陰影方向一致的陰影區域確定為運動目標的投影陰影區域。
6.一種陰影檢測裝置，其特徵在於，所述裝置包括
陰影特徵提取單元，用於提取預先設置的參照物的陰影特徵，所述陰影特徵包括參照物的陰影強度統計參數和陰影方向；
運動目標陰影檢測單元，用於根據所述陰影特徵提取單元提取的參照物的陰影特徵檢測運動目標的陰影。
7.如權利要求6所述的裝置，其特徵在於，所述裝置還包括
參照物信息接收單元，用於接收輸入的參照物的信息，所述信息包括參照物所在的位置和參照物投影陰影區域的位置；
定標點信息輸入及轉換矩陣H計算單元，用於接收輸入的定標點的信息，所述信息包括圖像上的四個定標點的圖像坐標以及所述四個圖像定標點的世界坐標，並根據所述定標點信息求取轉換矩陣H。
8.如權利要求6所述的裝置，其特徵在於，所述陰影特徵提取單元包括
光照強度範圍統計子單元，確定參照物的陰影區域的光照強度的範圍；
陰影強度統計參數計算子單元，用於根據所述光照強度範圍統計子單元確定的光照強度範圍，計算參照物的陰影強度統計參數，所述參數包括高斯分布的均值和高斯分布的方差；
陰影方向計算子單元，用於計算參照物的陰影方向。
9.如權利要求6所述的裝置，其特徵在於，所述運動目標陰影檢測單元包括
備選陰影區域提取子單元，用於根據參照物的陰影強度統計參數提取運動目標的備選陰影區域；
腳底區域確定子單元，用於確定運動目標的腳底區域；
投影陰影區域確定子單元，用於在備選的陰影區域中，將和腳底區域所成方向與陰影方向一致的陰影區域確定為運動目標的投影陰影區域。
10.一種視頻圖像處理系統，其特徵在於，所述系統包括如權利要求6至9任一項所述的陰影檢測裝置。
全文摘要
本發明適用於視頻圖像處理領域，提供了一種陰影檢測的方法、裝置及視頻圖像處理系統，所述方法包括提取預先設置的參照物的陰影特徵，所述陰影特徵包括參照物的陰影強度統計參數和陰影方向；根據所述參照物的陰影特徵檢測運動目標的陰影。本發明，通過在場景中設置參照物，自適應地提取參照物陰影強度統計參數及陰影方向，再根據該參照物陰影區的陰影方向和陰影強度統計參數對運動目標進行備選陰影區域提取和投影陰影區域的最終判定，實現了運動目標自投影陰影的檢測，在戶外環境中陰影方向不斷變化、陰影光照強度變化劇烈的情況下，有效地消除了運動目標的自投影陰影，較好地解決了運動目標陰影對運動目標提取的幹擾。
文檔編號G06T7/20GK101763646SQ20091023882
公開日2010年6月30日 申請日期2009年12月30日 優先權日2009年12月30日
發明者楊烜, 裴繼紅, 孫佳慧, 熊大容 申請人:深圳大學