一種視頻分割中陰影的自適應檢測及消除方法

2023-06-13 20:46:06 1

專利名稱：一種視頻分割中陰影的自適應檢測及消除方法
技術領域：
本發明涉及一種視頻分割中的處理方法，特別涉及一種自適應的融合陰影邊緣特 性及空間位置特徵來檢測並消除陰影的方法。
背景技術：
以MPEG-4為代表的第二代視頻編碼標準，其基於對象的編碼和交互功能促使語 義視頻對象(V0P)分割這一項挑戰性的難題，逐漸成為視頻處理領域中的研究熱點。視頻 對象分割技術作為視頻處理和視頻分析的關鍵環節，不僅在模式識別、計算機視覺領域中 得到了廣泛應用，而且在視頻檢索、視頻編碼、多媒體交互等新興領域中也越來越重要。在智能視頻監控、交通監控或視頻會議等許多應用中，運動物體產生的陰影給運 動物體的準確提取帶來了很大的困難。陰影具有兩個重要的視覺特徵1.顯著地異於背景 被理解為前景；2.陰影與產生陰影的目標具有相同的運動屬性。正是由於這兩個原因，陰 影很容易被誤檢為前景，從而導致目標的合併和丟失，以及形狀的扭曲。因此，陰影的檢測 及消除非常有意義。目前，陰影的檢測主要有基於模型的方法和基於特徵的方法。基於模型的方法利 用場景、目標、光照條件的先驗信息，建立陰影模型，對三維運動目標模型的稜、線、角進行 匹配，但是實際中這些先驗信息不易得到，所以這類方法適用性差，算法時間複雜度較高， 通常在特定場景下使用，如航空圖像理解與視頻監控；基於特徵的方法直接採用圖像的亮 度、色度、飽和度、紋理、幾何特點等信息來進行判斷。這種方法比較常用，但也存在一些 問題。比如採用基於顏色特徵法時，當目標與陰影顏色相似，利用色度不變性就會失效， 無法分辨出陰影。Cucchiara等將RGB顏色空間轉到HSV顏色空間中，並依據亮度變化 大於色度變化的準則進行陰影檢測及去除，對顏色信息依賴性很強，適用範圍容易受限制 (參見 Cucchiara，R.，Grana，C.，Piccardi, M.，Prati，A.，Sirotti，S. Improving shadow suppression in moving object detection with HSV colorinformation[C]. 2001 IEEE Intelligent Transportation Systems ConferenceProceedings，Oakland，CA，USA，August 25-29，2001，334-339.)。Yinghua Lu等對可能陰影區的像素點進行釆樣來估計整體陰影 的三個比值特徵，計算量非常大(參見Yinghua Lu，Huijie Xin，Jun Kong, Bingbing Li, Yan Wang. Shadow removal basedon shadow direction and shadow attributes[C]. International Conference onComputational Intelligence for Modeling Control and Automation andlnternational Conference on Intelligent Agents Web Technologies andlnternational Commerce(CIMCA』 06)，Sydney，Australia，November 28-December 01， 2006，37)。潘翔在彩色分割的基礎上通過聯合藍波段信息和HIS空間信息進行陰影檢測， 這種方法無法分離黑色物體和陰影，準確性及魯棒性較差(參見潘翔.基於彩色信息和邊 緣特徵的運動陰影檢測[J].浙江大學學報(工學版)，2004，38 (4) :389-391，407.)。針對基於特徵的方法中存在的問題，本發明方法在HSV空間陰影檢測的基礎上， 利用陰影的邊緣特性和空間位置特徵相結合的方法來消除陰影，該方法計算量小，易於實
5現，尤其在色度不變性失效的情況下，能夠自適應地定位陰影所在方位，並準確剔除陰影， 保留完整的運動目標。

發明內容
本發明要解決的技術問題是(1)視頻對象分割過程中陰影位置的自適應檢測問題；(2)採用色度不變性抑制陰影無效時，如何準確剔除陰影，保留完整的運動目標。本發明解決其技術問題所採用的技術方案是一種自適應的融合陰影邊緣特性及 空間位置特徵檢測消除陰影的方法，包括以下步驟(1)運動變化檢測及運動模板的生成採用對稱幀累計幀差法大致檢測出運動變 化區域，通過靜止指數構建運動模板；(2)背景模型的建立及更新通過亮度統計的方式建立背景模型，並結合步驟(1) 中生成的運動模板進行背景模型的更新；(3)前景檢測及邊緣提取將採用背景差分法提取到的前景區域與灰度圖像的 Sobel邊緣檢測結果相融合，提取前景區域的邊緣；(4)陰影的檢測與剔除將步驟⑶中提取到的前景區域邊緣圖在HSV色彩空間 中進行陰影抑制；再將邊緣圖分別向水平和垂直方向投影，通過統計邊緣點的分布情況來 確定陰影的大致位置及搜索方向；沿搜索方向在疑似陰影區域剔除虛假的邊緣鄰接點，搜 索到真正的陰影與運動對象的邊緣鄰接位置；剔除陰影點，對存留的運動目標邊緣進行填 充及適當的形態學處理。本發明與現有技術相比所具有的優點在於本方法在傳統基於色度不變性理論的 陰影抑制方法的基礎上，採用邊緣點作為操作對象，計算量小，並且能根據邊緣點的分布情 況自適應地定位陰影，尤其是在傳統方法失效的情況下，仍然能夠準確剔除陰影點，保留完 整準確的運動目標。同時，該方法較傳統方法更加可靠、魯棒性更強。


圖1是本發明一種視頻分割中陰影的自適應檢測及消除方法的流程圖；圖2是「Table」視頻序列的前景提取結果；其中(a)表示「Table」視頻序列的第 1幀；(b)表示「Table」視頻序列第3幀；(c)表示去除陰影前「Table」視頻序列第1幀提 取到的Alpha平面；(d)表示去除陰影前「Table」視頻序列第3幀提取到的Alpha平面； (e)表示去除陰影前「Table」視頻序列第1幀提取到的視頻對象平面；(f)表示去除陰影前 「Table」視頻序列第3幀提取到的視頻對象平面；圖3是「Table」視頻序列前景邊緣提取結果；其中(a)表示去除陰影前「Table」 視頻序列第1幀前景邊緣提取結果；(b)表示去除陰影前「Table」視頻序列第3幀前景邊 緣提取結果；圖4是「Table」視頻序列前景邊緣圖在HSV空間陰影抑制後的結果；其中(a)表示 「Table」視頻序列第1幀前景邊緣圖在HSV空間陰影抑制後的結果；其中(b)表示「Table」 視頻序列第3幀前景邊緣圖在HSV空間陰影抑制後的結果；圖5是「Table」視頻序列第1幀經HSV空間陰影抑制後的邊緣圖向水平和垂直方向投影的結果；其中(a)表示「Table」視頻序列第1幀經HSV空間陰影抑制後的邊緣圖向 水平方向投影的結果；(b)表示「Table」視頻序列第1幀經HSV空間陰影抑制後的邊緣圖 向垂直方投影結果；圖6是「Table」視頻序列第3幀經HSV空間陰影抑制後的邊緣圖向水平和垂直方 向投影的結果；其中(a)表示「Table」視頻序列第3幀經HSV空間陰影抑制後的邊緣圖向 水平方向投影的結果；(b)表示「Table」視頻序列第3幀經HSV空間陰影抑制後的邊緣圖 向垂直方向投影的結果；圖7是「Table」視頻序列陰影去除結果對比圖；其中(a)表示「Table」視頻序列 第1幀經HSV空間陰影抑制後提取的視頻對象平面；(b)表示「Table」視頻序列第3幀經 HSV空間陰影抑制後提取的視頻對象平面；(c)表示「Table」視頻序列第1幀採用本發明方 法剔除陰影后提取的視頻對象平面；(d)表示「Table」視頻序列第3幀採用本發明方法剔 除陰影后提取的視頻對象平面；圖8是「Table」視頻序列陰影去除結果對比圖；其中(a)表示「Silent」視頻序列 的第10幀；(b)表示「Silent」視頻序列的第13幀；(c)表示「Silent」視頻序列第10幀經 HSV空間陰影抑制後提取的視頻對象平面；(d)表示「Silent」視頻序列第13幀經HSV空間 陰影抑制後提取的視頻對象平面；(e)表示「Silent」視頻序列第10幀採用本發明方法剔 除陰影后提取的視頻對象平面；(f)表示「Silent」視頻序列第13幀採用本發明方法剔除 陰影后提取的視頻對象平面；圖9是自拍視頻序列採用本發明方法去除陰影后視頻對象的提取結果；其中(a) 表示「Men」視頻序列的第4幀；(b)表示「Men」視頻序列的第93幀；(c)表示「Men」視頻序 列的第4幀採用本發明方法剔除陰影后提取的視頻對象平面；(d)表示「Men」視頻序列的 第93幀採用本發明方法剔除陰影后提取的視頻對象平面；(e)表示「Wait」視頻序列的第 54幀；(f)表示「Wait」視頻序列的第58幀；(g)表示「Wait」視頻序列的第54幀採用本發 明方法剔除陰影后提取的視頻對象平面；(h)表示「Wait」視頻序列的第58幀採用本發明 方法剔除陰影后提取的視頻對象平面；圖10是Table視頻序列的前15幀採用本發明方法和僅通過HSV空間陰影抑制後 視頻對象提取結果的SA對比圖；圖11是Silent視頻序列的前15幀採用本發明方法和僅通過HSV空間陰影抑制 後視頻對象提取結果的SA對比圖。
具體實施例方式下面結合附圖及具體實施方式
進一步詳細介紹本發明。本發明視頻分割中一種陰影的自適應檢測及消除方法，包括以下步驟步驟1.運動變化檢測及運動模板的生成採用對稱幀累計幀差法大致檢測出運 動變化區域，通過靜止指數構建運動模板。設視頻序列灰度化後fk(x，y)、fk+s (x, y)分別表示點(x，y)在第k幀、第k+ 6幀
的像素值，S為對稱幀距，則第k幀的累計幀差結果dk(x，y)，即運動變化區域，可表示為 其中1\，T2為幀差閾值，其取值根據視頻序列中運動目標的運動速度、幅度，以及 噪聲分布情況來選取，具體實現時可通過多次實驗來確定。abs為取絕對值操作。幀差累 計雖然在一定程度上反映了運動目標的輪廓及區域，但是也反映了累計的噪聲。因此，需要 進行一定的濾波去噪處理。在去噪處理之後，本發明提出一種通過靜止指數獲取運動模板的方法。具體思路 為首先根據實時性的要求，選取去噪後的一段視頻序列(也可以是整個視頻序列)，假設 *n_NumFrame幀，每幀的尺寸為Width X Height ；然後遍歷所有幀，統計像素點(X，Y)在11_ NumFrame幀內處於靜止狀態的次數n_StatiC (X，Y)，即靜止指數；最後判斷該像素點的靜 止指數n_Static(X，Y)是否達到0. 93Xn_NumFrame，若達到，則標記像素點(X，Y)為前景 點，否則為背景點，從而得該視頻段內的運動模板PMask (X，Y)，即if (dk(x, y) == 255) n_Static (X，Y) = n_Static (X，Y) +1其中(x，X∈
；y, Y ∈
；k ∈ [1，n_\NumFrame]) 步驟2.背景模型的建立及更新通過亮度統計的方式建立背景模型，並結合步驟 1中生成的運動模板進行背景模型的更新。背景模型的獲取最簡單的方法是在場景沒有運動目標的情況下獲得，但在實際應 用中很難滿足這種要求，因此需要有一種方法能夠在場景存在運動目標的情況下自適應地 獲取背景並及時更新。本發明方法採用統計建模的方法來構建背景模型。具體的建模策略 為首先，統計在ruNumFrame內像素點(X，Y)處每種像素值出現的次數，然後，將在該點處 出現頻率最高的像素值作為該點的背景像素值BkgroimcKX，Y)。設n_NumFrame幀內像素點(X，Y)處出現的像素值用集合G(X，Y)表示G (X，Y) = {G,, G2. . Gk | 0 < k ≤ n_NumFrame)則該點的背景像素Bkground(X, Y) = {Gt \ Count (Gj ≥ Count (Gj), 0 < i ≤ k，j = 1，2. i-l， i+1,…k}其中Count 為取像素個數操作。結合權利要求2中生成的運動模板PMask(X，Y)進行背景更新，將非運動區域的背 景像素用當前幀對應像素值fn(x，y)替換，運動區域點背景像素值用Bkgr0imd(X，Y)替換。 則第n幀(x，y)處的背景更新為 其中Bkgr0imdn(X，y)表示第n幀點(x，y)背景更新後的像素值，fn(x, y)為原始 視頻序列中第n幀點(x，y)處的像素值。步驟3.前景檢測及邊緣提取將採用背景差分法提取到的前景區域與灰度圖像 的Sobel邊緣檢測結果相融合，提取前景區域的邊緣。在上述步驟完成的基礎上就可以採用背景差法提取運動目標pV0Palphan(x, y) = (abs) (fn(x, y) -Bkgroundn(x, y))然後進行二值化及適當的形態學開閉操作，得到較為完整的運動目標，圖2為Table視頻序列第1、3幀運動目標提取結果。從圖2中可以明顯的看到，運動目標本身比較完整，但是陰影也被誤認為運動目 標而檢測出來，使得提取結果發生了嚴重的誤檢。所以，必須在此基礎上消除陰影。圖3為圖2中第1、3幀提取到的前景進行邊緣檢測及二值顯化的結果。通過大量的實驗及觀察，可以發現陰影的邊緣信息與目標邊緣信息相比較而言， 陰影的邊緣信息較為簡單，併集中在外輪廓上。基於陰影邊緣的這種特性，本發明嘗試在提 取邊緣(包括運動目標和陰影的邊緣)的基礎上檢測並剔除陰影邊緣，然後根據保留的邊 緣重構運動目標。這種方法能大大減少計算量，易於陰影的檢測。步驟4.陰影的檢測與剔除將步驟3中提取到的前景區域邊緣圖在HSV色彩空間 中進行陰影抑制；再將邊緣圖分別向水平和垂直方向投影，通過統計邊緣點的分布情況來 確定陰影大致位置及搜索方向；沿搜索方向在疑似陰影區域剔除虛假的邊緣鄰接點，搜索 到真正的陰影與運動對象的邊緣鄰接位置；剔除陰影點，對存留的運動目標邊緣進行填充 及適當的形態學處理。現有的基於顏色特徵的陰影檢測法主要集中在RGB空間或HSV空間。在RGB空間 中，人的感知差別和計算差別一致性很差，並且RGB三分量具有互相關性，所以檢測效果較 差。而在HSV顏色空間中具有較好的顏色感知一致性，能夠精確地反映灰度和色彩信息。 在陰影檢測時，相對於背景區域來說，V分量會變小，發生較大的變化，是判別陰影的重要參 數，S分量具有較低的值，同背景的差異為負，H分量通常不會變化。本發明在陰影檢測與剔 除時，首先採用基於HSV色彩空間的方法進行初步剔除。具體方法如下 式中a，0，TS，TH分別表示亮度、飽和度、色度分量的閾值，一般0 < a < 0 < 1。在視頻序列Table中，選取a = 0. 1，3 = 0. 9，Ts = TH = 0. 2，則第1、3幀去除 陰影后如圖4所示。從圖4中可以分析出在HSV空間剔除陰影時，一般情況下能取得較好的結果，但是 當背景的亮度較低時，陰影覆蓋上後亮度變化很小，部分陰影會很難去除。同時，運動目標 中部分像素點也會被錯誤剔除。針對這兩種情況，本發明在HSV空間陰影檢測的基礎上提 出一種融合空間位置的陰影去除方法。前面提到，在背景紋理信息不複雜的情況下，大部分的陰影區域內部邊緣較少，邊 緣信息主要集中在外輪廓上。所以，在經過HSV空間陰影去除後，未檢測到的陰影的外輪廓 更加稀疏。另外，通過大量觀察發現，陰影的外輪廓一般與運動目標是鄰接的。以上提到的 這兩點分別為陰影的邊緣特性及空間特性。我們可以首先通過空間特性採用比重法定位陰 影的大致位置，然後通過邊緣特性精確判斷陰影位置像素的分布情況來進一步去除殘留的 陰影。其具體的實現步驟如下1.首先將初步去除陰影后的邊緣視頻序列pV0Palphan(X，y)的每幀進行水平和垂 直方向的投影，然後，從左到右，從上到下統計邊緣圖像中縱向和橫向的像素分布情況。if (pV0Palphan(x, y) = = 255)Horizontaln[i] = Horizontaln[i]+1 ；
Verticaljj] = VerticalJ j]+1 ；(i G
，j G
，n G [1，n_NumFrame])其中，Horizontalji]表示第n邊緣圖向水平方向投影后第i行被標記為目標點 的個數，Verticaljj]表示第n邊緣圖向垂直方向投影后第j列被標記為目標點的個數。 Table視頻序列第1、3幀的橫向和縱向像素的分布情況如圖5和圖6所示。2.判斷陰影的大致位置，確定搜索方向。找到HorizontaIJi]不為0時i對應的 最小值in,min和最大值in,max，及Verticaln[j]不為0時j對應的最小值jn, min和最大值jn, _。陰影的大致位置及搜索方向的對應關係如表1所示 表1陰影位置與搜索方向的對應關係其中定義如下: 3.按照搜索方向及步驟1中的縱向、橫向統計結果分別搜索縱向和橫向可能的陰 影與運動目標的鄰接位置，搜索策略為對HorizontaIJi] (i G
)，如果不為 0且與之相鄰的後4個值均小於10，則認為i為可能的縱向鄰接點；如果該值為0，則繼續 向下搜索。對Verticaln[j] (j G
)，如果不為0且與之相鄰的後4個值均小於 10，則認為j為可能的橫向鄰接點；如果該值為0，則繼續向下搜索。4.當搜索到步驟3中所指的可能的i或j時，實際上，i或j很可能為運動目標的
Height
尖點位置，所以必須通過比重法進一步確認如果^ Horizontal^] <T,，則認為i < k
k=i Height-、
〈Height之間含有陰影，轉入執行步驟5;如果；^ /fon_ZO to/ [A:]k:r3，則認為i處僅僅
k-i
Width-]
是運動目標的尖點位置，需返回步驟3繼續搜索；如果2； Vertical^j]<T4，則認為j < k
k=J
Width-\
T4，則認為j處僅僅是運
動目標的尖點位置，需返回步驟3繼續搜索。5.陰影位置確定後，統計陰影所在區域的橫向和縱向每一行及每一列的像素值，若存在像素滿足設定比例的情況則在邊緣圖中去除該點(即將該點置為0)。注意，這裡是 對進行HSV空間陰影抑制前提取出的邊緣圖進行陰影點的剔除，這也正是保持運動目標提 取完整的關鍵所在。6.對存留的運動目標邊緣進行適當的填充及形態學處理，通過alpha平面映射得 到視頻對象平面。為了驗證方法的有效性，本發明方法選取了含運動陰影的兩類視頻序列(如表2 所示)進行了實驗。 表2進行實驗的兩類視頻參數圖7為Table視頻序列的第1、3幀僅採用HSV空間陰影抑制法和採用本發明方法 進行陰影去除的結果對比圖。圖8為Slient視頻序列的第10、13幀僅採用HSV空間陰影 抑制法和採用本發明方法進行陰影去除的結果對比圖。圖7視頻序列中背景和運動目標對比度明顯，但是當陰影覆蓋到背景上後亮度變 化並不大，這時如果仍然只採用HSV陰影檢測法會導致一部分陰影邊緣未被檢測出來而被 誤檢為運動目標。圖8不僅陰影覆蓋到背景上後亮度變化小，而且背景複雜、與運動目標色 彩很相近，這樣不僅色彩不變性失效導致陰影漏檢誤檢，還會使部分運動目標的邊緣被誤 檢為陰影而剔除。從上面的對比圖中可以看出，本發明方法很好地克服了這些缺點，成功地 檢測出完整準確的運動目標，具有較強的魯棒性。為了進一步驗證本發明方法對陰影方向的自適應性，自行拍攝了兩種含不同方向 陰影的視頻序列進行實驗。其結果如圖9所示。為了客觀評價本發明方法的正確性和有效性，我們採用在MPEG-4核心實驗中由 Wollborn等提出的評價準則進行評價。該準則定義每幀的分割對象掩膜的空間準確度 SA (spatial accuracy)為 式中，和分別表示第t幀的參考分割和實際分割算法所得到的對 象模板； 代表二值的「異或」操作。SA的取值範圍為W，l]。空間準確度反映了每一幀的 分割結果與參考分割模板之間的形狀相似程度。SA越接近於1，表明分割越準確；SA越接 近於0，表明分割越不準確。我們通過手工方式來獲取參考分割的對象模板。圖10和圖11分別為Table視頻 序列和Silent視頻序列的前15幀採用本發明方法和僅通過HSV空間陰影抑制後視頻對象 提取的結果SA對比圖。
從圖10中可以看出，如果僅採用HSV空間陰影抑制法去除陰影，Table視頻序列 的前15幀對象提取的精度只在0. 11 0. 38之間，提取準確度非常差，結果無法使用。而 採用本發明方法去除陰影能夠將提取精度保持在0. 62 0. 80之間，達到了比較滿意的效 果。同樣，圖11中也顯示出採用本發明方法Silent視頻序列的提取結果更加精確，每幀的 準確度都在0. 90以上。表3、表4分別是自拍視頻序列Men和Wait的前14幀採用本發明方法進行陰影剔 除的結果精確度。 表3視頻序列Men前14幀採用本發明方法進行陰影剔除的結果精確度 表4視頻序列Wait前14幀採用本發明方法進行陰影剔除的結果精確度
以上實驗表明，本發明方法與其它方法相比，在採用色度不變性準則失效或背景 與運動目標顏色相近的情況下，仍然能準確地定位陰影的方位，對各個方向的陰影都能較 好地去除，同時保持運動目標的完整性。實驗證明，該方法計算量小，魯棒性強。
權利要求
應用於視頻對象分割中的一種陰影的自適應檢測及消除方法，其特徵在於包括以下步驟(1)運動變化檢測及運動模板的生成採用對稱幀累計幀差法大致檢測出運動變化區域，通過靜止指數構建運動模板；(2)背景模型的建立及更新通過亮度統計的方式建立背景模型，並結合步驟(1)中生成的運動模板進行背景模型的更新；(3)前景檢測及邊緣提取將採用背景差分法提取到的前景區域與灰度圖像的Sobel邊緣檢測結果相融合，提取前景區域的邊緣；(4)陰影的檢測與剔除將步驟(3)中提取到的前景區域邊緣圖在HSV色彩空間中進行陰影抑制；再將邊緣圖分別向水平和垂直方向投影，通過統計邊緣點的分布情況來確定陰影大致位置及搜索方向；沿搜索方向在疑似陰影區域剔除虛假的邊緣鄰接點，搜索到真正的陰影與運動對象的邊緣鄰接位置；剔除陰影點，對存留的運動目標邊緣進行填充及適當的形態學處理。
2.根據權利要求1所述的方法，其特徵在於所述步驟(1)的運動變化檢測及運動模板 的生成，主要內容包括先計算對稱幀的累計幀差，進行噪聲抑制後，統計每個像素點在整 個視頻序列中處於靜止的次數，即靜止指數，然後建立運動模板；具體步驟如下⑴設視頻序列灰度化後fk(x, y)、fk+5 (χ, y)分別表示點(χ, y)在第k幀、第k+ δ幀 的像素值，δ為對稱幀距，則第k幀的累計幀差結果dk(x，y)，即運動變化區域，可表示為 [255 if(abs(fk+s (χ, y) - fk (χ,力)> ^ 11 abs{fk_s (χ, y) — fk (χ, y)) > T2) =else其中T1, T2為幀差閾值，其取值根據視頻序列中運動目標的運動速度、幅度，以及噪聲 分布情況來選取，具體實現時可通過多次實驗來確定。abs為取絕對值操作；( )獲取靜止指數，建立運動模板首先，根據實時性的要求，選取去噪後的一段視頻 序列，假設共n_NumFrame幀，每幀的尺寸為WidthXHeight ；然後，遍歷該段視頻序列內的 所有幀，統計像素點(X，Y)在！^燦！！^儀!^幀內處於靜止狀態的次數n_StatiC(X，Y)，即靜止 指數；最後判斷該像素點的靜止指數n_Static(X，Y)是否達到0. 93Xn_NumFrame，若達到， 則標記像素點(X，Y)為前景點，否則為背景點，從而得到該視頻段內的運動模板PMask(X， Y)，即 其中(
3.根據權利要求1所述的方法，其特徵在於所述步驟(2)的背景模型的建立及更新，其 具體步驟如下⑴設像素點(X，Y)在！^!!!^!^!^幀內出現的像素值用集合G(X，Y)表示， 則該點的背景像素 其中CoimtO為取像素個數操作；( )結合權利要求2中生成的運動模板PMask(X，Y)進行背景更新，將非運動區域的背景像素值用當前幀對應像素值替換，運動區域點背景像素值用(i)中生成的背景像素值Bkground (X, Y)替換；即第η幀(x，y)處的背景更新為 其中Bkgroimdn(x，y)表示第η幀點(x，y)背景更新後的像素值，fn(x, y)為原始視頻 序列中第η幀點(X，y)處的像素值。
4.根據權利要求1所述的方法，其特徵在於所述步驟(4)的陰影位置及搜索方向的確 定方法，具體包括在背景紋理信息不複雜的情況下，大部分的陰影區域內部邊緣較少，邊緣信息主要集 中在外輪廓上；所以，在經過HSV空間陰影去除後，未檢測到的陰影的外輪廓更加稀疏；另外，通過大量觀察發現，陰影的外輪廓一般與運動目標是鄰接的；利用上述兩點提到陰影的 邊緣特性及空間特性，可以大致確定陰影的位置及搜索方向；假設在HSV空間進行陰影抑制後的邊緣視頻序列為pVOPalphaJx，y)，將該邊緣視頻序 列的每幀分別向水平和垂直方向進行投影，然後，從左到右，從上到下統計邊緣圖像中縱向 和橫向的像素分布情況 其中，Horizontalji]表示第η幀邊緣圖向水平方向投影后第i行被標記為目標點的 個數，VerticalJj]表示第η幀邊緣圖向垂直方向投影后第j列被標記為目標點的個數； 找到HorizontaIJi]不為O時i對應的最小值in,min和最大值in, max，及Verticaln[j] 不為O時j對應的最小值jn,min和最大值jn,max ；陰影的大致位置及搜索方向的對應關係如 下表所示
5.根據權利要求1所述的方法，其特徵在於所述步驟(4)的陰影與運動物體邊緣鄰接 位置的確定方法按照搜索方向及縱向、橫向統計結果分別搜索縱向和橫向可能的陰影與運動目標的鄰 接位置，搜索策略為對HorizontaIJi] (i e [O, Height-1])，如果不為O且與之相鄰的 後4個值均小於10，則認為i為可能的縱向鄰接點；如果該值為0，則繼續向下搜索。對 Verticaljj] (j e
)，如果不為0且與之相鄰的後4個值均小於10，則認為j 為可能的橫向鄰接點；如果該值為0，則繼續向下搜索。
6.根據權利要求1所述的方法，其特徵在於所述步驟(4)的虛假鄰接點剔除方法，具體 包括當搜索到權利5中所指的可能的i或j時，實際上，i或j很可能為運動目標的尖點位置，所以必須通過比重法進一步確認如果 ，則認為i<k〈Height之間含有陰影；如果 ；，則認為i處僅僅是運動目標的尖點位置，需重新搜索；如果 ，則認為j < k < Width之間含有陰影；如果 ；，則認為j處僅僅是運動目標的尖點位置，需重新搜索。
全文摘要
本發明公開了視頻對象分割中一種陰影的自適應檢測及消除方法，包括如下步驟首先，採用累計幀差大致檢測出運動變化區域，通過靜止指數構建運動模板；然後，統計亮度信息建立背景模型並結合運動模板進行更新，採用背景差分及Sobel算子檢測前景及其邊緣；將檢測到的邊緣圖像分別進行水平和垂直投影，統計邊緣圖像分布情況並結合陰影邊緣特性及空間位置大致確定陰影位置和搜索方向；最後，沿搜索方向在疑似陰影區域採用比重法精確定位陰影點，從而準確去除陰影。本發明所公布的陰影檢測及消除方法結合了陰影的邊緣及空間位置特性，計算量小，魯棒性強，在色度不變性失效的情況下，仍然能夠自適應地定位陰影區域，並準確剔除陰影點。
文檔編號H04N5/14GK101854467SQ201010188469
公開日2010年10月6日 申請日期2010年5月24日 優先權日2010年5月24日
發明者祝世平, 馬麗 申請人:北京航空航天大學