一種視頻圖像中提取前景的方法及裝置的製作方法

2023-05-19 16:54:06

專利名稱：一種視頻圖像中提取前景的方法及裝置的製作方法
技術領域：
本發明涉及計算機圖形圖像處理，具體地涉及一種視頻圖像中提取前景的方法及直O
背景技術：
視頻前後景分離，指將視頻中的前景對象從背景中分離出來。視頻前後景分離技 術，有廣泛的應用場景，最典型的如視頻通話中的人物對象提取，將分離的前景對象與另外 的背景圖像結合以替換背景，達到視頻通信的隱私保護及娛樂效果。視頻前後景分離技術 已有廣泛的研究，但是在前景和後景分離過程中，陰影的兩個特性決定了陰影檢測是一個 非常困難的問題一是陰影和物體一樣，都顯著地區別於背景；二是大多數情況下，陰影與 其對應的物體是相鄰的，而且運動規律一樣，在分割時常常被合併為一個整體。因此，用有 效的方法將陰影分離出來變得有研究意義和實用價值。現有技術前後景分離及陰影的方法如下首先，利用差分背景的方法提取前景，常用高斯混合模型提取分離前後景。其次，利用圖像陰影區域的亮度信息特徵檢測並去除陰影陰影覆蓋和沒有陰 影覆蓋的同一區域，其像素色度沒有明顯變化，而像素的亮度則有很大的變化，即，有陰 影覆蓋的區域的像素亮度要比沒有陰影覆蓋的暗很多。由此可知，前景區域中像素亮 度值高於背景區域中對應點的像素亮度值的像素不是陰影像素。具體地，令xe (r, g, b)是當前幀的像素，X e (R，G，B)是背景像素，RGB顏色空間到亮度值轉換公式I = 0. 3XR+0. 59XG+0. IlXB(I)，I表示亮度值。令Ix表示當前幀的像素的亮度值，Ix表示背 景像素的亮度值，設Mshadtw是陰影像素集合，其初始值為χ像素，根據公式(1)分別由R、G、 B三個顏色通道計算像素X的亮度值I，接著判斷像素χ的歸屬。若滿足Ix > Ix,則像素 X iMshad。w，將像素X從Mshad。w中去除。現有技術存在前景提取的精確度低，實時性較差的 缺點。

發明內容
有鑑於此，本發明的目的在於提供一種視頻圖像中提取前景的方法及裝置，以克 服現有技術中陰影檢測精確度低及實時性差的不足，以從視頻圖像中提取出理想的前景區 域。—方面，本發明實施例提供了一種視頻圖像中提取前景的方法，所述方法包括利 用根據預設數量的背景幀圖像建立的高斯模型消除有前景進入的視頻幀圖像的背景，獲得 消除背景後的視頻幀圖像；根據所述消除背景後的視頻幀圖像的信息和所述預設數量的背 景幀圖像的信息，生成預先訓練好的神經網絡模型的輸入參數的值；根據所述輸入參數的 值以及所述訓練好的神經網絡模型生成相應的輸出值；根據所述消除背景後的視頻幀圖像 的信息和所述神經網絡模型的輸出值的關係，檢測出所述消除背景後的視頻幀圖像包含的 陰影點和光照噪聲點。5
另一方面，本發明實施例提供了一種視頻圖像中提取前景的裝置，所述裝置包括 背景消除單元，用於利用根據預設數量的背景幀圖像建立的高斯模型消除有前景進入的視 頻幀圖像的背景，獲得消除背景後的視頻幀圖像；輸入參數生成單元，用於根據所述消除背 景後的視頻幀圖像的信息和所述預設數量的背景幀圖像的信息，生成預先訓練好的神經網 絡模型的輸入參數的值；輸出值生成單元，用於根據輸入參數的值以及所述訓練好的神經 網絡模型生成相應的輸出值；陰影和噪聲處理單元，用於根據所述消除背景後的視頻幀圖 像的信息和所述神經網絡模型的輸出值的關係，檢測出所述消除背景後的視頻幀圖像包含 的陰影點和光照噪聲點。本發明實施例的一種視頻圖像中提取前景的方法和裝置，根據所述消除背景後的 視頻幀圖像的信息和所述預設數量的背景幀圖像的信息生成預先訓練好的神經網絡模型 的輸入參數的值，並根據所述神經網格模型的所述輸入參數的值和所述輸出值的關係，處 理所述消除背景後的視頻幀圖像包含的陰影點和光照噪聲點，從而能夠有效快速地檢測或 消除視頻圖像中包含的陰影點和光照噪聲點，有利於從視頻圖像中提取理想的前景區域。 本發明實施例的方法和裝置提高了陰影檢測和抗光線幹擾的準確性，同時本發明實施例的 神經網絡模型執行計算處理時，複雜度較低，因而能滿足實時場景的應用需求。


圖1為本發明實施例的一種視頻圖像中提取前景的方法的整體流程圖；圖2為本發明實施例的一種視頻圖像中提取前景的方法的具體流程圖；圖3本發明實施例的BP神經網絡模型的結構示意圖；圖4為本發明實施例的神經網絡模型建立和訓練的方法流程圖；圖5為本發明實施例的獲得神經網絡模型的訓練數據的方法流程圖；圖6為本發明實施例的BP神經網絡的訓練過程示意圖；圖7為本發明實施例的一種視頻圖像中提取前景的裝置的功能框圖；圖8為本發明實施例的輸入參數生成單元的細化功能框圖。
具體實施例方式為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例 中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是 本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員 在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。在現有技術中，當光源變化時，容易產生大量誤判點，從而導致前景提取的精確度 急劇下降；而且，現有技術的方法在判斷陰影點的過程其算法複雜度較高，不適於實時場景 下的應用，實時性較差。本發明實施例提供了一種視頻圖像中提取前景的方法。圖1為本發明實施例的一種視頻圖像中提取前景的方法的整體流程圖。如圖1所 示，本發明實施例的方法包括S101、利用根據預設數量的背景幀圖像建立的高斯模型消除有前景進入的視頻幀 圖像的背景，獲得消除背景後的視頻幀圖像；
S102、根據所述消除背景後的視頻幀圖像的信息和所述預設數量的背景幀圖像的 信息生成預先訓練好的神經網絡模型的輸入參數的值；S103、根據所述輸入參數的值以及所述訓練好的神經網絡模型生成相應的輸出 值；S104、根據所述消除背景後的視頻幀圖像的信息和所述神經網絡模型的輸出值的 關係，檢測出所述消除背景後的視頻幀圖像包含的陰影點和光照噪聲點。以下舉實際應用中的實施例，說明採用本發明實施例圖1所示的方法實時處理輸 入視頻圖像中包含的陰影點和光照噪聲點的具體過程。圖2為本發明實施例的一種視頻圖像中提取前景的方法的具體流程圖。圖2揭示 了本發明實施例的基於人工神經網絡的陰影檢測和抗光線幹擾方法，如圖2所示，該方法 包括S201、輸入視頻序列，該序列由多個視頻幀組成；S202、判斷輸入的視頻幀的幀號是否處於背景建模幀數內，如是，則執行步驟 S203，利用上述輸入的視頻幀建立高斯模型；如否，則執行步驟S204，利用該高斯模型分離 該視頻幀的背景；可選地，可以設置用於背景建模的視頻幀數的範圍為1 100幀，如果視頻幀的幀 號在100幀以內，則執行步驟S203，即輸入視頻序列的前100幀視頻幀可以用於建立高斯 模型；否則執行步驟S204，即對從幀號為101起的視頻幀執行背景分離過程。根據上述100 幀視頻幀建立高斯模型的方法將在後面的實施例中詳述，在此暫不展開。S203、建立高斯模型；S204、利用上述預先建立好的高斯模型，分離視頻幀圖像的背景；上述過程具體為將該視頻幀圖像的背景消除，以獲得消除背景後的視頻幀圖像， 該消除背景後的視頻幀圖像包括前景圖像、光照噪聲點和陰影點。S205、利用預先訓練好的抗光線幹擾神經網絡模型對S204中獲得的視頻幀圖像 執行抗光線幹擾處理，即檢測並去除上述視頻幀圖像包含的光照噪聲點，以獲得消除了光 照噪聲點的視頻幀圖像，經過上述處理後，該視頻幀圖像中只包括前景圖像和陰影點；S206、利用預先訓練好的消除陰影神經網絡模型對S205中獲得的視頻幀圖像執 行陰影檢測處理；即檢測並去除S205中獲得的視頻幀圖像包含的陰影點，以獲得消除了陰 影點的視頻幀圖像，該視頻幀圖像中只包括前景圖像。S207、輸出消除了陰影點和光照噪聲點之後的前景圖像。需要說明的是，前述抗光線幹擾神經網絡模型和消除陰影神經網絡模型在對輸入 視頻幀執行提取前景操作之前，就已經建立並訓練好。通過採用圖2所示的方法，消除了有 前景進入的視頻幀圖像中包含的光照噪聲點、陰影點和背景圖像，從而提取出效果更佳的 前景圖像。以上只是本發明的一個實施例，在其它實施例中，利用抗光線幹擾神經網絡模型 對圖像進行消除光照噪聲點處理和利用消除陰影神經網絡模型對圖像進行消除陰影點處 理的執行順序可以相互調換，本發明實施例並不限制上述兩個神經網絡模型的處理順序。本發明實施例採用神經網絡模型來處理視頻圖像包含的陰影點和光照噪聲點，並 根據所述消除背景後的視頻幀圖像的信息和所述神經網絡模型的輸出值之間的關係，檢測 出消除背景後的視頻幀圖像包含的陰影點和光照噪聲點，從而提高了陰影檢測和抗光線幹擾的準確性，並能滿足實時場景的應用需求，同時本發明實施例的神經網絡模型執行計算 處理時，複雜度較低。本發明實施例還提供了另一種視頻圖像中提取前景的方法。該方法通過結合主成 分分析法和BP (誤差逆向傳播，Back Propagation)神經網絡的優點，去除圖像中由前景產 生的陰影和由於光源變化產生的光線幹擾點，從而達到提取出圖像中理想的前景區域的目 的。本發明實施例所述的主成分分析(Principal Component Analysis, PCA)旨在利 用降維的思想，把多指標轉化為少數幾個綜合指標。最早是由Pearson在1901年的生物學 理論研究中引入，後來在多元統計中被廣泛應用。PCA的實質是η維空間的坐標旋轉，並不 改變樣本數據結構，得到的主成分是原變量的線性組合且兩兩不相關，並能夠最大程度地 反映原變量所包含的信息，在以一定標準選取前K個較重要的主成分之後，原來的多維問 題得以簡化。在本發明實施例中，通過主成分分析將不正交的RGB色彩空間變換成正交的 色彩空間，此經過PCA處理後的正交的色彩空間表示為SP色彩空間。圖3本發明實施例的BP神經網絡模型的結構示意圖。如圖3所示，本發明實施例 的BP神經網絡模型的輸入層具有6個輸入參數，分別為R』，G』，B』，Y』 -Y，U，-U，V』 -V。 其中，R』，G』，B』這3個輸入參數的取值為背景圖像的像素點從不正交的RGB色彩空間變換 至正交的SP色彩空間後的SP坐標值；Y』 -Y，U，-U，V』 -V為該BP神經網絡模型的輸入層 的另外3個輸入參數，其中Y，U, V為背景圖像的像素點從RGB色彩空間變換至YUV色彩空 間後的YUV坐標值；Y』，U』，V』為當前幀圖像的對應像素點從RGB色彩空間變換至YUV色彩 空間後的YUV坐標值。本發明實施例的BP神經網絡模型具有3個期望輸出參數，分別為 R"，G"，B"，其取值為當前幀圖像的像素點從RGB色彩空間變換至SP色彩空間後的SP坐 標值。由於在RGB色彩空間中，R，G，B三個色彩分量具有一定的相關性，如果直接在該 RGB色彩空間上建立BP神經網絡模型，會因該RGB顏色空間不具備正交性而導致BP神經網 絡模型的預測精度下降，因此本發明實施例首先採用主成分分析法消除R，G，B分量之間相 關性，以建立正交的色彩空間，然後再在該正交的色彩空間上，獲得訓練數據以訓練BP神 經網絡模型。以下為基於主成分分析從RGB色彩空間變換到SP色彩空間的具體實施方法例如可以通過攝像頭或其它攝像設備拍攝若干張圖片，獲得共η個像素點的R，G， B分量值。1、令第i個點第j個顏色分量為Xij，其中，i = 1，2，……，n;j = l，2，3。將原始 數據進行標準化處理
權利要求
1.一種視頻圖像中提取前景的方法，其特徵在於，所述方法包括利用根據預設數量的背景幀圖像建立的高斯模型消除有前景進入的視頻幀圖像的背 景，獲得消除背景後的視頻幀圖像；根據所述消除背景後的視頻幀圖像的信息和所述預設數量的背景幀圖像的信息，生成 預先訓練好的神經網絡模型的輸入參數的值；根據所述輸入參數的值以及所述訓練好的神經網絡模型生成相應的輸出值； 根據所述消除背景後的視頻幀圖像的信息和所述神經網絡模型的輸出值的關係，檢測 出所述消除背景後的視頻幀圖像包含的陰影點和光照噪聲點。
2.根據權利要求1所述的方法，其特徵在於，根據所述消除背景後的視頻幀圖像的信 息和所述預設數量的背景幀圖像的信息，生成預先訓練好的神經網絡模型的輸入參數的值 包括；根據所述預設數量的背景幀圖像生成平均值圖像； 通過對RGB色彩空間值執行主成分分析變換，生成正交的SP色彩空間值； 生成所述消除背景後的視頻幀圖像的像素點與所述平均值圖像的對應位置像素點在 YUV色彩空間的YUV坐標差值；生成所述平均值圖像的對應位置像素點在正交的SP色彩空間的SP坐標值； 將所述SP坐標值和YUV坐標差值輸入所述預先訓練好的神經網絡模型。
3.根據權利要求2所述的方法，其特徵在於，所述方法還包括訓練神經網絡模型，所 述訓練神經網絡模型包括確定所述神經網絡模型的輸入參數和期望輸出參數；確定隱層神經元傳遞函數、輸出層神經元傳遞函數、隱層個數和訓練方法；獲得所述神經網絡模型的訓練數據；根據所述訓練數據生成所述神經網絡模型的輸入參數的值和期望輸出參數的值； 根據所述隱層神經元傳遞函數、輸出層神經元傳遞函數、隱層個數、訓練方法、所述神 經網絡模型的輸入參數的值和期望輸出參數的值訓練所述神經網絡模型。
4.根據如權利要求3所述的方法，其特徵在於，所述方法還包括設置所述神經網絡模 型的誤差閾值範圍和訓練步數閾值範圍；當所述神經網絡模型的誤差在所述誤差閾值範圍 內，或當所述神經網絡模型的訓練步數在所述訓練步數閾值範圍內時，結束訓練過程。
5.根據權利要求1-4所述的任一方法，其特徵在於所述神經網絡模型包括消除陰影 神經網絡模型和抗光線幹擾神經網絡模型；所述消除陰影神經網絡模型的輸入參數包括背景圖像中與有前景進入的圖像的陰影區域相對應的像素點在正交的SP色彩空間的 SP坐標值；有前景進入的圖像的陰影區域像素點與背景圖像的對應位置像素點在YUV色彩 空間的YUV坐標差值；所述消除陰影神經網絡模型的期望輸出參數包括所述有前景進入的圖像的陰影區域 像素點在正交的SP色彩空間的SP坐標值；所述抗光線幹擾神經網絡模型的輸入參數包括根據參考光強生成的參考圖像的像素點在正交的SP色彩空間的SP坐標值；根據其它 光強生成的當前圖像的像素點與參考圖像的像素點在YUV色彩空間的YUV坐標差值； 所述抗光線幹擾神經網絡模型的期望輸出參數包括當前圖像的像素點在正交的SP色彩空間的坐標值。
6.根據權利要求5所述的方法，其特徵在於，所述確定神經網絡模型的隱層神經元傳 遞函數、輸出層神經元傳遞函數、隱層個數和訓練方法包括確定所述神經網絡模型的隱層神經元傳遞函數包括雙曲正切S型函數； 確定所述神經網絡模型的輸出層神經元傳遞函數包括純線性傳輸函數； 根據所述神經網絡模型的輸入參數的個數，確定所述神經網絡模型的隱層個數；及 確定所述神經網絡模型的訓練方法包括量化共軛梯度法。
7.根據權利要求3所述的方法，其特徵在於，所述獲得所述神經網絡模型的訓練數據 包括；採集用於訓練所述神經網絡模型的圖像；對所述圖像進行基於主成分分析的正交的SP色彩空間變換和YUV色彩空間變換，以生 成所述神經網絡模型的訓練數據。
8.根據權利要求1-7中任一所述的方法，其特徵在於，根據所述消除背景後的視頻幀 圖像的信息和所述神經網絡模型的輸出值的關係，檢測出所述消除背景後的視頻幀圖像包 含的陰影點和光照噪聲點包括當所述消除背景後的視頻幀圖像的信息和所述神經網絡模型的輸出值的關係滿足以 下關係式其中，所述消除背景後的視頻幀圖像的像素點在正交的SP色彩空間的坐標值表示為 Rf ,Gf ,Bf，所述平均值圖像的對應位置像素點在正交的SP色彩空間的SP坐標值表示為 J ,G ,B，所述神經網格模型的所述輸出值表示為冗、互。、 ，其中T表示處理係數； 則確定所述消除背景後的視頻幀圖像的所述像素點為陰影點或光照噪聲點。
9.根據權利要求8所述的方法，其特徵在於， 對於消除陰影應用，取值T= 10% ；或對於消除光照噪聲應用，取值T = 25%。
10.一種視頻圖像中提取前景的裝置，其特徵在於，所述裝置包括背景消除單元，用於利用根據預設數量的背景幀圖像建立的高斯模型消除有前景進入 的視頻幀圖像的背景，獲得消除背景後的視頻幀圖像；輸入參數生成單元，用於根據所述消除背景後的視頻幀圖像的信息和所述預設數量的 背景幀圖像的信息，生成預先訓練好的神經網絡模型的輸入參數的值；輸出值生成單元，用於根據輸入參數的值以及所述訓練好的神經網絡模型生成相應的 輸出值；陰影和噪聲處理單元，用於根據所述消除背景後的視頻幀圖像的信息和所述神經網絡 模型的輸出值的關係，檢測出所述消除背景後的視頻幀圖像包含的陰影點和光照噪聲點。
11.根據權利要求10所述的裝置，其特徵在於，所述輸入參數生成單元包括 平均值圖像生成子單元，用於根據所述預設數量的背景幀圖像生成平均值圖像；SP色彩空間值生成單元，用於通過對RGB色彩空間值執行主成分分析變換，生成正交 的SP色彩空間值；第一計算子單元，用於生成所述消除背景後的視頻幀圖像的像素點與所述平均值圖像 的對應位置像素點在YUV色彩空間的YUV坐標差值；第二計算子單元，用於生成所述平均值圖像的對應位置像素點在正交的SP色彩空間 的SP坐標值；輸入子單元，用於將所述SP坐標值和YUV坐標差值輸入所述預先訓練好的神經網絡模型。
12.根據權利要求10或11所述的裝置，其特徵在於，所述裝置還包括 訓練單元，用訓練所述神經網絡模型。
全文摘要
本發明實施例提供了一種視頻圖像中提取前景的方法及裝置，所述方法包括利用根據預設數量的背景幀圖像建立的高斯模型消除有前景進入的視頻幀圖像的背景，獲得消除背景後的視頻幀圖像；根據所述消除背景後的視頻幀圖像的信息和所述預設數量的背景幀圖像的信息，生成預先訓練好的神經網絡模型的輸入參數的值；根據所述輸入參數的值以及所述訓練好的神經網絡模型生成相應的輸出值；根據所述消除背景後的視頻幀圖像的信息和所述神經網絡模型的輸出值的關係，檢測出所述消除背景後的視頻幀圖像包含的陰影點和光照噪聲點。本發明實施例的方法可以提高陰影檢測和抗光線幹擾的準確性，同時降低了處理的複雜度，從而可以滿足實時場景的應用需求。
文檔編號G06T7/40GK102054270SQ20091021083
公開日2011年5月11日 申請日期2009年11月10日 優先權日2009年11月10日
發明者傅彥, 牛彩卿, 羅引, 高輝 申請人:華為技術有限公司, 電子科技大學