一種分割獲取前景圖像的方法、裝置和攝像頭的製作方法

2023-10-18 19:56:24 1

專利名稱：一種分割獲取前景圖像的方法、裝置和攝像頭的製作方法
技術領域：
本發明涉及圖像處理技術領域，特別是涉及一種分割獲取前景圖像的方 法、裝置和攝像頭。
背景技術：
前景提取是視頻處理中常常會採用的一種技術。如圖1所示，現有技術下，
採用graph-cut (圖分割)算法對圖像進行分割，從而獲取圖像的前景，步驟 包括
步驟Sll、初始化視頻圖像的一系列背景圖像，形成背景像素的顏色模型 P(X) = 7V(//,:E)，顏色特徵可以取為一維亮度分量，也可以取為R,QB多維顏色 信息，模型可以取為高斯模型，也可以取為混合高斯模型；
步驟S12、確定前景像素；
確定前景像素的過程可以如下計算前景圖像和背景圖像的像素差值(灰 度差或顏色差)，與預先設置的閾值進行比較，獲得不同於背景圖像的像素， 將這些不同於背景圖像的像素認定為前景像素；
步驟S13、依據上述步驟獲得的前景像素，形成這些像素顏色分量的混合 高斯模型；建立混合高斯模型的方法有很多，可以參考現有技術；
步驟S14、計算用於標識像素屬於前景和背景的概率的第一連接能量； 依據背景顏色高斯模型和前景混合高斯模型，獲取輸入圖像中的所有像素
屬於前景混合高斯模型力和背景顏色高斯模型A的概率，經歸一化後分別得
到該像素對應節點在圖像中與前景和背景節點的第一連接能量，用於標識像素
屬於前景和背景的概率；歸一化方法可以取屬於前景的概率為^' = ~^，取
屬於背景的概率為仏'=^一；
步驟S15、計算輸入圖像相鄰像素間的顏色分量差值向量；步驟S16、計算用於標識相鄰像素間屬於同一類屬的概率；依據輸入圖像與相鄰像素的水平邊緣強度和垂直邊緣強度，獲取輸入圖像中所有像素與相鄰像素間的第二連接能量，用於標識相鄰像素間屬於同 一類屬
的概率；第二連接能量可以定義為A(x,，;0"xp(-其中x,，x《為兩個相鄰
像素，-為常數，《為兩個相鄰像素間的顏色分量差向量的二範數。第二連接
能量用於在進行圖分割時，當兩個相鄰像素被分為不同類屬時的懲罰能量；
步驟S17、依據所述第一連接能量和第二連接能量，採用graph-cut算法獲取各像素對背景和前景的歸屬，從而得到視頻圖像中的前景像素標識，即可
得到前景圖像；
依據獲得的所有節點間的第一連接能量和第二連接能量，採用graph-cut算法進行最小分割(min-cut)/最大流(max-flow),得到輸入圖像中的前景和背景像素，從而形成視頻圖像的前景圖像。
可以看出，現有技術雖然能採用graph-cut算法較好地進行前景分割並提取前景圖像，但是，由於需要計算每幅圖像的所有像素的第一連接能量和第二連接能量，然後才能分割獲取前景和背景像素，計算量非常大，因此前景圖像的提取速度相對比較慢，無法滿足實時處理視頻的需要。

發明內容
有鑑於此，本發明所要解決的技術問題是提供一種分割獲取前景圖像的方法，以解決現有技術由於需要進行大量計算而導致前景圖像的提取速度相對比較慢的問題。
相應的，本發明還提供了一種分割獲取前景圖像的裝置和才聶像頭，以保證上述方法在實際中的應用。
為了解決上述問題，本發明公開了一種分割獲取前景圖像的方法，包括
將上一幅圖像作為當前圖像的第 一參考圖像，將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像；
將當前圖像與所述第 一參考圖像和第二參考圖像比較，依據比較結果確定待處理像素區域；
分割獲得每個待處理像素區域的前景圖像；拼接所有待處理像素區域的前景圖像，形成所述當前圖像的前景圖像。優選的，所述將當前圖像與第一參考圖像和第二參考圖像比較，依據比較
結果確定待處理像素區域包括
將所述當前圖像與第一參考圖像作差運算，並與預設的閾值進行比較，獲取幀間變化像素標識，形成幀間變化像素標識圖像；
將幀間變化像素標識圖像與所述第二參考圖像進行或運算，得到所述當前圖像的待更新像素標識圖像；
將待更新像素標識圖像中相連接的像素歸為 一個區域，並採用其最小外接矩形作為 一個待處理像素區域的方式，獲得所述當前圖像的一個個待處理像素區域。
優選的，按照以下步驟分割獲得每個待處理像素區域的前景圖像獲取背景像素模型；
獲取待處理像素區域的前景模型；計算待處理像素區域的第 一連接能量；計算待處理像素區域的第二連接能量；
採用圖分割算法對區域內像素進行前景分割，獲取待處理像素區域的前景分割結果。
優選的，所述獲取待處理像素區域的前景模型包括
對於待處理像素區域中未發生幀間變化的像素，如果所述第二參考圖像中該像素不同於背景，則將所述當前圖像的該像素標識為不同於背景，否則，認定為同於背景；
對於待處理像素區域中發生了幀間變化的像素，將所述當前圖像的像素和背景像素顏色的差，與預設的閾值進行比較，判定該像素是否不同於背景，並更新不同於背景像素標識；
匯總待處理像素區域內所有不同於背景的像素，形成待處理像素區域的前
景模型。
優選的，按照以下步驟計算待處理像素區域的第一連接能量對於待處理像素區域中未發生幀間變化的像素，根據所述第二參考圖像來
9決定其第一連接能量；如果該像素在所述第二參考圖像中屬於前景，則該像素對應節點與前景節點連接能量設為預設最大值，與背景節點連接能量設為預設最小值；如果該像素在所述第二參考圖像中屬於背景，則該像素對應節點與前景節點連接能量設為預設最小值，與背景節點連接能量設為預設最大值；
對於待處理像素區域中發生了幀間變化的像素，根據所述待處理像素區域的前景模型和背景像素模型，獲取該像素屬於前景和背景的概率，經歸一化後得到該像素對應節點在所述當前圖像中與前景和背景節點的第一連接能量。優選的，所述計算待處理像素區域的第二連接能量包括對於待處理像素區域中相鄰的兩個像素，如果均未發生幀間變化，則採用所述第二參考圖像的第二連接能量作為所述當前圖像的第二連接能量；
如果待處理像素區域中相鄰兩個像素中，至少有一個發生了幀間變化，則計算當前圖像相鄰像素間的顏色差值向量的二範數，作為所述當前圖像中該像素與相鄰4象素間的第二連接能量。
優選的，所述計算當前圖像相鄰像素間的顏色差值向量的二範數，作為所述當前圖像中該像素與相鄰像素間的第二連接能量包括
對所述當前圖像的每個像素計算其與右側相鄰像素的顏色差值向量；對所述當前圖像的每個像素計算其與下方相鄰像素的顏色差值向量；對當前像素，採用四鄰域定義方式，計算其與左邊像素、右邊像素、上方像素、下方像素的二範數，作為當前像素的第二連接能量。
優選的，背景像素模型採用混合高斯模型；前景模型釆用高斯模型。依據本發明另一實施例，還公開了一種分割獲取前景圖像的裝置，包括待處理區域確定單元，用於將上一幅圖像作為當前圖像的第 一參考圖像，將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像，比較當前圖像與所述第 一參考圖像和第二參考圖像，依據比較結果確定待處理像素區域；區域前景分割單元，用於分割獲得每個待處理像素區域的前景圖像；前景圖像拼接單元，用於拼接所有待處理像素區域的前景圖像，形成所述當前圖像的前景圖像。
優選的，所述待處理區域獲取單元包括待更新像素標識圖像獲取模塊和待
10處理像素區域劃分模塊，其中
待更新像素標識圖像獲取模塊用於將所述當前圖像與第 一參考圖像作差運算，並與預設的閾值進行比較，獲取幀間變化像素標識，形成幀間變化像素標識圖像；然後，將幀間變化像素標識圖像與所述第二參考圖像作或運算，得到所述當前圖像的待更新像素標識圖像；
待處理像素區域劃分模塊用於將待更新像素標識圖像獲取模塊生成的待更新像素標識圖像中相連接的像素歸為一個區域，並採用其最小外接矩形作為一個待處理像素區域的方式，獲得所述當前圖像的一個個待處理像素區域。
優選的，所述區域前景分割單元包括，背景像素模型獲取模塊、區域前景模型獲取模塊、第一連接能量計算模塊、第二連接能量計算模塊、區域前景圖像分割模塊，其中
背景像素模型獲取模塊用於獲取背景圖像的顏色模型；
區域前景模型獲取模塊用於獲取待處理像素區域前景模型；對於待處理像素區域中未發生幀間變化的像素，如果所述第二參考圖像中該像素不同於背景，則將所述當前圖像的該像素標識為不同於背景，否則，認定為同於背景；對於待處理像素區域中發生了幀間變化的像素，將所述當前圖像的像素和背景像素顏色的差，與預設的閾值進行比較，判定該像素是否不同於背景，並更新不同於背景像素標識；然後，匯總待處理像素區域內所有不同於背景的像素，形成待處理像素區域的前景模型；
第一連接能量計算模塊用於計算待處理像素區域的第一連接能量；對於待處理像素區域中未發生幀間變化的像素，根據所述第二參考圖像的前景分割結杲來決定其第一連接能量；如果該像素在所述第二參考圖像中屬於前景，則該像素對應節點與前景節點連接能量設為預設最大值，與背景節點連接能量設為預設最小值；如果該像素在所述第二參考圖像中屬於背景，則該像素對應節點與前景節點連接能量設為預設最小值，與背景節點連接能量設為預設最大值；對於待處理像素區域中發生了幀間變化的像素，根據所述待處理像素區域的前景模型和背景像素模型，獲取該像素屬於前景和背景的概率，經歸一化後得到該像素對應節點在所述當前圖像中與前景和背景節點的第一連接能量；第二連接能量計算模塊用於計算待處理像素區域的第二連接能量；對於待
處理像素區域中相鄰的兩個像素，如果均未發生幀間變化，則採用所述第二參
考圖像的第二連接能量作為所述當前圖像的第二連接能量；如果待處理像素區域中相鄰兩個像素中，至少有一個發生了幀間變化，則計算當前圖像相鄰像素間的顏色差值向量的二範數，作為所述當前圖像中該像素與相鄰像素間的第二連接能量；
區域前景圖像分割模塊用於採用圖分割算法對區域內像素進行前景分割，獲取待處理像素區域的前景分割結果。
依據本發明又一實施例，還公開了一種攝像頭，所述攝像頭包括分割獲取前景圖像的裝置，所述裝置包括
待處理區域確定單元，用於將上一幅圖像作為當前圖像的第 一參考圖像，將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像，比較當前圖像與所述第 一參考圖像和第二參考圖像，依據比較結果確定待處理像素區域；
區域前景分割單元，用於分割獲得每個待處理像素區域的前景圖像；
前景圖像拼接單元，用於拼接所有待處理像素區域的前景圖像，形成所述當前圖像的前景圖像。
與現有技術相比，本發明在現有graph-cut算法分割前景的基礎上，針對視頻圖像，利用幀間信息，只對可能發生變化的區域進行重新分割，減少了待處理圖像區域的面積，從而減少了分割提取前景圖像所需的計算量，較大地提高了前景圖像的分割獲取速度。


為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖l是現有技術分割獲取前景圖像的方法流程圖；圖2是本發明一種分割獲取前景圖像的方法實施例流程圖；圖3是本發明一種分割獲取前景圖像的裝置實施例結構框圖。
1具體實施例方式
為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發明作進一步詳細的說明。
本發明提供的技術方案在現有graph - cut算法分割前景的基礎上，針對視 頻圖像，利用幀間信息，只對可能發生變化的區域進行重新分割，減少了待處 理圖像區域的面積，從而減少了構建圖像時求取第一連接能量和第二連接能量 所需的運算。
參照圖2，示出了本發明一種分割獲取前景圖像的方法實施例流程圖，具 體包括如下步驟
步驟201:將上一幅圖像作為當前圖像的第一參考圖像，將上一幅圖像的 前景標識圖像作為當前圖像的第二參考圖像；
其中，當前圖像為視頻圖像的第一幅圖像時，將第一幅圖像作為第二幅圖 像的第一參考圖像；計算第一幅圖像的第一連接能量和第二連接能量，採用 graph-cut算法獲取第一幅圖像的前景標識圖像，將該前景標識圖像作為第二幅 圖像的第二參考圖像；
當所述當前圖像為視頻圖像的第N幅(N為整數，且N》3)圖像時，所 述第一參考圖像為第(N-1)幅圖像，所述第二參考圖像為步驟204生成的 第(N-1)幅圖像的前景標識圖像；
步驟202:將當前圖像與所述第一參考圖像和第二參考圖像比較，依據比 較結果確定待處理像素區域；
將當前圖像與所述第 一參考圖像和第二參考圖像比較，確定待處理像素區 域的流程可以為
首先，將所述當前圖像與第一參考圖像作差運算，並與預設的闊值進行比 較，獲取幀間變化像素標識，即幀間變化像素標識，形成幀間變化像素標識圖 像；
然後，將幀間變化像素標識圖像與所述第二參考圖像進行或運算，得到所 述當前圖像的待更新像素標識圖像；
最後，將待更新像素標識圖像中相連接的像素歸為一個區域，並採用其最
13小外接矩形作為一個待處理像素區域的方式，獲得所述當前圖像的一個個待處 理像素區域。
本發明優選實施例中，在獲取幀間變化像素區域的^e出上，與前幀圖像的 前景標識圖像進行或運算，可獲得完整的連通區域，避免產生很多微小的小塊 區域而影響前景圖像的分割提取效果。
步驟203:分割獲得每個待處理像素區域的前景圖像；
步驟204:拼接所有待處理像素區域的前景圖像，形成所述當前圖像的整 體前景圖像，並將該整體前景圖像確定為新的參考圖像。
上述步驟203中，分割獲得每個待處理像素區域的前景圖像的流程可以
為
步驟2031:獲取背景模型；可以採用背景圖像獲得背景像素的顏色模型； 顏色特徵可以取為一維亮度分量，也可以取為RGB多維顏色信息，模型可以 取為高斯模型，也可以取為混合高斯模型；較優的實施例是採用混合高斯模型 來為背景建模。
步驟2032:獲取待處理像素區域前景模型；
對於待處理像素區域中未發生幀間變化的像素，如果所述第二參考圖像中 該像素不同於背景，則將所述當前圖像的該像素標識為不同於背景，否則，認 定為同於背景；
對於待處理像素區域中發生了幀間變化的像素，將所述當前圖像的像素和 背景像素顏色的差，與預設的閾值進行比較，判定該像素是否不同於背景，並 更新不同於背景像素標識；
然後，匯總待處理像素區域內所有不同於背景的像素，形成待處理像素區 域前景模型；
前景沖莫型可以採用任意顏色統計才莫型來描述，較優的實施例是採用混合高 斯模型來進行前景建沖莫。
步驟2033:計算待處理像素區域的第一連接能量；
所述第一連接能量用於確定每個像素被分為前景點或背景點的懲罰能量， 在此採用該像素屬於前景模型或背景模型的概率來描述。幀間變化的像素，根據所述第二參考圖像的
前景分割結果來決定其第一連接能量；如果該像素在所述第二參考圖像中屬於
前景，則該像素對應節點與前景節點連接能量設為預設最大值，與背景節點連
接能量設為預設最小值；如果該像素在所述第二參考圖像中屬於背景，則該像 素對應節點與前景節點連接能量設為預設最小值，與背景節點連接能量設為預 設最大值；
對於待處理像素區域中發生了幀間變化的像素，根據所述待處理像素區域 的前景混合高斯模型和背景像素高斯模型，獲取該像素屬於前景和背景的概 率，經歸一化後得到該像素對應節點在所述當前圖像中與前景和背景節點的第 一連接能量；
背景模型和前景模型可以採用高斯模型也可以採用混合高斯模型，可以為 每個像素建立一個模型，也可以為整個背景圖像建立一個顏色模型。更優的實 施例是為每個像素建立一個高斯模型，而為背景圖像建立一個混合高斯模型。 確定每個像素屬於和前景節點連接的能量時，採用其屬於該點高斯模型的概率 和其屬於背景混合高斯模型的概率的加權和作為其第一連接能量。
步驟2034:計算待處理像素區域的第二連接能量；
對於待處理像素區域中相鄰的兩個像素，如果均未發生幀間變化，則採用 所述第二參考圖像的第二連接能量作為所述當前圖像的第二連接能量；如果待 處理像素區域中相鄰兩個像素中，至少有一個發生了幀間變化，則計算當前圖 像相鄰像素間的顏色差值向量的二範數，作為所述當前圖像中該像素與相鄰像 素間的第二連接能量；
如果為每個像素都按照定義計算一遍上述第二連接能量，由於相鄰像素間 差被計算了兩次，存在冗餘運算，為了快速計算，採用如下方法
第一步，對圖像中的每個像素計算其與右側相鄰像素的顏色差值向量《；
以採用RGB色度空間為例，對當前位置(x,力，其與右側像素的顏色分量 分別為(i ,，G,，B,)和(i r，Gr，A)，則顏色差值向量為=(A - -G,，A -瑪)；
第二步，對圖像中的每個像素計算其與下方相鄰像素的顏色差值向量g;
以採用RGB色度空間為例，對當前位置(x,力，其與下方像素的顏色分量分別為(《，G,，A)和(^,(^，A)，則顏色差值向量為《(x,y) = (i A -《,S -G,，A -g); 最後，對當前像素(x，力，釆用四鄰域定義方式，計算其與左邊像素的第二
連接能量為A^7W(((X-l,力)，其與右邊像素的連接能量為A^777(《(X,力)，其與上
方像素的連接能量為A^m(《(x-1,力)，其與下方像素的連接能量為 M m(^0:,力)；其中M)，為取範數操:作。從而將本來需要的四次操作，簡化 為對每點只需要兩次操作。
步驟2035:對區域內像素採用圖分割算法進行前景分割，獲取待處理像 素區域的前景分割結果。
本發明優選實施例中，在計算不同於背景的像素時，利用未發生幀間變化 的像素的前幀信息來減少運算；在計算前景節點和背景節點之間的第一連接能 量時，對於未發生幀間變化的像素，採用前一幀圖像的前景分割結果來獲取前 景節點和背景節點的連接能量；在計算相鄰像素之間的第二連接能量時，對於 均未發生幀間變化的像素對，採用前一幀圖像的第二連接能量來作為當前幀圖 像的第二連接能量；從而，可以充分利用幀間信息，減少了待處理圖像區域的 面積，進而減少分割提取前景圖像所需的計算量
參照圖3，示出了本發明一種分割獲取前景圖像的裝置實施例結構框圖， 具體包括如下單元
單元31:待處理區域獲取單元，用於將上一幅圖像作為當前圖像的第一 參考圖像，將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像，將當 前圖像與所述第一參考圖像和第二參考圖像比較，並依據比較結果確定待處理 像素區域；待處理區域獲取單元31由待更新像素標識圖像獲取^t塊和待處理 像素區域劃分模塊組成，其中
待更新像素標識圖像獲取模塊用於將所述當前圖像與第一參考圖像作差 運算，並與預設的閾值進行比較，獲取幀間變化像素標識，形成幀間變化像素 標識圖像；然後，將幀間變化像素標識圖像與所述第二參考圖像進行或運算， 得到所述當前圖像的待更新像素標識圖像；
待處理像素區域劃分模塊用於將待更新像素標識圖像獲取模塊生成的待
16更新像素標識圖像中相連接的像素歸為一個區域，並採用其最小外接矩形作為 一個待處理像素區域的方式，獲得所述當前圖像的一個個待處理像素區域。
單元32:區域前景分割單元，用於分割待處理區域獲取單元31生成的每 個待處理像素區域，獲得每個待處理像素區域的前景圖像；區域前景分割單元 32由區域前景高斯混合模型獲取模塊、第一連接能量計算模塊、第二連接能 量計算模塊、區域前景圖像分割模塊組成，其中
區域前景高斯混合模型獲取模塊用於獲取待處理像素區域前景高斯混合 模型；對於待處理像素區域中未發生幀間變化的像素，如果所述第二參考圖像 中該像素不同於背景，則將所述當前圖像的該像素標識為不同於背景，否則， 認定為同於背景；對於待處理像素區域中發生了幀間變化的像素，將所述當前 圖像的像素和背景像素顏色的差，與預設的閾值進行比較，判定該像素是否不 同於背景，並更新不同於背景像素標識；然後，匯總待處理像素區域內所有不 同於背景的4象素，形成待處理像素區域前景混合高斯模型；
第一連接能量計算模塊用於計算待處理像素區域的第一連接能量；對於棒 處理像素區域中未發生幀間變化的像素，根據所述第二參考圖像的前景分割結 果來決定其第一連接能量；如果該像素在所述第二參考圖像中屬於前景，則該 像素對應節點與前景節點連接能量設為最大，與背景節點連接能量設為最小； 如果該像素在所述第二參考圖像中屬於背景，則該像素對應節點與前景節點連 接能量設為最小，與背景節點連接能量設為最大；對於待處理像素區域中發生 了幀間變化的像素，根據所述待處理像素區域的前景混合高斯模型和背景像素 高斯模型，獲取該像素屬於前景和背景的概率，經歸一化後得到該像素對應節 點在所述當前圖像中與前景和背景節點的第一連接能量；
第二連接能量計算模塊用於計算待處理像素區域的第二連接能量；對於待 處理像素區域中相鄰的兩個像素，如果均未發生幀間變化，則採用所述第二參 考圖像的第二連接能量作為所述當前圖像的第二連接能量；如果待處理像素區 域中相鄰兩個像素中，至少有一個發生了幀間變化，則計算當前圖像相鄰像素 間的顏色差值向量的二範數，作為所述當前圖像中該像素與相鄰像素間的第二 連接能量；區域前景圖像分割模塊4用於對區域內像素採用圖分割算法進行前景分 割，獲取^寺處理像素區域的前景分割結果。
單元33:前景圖像拼接單元，用於拼接區域前景分割單元32分割出的各 個待處理像素區域的前景圖像，形成所述當前圖像的整體前景圖像。
在本發明公開的又一裝置實施例中，所述第二連接能量計算模塊在計算第 二連接能量時，為避免相鄰像素間差值被計算兩次，採用如下方法
首先，對所述當前圖像中的每個像素計算其與右側相鄰像素的顏色差值向 量《；以RGB色度空間為例，對當前位置(x,力，其與右側像素的顏色分量分 別為(《,G, ， A)和(, Gr, A),則顏色差《直向量為《O，力=— i ,, Gr - G,, 5r - 5,);
然後，對所述當前圖像中的每個像素計算其與下方相鄰像素的顏色差值向 量g;以RGB色度空間為例，對當前位置(x,力，其與下方像素的顏色分量分 別為(A,G,，A)和(^,G,A)，則顏色差值向量為g(x,力=(7 A -i ,，GA -G,，A -A);
最後，對當前像素(x,力，採用四鄰域定義方式，計算其與左邊像素的第二 連接能量為A^w(《0-l,力)，其與右邊像素的連接能量為A^w(《(jc，力)，其與上 方像素的連接能量為油，(《(x-l,力)，其與下方像素的連接能量為 iVom(^;(x，力)；其中A^m為取範數操作。從而將本來需要的四次操作，簡化 為對每點只需要兩次才喿作。
本發明還公開了 一種包含有分割獲取前景圖像裝置的攝像頭，分割獲取前 景圖像的裝置包括如下單元
單元31:待處理區域獲取單元，用於將上一幅圖像作為當前圖像的第一 參考圖像，將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像，將當 前圖像與所述第 一參考圖像和第二參考圖像比較，並依據比較結果確定待處理 像素區域；
單元32:區域前景分割單元，用於分割待處理區域獲取單元31生成的每 個待處理像素區域，獲得每個待處理像素區域的前景圖像；
單元33:前景圖像拼接單元，用於拼接區域前景分割單元32分割出的各 個待處理像素區域的前景圖像，形成所述當前圖像的整體前景圖像，並將該整 體前景圖像確定為新的參考圖像。本說明書中的各個實施例均採用遞進的方式描述，每個實施例重點說明的 都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即 可。對於系統實施例而言，由於其與方法實施例基本相似，所以描述的比較簡 單，相關之處參見方法實施例的部分說明即可。
以上對本發明所提供的一種分割獲取前景圖像的方法、裝置和攝像頭，進
述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時， 對於本領域的一般技術人員，依據本發明的思想，在具體實施方式
及應用範圍 上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。
權利要求
1、一種分割獲取前景圖像的方法，其特徵在於，包括將上一幅圖像作為當前圖像的第一參考圖像，將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像；將當前圖像與所述第一參考圖像和第二參考圖像比較，依據比較結果確定待處理像素區域；分割獲得每個待處理像素區域的前景圖像；拼接所有待處理像素區域的前景圖像，形成所述當前圖像的前景圖像。
2、 如權利要求1所述的方法，其特徵在於，所述將當前圖像與第一參考 圖像和第二參考圖像比較，依據比較結果確定待處理像素區域包括將所述當前圖像與第一參考圖像作差運算，並與預設的閾值進行比較，獲 取幀間變化像素標識，形成幀間變化像素標識圖像；將幀間變化像素標識圖像與所述第二參考圖像進行或運算，得到所述當前 圖像的待更新像素標識圖像；將待更新像素標識圖像中相連接的像素歸為一個區域，並採用其最小外接 矩形作為一個待處理像素區域的方式，獲得所述當前圖像的一個個待處理像素 區域。
3、 如權利要求1或2所述的方法，其特徵在於，按照以下步驟分割獲得 每個待處理像素區域的前景圖像獲取背景像素模型；獲取待處理像素區域的前景模型； 計算待處理像素區域的第 一連接能量； 計算待處理像素區域的第二連接能量；採用圖分割算法對區域內像素進行前景分割，獲取待處理像素區域的前景 分割結果。
4、 如權利要求3所述的方法，其特徵在於，所述獲取待處理像素區域的 前景模型包括對於待處理像素區域中未發生幀間變化的像素，如果所述第二參考圖像中該像素不同於背景，則將所述當前圖像的該像素標識為不同於背景，否則，認定為同於背景；對於待處理像素區域中發生了幀間變化的像素，將所述當前圖像的像素和 背景像素顏色的差，與預設的閾值進行比較，判定該像素是否不同於背景，並 更新不同於背景像素標識；匯總待處理像素區域內所有不同於背景的像素，形成待處理像素區域的前景模型。
5、 如權利要求3所述的方法，其特徵在於，所述計算待處理像素區域的 第一連接能量的步驟包括對於待處理像素區域中未發生幀間變化的像素，根據所述第二參考圖像來 決定其第一連接能量；如果該像素在所述第二參考圖像中屬於前景，則該像素 對應節點與前景節點連接能量設為預設最大值，與背景節點連接能量設為預設 最小值；如果該像素在所述第二參考圖像中屬於背景，則該像素對應節點與前 景節點連接能量設為預設最小值，與背景節點連接能量設為預設最大值；對於待處理像素區域中發生了幀間變化的像素，根據所述待處理像素區域 的前景模型和背景像素模型，獲取該像素屬於前景和背景的概率，經歸一化後 得到該像素對應節點在所述當前圖像中與前景和背景節點的第一連接能量。
6、 如權利要求3所述的方法，其特徵在於，所述計算待處理像素區域的 第二連接能量的步驟包括對於待處理像素區域中相鄰的兩個像素，如果均未發生幀間變化，則採用 所述第二參考圖像的第二連接能量作為所述當前圖像的第二連接能量；如果待處理像素區域中相鄰兩個像素中，至少有一個發生了幀間變化，則 計算當前圖像相鄰像素間的顏色差值向量的二範數，作為所述當前圖像中該像 素與相鄰像素間的第二連接能量。
7、 如權利要求6所述的方法，其特徵在於，所述計算當前圖像相鄰像素 間的顏色差值向量的二範數，作為所述當前圖像中該像素與相鄰像素間的第二 連接能量包括對所述當前圖像的每個像素計算其與右側相鄰像素的顏色差值向量；對所述當前圖像的每個像素計算其與下方相鄰像素的顏色差值向量； 對當前像素，採用四鄰域定義方式，計算其與左邊像素、右邊像素、上方 像素、下方像素的二範數，作為當前像素的第二連接能量。
8、 如權利要求3所述的方法，其特徵在於，所述背景像素模型採用混合 高斯模型；所述前景模型採用高斯模型。
9、 一種分割獲取前景圖像的裝置，其特徵在於，包括待處理區域確定單元，用於將上一幅圖像作為當前圖像的第 一參考圖像， 將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像，比較當前圖像與 所述第 一參考圖像和第二參考圖像，依據比較結果確定待處理像素區域； 區域前景分割單元，用於分割獲得每個待處理像素區域的前景圖像； 前景圖像拼接單元，用於拼接所有待處理像素區域的前景圖像，形成所述 當前圖像的前景圖像。
10、 如權利要求9所述的裝置，其特徵在於，所述待處理區域獲取單元包 括待更新像素標識圖像獲取模塊和待處理像素區域劃分模塊，其中所述待更新像素標識圖像獲取模塊用於將所述當前圖像與第 一參考圖像 作差運算，並與預設的閾值進行比較，獲取幀間變化像素標識，形成幀間變化 像素標識圖像；然後，將幀間變化像素標識圖像與所述第二參考圖像作或運算， 得到所述當前圖像的待更新像素標識圖像；所述待處理像素區域劃分模塊用於將待更新像素標識圖像獲取模塊生成 的待更新像素標識圖像中相連接的像素歸為一個區域，並採用其最小外接矩形 作為一個待處理像素區域的方式，獲得所述當前圖像的一個個待處理像素區 域。
11、 如權利要求9或IO所述的裝置，其特徵在於，所述區域前景分割單 元包括背景像素模型獲取模塊、區域前景模型獲取模塊、第一連接能量計算模 塊、第二連接能量計算模塊和區域前景圖像分割模塊，其中所述背景像素模型獲取模塊用於獲取背景圖像的顏色模型； 所述區域前景模型獲取模塊用於獲取待處理像素區域前景模型；對於待處 理像素區域中未發生幀間變化的像素，如果所述第二參考圖像中該像素不同於背景，則將所述當前圖像的該像素標識為不同於背景，否則，認定為同於背景; 對於待處理像素區域中發生了幀間變化的像素，將所述當前圖像的像素和背景 像素顏色的差，與預設的閾值進行比較，判定該像素是否不同於背景，並更新 不同於背景像素標識；然後，匯總待處理像素區域內所有不同於背景的像素， 形成待處理像素區域的前景模型；所述第一連接能量計算模塊用於計算待處理像素區域的第一連接能量；對 於待處理像素區域中未發生幀間變化的像素，根據所述第二參考圖像的前景分 割結果來決定其第一連接能量；如果該像素在所述第二參考圖像中屬於前景， 則該像素對應節點與前景節點連接能量設為預設最大值，與背景節點連接能量 設為預設最小值；如果該像素在所述第二參考圖像中屬於背景，則該像素對應 節點與前景節點連接能量設為預設最小值，與背景節點連接能量設為預設最大 值；對於待處理像素區域中發生了幀間變化的像素，根據所述待處理像素區域 的前景模型和背景像素模型，獲取該像素屬於前景和背景的概率，經歸一化後 得到該像素對應節點在所述當前圖像中與前景和背景節點的第一連接能量；所述第二連接能量計算模塊用於計算待處理像素區域的第二連接能量；對 於待處理像素區域中相鄰的兩個像素，如果均未發生幀間變化，則採用所述第 二參考圖像的第二連接能量作為所述當前圖像的第二連接能量；如果待處理像 素區域中相鄰兩個像素中，至少有一個發生了幀間變化，則計算當前圖像相鄰 像素間的顏色差值向量的二範數，作為所述當前圖像中該像素與相鄰像素間的 笫二連接能量；所述區域前景圖像分割模塊用於採用圖分割算法對區域內像素進行前景 分割，獲取待處理像素區域的前景分割結果。
12、 一種攝像頭，其特徵在於，所述攝像頭包括有分割獲取前景圖像的裝 置，所述裝置包括-.待處理區域確定單元，用於將上一幅圖像作為當前圖像的第 一參考圖像， 將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像，比較當前圖像與 所述第 一參考圖像和第二參考圖像，依據比較結果確定待處理像素區域；區域前景分割單元，用於分割獲得每個待處理像素區域的前景圖像；前景圖像拼接單元，用於拼接所有待處理像素區域的前景圖像，形成所述 當前圖像的前景圖像。
全文摘要
本發明提供了一種分割獲取前景圖像的方法、裝置和攝像頭，所述方法包括將上一幅圖像作為當前圖像的第一參考圖像，將上一幅圖像的前景標識圖像作為當前圖像的第二參考圖像；將當前圖像與所述第一參考圖像和第二參考圖像比較，依據比較結果確定待處理像素區域；分割獲得每個待處理像素區域的前景圖像；拼接所有待處理像素區域的前景圖像，形成所述當前圖像的前景圖像。本發明方案利用視頻圖像的幀間信息，只對可能發生變化的區域進行重新分割，減少了待處理圖像區域的面積，從而減少了分割提取前景圖像所需的計算量，較大地提高了前景圖像的分割獲取速度。
文檔編號G06T5/00GK101510304SQ20091008095
公開日2009年8月19日 申請日期2009年3月30日 優先權日2009年3月30日
發明者謝東海, 鄧亞峰, 英 黃 申請人:北京中星微電子有限公司