一種圖像處理方法及其裝置製造方法
2023-10-28 19:02:57
一種圖像處理方法及其裝置製造方法
【專利摘要】本發明實施例公開了一種圖像處理方法及其裝置，用於將目標圖像與背景圖像進行融合的處理過程。本發明中，首先選取目標圖像，對目標圖像邊界像素點坐標初始化，通過歐氏距離計算邊界像素點與內部像素點的權重關係，確定參與圖像內部素點融合的邊界點，計算目標圖像邊界像素與背景圖像像素的差值；用這些邊界差值結果來指導目標圖像內部像素點的融合，使最終目標融合結果能與背景圖像的光照一致。
【專利說明】一種圖像處理方法及其裝置
【技術領域】
[0001]本發明涉及通信領域的圖像數據處理技術，尤其涉及一種用於將目標圖像與背景圖像進行融合的圖像處理方法及其裝置。
【背景技術】
[0002]視頻濃縮是指將原始視頻長度進行壓縮，即在時間和空間上同時進行壓縮，得到僅包含運動目標的較短視頻。所謂的時間壓縮是指剔除原始視頻中無運動目標的視頻幀，得到相對於原始視頻較短的視頻；所謂的空間壓縮是指充分利用場景中的空間位置信息，對目標在時間上進行偏移，調整目標間的相對時間距離，使不同時刻的目標可以在同一時刻出現，大大提高了壓縮率。
[0003]在視頻濃縮過程中，當將時間靠後的目標偏移到比較靠前的時刻出現時，比如，將目標圖像貼到背景圖像上時，由於前後存在光照變化，因此會存在明顯的矩形塊效應，如圖1所示。
[0004]為了消除或減弱這種矩形塊效應，通常需要對目標圖像與背景圖像進行融合處理。
[0005]目前，較為成熟的圖像融合方法是泊松圖像編輯方法，該方法主要包括以下步驟:
[0006]第一步:獲取原始圖像和目標圖像，並確定目標圖像在原始圖像中的融合坐標位置；
[0007]第二步:對融合區域求解邊界條件的泊松方程，得到融合結果。
[0008]目前還有一種基於鏈碼掩膜的泊松圖像融合方法，該方法是上述方法的一種優化方案，主要包括以下步驟:
[0009]第一步:獲取原始圖像和目標圖像，並確定目標圖像在原始圖像中的融合坐標位置；
[0010]第二步:對融合區域求解邊界條件的泊松方程，得到融合的初步結果；
[0011]第三步:獲取目標圖像的輪廓鏈碼；
[0012]第四步:形態學操作目標邊緣鏈碼，獲取二值掩膜圖像；
[0013]第五步:通過掩膜圖像對區域融合結果進行判別，得到最終融合結果。
[0014]發明人在實現本發明的過程中發現現有技術至少存在以下缺陷:
[0015]上述泊松圖像編輯方法，融合的效果較為理想，但是需要求解複雜的偏微分方程，融合速度較慢，不能滿足實時性要求。其優化方案在泊松圖像編輯後進行了掩碼處理，以保證原目標實際區域不參與融合，保留目標的實際顏色，僅目標周圍的背景區域參與圖像的融合，但並沒有對融合效果有所改善，當目標圖像與背景圖像光照差異較大時，採用該優化方案反而會適得其反，得不到應有的融合效果。
[0016]由此可見，目前亟需一種新的目標圖像與背景圖像的融合技術，在保證融合效果的前提下，提升融合速度，達到實時處理的能力。
【發明內容】
[0017]本發明實施例提供了一種圖像處理方法及其裝置，用以在保證圖像融合效果的前提下，提高圖像融合速度。
[0018]本發明實施例提供的圖像處理方法，包括:
[0019]獲取目標圖像、背景圖像，以及所述目標圖像在所述背景圖像中的融合位置；
[0020]根據所述目標圖像在所述背景圖像中的融合位置，確定所述目標圖像邊界像素的坐標；
[0021]根據所述目標圖像邊界像素的坐標與內部像素的坐標的空間距離，確定邊界像素對內部像素的權重，所述權重用於反映圖像融合處理時邊界像素對內部像素的影響程度；
[0022]根據所述目標圖像在所述背景圖像中的融合位置，確定所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值；
[0023]根據所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值，以及所述目標圖像邊界像素對內部像素的權重，對所述目標圖像和所述背景圖像進行融合處理。
[0024]本發明實施例提供的圖像處理裝置，包括:
[0025]獲取單元，用於獲取目標圖像、背景圖像，以及所述目標圖像在所述背景圖像中的融合位置；
[0026]邊界確定單元，用於根據所述目標圖像在所述背景圖像中的融合位置，確定所述目標圖像邊界像素的坐標；
[0027]權重確定單元，用於根據所述目標圖像邊界像素的坐標與內部像素的坐標的空間距離，確定邊界像素對內部像素的權重，所述權重用於反映圖像融合處理時邊界像素對內部像素的影響程度；
[0028]差值確定單元，用於根據所述目標圖像在所述背景圖像中的融合位置，確定所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值；
[0029]融合處理單元，用於根據所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值，以及所述目標圖像邊界像素對內部像素的權重，對所述目標圖像和所述背景圖像進行融合處理。
[0030]本發明的上述實施例中，獲取目標圖像後，根據目標圖像邊界像素與內部像素的空間距離，確定邊界像素對內部像素的權重，利用邊界像素對內部像素的權重和邊界像素與背景像素的差值，來指導目標圖像內部像素與背景像素的融合，使最終目標融合結果能與背景圖像的光照一致。與現有圖像融合技術相比，本發明實施例由於在圖像融合過程中無需解方程，通過計算邊界像素與內部像素的權重關係來指導像素的融合，從而提高了圖像融合處理速度。
【專利附圖】
【附圖說明】
[0031]圖1為圖像融合過程中的矩形塊效應示意圖；
[0032]圖2為本發明實施例提供的圖像融合流程示意圖之一；
[0033]圖3為本發明實施例提供的圖像融合流程示意圖之二 ；
[0034]圖4為本發明實施例中的邊界像素點採樣示意圖；
[0035]圖5為本發明實施例中的圖像融合處理示意圖；
[0036]圖6A為本發明實施例提供的圖像處理裝置的結構示意圖之一；
[0037]圖6B為本發明實施例提供的圖像處理裝置的結構示意圖之二。
【具體實施方式】
[0038]本發明實施例提出一種圖像處理方法及其裝置，應用於在視頻濃縮過程或者其它需要將目標圖像與背景圖像進行融合的圖像數據處理過程，本發明實施例能夠在保證融合效果的前提下提升融合速度，達到實時處理的能力。
[0039]下面結合附圖對本發明實施例進行詳細描述。
[0040]參見圖2，為本發明實施例提供的圖像融合流程示意圖，該流程可包括:
[0041]步驟202:獲取目標圖像、背景圖像，以及目標圖像在背景圖像中的融合位置。本發明實施例中，可根據用戶輸入的參數獲取目標圖像、背景圖像以及目標圖像在背景圖像中的融合位置，也可以通過圖像數據處理算法確定出目標圖像、背景圖像以及目標圖像在背景圖像中的融合位置，本發明實施例對於上述信息的獲取方式不做限制。
[0042]步驟204:根據目標圖像在背景圖像中的融合位置，確定該目標圖像的邊界像素的坐標。
[0043]步驟206:根據目標圖像的各邊界像素的坐標與該目標圖像的內部像素的坐標的空間距離，確定各邊界像素對內部像素的權重，該權重用於反映圖像融合處理時目標圖像的邊界像素對該目標圖像的內部像素的影響程度。
[0044]步驟208:根據目標圖像在背景圖像中的融合位置，確定目標圖像的邊界像素與背景圖像中對應像素的顏色差值；
[0045]步驟210:根據目標圖像的邊界像素與背景圖像中對應像素的顏色差值，以及目標圖像邊界像素對該目標圖像內部像素的權重，對目標圖像和背景圖像進行融合處理。
[0046]下面以目標圖像為矩形圖像為例，對上述流程進行詳細說明。
[0047]在步驟202中，獲取到的目標圖像表示為1、背景圖像表示為B，目標圖像在背景圖像中的融合位置表示為P (X，y，w，h)。其中,P (X，y, W，h)中的(X，y)表示目標圖像的左頂點像素在背景圖像中的坐標，目標圖像的寬度為w個像素、高度為h個像素。
[0048]在步驟204中，根據目標圖像在背景圖像中的融合位置P (X，y, w, h),以目標圖像的左頂點像素為基準按照逆時針方向，目標圖像邊界上各像素的坐標表示如下:
[0049](x, y), (x, y+1), (x, y+2),......, (x, y+h-1)；
[0050](x+1, y+h-1), (x+2, y+h~l),......，(x+w-1, y+h~l)；
[0051](x+w-1, y+h-2), (x+w-1, y+h-3),......, (x+w-1, y)；
[0052](x+w-2, y), (x+w-3, y),......,(x+l,y)。
[0053]目標圖像的邊界像素數目為:b=2Xw+2Xh_4
[0054]在步驟206中，對於目標圖像中的每個需要進行融合處理的像素，分別計算該像素與各邊界像素的空間距離。所述需要進行融合處理的像素是指目標圖像中除邊界像素以外的其它像素，即目標圖像的內部像素，可以是所有內部像素，也可以是部分內部像素，t匕如，以目標圖像的中心為中心，y軸方向向外擴展25%X h、X軸方向向外擴展25%X w範圍內的像素無需與背景進行融合處理，其它內部像素需要與背景進行融合處理。需要進行融合處理的像素的範圍，可根據需要具體規定，參與融合處理的像素越多融合效果越好，但計算量也會越大。
[0055]本實施例中可根據需要選用空間距離計算方法，下面以選用歐氏距離計算方法為例，說明權重的算法。
[0056]針對目標圖像中每個需要進行融合處理的內部像素，按照以下公式分別計算該內部像素坐標與各邊界像素坐標的歐氏空間距離:
[0057]
【權利要求】
1.一種圖像處理方法，其特徵在於，所述方法包括: 獲取目標圖像、背景圖像，以及所述目標圖像在所述背景圖像中的融合位置； 根據所述目標圖像在所述背景圖像中的融合位置，確定所述目標圖像邊界像素的坐標； 根據所述目標圖像邊界像素的坐標與內部像素的坐標的空間距離，確定邊界像素對內部像素的權重，所述權重用於反映圖像融合處理時邊界像素對內部像素的影響程度； 根據所述目標圖像在所述背景圖像中的融合位置，確定所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值； 根據所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值，以及所述目標圖像邊界像素對內部像素的權重，對所述目標圖像和所述背景圖像進行融合處理。
2.如權利要求1所述的方法，其特徵在於，根據所述目標圖像邊界像素坐標與內部像素坐標的空間距離，確定邊界像素對內部像素的權重，具體包括: 針對所述目標圖像中每個需要進行融合處理的內部像素，按照以下公式分別計算該內部像素坐標與各邊界像素坐標的空間距離，以及各邊界像素對該內部像素的權重:
其中，C(x0，y0)是需要進行融合處理的內部像素的坐標，c(xi，yi)是第i個邊界像素的坐標；dist(c(X0，y0)，c(xi，yi))是坐標為c(x0，y0)的內部像素與第i個邊界像素間的歐氏距離；w(i)是第i個邊界像素對坐標為c (xO，yO)的內部像素的權重。
3.如權利要求2所述的方法，其特徵在於，所述方法還包括: 針對所述目標圖像中每個需要進行融合處理的內部像素，在計算出各邊界像素對該內部像素的權重後，按照以下公式對計算出的權重進行歸一化處理:
其中，b是所述目標圖像邊界像素的數量，w(i)』是歸一化處理後的權重； 對所述目標圖像和所述背景圖像進行融合處理時所用的權重為歸一化處理後的權重。
4.如權利要求1所述的方法，其特徵在於，根據所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值，以及所述目標圖像邊界像素對內部像素的權重，對所述目標圖像和所述背景圖像進行融合處理，具體包括: 按照以下公式分別確定所述目標圖像中各邊界像素與所述背景圖像中對應像素的顏色差值:dif (i，n) =I (i, η) -B (i, η);其中，dif (i，η)是目標圖像中第i個邊界像素的顏色值I (i, η)與背景圖像中對應像素的顏色值B (i，η)的差值，η標識顏色通道； 按照以下公式確定所述目標圖像內融合後的像素的顏色值與所述背景圖像中對應像素的顏色值的差值
;其中，CloneD(x,y;n)是所述目標圖像內坐標為(x，y)的內部像素融合後的顏色值與所述背景圖像中對應坐標的像素的顏色值的差值，w(i)是目標圖像中第i個邊界像素對該目標圖像中坐標為(x，y)的內部像素的權重，b是所述目標圖像中參與圖像內部像素融合的邊界像素的數量； 按照以下公式進行圖像融合處理:I (X，y; n) 』 =CloneD (x, y; η) +I (x, y; η);其中，I(x，y;n)』是目標圖像像素融合後的顏色值，I(x，y;n)是該目標圖像像素融合前的顏色值。
5.如權利要求1-4任意一項所述的方法，其特徵在於，在根據所述目標圖像在所述背景圖像中的融合位置確定出所述目標圖像邊界像素的坐標之後，還包括:根據目標圖像內部像素與各邊界像素之間的空間距離，為所述內部像素從邊界像素中選取邊界像素作為邊界採樣點像素，所選取的邊界採樣點像素的總數量不超過預先設定的邊界採樣點總數量； 所述根據目標圖像邊界像素的坐標與內部像素的坐標的空間距離，確定邊界像素對內部像素的權重，具體為:根據目標圖像邊界採樣點像素的坐標與內部像素的坐標的空間距離，確定邊界採樣點像素對內部像素的權重； 所述確定所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值，具體為:確定所述目標圖像邊界採樣點像素與所述背景圖像中對應像素的顏色差值； 所述根據所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值，以及所述目標圖像邊界像素對內部像素的權重，對所述目標圖像和所述背景圖像進行融合處理，具體為:根據所述目標圖像邊界採樣點像素與所述背景圖像中對應像素的顏色差值，以及所述目標圖像邊界採樣點像素對內部像素的權重，對所述目標圖像和所述背景圖像進行融合處理。
6.一種圖像處理裝置，其特徵在於，所述裝置包括: 獲取單元，用於獲取目標圖像、背景圖像，以及所述目標圖像在所述背景圖像中的融合位置； 邊界確定單元，用於根據所述目標圖像在所述背景圖像中的融合位置，確定所述目標圖像邊界像素的坐標； 權重確定單元，用於根據所述目標圖像邊界像素的坐標與內部像素的坐標的空間距離，確定邊界像素對內部像素的權重，所述權重用於反映圖像融合處理時邊界像素對內部像素的影響程度； 差值確定單元，用於根據所述目標圖像在所述背景圖像中的融合位置，確定所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值； 融合處理單元，用於根據所述目標圖像邊界像素與所述背景圖像中對應像素的顏色差值，以及所述目標圖像邊界像素對內部像素的權重，對所述目標圖像和所述背景圖像進行融合處理。
7.如權利要求6所述的圖像處理裝置，其特徵在於，所述邊界確定單元具體用於，針對所述目標圖像中每個需要進行融合處理的內部像素，按照以下公式分別計算該內部像素坐標與各邊界像素坐標的空間距離:
?//.ν/( ?\Λ?, >0), c{xi\ >y)) =Xi)2 +(γΟ- yi)' 所述權重確定單元，具體用於針對所述目標圖像中每個需要進行融合處理的內部像素，按照以下公式計算各邊界像素對該內部像素的權重:
其中，C(xO，yO)是需要進行融合處理的內部像素的坐標，c(xi，yi)是第i個邊界像素的坐標；dist(c(X0，y0)，c(xi，yi))是坐標為c(xO，yO)的內部像素與第i個邊界像素間的歐氏距離；w(i)是第i個邊界像素對坐標為c (xO，yO)的內部像素的權重。
8.如權利要求7所述的圖像處理裝置，其特徵在於，所述權重確定單元還用於，針對所述目標圖像中每個需要進行融合處理的內部像素，在計算出各邊界像素對該內部像素的權重後，按照以下公式對計算出的權重進行歸一化處理:
其中，b是所述目標圖像邊界像素的數量，w(i)』是歸一化處理後的權重； 所述融合處理單元對所述目標圖像和所述背景圖像進行融合處理時所用的權重為歸一化處理後的權重。
9.如權利要求6所述的圖像處理裝置，其特徵在於，所述融合處理單元具體用於，按照以下公式分別確定所述目標圖像中各邊界像素與所述背景圖像中對應像素的顏色差值:dif (i, n) =I (i, n) -B(i, η);其中，dif (i, η)是目標圖像中第i個邊界像素的顏色值I (i, η)與背景圖像中對應像素的顏色值B (i，η)的差值，η標識顏色通道； 按照以下公式確定所述目標圖像內融合後的像素的顏色值與所述背景圖像中對應像
素的顏色值的差值
其中，cloneD(x, y;η)是所述目標
圖像內坐標為(x，y)的內部像素融合後的顏色值與所述背景圖像中對應坐標的像素的顏色值的差值，w(i)是目標圖像中第i個邊界像素對該目標圖像中坐標為(x，y)的內部像素的權重，b是所述目標圖像中參與圖像內部像素融合的邊界像素的數量； 按照以下公式進行圖像融合處理:I (X，y; n) 』 =CloneD (x, y; η) +I (x, y; η);其中，I(x，y;n)』是目標圖像像素融合後的顏色值，I(x，y;n)是該目標圖像像素融合前的顏色值。
10.如權利要求6-9任意一項所述的圖像處理裝置，其特徵在於，還包括邊界選取單元; 所述邊界選取單元，用於在所述邊界確定單元根據所述目標圖像在所述背景圖像中的融合位置確定出所述目標圖像邊界像素的坐標之後，根據目標圖像內部像素與各邊界像素之間的空間距離，為所述內部像素從邊界像素中選取邊界像素作為邊界採樣點像素，所選取的邊界採樣點像素的總數量不超過預先設定的邊界採樣點總數量； 所述權重確定單元具體用於，根據目標圖像邊界採樣點像素的坐標與內部像素的坐標的空間距離，確定邊界採樣點像素對內部像素的權重； 所述差值確定單元具體用於，確定所述目標圖像邊界採樣點像素與所述背景圖像中對應像素的顏色差值； 所述融合處理單元具體用於，根據所述目標圖像邊界採樣點像素與所述背景圖像中對應像素的顏色差值，以及所述目標圖像邊界採樣點像素對內部像素的權重，對所述目標圖像和所述背景圖像進行融合處理。
【文檔編號】G06T5/50GK104182950SQ201310197075
【公開日】2014年12月3日 申請日期:2013年5月22日 優先權日:2013年5月22日
【發明者】黃虎, 鄭韜, 潘暉, 潘石柱, 張興明, 傅利泉, 朱江明, 吳軍, 吳堅 申請人:浙江大華技術股份有限公司