圖像合成方法及圖像處理裝置的製作方法

2023-06-16 10:06:46

專利名稱：圖像合成方法及圖像處理裝置的製作方法
技術領域：
本發明涉及圖像處理技術領域，具體涉及圖像合成方法及圖像處理裝置。
背景技術：
圖像合成是圖像處理領域的一個熱點，通過圖像合成技術，可以產生現實世界中 不可能出現的虛擬效果。圖像合成具體是指將兩幅或以上不同的圖片合成一幅圖片的技 術。「換背景」是一種常見的圖像合成處理，其目的是通過變更圖像的背景，將照片中的人物 嵌入到新的背景內，以實現特殊的效果。在現有技術中存在一種圖像合成技術，圖像處理設備將用戶選擇的前景圖像和背 景圖像進行合成，用戶選擇的前景圖像可以是實時拍攝的，也可以是用戶預先拍攝載入的， 背景圖像可以是海邊背景、沙漠背景、街道背景等；用戶通過前景和背景的自由組合獲得需 要的圖片，例如合成一張沙漠背景的人像照、或者合成一張海灘背景的人像照，以滿足用 戶的視覺感官需求。在現有技術中，由設備自動完成的圖像合成技術，由於合成的圖像僅僅是前景圖 片和背景圖片的簡單疊加，由於前景圖片和背景圖片來自於不同的拍攝場景，因此疊加後 的圖片的前景部分和背景部分的亮度差異較大，看上去很不自然，使得合成的圖片效果很 「假」，無法滿足用戶的需求。

發明內容
本發明實施例提供圖像合成方法及圖像處理裝置，可以讓合成圖像更加真實自 然。本發明實施例提供的一種圖像合成方法，包括獲取待合成的至少兩幅圖像；將待合成的每一幅圖像進行主分量分析處理；計算所述每一幅圖像所有像素點對應的第一主分量的均值；分別計算所述每一幅圖像的第一主分量均值與所有待合成圖像的第一主分量均 值的算術平均的差值；根據所述計算得到的差值調整對應圖像的亮度；將所述至少兩幅圖像合成一幅圖像。本發明實施例提供的一種圖像處理裝置，包括圖像獲取單元，用於獲取待合成的至少兩幅圖像；亮度調節單元，對所述圖像獲取單元獲取的至少兩幅圖像進行亮度統一；圖像合成單元，用於將所述亮度調節單元進行亮度調節後的至少兩幅圖像合成一 幅圖像。本發明實施例中的技術方案由於對待合成的圖像進行亮度統一後，再進行圖像合 成，使得合成後的圖像相對於現有技術中的合成方式得到的圖像，亮度差異小，圖片效果真
4實自然。


圖1是本發明實施例一圖像合成方法的流程圖；圖2是本發明實施例一對待合成的至少兩幅圖像進行亮度統一的流程圖；圖3是本發明實施例二圖像合成方法的流程圖；圖4是本發明實施例三圖像合成裝置的結構示意圖；圖5是本發明實施例四圖像合成裝置的結構示意圖；圖6是本發明實施例五圖像合成裝置的結構示意圖。
具體實施例方式本發明實施例提供一種圖像合成方法及圖像處理裝置，以下分別進行詳細說明。實施例一、一種圖像合成方法，流程如圖1所示，包括A1，獲取待合成的至少兩幅圖像；本發明實施例中的待合成圖像可以是用於通過視頻採集設備(例如攝像頭、數 碼攝像機等)實時採集的圖像，也可以是用戶選擇的存儲器內已有的圖像，具體的圖像來 源不構成對本發明的限制。A2，對待合成的至少兩幅圖像進行亮度統一；具體進行亮度統一的過程可以採取多種實現方式，例如根據待合成圖像的直方 圖；以基準圖像為參考，調整每幅圖像中央灰度地區像素的亮度值，以減少圖像之間亮度的差異。A3，將所述至少兩幅圖像合成一幅圖像。本發明實施例一中，由於對待合成的圖像進行亮度統一後，在進行圖像合成，使得 合成後的圖像相對於現有技術中的合成方式得到的圖像，亮度差異小，圖片效果真實自然。對於上述實施例一步驟A2對待合成的至少兩幅圖像進行亮度統一的過程本發明 提供優選的處理方式，其流程參照圖2所示，包括B1，將待合成的每一幅圖像進行主分量分析處理；本發明實施例中對圖像進行主分量分析提供一種可行具體計算方式，即採用自協 方差函數對待合成的每一幅圖像數據的協方差矩陣進行對角化處理。以下採用的公式以及 算法僅作為實現本實施例技術方案的一種實現方式，可以理解還可以採用現有的其他常規 實現方式進行主分量分析，此處不一一列舉，具體的實現方式不構成對本發明的限制。主分量分析的過程包括1.計算每一個頻帶的均值-A(其中Xi (k，1)為像素點(k，1)
在i頻帶的值，i = R，G，B。)2.計算原顏色分布的協方差矩陣C(i，j)
_8]呢加五{(X,似^。叫幼- 廣^^紛雄，0-。(明，^ 其中
Xi(k，l)為像素點(k，l)在i頻帶的值，XjQ為i頻帶的平均值，Xj(k，l)為像素點(k，l)在j頻帶的值，xJ0為j頻帶的平均值，i，j = R，G，B。協方差矩陣為3X3的對稱矩陣，即有 C(i, j) = C(j, i)。3.計算協方差矩陣C(i，j)的特徵值、及其對應的特徵向量Ui(i = 1，2，3)，並 按特徵值的大小降序排列，即、> X2> X3。用特徵向量作為行，得到特徵向量矩陣A = (u」 u2, u3)t。4.用矩陣A進行主分量分析(K-L)變換，即用y = Ax把每個原RGB三維向量x = 0 ，6，8)1變換為又=(P1，P2，P3)TdPyk=E 而4。因為第二步中得到的自協方差矩陣C(i，j)是一個實對稱矩陣，所以它的特徵向 量一定是正交的，這樣由特徵向量組成的特徵向量矩陣A就是可逆的並且有A的逆矩陣就 是它的轉置，在第四步中我們有Ay = x，因為A—1 = AT，所以有y = ATx。新的「顏色」是原 來三種顏色值的線性組合，由於步驟3中得到的特徵值是按降序排列的，第一個特徵向量 最大，因此新顏色的第一個分量(即第一主分量)包含了圖像的大部分信息，可以用來作為 亮度調節的依據。B2,計算所述每一幅圖像所有像素點對應的第一主分量的均值；
_1 M N
F是待合成圖像的幅數。
MxNtll^B3，分別計算所述每一幅圖像的第一主分量均值與所有待合成圖像的第一主分量 均值的算術平均的差值…。
，F是待合成圖像的幅數；B4，根據所述步驟B3計算得到的差值調整對應圖像的亮度，具體的處理方式如 下1.對於圖像中的某點(k，l)，得到該點的RGB值，用m位二進位數表示，記為Xi(k， l)，i =札6，8，範圍為0到2°1-1。2.對於R，G，B值分別計算偏移值x丨汰/) = 1 2""'1 ^，其中i = R，G，B，d為
對應圖像的第一主分量均值與所有待合成圖像的第一主分量均值的算術平均的差值。3.如果110^，1)的值大於2°1-1，則將\0^，1)調整為1^1^時(\&，1)1' i(k，l)， 0,2m)，否則調整為 Trimint(Xi(k，l)-x'丨(k，1)，0，2m)。其中 i = R，G，B，Trimint (value， min，max)表示如果value > max,那麼函數值取max，如果value < min,那麼x =函數值取 min，否則取 value。4.將第三步計算出來的Xi(k，1)，i = R，G，B，作為該點的新的RGB值。實施例二、一種圖像合成方法，流程如圖3所示，包括C1，獲取待合成的至少兩幅圖像；C2，對待合成的至少兩幅圖像進行亮度統一；C3，所述待合成圖像區分為前景圖像和背景圖像；C4，依據背景圖像的大小對前景圖像大小對前景圖像做防越界處理。對預處理後的圖像自適應調節和防越界處理，使得初步合成的圖像達到統一視 點o
由於需要合成的圖片可能是在不同的背景環境下拍攝的，圖片中的人像的大小， 位置如果不經過處理的話，那麼就有可能在合成的時候造成不真實的景象。對圖像視點的 調整是通過獲取背景圖像的尺寸；根據所述背景圖像的尺寸對前景圖像進行縮放。具體步 驟如下比較前景圖像與背景圖像的大小，如果前景圖片的長或者寬比大於背景圖像，那 麼採用自適應縮小的方法對圖像進行處理1)如果前景圖像的長和寬都大於所規劃的矩形區域的長和寬，那麼得到兩個縮小 比例，一個是寬的縮小比例，另一個是長的縮小比例，取這兩個中小的那一個作為最終縮小 比例。然後按照這個比例將前景圖像縮小。具體的縮小方式可以採用一次線性插值算法實 現。2)如果只是前景圖像的長大於背景圖像的長，那麼將長的縮小比例作為圖像的縮 小比例，然後按照這個比例將前景圖像縮小。3)如果只是前景圖像的寬大於背景圖像的寬，那麼將寬的縮小比例作為圖像的縮 小比例，然後按照這個比例將前景圖像縮小。可以理解，在存在多幅前景圖像的情況下，在採用上述按照背景圖像的邊界對前 景圖像進行防越界處理後，可能出現多幅前景圖像相互重疊的問題，因此，本發明實施例可 以在上述進行防越界處理時，可以先將背景圖像劃分為至少兩個互不重疊的背景區域，然 後再將每幅前景圖像針對其中一個背景區域做防越界處理後，將前景圖像移入該區域。樣 就可以保證前景圖像之間互不重疊，達到更好的視點要求。具體的防越界處理方式參考上述針對背景圖像的尺寸對前景圖像進行縮放的過 程，只是縮放的參考對象為背景圖像經過劃分後的背景區域，不再贅述。通過防越界處理，可以解決前景圖像邊界越界和前景圖像彼此遮擋的問題，較好 地保證前景圖像與虛擬背景的協調。C5，將所述至少兩幅圖像合成一幅圖像。進一步本發明實施例一和實施例二中，還可以使用二值蒙板記錄圖像合成的邊 界，對圖像合成的邊界進行模糊處理。具體的模糊處理可以採用高斯模糊，邊緣模糊等方 式。下面對具體記錄合成圖像的邊界過程進行舉例描述本例中，前景圖像為人像，背景圖像為風景，首先建立一個二值蒙板，對應前景區 域的點用1表示，對應背景區域的點用0表示。在進行前面所做的步驟時，如需要縮小或者 平移時，其蒙板中為1的前景區域要隨著圖像一起縮小或者平移。當蒙板中某個點的3*3 鄰域中既包含了 1也包含了 0，則認為該點就是前景圖像與背景圖像拼接處的邊界點。高斯模糊是數字圖像模板處理法的一種，其模板是根據二維正態分布(高斯分
布)函數計算出來的，即射工，力二^廠⑶高斯半徑。為高斯模糊濾鏡中的半徑。對
L71G,
二維高斯分布圖像來說，是一個鐘形曲面，高斯半徑越小，曲面越高越尖越陡峭；高斯半徑 越大，曲面越低越平緩。因此高斯半徑越小，則模糊越小，高斯半徑越大，則模糊程度越大。 根據這個二維正態分布公式，可以計算出不同半徑下的高斯模板。當o = 0.849時，其3*3 歸一模板如下所示
對於邊界點(k，1)，將其置於模板的中心，然後將模板上對應的值分別乘以模版中 對應像素的 RGB 值後相加，即0. 06Xi (k-1，1-1) +0. 13Xi (k，1-1) +. +0. 06Xi (k+1，1+1)，可 以得到一個新的RGB，這個值就是模糊後圖像的對應像素的RGB值。由於正態分布的曲線是 中間高兩邊低，所以所得的像素與原來的像素相似度最大，也就基本上保持了原來圖形的 基本形狀，並且其邊緣也被模糊了。高斯模糊本質上一種低通濾波器。體現在圖像處理上，圖像的邊緣等灰度變化劇 烈的地方對應高頻信息，將被濾除。因此利用高斯模糊能夠將邊緣進行融合讓圖像更真實上述實施例一和實施例二還可以包括採用色度關聯度的自適應均值濾波的方法 消除圖像的噪聲。色度關聯度的自適應均值濾波通過色度關聯加權完成權值的優化過程。其權值是 通過濾波窗口內各像素樣本點的灰度值與窗口中幾像素均值的相似程度來確定，以獲得其 權值確定該值在此次計算像素值中所起的權重作用。如果該窗口內的像素全為零，則此時 只做均值計算，不作關聯計算。對於圖像中的一個像素點x(i，j)，其有4X4的窗口模板，其中的點的序列為(x(i， j)，x(i+l，j)，...x(i+2，j+2))分別記為(Xq，Xi，X2. ..x15)，共有 16 個像素點。對模板像素 矩陣的灰度值做如下處理在圖像濾波窗口中選擇窗口像素均值作為參考均值，且只有一個元素，即avg = [x(i, j)+...+x(i+l, j+l)+...+x(i+2, j+2)]/16。對原始數據列進行均值化處理，即每個 像素點除以avg均值。計算差序列A。t= |X<rXt|、並確定兩極最大差巧f與兩極最小差 利用色度關聯繫數計算濾波後的像素的灰度值
=-；-其中 平滑處理模塊消除的噪聲並不限於人眼所能看的見的失真和變形，圖像常見噪聲 主要有加性噪聲、乘性噪聲和量化噪聲等。圖像中的噪聲往往和信號交織在一起，尤其是乘 性噪聲，如果平滑不當就會使圖像本身的細節如邊界輪廓、線條等變的模糊不清。圖像的能 量主要集中在其低頻部分，噪聲所在的頻段主要在高頻段。上述實施例一和實施例二還可以包括採用直方圖均衡化的灰度變換方式對圖像 進行自適應色調調節。由於初始合成的圖像都是比較粗糙的，沒有經過任何手段對其進行顏色的統一， 源圖像和目標圖像可能具有不同的顏色基調，如果只是簡單的將其合成在一起那麼合成圖多半會比較生硬、不自然，為了讓源圖像與目標圖像融合在一起，需要色調調節模塊對初步 合成圖像進行顏色調節，讓其色調達到統一。圖像的直方圖是一個關於圖像灰度級別的離散函數f(x)，描述的是圖像中具有該 灰度級別的像素的個數。它是以圖形化參數來顯示圖片曝光精確度的手段，其描述的是圖 片顯示範圍內影像的灰度分布曲線。直方圖的左邊顯示了圖像的陰影信息，直方圖的中間 顯示了圖像的中間色調信息，直方圖的右邊顯示了圖像的高亮信息。一幅較好的圖像應該 明暗細節都有，在柱狀圖上就是從左到右都有分布，同時直方圖的兩側沒有像素溢出。直方圖均衡化就是對圖像進行處理，使得圖像直方圖中所有的灰度級別儘量擁有 相同的像素個數，均衡化後函數f(x)在所有灰度級上的離散和為1。離散函數f (x)可以認 為是圖像中具有相同灰度值的像素出現的概率密度函數。假設原圖像灰度值變量為r，變化後的新圖像的灰度值變量為s，灰度變換函數為 s = T(r)。Pr(r)是隨機變量為r的概率密度函數，原圖像灰度值在區間[r，r+dr]上的像 素的個數為已(r)dr，在新圖像中灰度值在區間[s，s+ds]上的像素個數為&(8)如，有&(8)
。兩邊積分，並進行均衡化得〃 =由於數字圖像是離散的，對上式離
散化有& zgf+A"其中k為離散的灰度級，sk為取值實際與T(rk)最近的灰度值，~是
灰度級為j的象素數，N表示像素總數，Ap為增強參數。每一象素的sk為均衡化後的正 規化灰度，統計sk即可得出均衡化後的直方圖。本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可 以通過程序來指令相關的硬體來完成，該程序可以存儲於一計算機可讀存儲介質中，存儲 介質可以包括ROM、RAM、磁碟或光碟等。實施例三、一種圖像處理裝置，邏輯結構示意圖如圖4所示，包括圖像獲取單元410，用於獲取待合成的至少兩幅圖像；亮度調節單元420，對所述圖像獲取單元410獲取的至少兩幅圖像進行亮度統一；圖像合成單元430，用於將所述亮度調節單元進行亮度調節後至少兩幅圖像合成 一幅圖像。實施例五中的圖像處理裝置可以運行實施例一所述的方法。實施例四，一種圖像處理裝置，邏輯結構示意圖如圖5所示，包括圖像獲取單元510，用於獲取待合成的至少兩幅圖像；亮度調節單元520包括 主分量分析單元521，用於將待合成的每一幅圖像進行主分量分析處理；計算單元522，用於計算所述每一幅圖像所有像素點對應的第一主分量的均值； 並分別計算所述每一幅圖像的第一主分量均值與所有待合成圖像的第一主分量均值的算 術平均的差值；調節單元523，根據所述計算單元522計算得到的差值調整對應圖像的亮度。圖像合成單元530，用於在所述調節單元523對待合成的進行亮度調節後，將所述 待合成的至少兩幅圖像合成一幅圖像。實施例五，一種圖像處理裝置，邏輯結構示意圖如圖6所示，包括
圖像獲取單元610，用於獲取待合成的至少兩幅圖像；亮度調節單元620包括主分量分析單元621，用於將待合成的每一幅圖像進行主分量分析處理；計算單元622，用於計算所述每一幅圖像所有像素點對應的第一主分量的均值； 並分別計算所述每一幅圖像的第一主分量均值與所有待合成圖像的第一主分量均值的算 術平均的差值；調節單元623，根據所述計算單元622計算得到的差值調整對應圖像的亮度。圖像合成單元630，用於在所述調節單元623對待合成的進行亮度調節以及視點 調節單元640對待合成的圖像做防越界處理後，將所述待合成的至少兩幅圖像合成一幅圖像。視點調整單元640，用於將所述待合成圖像區分為前景圖像和背景圖像；並依據 背景圖像的大小對前景圖像做防越界處理。本發明圖像處理裝置可以運行的方法參見上述實施例一和實施例二的描述，此處 不再贅述。以上對本發明實施例所提供的圖像合成方法及圖像處理裝置進行了詳細介紹，本 文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於 幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思 想，在具體實施方式
及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對 本發明的限制。
10
權利要求
一種圖像合成方法，其特徵在於，包括獲取待合成的至少兩幅圖像；將待合成的每一幅圖像進行主分量分析處理；計算所述每一幅圖像所有像素點對應的第一主分量的均值；分別計算所述每一幅圖像的第一主分量均值與所有待合成圖像的第一主分量均值的算術平均的差值；根據所述計算得到的差值調整對應圖像的亮度；將所述至少兩幅圖像合成一幅圖像。
2.如權利要求1所述的方法，其特徵在於，將待合成的每一幅圖像進行主分量分析處 理的過程包括採用自協方差函數對待合成的每一幅圖像數據的協方差矩陣進行對角化處理。
3.如權利要求1或2所述的方法，其特徵在於，將所述至少兩幅圖像合成一幅圖像之前 還包括將所述待合成圖像區分為前景圖像和背景圖像； 對前景圖像做防越界處理。
4.如權利要求3所述的方法，其特徵在於，所述對前景圖像做防越界處理的過程包括 獲取背景圖像的尺寸；根據所述背景圖像的尺寸對前景圖像進行縮放。
5.如權利要求3所述的方法，其特徵在於，所述對前景圖像做防越界處理的過程包括 將背景圖像劃分為多至少兩個互不重疊的背景區域；將每幅前景圖像針對其中一個背景區域做防越界處理後，將前景圖像移入該區域。
6.如權利要求1或2所述的方法，其特徵在於，還包括用二值蒙板記錄圖像合成的邊 界，對圖像合成的邊界進行模糊處理。
7.如權利要求1或2所述的方法，其特徵在於，還包括採用直方圖均衡化的灰度變換 方式對圖像進行自適應色調調節。
8.如權利要求1或2所述的方法，其特徵在於，還包括採用色度關聯度的自適應均值 濾波的方法消除圖像的噪聲。
9.一種圖像處理裝置，其特徵在於，包括 圖像獲取單元，用於獲取待合成的至少兩幅圖像；亮度調節單元，對所述圖像獲取單元獲取的至少兩幅圖像進行亮度統一； 圖像合成單元，用於將所述亮度調節單元進行亮度調節後的至少兩幅圖像合成一幅圖像。
10.如權利要求9所述的圖像處理裝置，其特徵在於，所述亮度調節單元包括 主分量分析單元，用於將待合成的每一幅圖像進行主分量分析處理；計算單元，用於計算所述每一幅圖像所有像素點對應的第一主分量的均值；並分別計 算所述每一幅圖像的第一主分量均值與所有待合成圖像的第一主分量均值的算術平均的差值；調節單元，根據所述計算單元計算得到的差值調整對應圖像的亮度。
11.如權利要求9或10所述的圖像處理裝置，其特徵在於，還包括視點調整單元，用於將所述待合成圖像區分為前景圖像和背景圖像；並依據背景圖像的大小對前景圖像做防越界處理 。
全文摘要
本發明公開了圖像合成方法及圖像處理裝置，由於對待合成的圖像進行亮度統一後，再進行圖像合成，使得合成後的圖像相對於現有技術中的合成方式得到的圖像，亮度差異小，圖片效果真實自然。
文檔編號G06T5/50GK101853498SQ20091013331
公開日2010年10月6日 申請日期2009年3月31日 優先權日2009年3月31日
發明者傅彥, 吳治國, 陳安龍, 高輝 申請人:華為技術有限公司;電子科技大學