一種圖像編輯傳播方法

2023-09-17 22:58:25

一種圖像編輯傳播方法
【專利摘要】本發明公開了一種圖像編輯傳播方法，包括以下步驟：1)輸入待處理的原始圖像，並獲取所述原始圖像的深度圖；2)接收用戶對原始圖像期望的傳播顏色；3)對原始圖像和所述深度圖分別進行域變換，並結合原始圖像域變換結果和深度圖域變換結果，得到混合域變換結果；4)利用步驟3)中域變換結果對步驟2)中用戶輸入的顏色信息進行濾波處理，得到圖片中各像素點編輯後的色度參考值；5)根據步驟4)得到的各像素點的色度參考值確定得到各像素點的色度值，結合所述色度值和原始圖像的灰度值，確定得到編輯傳播後的結果圖像。本發明的圖像編輯傳播方法，編輯傳播效果較好，沒有顏色傳播錯誤和混亂的現象，且邊緣處的顏色傳播也較正確。
【專利說明】一種圖像編輯傳播方法 【【技術領域】】
[0001] 本發明涉及計算機視覺技術和圖像處理領域，特別是涉及一種基於混合域變換的 圖像編輯傳播方法。 【【背景技術】】
[0002] 圖像編輯傳播方法是當前計算機圖像處理、視頻處理等學科領域的研究熱點，被 廣泛應用於影視製作、動畫製作，交互式視頻和圖像處理等領域。圖像編輯傳播是依據原圖 像的信息將用戶期望的編輯效果傳播到整個圖像中去。例如，用戶期望將圖片中人臉區域 編輯成紅色，圖像編輯傳播技術即是根據用戶的這一期望，對圖片進行處理，獲得處理後的 結果，處理後圖片中人臉所在區域變成紅色的。
[0003] 傳統的圖像編輯傳播方法是使用原圖像的顏色或紋理的邊界信息，然後基於相似 度的度量來將用戶期望的編輯效果傳播到整個圖片中相似的目標區域，最後再優化傳播 結果。圖像編輯傳播的方法有兩大類：基於窗口的局部方法和利用能量函數的全局方法。 基於窗口的局部方法的特點是計算複雜度低，執行效率高，但得到的編輯傳播效果不夠理 想。基於能量的全局方法中的能量函數一般是以下兩部分能量之和：首先是數據項，用來 測量期望的結果和目標結果的相似程度；其次是平滑項，用來約束相鄰像素之間的變換大 小，即連續性。構造完能量函數後，即可再利用優化算法來最小化或最大化能量函數和求 得圖像編輯傳播的結果。目前用於圖像編輯傳播的常用方法有流形保持算法（Manifold Preserving)和稀疏控制模型（A Sparse Control Model)。傳統的圖像編輯傳播方法編輯 傳播效果不理想，表現在傳播後整個圖片顏色較混亂，或者傳播後圖像邊緣處出現顏色傳 播錯誤。 【
【發明內容】
】
[0004] 本發明所要解決的技術問題是：彌補上述現有技術的不足，提出一種圖像編輯傳 播方法，編輯傳播效果較好，沒有顏色傳播錯誤和混亂的現象，且邊緣處的顏色傳播也較正 確。
[0005] 本發明的技術問題通過以下的技術方案予以解決：
[0006] -種圖像編輯傳播方法，包括以下步驟：1)輸入待處理的原始圖像，並獲取所述 原始圖像的深度圖；2)接收用戶對原始圖像期望的傳播顏色；3)對原始圖像和所述深度圖 分別進行域變換，並結合原始圖像域變換結果和深度圖域變換結果，得到混合域變換結果； 4)利用步驟3)中域變換結果對步驟2)中用戶輸入的顏色信息進行濾波處理，得到圖片中 各像素點編輯後的色度參考值；5)根據步驟4)得到的各像素點的色度參考值確定得到各 像素點的色度值，結合所述色度值和原始圖像的灰度值，確定得到編輯傳播後的結果圖像。
[0007] 本發明與現有技術對比的有益效果是：
[0008] 本發明的圖像編輯傳播方法，除了基於原始圖像的顏色紋理信息進行編輯傳播， 還引入了深度信息，對原始圖像和深度圖均進行域變換，結合兩者域變換結果將用戶期望 的顏色編輯傳播到目標區域。編輯傳播過程中基於顏色、紋理、深度信息進行相似性度量， 這樣，在顏色和紋理相似度很大的區域，而用戶期望的編輯不一樣時，可依據深度信息很好 地區分不同的物體和區域，從而獲得比現有隻利用圖像顏色紋理信息的方法更加好的編輯 傳播效果。特別是邊緣區域的編輯傳播，確保邊緣處的顏色傳播較正確。 【【專利附圖】

【附圖說明】】
[0009] 圖1是本發明【具體實施方式】的圖像編輯傳播方法的流程圖。 【【具體實施方式】】
[0010] 下面結合【具體實施方式】並對照附圖對本發明做進一步詳細說明。
[0011] 本發明的圖像編輯傳播方法是一種基於能量的局部方法。真實的場景往往包含 多種信息，例如顏色，紋理，形狀，深度等等，通過仔細研究場景的深度信息和紋理顏色信 息以及場景中相似區域的關係，發現通過顏色的差異能夠很好地區分場景中顏色不同的物 體，通過紋理的差異也能很好地區別不同紋理的物體和區域。這樣，基於顏色和紋理，使用 原圖像區域的相似做編輯傳播，利用域變換模型（Domain Transform)對原圖像做域變換， 通過預設的參數確定像素之間的相似性，根據相似性將用戶期望的編輯傳播到目標區域中 去。除此之外，在上述模型的基礎上引入場景的深度信息，除了可以保證上述模型能夠做到 的基於顏色和紋理差異的編輯傳播效果，還能克服顏色和紋理相似或一樣時編輯傳播的缺 陷。這是因為：如果場景中的物體顏色和紋理相似度很大，甚至完全一樣，而用戶期望的編 輯卻不一樣，則基於顏色和紋理相似度的編輯傳播往往會失效。而結合深度信息後，不同的 物體和區域的深度信息不一樣，則深度信息能很好地區分不同的物體和區域，從而確保此 時編輯傳播效果較好。而真實的場景中，物體總是有深度差異的，因此，深度信息的使用也 具有普適性，使得整張圖片的編輯傳播效果均較好。
[0012] 如圖1所示，為本【具體實施方式】中圖像編輯傳播方法的流程圖，包括以下步驟：
[0013] A1)輸入待處理的原始圖像，並獲取所述原始圖像的深度圖。
[0014] 輸入的原始圖像可為彩色圖片或者灰度圖片，可以是相機所拍攝或者從視頻序列 中抽取出來的任意一幀圖像。
[0015] 獲取圖像的深度圖時，可以通過相應的深度相機拍攝原始圖像對應的場景直接獲 取深度圖，也可以用當前比較成熟的計算深度圖的方法計算得到的深度圖。
[0016] A2)接收用戶對原始圖像期望的傳播顏色。
[0017] 用戶輸入期望被傳播的顏色時，可通過計算機輸入接口輸入可視的筆畫和顏色， 從而為圖像中某些對象或者區域指定新的顏色。通過筆畫和顏色即可識別出用戶期望為哪 些像素編輯賦予新顏色。
[0018] A3)對原始圖像和所述深度圖分別進行域變換，並結合原始圖像域變換結果和深 度圖域變換結果，得到混合域變換結果。
[0019] 優選地，域變換時循環3?5次重複進行，且當前次域變換時基於前一次域變換的 結果，這樣可提高相似度度量的準確性。根據經驗，一般3次即可，再重複多次，雖然效果又 一定提升，但計算量也相應增加了。
[0020] 優選地，進行域變換時按行、列交錯進行，且當前按列進行域變換時基於前一次行 域變換的結果；將一次行、列變換作為一個循環，循環3?5次得到最終域變換結果。將域 變換直接按照行或者列進行，不涉及像素鄰域之間的相關性，使得整個處理過程極其高效 快速，而且還能獲得十分令人滿意的編輯傳播效果。
[0021] 其中，原圖像域變換為：
[0022] 原始圖像是單通道的灰度圖時，域變換時按行或者列進行，具體表達式為：
【權利要求】
1. 一種圖像編輯傳播方法，其特徵在於：包括以下步驟： 1) 輸入待處理的原始圖像，並獲取所述原始圖像的深度圖； 2) 接收用戶對原始圖像期望的傳播顏色； 3) 對原始圖像和所述深度圖分別進行域變換，並結合原始圖像域變換結果和深度圖域 變換結果，得到混合域變換結果； 4) 利用步驟3)中域變換結果對步驟2)中用戶輸入的顏色信息進行濾波處理，得到圖 片中各像素點編輯後的色度參考值； 5) 根據步驟4)得到的各像素點的色度參考值確定得到各像素點的色度值，結合所述 色度值和原始圖像的灰度值，確定得到編輯傳播後的結果圖像。
2. 根據權利要求1所述的圖像編輯傳播方法，其特徵在於：所述步驟3)中進行域變換 時循環3?5次重複進行，且當前次域變換時基於前一次域變換的結果。
3. 根據權利要求1所述的圖像編輯傳播方法，其特徵在於：所述步驟3)中進行域變換 時按行、列交錯進行，且當前按列進行域變換時基於前一次行域變換的結果；將一次行、列 變換作為一個循環，循環3?5次得到最終域變換結果。
4. 根據權利要求1所述的圖像編輯傳播方法，其特徵在於：所述步驟3) 中原始圖像是單通道的灰度圖，域變換時按行或者列進行，具體表達式為：
，其中，u表示像素點X的行坐標或者列坐標；〇H， 〇s，（^分 別是用戶設定的參數，由用戶根據圖像域變換後的平滑程度以及編輯傳播後結果圖像的視 覺效果調整設定得到，〇s的取值範圍為20?200, 的取值範圍為0.1?2;I(x)， 在首次域變換時，為原始圖像中像素點X的灰度值；在非首次域變換時，為像素點X原始圖 像前一次域變換的結果；I'（X)表示I(x)的導數。
5. 根據權利要求1所述的圖像編輯傳播方法，其特徵在於：所述步驟3)中 原始圖像是三通道的彩色圖，域變換時分通道、按行或者列進行，具體表達式為：
，其中，k = 1，2, 3,分別表示3個通道；u表示像 素點X的行坐標或者列坐標；σ H，〇 s，σ A分別是用戶設定的參數，由用戶根據圖像域變換 後的平滑程度以及編輯傳播後結果圖像的視覺效果調整設定得到，〇s的取值範圍為 20?200, σΑ的取值範圍為〇· 1?2 ;Ik(x)，在首次域變換時，為原始圖像中像素點X相應 通道的灰度值；在非首次域變換時，為像素點X原始圖像相應通道的前一次域變換的結果； V (X)表示Ik(x)的導數。
6. 根據權利要求1所述的圖像編輯傳播方法，其特徵在於：所述步驟3)中深度圖域變 換時按行或者列進行，具體表達式進行
其中，u表示像素點X的行 坐標或者列坐標；σ d由用戶根據原始圖像的顏色和紋理差異情況而設定的參數，表示深度 圖對域變換結果的影響程度，取值範圍為〇. 5?50 ;D(x)，在首次域變換時，為深度圖中像 素點X的灰度值；在非首次域變換時，為像素點X深度圖前一次域變換的結果；D'（X)表示 D(x)的導數。
7. 根據權利要求6所述的圖像編輯傳播方法，其特徵在於：當原始圖像的顏色和紋理 差異較大時，設定〇(1在0.5< 的範圍內；當原始圖像的顏色和紋理差異較小時，設 定〇(1在5 < 50的範圍內。
8. 根據權利要求1所述的圖像編輯傳播方法，其特徵在於：所述步驟3)中混合域變換 結果為ct(u) = ctl (u)+ct2(u)，其中，ctl (u)表示原始圖像的域變換結果；ct2(u)表示深 度圖的域變換結果。
9. 根據權利要求1或4或5所述的圖像編輯傳播方法，其特徵在於：所述步驟4)中進 行濾波處理時，按照如下步驟進行，得到當前像素點P的色度參考值： 首先，根據H(t (p), t (q)) = δ {11 (p)_t (q) | < r}，確定得到當前像素點p對應的像素 點q的集合D(Q)，像素點q帶入函數中後使Η函數的值為1 ;其中，t(p)、t(q)分別表示像 素點P、q處的混合域變換結果；r為根據原始圖像域變換時設定的濾波器核的標準差參數 〇11而確定的參數，
當滿足設定的條件時，S函數取值為1 ;當不滿足設定的條 件時，δ函數取值為〇 ; 其次，根據確定的像素點q的集合D ( Ω )，計算得到當前像素點ρ對應的歸一化係數Κρ，
最後，計算像素點Ρ對應的色度參考值J(P)，
，其中， I(q)表示用戶在像素點q處期望傳播的顏色的像素值。
10. 根據權利要求1所述的圖像編輯傳播方法，其特徵在於：所述步驟5)中：當步驟4) 中得到的像素點的色度參考值為〇時，像素點的色度值取原始圖像中像素點的色度值；當 步驟4)中得到的像素點的色度參考值不為0時，像素點的色度值取步驟4)中得到的色度 參考值。
【文檔編號】G06T11/40GK104143203SQ201410368212
【公開日】2014年11月12日 申請日期:2014年7月29日 優先權日:2014年7月29日
【發明者】張永兵, 敖紅波, 王好謙, 戴瓊海 申請人:清華大學深圳研究生院