基於圖像庫的圖像合成質量自動評測方法
2023-05-12 05:48:16
專利名稱：基於圖像庫的圖像合成質量自動評測方法
技術領域：
本發明涉及圖像處理領域，特別是涉及一種圖像合成質量評測方 法，此方法基於圖像庫，並且能實現對大量圖像合成質量的自動評測。
背景技術：
隨著多媒體技術和網絡技術的發展，網際網路上豐富的圖像資源得 到廣泛應用，各種圖像處理技術成為計算機學科研究的熱門領域。其 中，圖像合成技術可以讓用戶通過多張照片拼合成 一 張以假亂真的照 片，並且滿足用戶對照片內容的要求。 一些圖像處理相關的商業軟體
(如Adobe Photoshop , Pixel Image Editor),可以通過複雜的用戶交互 實現上述目的。但是所述軟體的使用需要用戶有較強的美術專業知識 以及對軟體的熟練掌握，除此之外，還需要用戶付出長時間的枯燥勞 動。由於圖像合成技術可以廣泛應用於傳媒、娛樂、教育、軍事國防 等諸多領域，近年來國內外研究人員都對其進行了大量深入的研究。 這些研究致力於在提升圖像合成的真實效果的同時大大降低人工交 互的複雜度。但是，現有技術並不能對任意給定的兩幅圖像，都能實 現較好的合成結果。這是因為即使使用當前最好的圖像合成技術，當 輸入圖像的光照、紋理、色彩差別太大時，合成結果依然會有明顯的 瑕疵。不過隨著網絡資源的無限豐富， 一些海量圖像庫的建立為圖像 合成技術提供了新的發展空間。設想用戶需要將兩個圖像對象合成到 一起，他可以在圖像庫裡搜索光照、紋理、色彩等各方麵條件最相近 又包含相應內容的圖像，提取其中相應的內容進行合成，這樣可以保 證最佳的合成質量，比局限於兩張指定圖像的合成有明顯優勢，同時 又滿足了用戶對結果的要求。
發明內容
本發明要解決的技術問題在於提供一種基於圖像庫的圖像合成 質量自動評測方法，該方法對用戶從圖像庫中選出的含合成對象的圖 像(待合成圖像)進行合成質量評測，以便根據這一評測結果從中選 出合成質量最好的一組圖像進行合成。該方法基於圖像庫，相對於給 定兩張圖像來說大大擴展了圖像的選擇範圍，保證在選擇的圖像範圍 內使圖像的合成效果最佳，並且能實現合成質量的自動評測，避免了 複雜人工交互。
為解決上述技術問題，本發明的技術方案為讓用戶從一個已將圖 像分類和標註的圖像庫中指定含合成對象的圖像類別(假設用戶想將 一隻羊合成到草地上，就需要指定羊和草地兩類圖像)，並指定合成
位置；對一組待合成圖像的每一對合成對象的標註區域進行處理得到
合成對象的融合區域；對所述融合區域進行超像素分割(Superpixd Segmentation),每個分割區域是一對(兩個)超像素；計算每個超像素分 割區域的局部自定義合成能量；在超像素分割區域上計算一個封閉的
能量最小路徑，即最優合成路徑；計算每一組待合成圖像的所有最優
合成路徑的總能量，即總合成能量，對待合成圖像的合成質量進行評 估。
其中，待合成圖像一般是多個圖像，每一組待合成圖像可以是一 對(兩個)圖像，也可以是兩個以上圖像。所述一對圖像包括一個作 為背景的源圖像和一個作為前景的目標圖像，所述兩個以上圖像包括 一個或多個源圖像或目標圖像。評測包括兩個以上圖像的一組待合成 圖像的合成質量時，先分別計算一組圖像中每一對圖像的最優合成路 徑的能量，然後計算一組圖像的總合成能量，選擇總合成能量最小的 一組圖像進行合成。
其中，局部自定義合成能量用於評估融合區域中兩個對應超像素 的合成質量，可定義為一個與源圖像和目標圖像紋理差異、色彩差異、源圖像的背景紋理複雜度以及源圖像的前景和背景的差異皆相關的 函數。
其中，最優合成路徑包圍所述合成對象，合成圖像的質量由所述 最優合成路徑的能量決定，最優合成路徑的能量越小，合成圖像的質 量越好。
其中，每個超像素分割區域的能量除包括局部自定義合成能量以 外還可以為每個超像素分割區域的能量設置一個權重。 其中，最優合成路徑可以通過動態規划算法求解。 本發明的局部自定義合成能量計算方法能很好的評估兩個對應 超像素的合成質量。另外，由於超像素級的計算速度很快，超像素級 的局部自定義合成能量的計算、最優合成路徑的求解都非常快，因此 本發明能在可接受時間內完成對大量圖像合成質量的自動評測，而直 接圖像合成往往需要求解大型矩陣，花費的時間難以接受。
圖1為本發明的一種基於圖像庫的圖像合成質量自動評測方法
的流程圖2為本發明的求解最優合成路徑的示意圖。
具體實施例方式
下面結合附圖對本發明的具體實施方式
作進一步詳細說明。以下 說明不用來限制本發明的範圍。
本發明的一種基於圖像庫的圖像合成質量自動評測方法如圖1 所示，包括以下步驟
步驟sl01,用戶從圖像庫中指定含合成對象的圖像類別及合成位
置；
步驟sl02,對合成對象的標註區域進行形態學中的膨脹操作，在 膨脹區域和標註區域之間的區域就是融合區域；步驟sl03，對合成對象的融合區域進行超像素分割； 步驟sl04,計算每個分割區域的局部自定義合成能量; 步驟sl05，計算包圍合成對象的最優合成路徑； 步驟sl06,計算每一組待合成圖像的總合成能J
評估圖像合成
其中，膨脹操作一般膨脹20個像素。
其中，局部自定義合成能量定義如下
^ — / " if " € T、
A = J + 2\ otherwise,
能量巧'和""定義為
formula see original document page 7
能量^T'用來衡量源圖像與目標圖像紋理差異和色彩差異，其中 AG,和At/,分別是Gabor特徵向量差和LUV空間中UV分量空間的向 量差，0"g和 分別為lAG,lf和l/U/,f的統計方差。能量^ 用來衡量源
圖像的背景紋理複雜度以及源圖像的前景和背景的差異，其中|v2y;
為源圖像背景超像素的梯度平均值，A/7/是源圖像背景超像素和其附
近的前景區域顏色直方圖的差。能量定義中的一些參數在實驗中通常
取值如下Wl=0.7， w2=0.5， 7;=0.5。通過計算所述局部自定義合成
能量，每個超像素分割區域都有了一個合成能量值。
圖2為本發明中求解最優合成路徑的示意圖。合成對象區域a和 膨脹後源圖像的背景區域f之間為融合區域，b為超像素分割邊界。 本發明以超像素為結點c，相鄰的超像素之間為邊d，構建一個圖， 定義結點的能量為該結點的局部自定義合成能量5乘上一個權重c,， 然後求一個圍繞合成對象區域的封閉的能量極小路徑，即最優合成路 徑e。其中，最優合成路徑可通過2D動態規劃問題解得。
其中，權重c,.的計算方式如下首先將合成對象區域a的邊界映 射到一個圓周上，然後把融合區域中的每個超像素佔該圓周的比例作 為它所代表結點的權重。。使用這 一 權重計算出的最優合成路徑可以 得到最佳的合成效果。最優路徑區域邊界g所經過的區域為最優合成 路徑所經過的結點對應的超像素區域，最佳合成邊界應該在這一區域 中。
在求得最優合成路徑後， 一對圖像的合成能量為formula see original document page 8
其中①就是最優路徑區域邊界g所經過的區域。 對一組待合成圖像中的每一對圖像計算合成能量後，得到每組圖 像的總合成能量，對所有待合成圖像按照每組圖像的總合成能量從小 到大排序，合成能量越小，說明合成質量越好，由此完成了基於圖像 庫的圖像合成質量自動評測。
以上所述僅是本發明的優選實施方式，不用來限制本發明的範 圍。應當指出，在不脫離本發明技術原理的前提下，做出的任何修改、 等同替換、和改進等，均應視為在本發明的保護範圍之內。
權利要求
1、一種基於圖像庫的圖像合成質量自動評測方法，其特徵在於，所述方法包括以下步驟用戶從圖像庫中指定含合成對象的圖像類別，並指定合成位置；對合成對象的標註區域進行處理得到合成對象的融合區域；對合成對象的融合區域進行超像素分割；計算每個分割區域的局部自定義合成能量；計算包圍合成對象的最優合成路徑；計算每一組待合成圖像的合成能量，對待合成圖像的合成質量進行評估。
2、 如權利要求1所述的基於圖像庫的圖像合成質量自動評測方 法，其特徵在於，所述待合成圖像一般是多個圖像，每一組待合成圖 像可以是兩個圖像，也可以是兩個以上圖像。所述一對圖像包括一個 作為背景的源圖像和一個作為前景的目標圖像，所述兩個以上圖像包 括 一 個或多個源圖像或目標圖像。
3、 如權利要求2所述的基於圖像庫的圖像合成質量自動評測方 法，其特徵在於，所述局部自定義合成能量為一個與源圖像和目標圖 像紋理差異、色彩差異、源圖像的背景紋理複雜度以及源圖像的前景 和背景的差異皆相關的函數。
4、 如權利要求1所述的基於圖像庫的圖像合成質量自動評測方 法，其特徵在於，所述計算包圍合成對象的最優合成路徑的步驟中， 具體包括以每個超像素分割區域作為結點，計算一條圍繞合成對象 的封閉的能量最小路徑。
5、 如權利要求4所述的基於圖像庫的圖像合成質量自動評測方 法，其特徵在於，所述每個分割區域的能量都含有一個權重。
6、 如權利要求4所述的基於圖像庫的圖像合成質量自動評測方 法，其特徵在於，所述最優合成路徑，釆用動態規划算法求解。
7、 如權利要求1所述的基於圖像庫的圖像合成質量自動評測方 法，其特徵在於，所述對合成對象的標註區域進行處理為膨脹操作。
8、 如權利要求7所述的基於圖像庫的圖像合成質量自動評測方法，其特徵在於，所述膨脹操作為膨脹20個像素。
9、 如權利要求1所述的基於圖像庫的圖像合成質量自動評測方法，其特徵在於，釆用下述方式，對所述待合成圖像的合成質量進行評估對每一組待合成圖像按照其合成能量從小到大排序，合成能量 越小，則合成質量越好。
10、 如權利要求3所述的基於圖像庫的圖像合成質量自動評測方 法，其特徵在於，所述源圖像與目標圖像的紋理差異採用源圖像與目 標圖像的Gabor特徵向量差及其統計方差來衡量，所述源圖像與目標 圖像的色彩差異釆用源圖像與目標圖像的LUV空間中UV分量空間 的向量差及其統計方差來衡量，所述源圖像的背景紋理複雜度釆用源 圖像背景超像素的梯度平均值來衡量，所述源圖像的前景和背景的差 異釆用源圖像背景超像素和附近的前景區域顏色直方圖的差來衡量。
11、 如權利要求5所述的基於圖像庫的圖像合成質量自動評測方 法，其特徵在於，所述權重的計算方式包括將合成對象區域的邊界 映射到一個圓周上，然後把所述超像素分割區域中的每個超像素佔該 圓周的比例作為它所代表結點的權重。
全文摘要
本發明公開了一種基於圖像庫的圖像合成質量自動評測方法，該方法讓用戶從一個已分類且已對圖像中的對象進行標註的圖像庫中指定含合成對象的圖像類別及合成位置；對標註區域進行處理得到合成對象的融合區域；對融合區域進行超像素分割，計算每個分割區域的局部自定義合成能量，得到一個封閉的能量最小路徑，即最優合成路徑；計算每一組待合成圖像的總合成能量，對待合成圖像的合成質量進行評估。該方法基於圖像庫，保證在選取的圖像範圍內使圖像的合成效果最佳；局部自定義合成能量能很好的評估融合區域中兩個對應超像素的合成質量；採用超像素級的計算，能在可接受時間內完成對大量圖像合成質量的自動評測，避免了複雜的人工交互。
文檔編號G06T11/60GK101577010SQ20091008693
公開日2009年11月11日 申請日期2009年6月11日 優先權日2009年6月11日
發明者張松海, 程明明, 胡事民, 韜 陳 申請人:清華大學