一種基於內容的圖像自適應縮放方法
2023-05-28 17:20:21 3
專利名稱：一種基於內容的圖像自適應縮放方法
技術領域：
本發明涉及圖像處理技術領域，具體涉及一種基於內容的圖像自適應縮放方法的研究及實現。具體是一種細縫裁減和網格映射最優化結合進行內容自適應的方法。
背景技術：
隨著移動多媒體技術的迅速發展，如行動電話和高畫質電視的不斷換代更新，不同類型不同尺寸的顯示終端不斷湧現以適應各種不用的用戶需求。為了保證不同設備的用戶都能夠舒適地觀看同樣的圖像內容，這就要求圖像重定位系統，使圖像內容能夠自適應於不同尺寸、不同比例的用戶終端，研究保持圖像主要內容的自適應技術具有重要的應用意義。現在已經提出了很多的內容自適應方法主要有基於細縫裁減(seam carving) 的方法，基於網格的重定位(mesh-based retargetig)的方法和二者混合(hybrid approaches) StJ77 °基於細縫裁減方法特點是能夠最大限度的保持圖像中的重要區域，去除最低能量區域。但是當圖像中的不重要信息全部去除後，繼續採用細縫裁減方法勢必會帶來重要信息的損失和對象變形，從而導致圖像視覺質量快速下降。基於網格的重定位的方法首先由用戶設定一些需要保持形狀的感興趣的重要區域，在進行圖像縮放時，感興趣區基本上採取相似變換，而其它區域則採取非線性變換，這種方法的代價是其它非重要的背景區域發生大的變形來保護重要區域。但這種方法只能壓縮而不是去除非重要區域，當圖像/視頻中有大量非重要區域時，處理效果不理想。現有的二者混合的方法有兩種細縫裁減的方法和尺度縮放的方法的結合，先進行細縫裁減，然後用尺度縮放至目標尺寸，這樣容易造成信息區域的丟失；細縫裁減的方法和網格映射的方法結合，每抽取一條細縫後，計算當前圖像的變形，通過儘量縮減非重要區域來保持重要區域信息。
發明內容
本發明是針對連續的細縫裁減導致的信息丟失等問題，提出了一種適應於不同尺寸用戶終端的圖像自適應技術，儘可能的保持圖像中的重要內容，壓縮非重要內容，以保證最佳的視覺效果。由於目前圖像自適應技術方法對內容相似度的識別有各自的優缺點和局限性，本發明提供了一種新的方法，將加權的細縫裁剪方法和網格映射方法進行最優化結合。本方法首先提出了一種改善的細縫裁減方法，在對參考圖像進行裁減的過程中對能量函數進行加權，當抽取的細縫落入重要區域時，將相鄰像素能量增值，這樣就降低了相鄰像素被抽取的可能性，從而減少了信息的損失；其次通過網格映射將參考圖像進行縮放，以到達最佳的視覺效果。發明的方法具體包括如下步驟
1)輸入大小為M*N的原始圖像，並設定輸出圖像的目標尺寸為M' 。2)用顯著度圖提取參考圖像的重要信息，並用閾值將重要區域像素置為0，非重要區域像素置為1，並參考這些信息進一步對重要信息內容進行評價。進一步的所述步驟2、具體包括2. 1)將參考圖像轉化為灰度圖像2. 2)計算閾值Α，r0為各像素點的灰度值g(x，y)之和的平均值。2. 3)用顯著度圖提取圖像中的重要像素信息，並用如下閾值法得到二值圖像函數
1 χ v~) < r
b(x, 7),^^)=1 g(x；其中值為0的像素為重要像素，並得到每一個像素點的坐標3)用改進的細縫裁減方法對灰度圖像進行裁減，首先儘量多的對非重要信息部分進行細縫裁減，如果細縫穿過重要區域，需對細縫的鄰近的像素值進行加權，從而使過重要區域的細縫的數量減少，來有效的保持重要區域的形狀，具體包括3. 1)細縫裁減的初始化。先計算原始圖像中每個像素的灰度值，作為初始灰度值；然後從第二行像素開始計算每一個像素的灰度加權函數；其灰度加權函數是這個像素與其緊鄰的左上方、上方、 右上方的三個像素分別加權，取其最小值；在第二行像素的第一個像素由於沒有左上方的像素，第二行像素的第一個像素加權後的灰度值為第二行像素的第一個像素分別與其正上方、右上方像素加權，加權和較小的那個像素為此像素點的灰度值；在第二行像素的最後一個像素由於沒有右上方的像素，加權後的灰度值為第二行像素的最後一個像素與其正上方以及左上方像素二者之中較小的那個像素灰度值之和；其餘的第二行像素的加權後的灰度值為該像素與其右上方、正上方以及左上方像素三者之中較小的那個像素灰度值加權之和；依次類推得到第三行的像素的灰度加權函數，然後再得到第四行的像素的灰度加權函數，直到整個圖像計算完畢得到最終的圖像所有的累積後的前向能量累積矩陣；每一行得到的最小的灰度加權值是上面一行鄰近的最小的加權值和本像素點的像素值加權得到的。 計算完畢後，從最後一行開始向上一行遍歷鄰近的最小的灰度權值，然後這些最小的灰度權值所經過的像素點的連線即為要裁減的細縫；假設一副圖像I (X，y)，對其進行垂直細縫裁減，可得到三種不同的像素值在對以(X，y)為中心的圖像左上方部分、上方，右上方部分裁減時的累積矩陣函數分別為在對以(X，y)為中心的圖像左上方、上方，右上方像素點裁減時的累積矩陣函數
分別為
權利要求
1.一種基於內容的圖像自適應縮放方法，其特徵在於步驟如下(1)輸入原始圖像，並設定輸出圖像的目標尺寸；(2)用顯著度圖提取參考圖像的重要信息，並用閾值將重要區域像素置為0，非重要區域像素置為1，並參考這些信息進一步對重要信息內容進行評價；所述步驟2~)具體包括·2.1)將參考圖像轉化為灰度圖像(2. 2)計算閾值A，r0為各像素點的灰度值g(x，y)之和的平均值；(2.3)用顯著度圖提取圖像中的重要像素信息，並用如下閾值法得到二值圖像函數 b(x, Y),b(x,y) = \ '·"； °，其中值為0的像素為重要像素，並得到每一個像素點的坐 [0 g(x,y)>r0標值；(3)用改進的細縫裁減方法對灰度圖像進行裁減，首先儘量多的對非重要信息部分進行細縫裁減，如果細縫穿過重要區域，需對細縫的鄰近的像素值進行加權，從而使過重要區域的細縫的數量減少，來有效的保持重要區域的形狀，具體包括(3.1)細縫裁減的初始化先計算原始圖像中每個像素的灰度值，作為初始灰度值；然後從第二行像素開始計算每一個像素的灰度加權函數；其灰度加權函數是這個像素與其緊鄰的左上方、上方、右上方的三個像素分別加權，取其最小值；在第二行像素的第一個像素由於沒有左上方的像素，第二行像素的第一個像素加權後的灰度值為第二行像素的第一個像素分別與其正上方、右上方像素加權，加權和較小的那個像素為此像素點的灰度值；在第二行像素的最後一個像素像素由於沒有右上方的像素，加權後的灰度值為第二行像素的最後一個像素與其正上方以及左上方像素二者之中較小的那個像素灰度值之和；其餘的第二行像素的加權後的灰度值為該像素與其右上方、正上方以及左上方像素三者之中較小的那個像素灰度值加權之和； 依次類推得到第三行的像素的灰度加權函數，然後再得到第四行的像素的灰度加權函數， 直到整個圖像計算完畢得到最終的圖像所有的累積後的前向能量累積矩陣；每一行得到的最小的灰度加權值是上面一行鄰近的最小的加權值和本像素點的像素值加權得到的。計算完畢後，從最後一行開始向上一行遍歷鄰近的最小的灰度權值，然後這些最小的灰度權值所經過的像素點的連線即為要裁減的細縫；(3. 2)去除一條細縫，更新加權函數；如果一條細縫落入一副圖像的重要信息區域，應該對其鄰近的像素點進行能量加權；假設是沿垂直方向進行細縫裁減，裁減掉一條細縫後，，沿^所對應的細縫對垂直方向坐標y進行遍歷，即對坐標(χο，y)進行遍歷，根據二值圖像的坐標矩陣判斷細縫是否落入重要區域，其中y是細縫對應的垂直方向的所有的坐標值，^是對應y的橫坐標；( ，y)的鄰近像素點的集合是C= {(x0+P,y),P = 士 1，士2L 士 Bandwidth}，其中Bandwidth是要加權的帶寬的一半，取Bandwidth為6-8之間的整數值，對像素點(X(1+p，y)進行加權後的加權函數是wK + p, y ) = w(x0 +P,y) + do -^J-^ Μχο,γ)^(3. 3)測量重要區域的能量損失和判斷細縫裁減何時終止；用Ca_SSim的評價方法來測量全部重要區域的能量損失和判斷細縫裁減何時終止，具體包括首先進行結構相似度的測量(ssim)，ssim只適用於局部相似度的統計；假設f和g是兩個非負的圖像信號， f的均值和標準差分別為
全文摘要
一種基於內容的圖像自適應縮放方法屬於圖像處理領域。本發明通過將現有的細縫裁減進行加權並和網格映射結合在一起。本方法首先採用細縫裁減的方法對圖像進行裁減，當細縫落入重要區域，對其鄰近細縫的能量進行加權，以減少重要區域的細縫裁減，增加非重要區域的細縫裁減；對於細縫裁減後的圖像進行網格映射，使圖像達到目標尺寸。本發明不僅縮放了非重要區域的圖像信息，並且有效的保持了縮放後重要圖像信息的比例和細節，實現了圖像內容自適應的最優化。
文檔編號G06T3/40GK102254300SQ20111018593
公開日2011年11月23日 申請日期2011年7月4日 優先權日2011年7月4日
發明者劉書琴, 劉榿, 宮玉, 曹連超, 毋立芳, 鄧亞麗, 顏鳳輝, 高美琴 申請人:北京工業大學