一種基於學習的低比特率壓縮圖像超解析度重建方法
2023-05-13 14:21:16 1
一種基於學習的低比特率壓縮圖像超解析度重建方法
【專利摘要】本發明公開了一種基於學習的低比特率壓縮圖像超解析度重建方法，算法分為離線部分和在線部分。離線部分，首先採用不同壓縮質量參數值對低解析度圖像進行壓縮；然後對壓縮圖像進行濾波處理，接著將濾波後壓縮圖像的量化失真程度作為特徵，將濾波後的LR圖像按照其失真程度分為多類並建立分類樣本庫，然後分別用各類樣本進行超解析度模型的訓練。在線部分，首先對輸入圖像進行濾波處理，接著判定其壓縮失真類別，然後根據判定結果，選擇相應類別的樣本庫和超解析度模型，實現基於學習的超解析度復原。相比其他算法，本發明的方法能針對不同失真程度的輸入LR圖像自適應的調節與其相匹配的樣本庫，並能有效解決塊效應失真對圖像超解析度的影響，與直接對低比特率失真圖像進行超解析度復原相比，本發明方法所重建的圖像具有更高的主客觀質量。
【專利說明】一種基於學習的低比特率壓縮圖像超解析度重建方法【技術領域】
[0001]本發明涉及圖像處理方法，特別涉及一種基於學習的低比特率壓縮圖像超解析度
重建方法。
【背景技術】
[0002]高質量的圖像和視頻因其具有更豐富的信息和更真實的視覺感受，越來越成為一種主流的需求。但是圖像的質量越高也就意味著數據量越大，這給圖像信息的存儲、傳輸、處理等帶來了很大的負擔。受到傳輸帶寬和存儲空間等因素的影響，人們對視頻和圖像內容進行低比特壓縮的需求日益增長。但是，當JPEG壓縮率較高時，通常會導致解碼後重建圖像的質量下降，影響信息的主觀質量和自動分析。因此，針對高度壓縮後的低質圖像，研究超解析度復原技術，提高圖像的質量，具有重要的理論意義和實際應用價值。
[0003]然而，由於圖像壓縮方法本身的局限性，採用針對非壓縮圖像的超解析度方法直接對低比特壓縮圖像進行超解析度重建時，會出現嚴重的塊效應失真。因此，去除塊效應成為低比特壓縮圖像超解析度復原過程中的一個重要問題。人們往往採用後處理的方法來減少塊效應。後處理方法在濾波時獨立於解碼器，直接對解碼後的圖像進行操作，具有靈活、簡單、有效等優勢。基於圖像增強的後處理方法，因其不依賴任何解碼信息，可獨立地去除塊效應，更易於實現而得到廣泛研究。其中，空域濾波是一種最基本的方法，該方法直接對圖像中像素的亮度值進行處理。由於圖像中的塊效應是由於量化誤差引起的，圖像內容的變化會引起壓縮後圖像的塊效應的表現形式，因此對圖像不同區域自適應地選擇不同平滑強度的濾波器，有著很重要的意義。典型的空域濾波法通常採用紋理分類的方法，根據人眼視覺特性將圖像分為平坦塊與非平坦塊，然後進行自適應濾波，該方法的兩個顯著特點是根據自身局部信息將圖像劃分為 不同的區域，對不同的區域採用不同的濾波方法去除塊效應。通常的方法是在平坦區域採用高強度平滑，因為平坦區域不存在高頻信息，高強度的平滑不會使圖像過度模糊。對於非平坦塊，由於存在較多的高頻信息，應用低強度平滑濾波能夠較好地保存高頻細節信息。然而在該算法中，含有明顯邊緣信息的區域統一歸為紋理區域，並未進行單獨處理。實驗結果表明，受到量化失真的影響，這類區域會對圖像的主觀質量造成較大的影響。因此，採用與紋理區域相同的濾波器不能很好地處理邊緣區域的量化失真問題。
【發明內容】
[0004]本發明的目的在於，面向低比特率壓縮圖像，採用一種改進的後處理濾波算法和一種樣本預分類的方法，結合基於學習的圖像超解析度方法，解決具有塊效應失真的低解析度圖像的超解析度復原問題。
[0005]本發明是採用以下技術手段實現的:
[0006]一種基於學習的低比特率壓縮圖像超解析度重建方法，整體流程圖如附圖1所示；算法分為離線部分和在線部分；其流程圖分別如附圖2和附圖3所示；離線部分，根據壓縮圖像失真程度建立分類樣本庫；首先採用不同壓縮質量參數(CQ，CompressedQuality)值對低解析度(LR,Low Resolution)圖像進行壓縮；然後對壓縮圖像進行濾波處理，去除失真圖像中的部分塊效應；接著將濾波後壓縮圖像的量化失真程度作為特徵進行K均值聚類，將濾波後的LR圖像按照其失真程度分為多類並建立分類樣本庫，分別用各類樣本進行超解析度模型的訓練；在線部分，對輸入圖像進行壓縮程度的類別判定，然後實現基於學習的超解析度復原；首先對輸入的低比特率壓縮LR圖像進行濾波處理，然後評估量化失真程度，選擇相應類別的樣本庫和超解析度模型，進行基於學習的超解析度復原。
[0007]所述離線部分分為4個步驟:
[0008](I)對n^gLR圖像運用JPEG壓縮方法，進行η個不同CQ值的壓縮處理，生成不同壓縮失真程度的樣本圖像共mXn幅。以上所述LR圖像是指相對於高解析度(HR，HighResolution)圖像而言，如果一幅HR圖像單位面積內所佔的像素數為H，那麼相對於這幅HR圖像而言單位面積內所佔像素數小於或等於1/2XH，一般就視其為低解析度圖像。這裡，CQ值為採用JPEG對圖像進行壓縮時的壓縮質量參數，調節CQ大小就可以得到不同壓縮率的壓縮圖像；
[0009](2)對(I)中得到的圖像採用後處理濾波方法進行濾波處理，去除失真圖像中的部分塊效應。
[0010](3)對濾波後的圖像壓縮失真程度進行評估。計算每幅濾波後的圖像的塊效應失真值，作為失真程度評估值。以上所述，後處理濾波方法，首先對圖像進行紋理分類，將圖像劃分為邊緣區域，紋理區域和平坦區域，然後根據圖像塊的類型，針對性的選擇不同的濾波方法對圖像進行濾波，去除圖像中的塊效應。以上所述，圖像的塊效應失真程度評估值方法採用圖像的MSDS值作為圖像塊效應的失真程度評估值。MSDS (MSDS，Mean SquaredDifference of Slopes)是一種均方斜率誤差的塊效應評價準則，MSDS算法通過描述圖像塊邊界像素跳變的劇烈程度來衡量塊效應的程度。在正常的圖像中，相鄰塊邊界的像素亮度值通常為平穩過度或者連續過度，正常圖像中邊緣像素值跳變不可能總出現在分塊的邊界處，如果圖像分塊的邊界處 的像素值總是出現跳變就可以認為此處出現了塊效應。MSDS通過計算相鄰圖像塊邊界處的像素差值和靠近邊界的像素平均亮度差值，來反應塊與塊邊界之間的像素跳變情況，因此，根據MSDS值的大小，就可以判別圖像塊效應失真的嚴重程度。
[0011](4)用得到的評估值為特徵，採用K均值聚類的方法按照濾波後的圖像的失真程度將這些圖像分為N類；針對每個類中的圖像，建立用於超解析度復原的樣本庫，結合與樣本庫中LR圖像對應的HR圖像進行基於學習的超解析度復原模型的訓練，為在線部分的輸入圖像超解析度復原做準備；
[0012]所述在線部分分為3個步驟:
[0013](I)輸入一幅低比特率壓縮圖像，對其採用以上所述後濾波方法進行濾波處理；
[0014](2)對濾波後的圖像計算MSDS值，得到該圖的塊效應失真評估分數；根據得到的分數與N個類別中的樣本圖像的分數計算相似度，判斷輸入圖像所屬的壓縮失真類別。判斷輸入圖像所屬的壓縮失真類別具體方法為:首先對輸入的失真LR圖像進行濾波處理，獲得其MSDS值，然後計算它與N個類別的聚類中心間的歐氏距離，以與輸入圖像的歐氏距離最近的聚類中心所在類別，為輸入圖像所屬的類別；[0015](3)選擇與輸入圖像最相近的一類中的樣本作為輸入圖像的樣本庫，將濾波後的輸入圖像的數據輸入到離線部分已經訓練好的超解析度復原模型中，實現圖像的超解析度復原；
[0016]本發明與現有技術相比，具有以下明顯的優勢和有益效果:
[0017]本發明首先提出了一種改進的空域圖像濾波算法，利用了人眼視覺敏感特徵，將圖像紋理分為平坦塊，邊緣塊和紋理塊。然後分別對3種類型塊區域採用不同強度的濾波算法，去除塊效應。在建立樣本庫時，採用這種改進的濾波方法對失真的LR圖像進行了濾波處理，較好的解決了重建圖像的塊效應失真問題；另外，針對不同壓縮失真程度的LR輸入圖像，提取了濾波後圖像的MSDS值作為每幅圖像的特徵，然後採用K均值聚類將具有相近失真程度的圖像歸為一類，並建立相應的樣本庫。在對不同失真程度的輸入LR圖像進行超解析度復原時，首先評估其MSDS值，然後確立最相近的一類作為輸入LR圖像的樣本庫，最後應用基於學習的超解析度算法進行超解析度復原獲得輸出的HR圖像。相比其他算法，本發明的方法能針對不同失真程度的輸入LR圖像自適應的調節與其相匹配的樣本庫，並能有效解決塊效應失真對圖像超解析度的影響，與直接對低比特率失真圖像進行超解析度復原相比，本發明方法所重建的圖像具有更高的主客觀質量。
[0018]本發明的特點:
[0019]1.提出一種改進的空域濾波算法，將圖像紋理分為平坦塊，邊緣塊和紋理塊，分別對3種類型塊區域採用不同強度的濾波算法，濾波更具針對性，在濾波的同時更好地保持圖形細節信息；
[0020]2.利用失真 圖像的MSDS特徵值，採用K均值聚類對圖像的失真程度進行分類，可自適應調節與輸入圖像相匹配的樣本庫，同時細化了樣本庫，減少了計算量；
[0021]3.用於超解析度復原所用的樣本庫是通過濾波後建立的，有效解決了圖像超解析度重建的塊效應失真問題；
[0022]下面結合實例參照附圖進行詳細說明，以求對本發明的目的、特徵和優點得到更深入的理解。
【專利附圖】
【附圖說明】:
[0023]圖1、發明方法總體流程圖；
[0024]圖2、發明方法離線部分流程圖；
[0025]圖3、發明方法在線部分流程圖；
[0026]圖4、圖像紋理分類結果；(a)原始圖像；(b)邊緣圖像；(C)紋理圖像；(d)平坦圖像；
[0027]圖5、塊效應示意圖；
[0028]圖6、需要被濾波的水平與垂直邊界示意圖；
[0029]圖7、基於示例學習的超解析度重建模型；
[0030]圖8、本發明方法與現有方法結果比較:
[0031](a)原始高解析度圖像(b) JPEG壓縮後的圖像(CQ=I5)
[0032](C)經過壓縮後直接重建圖像 (d)現有方法
[0033](e)本發明結果。【具體實施方式】:
[0034]以下結合說明書附圖，對本發明的實施實例加以詳細說明:
[0035]本發明算法分為離線和在線兩部分。離線部分，根據壓縮圖像失真程度建立分類樣本庫；首先採用不同壓縮質量參數(CQ)值對低解析度(LR)圖像進行壓縮；然後對壓縮圖像進行濾波後處理，去除失真圖像中較明顯的塊效應；接著將濾波後壓縮圖像的量化失真程度作為特徵進行K均值聚類，將濾波後的LR圖像按照其失真程度分為多類並建立分類樣本庫，分別用各類樣本進行超解析度模型的訓練；在線部分，對輸入圖像進行類別判定完成基於學習的超解析度復原；首先對輸入的低比特率壓縮LR圖像進行濾波處理，然後評估量化失真程度，選擇相應類別的樣本庫和超解析度模型，進行基於學習的超解析度復原。
[0036](一)離線部分
[0037](I)不同CQ值對LR圖像進行壓縮
[0038]選擇一個HR圖像樣本庫(非壓縮圖像)，樣本庫中圖像具體解析度為140X160像素，選擇其中的1000幅HR圖像，然後對這些圖像直接進行下採樣，生成1000幅低解析度的LR圖像組成樣本庫。從這個LR樣本庫中選擇m=300幅圖像，具體解析度為70X80像素的圖像。採用JPEG壓縮方式，將這m幅LR圖像進行CQ=5~20的壓縮，這樣共產生4800幅壓縮失真圖像。CQ值選擇這個區間的原因是當CQ小於5時，圖像失真程度已經無法進行有效的超解析度復原，且不是常用的CQ範圍，CQ大於20時，圖像的主觀質量已經基本一致，人眼已經無法察覺圖像失真，並且壓縮碼流的大小超出低比特率範圍。
[0039]( 2)對壓縮圖像進行濾波處理
[0040]對(I)中得到的圖像採用後處理濾波方法進行濾波處理，以上所述，後處理濾波方法，首先對圖像進行紋理分類，將圖像劃分為邊緣區域，紋理區域和平坦區域；然後根據圖像塊的類型，針對性地選擇不同的濾波方法對圖像進行濾波。將3種區域按照8X8大小分塊，再根據圖像塊類型分別採用不同方式進行去塊效應濾波。
[0041]首先，對圖像進行紋理分類，具體方法為:
[0042]選擇Sobel算子提取圖像像素點的梯度信息，採用的方向模板如公式⑴:
【權利要求】
1.一種基於學習的低比特率壓縮圖像超解析度復原方法；算法分為離線部分和在線部分；所述離線部分包括4個步驟；首先將用於訓練的圖像樣本採用不同的壓縮比生成具有不同壓縮質量的圖像，然後進行濾波處理去除壓縮失真圖像中的部分塊效應，接著根據壓縮圖像失真程度建立分類樣本庫並訓練基於學習超解析度復原中的預測模型，為在線部分的輸入圖像超解析度復原做準備； 所述在線部分包括3個步驟；實現輸入低比特率壓縮圖像的去塊效應，類別判定和最終的超解析度復原； 所述的離線部分，具體步驟如下: .1.1不同CQ值對LR圖像進行壓縮: 對m幅LR圖像運用JPEG壓縮方法，進行η個不同CQ值的壓縮處理，生成不同壓縮失真程度的樣本圖像共mXn幅；這裡LR圖像是指未經壓縮的低解析度圖像，CQ值為採用JPEG對圖像進行壓縮時的壓縮質量參數； .1.2對壓縮圖像進行濾波處理: 對1.1中得到的圖像採用後處理濾波方法進行濾波處理，去除失真圖像中的部分塊效應；以上所述後處理濾波方法，首先對圖像進行紋理分類，將圖像劃分為邊緣區域，紋理區域和平坦區域；然後根據圖像塊的類型，針對性地選擇不同的濾波方法對圖像進行濾波；以上所述對圖形進行紋理分類的具體方法為: 選擇Sobel算子提取圖像像素點的梯度信息，採用的方向模板如公式(I):
【文檔編號】H04N7/26GK103475876SQ201310379154
【公開日】2013年12月25日 申請日期:2013年8月27日 優先權日:2013年8月27日
【發明者】李曉光, 趙寒, 卓力, 魏振利 申請人:北京工業大學