一種基於深層協作表達的超解析度圖像的重建方法及系統與流程

2023-05-07 03:15:06

本發明涉及圖像處理技術領域，尤其涉及一種基於深層協作表達的超解析度圖像的重建方法及系統。

背景技術：

人臉圖像超解析度技術(也叫幻覺臉技術)是一種由低解析度的人臉圖像產生高解析度的人臉圖像的圖像超解析度重建方法。人臉圖像超解析度技術可以應用在很多領域，如人臉識別、人臉視頻圖像傳輸、人臉圖像恢復以及人臉圖像表情分析等。例如，在視頻監控中，由於攝像頭的解析度有限且與目標距離較遠等原因，監測到的人臉圖像較小，解析度低。為了能更好地觀察和識別分析，需要對它們進行超解析度重建。

但是，基於人臉的特殊性，現有的方法的重建精度低，無法滿足實際的解析度重建需求。

技術實現要素：

本發明通過提供一種基於深層協作表達的超解析度圖像的重建方法及系統，解決了現有技術中重建精度低的技術問題，實現了滿足實際的解析度重建需求的技術效果。

本發明提供了一種基於深層協作表達的超解析度圖像的重建方法，包括：重建過程；所述重建過程至少包括：

對初始圖像、低解析度圖像訓練集中的圖像和高解析度圖像訓練集中的圖像在像素域中劃分相互重疊的圖像塊；

計算由所述低解析度圖像訓練集劃分得到的圖像塊訓練集對由所述初始圖像劃分得到的圖像塊進行線性重建時的最優權值係數；

將所述由所述初始圖像劃分得到的圖像塊替換為位置對應的由所述高解析度圖像訓練集劃分得到的圖像塊，並用所述最優權值係數加權合成高解析度圖像塊；

將所述高解析度圖像塊進行融合，獲得高解析度圖像；

將所述獲得的高解析度圖像作為新的初始圖像，進行至少一次所述重建過程，得到最終的高解析度圖像。

進一步地，所述計算由所述低解析度圖像訓練集劃分得到的圖像塊訓練集對由所述初始圖像劃分得到的圖像塊進行線性重建時的最優權值係數，具體包括：

通過公式計算得到所述最優權值係數

其中，yi是由所述初始圖像劃分得到的圖像塊，Li是由所述低解析度圖像訓練集劃分得到的圖像塊訓練集，ai是初始圖像劃分得到的圖像塊的重建係數組成的行向量，τ是平衡重建誤差和局部約束的正則化參數，是歐式平方距離，i是樣本序號。

進一步地，在每進行一次所述重建過程之後，對所述低解析度圖像訓練集和所述高解析度圖像訓練集進行更新。

進一步地，所述對所述低解析度圖像訓練集和所述高解析度圖像訓練集進行更新，至少包括：

將所述低解析度圖像訓練集中的圖像通過插值得到高解析度圖像，並在特徵域提取特徵，將提取到的特徵劃分為相互重疊的特徵塊；

在特徵域中，從所述低解析度圖像訓練集中的圖像中提取與所述高解析度特徵塊相對應的低解析度特徵塊；

在像素域中，分別找到與所述高解析度特徵塊、所述低解析度特徵塊對應的圖像塊，分別作為更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集。

進一步地，所述從所述低解析度圖像訓練集中的圖像中提取與所述高解析度特徵塊相對應的低解析度特徵塊，具體包括：

基於KNN算法中的歐式距離從所述低解析度圖像訓練集中的圖像中提取K個與所述高解析度特徵塊相對應的低解析度特徵塊；

所述在像素域中，分別找到與所述高解析度特徵塊、所述低解析度特徵塊對應的圖像塊，分別作為更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集，具體包括：

根據所述歐式距離在像素域中分別找到與所述高解析度特徵塊、所述低解析度特徵塊對應的K個圖像塊，分別作為所述更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集。

本發明提供的基於深層協作表達的超解析度圖像的重建系統，包括：重建模塊，所述重建模塊至少包括：

圖像塊劃分單元，用於對初始圖像、低解析度圖像訓練集中的圖像和高解析度圖像訓練集中的圖像在像素域中劃分相互重疊的圖像塊；

計算單元，用於計算由所述低解析度圖像訓練集劃分得到的圖像塊訓練集對由所述初始圖像劃分得到的圖像塊進行線性重建時的最優權值係數；

替換單元，用於將所述由所述初始圖像劃分得到的圖像塊替換為位置對應的由所述高解析度圖像訓練集劃分得到的圖像塊，並用所述最優權值係數加權合成高解析度圖像塊；

融合單元，用於將所述高解析度圖像塊進行融合，獲得高解析度圖像；

重建執行單元，將所述獲得的高解析度圖像作為新的初始圖像，至少再執行一次所述重建模塊，得到最終的高解析度圖像。

進一步地，所述計算單元，具體用於通過公式計算得到所述最優權值係數

其中，yi是由所述初始圖像劃分得到的圖像塊，Li是由所述低解析度圖像訓練集劃分得到的圖像塊訓練集，ai是初始圖像劃分得到的圖像塊的重建係數組成的行向量，τ是平衡重建誤差和局部約束的正則化參數，是歐式平方距離，i是樣本序號。

進一步地，還至少包括：

更新模塊，用於在每執行一次所述重建模塊之後，對所述低解析度圖像訓練集和所述高解析度圖像訓練集進行更新。

進一步地，所述更新模塊，至少包括：

特徵塊劃分單元，用於在每執行一次所述重建模塊之後，將所述低解析度圖像訓練集中的圖像通過插值得到高解析度圖像，並在特徵域提取特徵，將提取到的特徵劃分為相互重疊的特徵塊；

特徵塊提取單元，用於在特徵域中，從所述低解析度圖像訓練集中的圖像中提取與所述高解析度特徵塊相對應的低解析度特徵塊；

更新執行單元，用於在像素域中，分別找到與所述高解析度特徵塊、所述低解析度特徵塊對應的圖像塊，分別作為更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集。

進一步地，所述特徵塊提取單元，具體用於在特徵域中，基於KNN算法中的歐式距離從所述低解析度圖像訓練集中的圖像中提取K個與所述高解析度特徵塊相對應的低解析度特徵塊；

所述更新執行單元，具體用於根據所述歐式距離在像素域中分別找到與所述高解析度特徵塊、所述低解析度特徵塊對應的K個圖像塊，分別作為所述更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集。

本發明中提供的一個或多個技術方案，至少具有如下技術效果或優點：

通過多次重建，即對本發明中的圖像塊和最優權值係數進行多次更新，從而得到最終的高解析度圖像，解決了現有技術中重建精度低的技術問題，從而實現了滿足實際的解析度重建需求的技術效果。

附圖說明

圖1為本發明實施例提供的基於深層協作表達的超解析度圖像的重建方法的流程圖；

圖2為本發明實施例提供的基於深層協作表達的超解析度圖像的重建方法中進行人臉圖像劃分的示意圖；

圖3為本發明實施例提供的基於深層協作表達的超解析度圖像的重建方法中對低解析度圖像訓練集和高解析度圖像訓練集進行更新的流程圖；

圖4為通過本發明實施例提供的基於深層協作表達的超解析度圖像的重建方法得到的4層平均SSIM值和平均PSNR值的結果圖；

圖5為本發明實施例提供的基於深層協作表達的超解析度圖像的重建系統的模塊圖；

圖6為本發明實施例提供的基於深層協作表達的超解析度圖像的重建系統中更新模塊600的結構模塊圖。

具體實施方式

本發明實施例通過提供一種基於深層協作表達的超解析度圖像的重建方法及系統，解決了現有技術中重建精度低的技術問題，實現了滿足實際的解析度重建需求的技術效果。

本發明實施例中的技術方案為解決上述技術問題，總體思路如下：

通過多次重建，即對本發明實施例中的圖像塊和最優權值係數進行多次更新，從而得到最終的高解析度圖像，解決了現有技術中重建精度低的技術問題，從而實現了滿足實際的解析度重建需求的技術效果。

為了更好地理解上述技術方案，下面將結合說明書附圖以及具體的實施方式對上述技術方案進行詳細的說明。

參見圖1，本發明實施例提供的基於深層協作表達的超解析度圖像的重建方法，包括：重建過程；重建過程至少包括：

步驟S110：對初始圖像、低解析度圖像訓練集中的圖像和高解析度圖像訓練集中的圖像在像素域中劃分相互重疊的圖像塊；

參見圖2，對本步驟進行說明，按照從左到右、從上到下的順序劃分圖像塊。當劃分圖像塊至圖像邊緣時，如果剩餘尺寸比預先設置的圖像塊的尺寸小，則以原圖像的邊緣為基準進行回退劃分。如當橫向劃分到圖像右邊邊緣處時，向左回退並以右邊邊緣為基準進行分塊；當縱向劃分到圖像底邊邊緣處時，向上回退並以底邊邊緣為基準進行分塊。

步驟S120：計算由低解析度圖像訓練集劃分得到的圖像塊訓練集對由初始圖像劃分得到的圖像塊進行線性重建時的最優權值係數；

對本步驟進行說明，通過公式計算得到最優權值係數

其中，yi是由初始圖像劃分得到的圖像塊，Li是由低解析度圖像訓練集劃分得到的圖像塊訓練集，ai是初始圖像劃分得到的圖像塊的重建係數組成的行向量，τ是平衡重建誤差和局部約束的正則化參數，是歐式平方距離，i是樣本序號。

在本實施例中，τ取0.00003。

步驟S130：將由初始圖像劃分得到的圖像塊替換為位置對應的由高解析度圖像訓練集劃分得到的圖像塊，並用最優權值係數加權合成高解析度圖像塊；

其中，用最優權值係數加權合成高解析度圖像塊，具體包括：

採用公式(2)計算獲得高解析度圖像塊Pi；

其中，Hi為高辨率圖像塊訓練集。

步驟S140：將高解析度圖像塊進行融合，獲得高解析度圖像；

步驟S150：將獲得的高解析度圖像作為新的初始圖像，進行至少一次所述重建過程，即至少進行一次步驟S110-步驟S140的過程，得到最終的高解析度圖像。

在本實施例中，在每進行一次重建過程之後，對低解析度圖像訓練集和高解析度圖像訓練集進行更新，從而提高了本發明實施例的重建精度。

具體地，參見圖3，對低解析度圖像訓練集和高解析度圖像訓練集進行更新，至少包括：

步驟S310：將低解析度圖像訓練集中的圖像通過插值得到高解析度圖像，並在特徵域提取特徵，將提取到的特徵劃分為相互重疊的特徵塊；

步驟S320：在特徵域中，從低解析度圖像訓練集中的圖像中提取與高解析度特徵塊相對應的低解析度特徵塊；

步驟S330：在像素域中，分別找到與高解析度特徵塊、低解析度特徵塊對應的圖像塊，分別作為更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集。

其中，步驟S320具體包括：

在特徵域中，基於KNN算法中的歐式距離從低解析度圖像訓練集中的圖像中提取K個與高解析度特徵塊相對應的低解析度特徵塊；

在這種情況下，步驟S330具體包括：

根據歐式距離在像素域中分別找到與高解析度特徵塊、低解析度特徵塊對應的K個圖像塊，分別作為更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集。

測試實施例

實驗數據：實驗採用FEI人臉數據集作為實驗數據，該數據包括正面的整齊的人臉圖像。人臉數據集中包括400張圖像，分別從200個目標人物得到，100位男性和100位女性。每一位目標人物有兩張正面的圖像，一張沒有表情，一張面帶微笑。數據集中的男性圖像主要是從19歲到40歲的不同年齡段、髮型和裝飾品。所有的照片都被裁剪成大小為120×100像素的圖像。選取其中的360張作為訓練樣本集(180個目標人物)，剩下的40張圖像用來測試(20個目標人物)。因此，所有的測試圖像都不在訓練集中。低解析度人臉圖像(初始圖像)是根據高解析度人臉圖像下採樣4倍得到的，因此，與高解析度人臉圖像對應的低解析度人臉圖像的大小為30×25像素。本發明實施例中劃分人臉圖像塊的尺寸分別為：高解析度人臉圖像被劃分為12×12的圖像塊，交疊為4個像素；低解析度人臉圖像被劃分為3×3的圖像塊，交疊為1個像素。

本發明實施例包括三個部分，即單層協作表達、字典學習和深層協作表達。

具體地，單層協作表達至少包括：

步驟1：對初始的低解析度人臉圖像、高低解析度人臉圖像訓練集中的每一張人臉圖像採用回退的方式在像素域中劃分成M個相互重疊的圖像塊。其中，由初始的低解析度人臉圖像X劃分成的圖像塊為yi，由高解析度人臉圖像訓練集劃分成的圖像塊的集合為由低解析度人臉圖像訓練集劃分成的圖像塊的集合為其中，N為樣本的數量。

步驟2：對於圖像塊yi，按照公式(1)計算由低解析度人臉圖像訓練集中所有低解析度人臉樣本圖像該位置上的圖像塊對它進行線性重建時的最優權值係數

步驟3：把所有低解析度人臉樣本圖像的圖像塊替換為位置對應的高解析度人臉樣本圖像的圖像塊，用步驟2所得最優權重係數根據公式(2)加權合成高解析度人臉圖像塊pi；

步驟4：將步驟3合成所得高解析度人臉圖像塊pi按照在人臉上的位置融合，得到一張高解析度人臉圖像。

字典學習至少包括：

步驟5：將低解析度人臉圖像訓練集中的人臉圖像插值到高解析度人臉圖像訓練集然後通過公式(3)在水平方向和垂直方向上的第一和第二階梯度濾波器將所得的插值人臉圖像進行特徵提取。

其中，是濾波後的圖像。f1和f2分別是在水平和垂直方向的梯度的高通濾波器。f3和f4分別是在水平方向和垂直方向的高通濾波器。*表示的是卷積。獲得的特徵圖像集為將獲得的特徵圖像劃分為M個相互重疊的特徵塊則所有特徵圖像塊的集合為將初始的低解析度人臉圖像X插值到高分辨人臉圖像大小XB，並按照公式(3)進行特徵提取，獲得4個特徵然後根據公式(4)將所得到的特徵劃分為M個相互重疊的特徵塊。

步驟6：按照公式(5)計算KNN算法中的歐氏距離dist，再按照公式(6)在特徵域中的低解析度圖像塊字典中提取出K個最近距離的圖像塊。

步驟7：根據在特徵域獲得的歐式距離找到在像素域中對應的K個圖像塊，從而得到新的高解析度人臉圖像塊集合和新的低解析度人臉圖像塊集合分別作為新的高解析度人臉圖像塊訓練樣本集和新的低解析度人臉圖像塊訓練樣本集。

步驟8：字典學習後，根據公式(7)得到新的最優權值係數和根據公式(8)將所得的最優權值係數加權合成新的高分辨人臉圖像塊pk。

深層協作表達至少包括：

步驟9：將單層協作表達擴展成4層協作表達，通過不斷更新每層的初始低解析度的人臉樣本圖像和高低解析度人臉樣本圖像訓練字典來更新最優權值係數，並加權合成高解析度人臉圖像塊，最後將獲得的人臉圖像塊融合，得到一張高解析度人臉圖像。

而步驟9的具體方法包括：

將單層協作表達擴展成4層協作表達，不斷更新低解析度人臉樣本訓練集並根據公式(7)更新得到最優權值係數

為了得到每層的學習字典，從第一張低解析度圖像開始，使用剩下的N-1張低解析度圖像作為新字典進行更新並替換掉原來的插值低解析度圖像。通過同樣的方法，從高解析度圖像中獲得相應的新的高解析度人臉圖像訓練集

目標高解析度人臉圖像可以按照上述字典學習方法中的公式(3)、公式(4)、公式(5)和公式(6)將中間字典更新，然後按照上述的單層協同表達方法中的公式(1)在輸入的低解析度圖像塊新的低解析度人臉圖像塊訓練集下獲得最優權值係數，再按照公式(2)和公式(6)在新的高解析度人臉圖像塊訓練集下加權融合成高解析度人臉圖像塊。

以下提供實驗對比說明本發明實施例的有效性。

如圖4所示，我們列出了4層模型下的40個人臉圖像的PSNR和SSIM的平均值。我們可以看到，隨著層數的增加，本發明實施例的增益變得更加的顯著。40張測試圖像的平均PSNR和SSIM值，在四層模型比單層模型的結果要更加顯著。上述結果驗證了本發明實施例的有效性。

從以上表格明顯看出，與其他算法相比，本發明實施例在平均PSNR和SSIM值上高於其他算法，驗證了本發明實施例的有效性。

參見圖5，本發明實施例提供的基於深層協作表達的超解析度圖像的重建系統，包括：重建模塊100，重建模塊100至少包括：

圖像塊劃分單元1100，用於對初始圖像、低解析度圖像訓練集中的圖像和高解析度圖像訓練集中的圖像在像素域中劃分相互重疊的圖像塊；

計算單元1200，用於計算由低解析度圖像訓練集劃分得到的圖像塊訓練集對由初始圖像劃分得到的圖像塊進行線性重建時的最優權值係數；

在本實施例中，計算單元1200，具體用於通過公式計算得到最優權值係數

其中，yi是由初始圖像劃分得到的圖像塊，Li是由低解析度圖像訓練集劃分得到的圖像塊訓練集，ai是初始圖像劃分得到的圖像塊的重建係數組成的行向量，τ是平衡重建誤差和局部約束的正則化參數，是歐式平方距離，i是樣本序號。

在本實施例中，τ取0.00003。

替換單元1300，用於將由初始圖像劃分得到的圖像塊替換為位置對應的由高解析度圖像訓練集劃分得到的圖像塊，並用最優權值係數加權合成高解析度圖像塊；

其中，用最優權值係數加權合成高解析度圖像塊，具體包括：

採用公式(2)計算獲得高解析度圖像塊Pi；

其中，Hi為高辨率圖像塊訓練集。

融合單元1400，用於將高解析度圖像塊進行融合，獲得高解析度圖像；

重建執行單元200，將獲得的高解析度圖像作為新的初始圖像，至少再執行一次重建模塊100，得到最終的高解析度圖像。

在本實施例中，還至少包括：

更新模塊，用於在每執行一次重建模塊100之後，對低解析度圖像訓練集和高解析度圖像訓練集進行更新，從而提高了本發明實施例的重建精度。

參見圖6，更新模塊600，至少包括：

特徵塊劃分單元610，用於在每執行一次重建模塊100之後，將低解析度圖像訓練集中的圖像通過插值得到高解析度圖像，並在特徵域提取特徵，將提取到的特徵劃分為相互重疊的高解析度特徵塊；

特徵塊提取單元620，用於在特徵域中，從低解析度圖像訓練集中的圖像中提取與高解析度特徵塊相對應的低解析度特徵塊；

更新執行單元630，用於在像素域中，分別找到與高解析度特徵塊、低解析度特徵塊對應的圖像塊，分別作為更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集。

在本實施例中，特徵塊提取單元620，具體用於在特徵域中，基於KNN算法中的歐式距離從低解析度圖像訓練集中的圖像中提取K個與高解析度特徵塊相對應的低解析度特徵塊；

在這種情況下，更新執行單元630，具體用於根據歐式距離在像素域中分別找到與高解析度特徵塊、低解析度特徵塊對應的K個圖像塊，分別作為更新後的高解析度圖像塊訓練集和低解析度圖像塊訓練集。

【技術效果】

1、通過多次重建，即對本發明實施例中的圖像塊和最優權值係數進行多次更新，從而得到最終的高解析度圖像，解決了現有技術中重建精度低的技術問題，從而實現了滿足實際的解析度重建需求的技術效果。

2、在每進行一次重建過程之後，對低解析度圖像訓練集和高解析度圖像訓練集進行更新，進一步提高了本發明實施例的重建精度。

本發明實施例將單層協作表達擴展成4層協作表達，使初始的低解析度圖像塊的表達係數更加精確，合成更好的高解析度人臉圖像。並通過不斷更新每層的初始的低解析度的人臉樣本圖像和高低解析度人臉樣本圖像訓練集來更新最優權值係數，並加權合成高解析度人臉圖像塊，使圖像塊的表示係數更加精確，最後將獲取的人臉圖像塊融合，得到高解析度人臉圖像，從而提高了最終合成的高解析度人臉圖像的質量。

本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器、CD-ROM、光學存儲器等)上實施的電腦程式產品的形式。

本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些電腦程式指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些電腦程式指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

儘管已描述了本發明的優選實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優選實施例以及落入本發明範圍的所有變更和修改。

顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。