一種基於局部約束迭代鄰域嵌入的人臉幻構方法
2023-04-25 14:09:31 1
專利名稱：一種基於局部約束迭代鄰域嵌入的人臉幻構方法
技術領域：
本發明涉及圖像超解析度領域，具體涉及一種基於局部約束迭代鄰域嵌入的人臉幻構方法。
背景技術：
在過去的20年裡，人臉識別技術得到了迅速的發展。同時由於視頻監控系統有網絡帶寬有限，伺服器存儲等限制，導致拍攝到的面部圖像解析度低下，使得能提供的人臉信息十分有限，這成為生物識別技術中最具挑戰性的問題之一。最近，超解析度技術已被用來處理低解析度(Low-Resolution，LR)圖像，它能從一個低解析度圖像序列或單幀低解析度圖像生成一個能為 後續識別進程提供更多面部細節的高解析度(High-Resolution，HR)圖像。2000 年 Baker 和 Kanade 在文獻 I (S.Baker and T.Kanade.Hallucinatingfaces.1n FG, Grenoble, France, Mar.2000, 83-88.)中提出了一 種人臉幻構(facehallucination)的方法，利用訓練集中人臉圖像的先驗信息，通過學習的方法獲得低解析度人臉圖像對應的高解析度人臉圖像。這是人臉幻構技術領域的開創性工作。在此之後，許多不同的方法和模型被引入，其中最具代表性的技術是Chang等人在文獻2(H.Chang, D.Yeung, and Y.Xiong.Super-resolution through neighbor embedding[A].1n Proc.1EEE CVPR』 04 [C].Washington, 2004.275 - 282.)中提出的一種基於流形學習的方法，他們假設高解析度圖像塊和低解析度圖像塊擁有相同的局部幾何結構，進而利用局部線性嵌入(locally linear embedding, LLE)來學習高低解析度圖像塊流形的對應關係。人臉分析與合成的相關理論研究表明，人臉圖像的位置信息在人臉分析與合成中非常重要，受此啟發，Ma 等人在文獻 3 (X.Ma, J.P Zhang, and C.Q1.Hallucinating face byposition-patch.Pattern Recognition, 43 (6): 3178 - 3194, 2010.)和文獻 4 (X.Ma, J.Zhang, and C.Qi, 「Position-based face hallucination method,，，in Proc.1EEE Conf.0n Multimedia and Expo (ICME), 2009, pp.290 - 293.)中提出了一種基於位置塊的人臉幻構方法，對給定低解析度人臉圖像某位置的圖像塊通過訓練集人臉圖像中所有同一位置的圖像塊進行線性合成。然而，由於該方法採用最小二乘法進行求解，當訓練樣本中圖像的個數比圖像塊的維數大時，圖像塊的表示係數並不唯一。為此，2011年Jung等人在文獻5(C.Jung, L.Jiao, B.Liu, and M.Gong, ^Position-Patch Based Face Hallucination UsingConvex Optimization,，，IEEE Signal Process.Lett., vol.18, n0.6, pp.367 - 370, 2011.)中利用稀疏正則化方法獲得人臉幻構的最佳重建權重。最近，專利I (胡瑞敏、江俊君、王冰、韓鎮、黃克斌、盧濤、王亦民，一種基於局部約束表示的人臉超解析度重建方法，專利申請號:201110421452.3)中進一步改善了基於位置塊的人臉幻構方法，在對圖像塊進行重建過程中用流形的局部幾何約束替換了文獻5中的稀疏約束，使重建結果同時具有稀疏性和局部性。到目前為止，這種局部約束表示的人臉幻構方法是效果最好的方法。無論是使用稀疏表示還是局部約束，以上所提到的方法都是通過探索合理的先驗知識，尋找最具代表性的圖像塊並獲得最優權重來進行人臉幻構。因此，如何尋找合理的K個近鄰樣本圖像塊並且獲得最優權重是人臉幻構技術中最關鍵的兩個環節。以上提到的所有方法，都只考慮了低解析度圖像塊流形，而忽略了高解析度圖像塊的幾何結構信息，使得重建結果缺乏可靠性和判別性。
發明內容
本發明目的在於提供一種基於局部約束迭代鄰域嵌入的人臉幻構方法。利用整個訓練樣本圖像塊作為字典，同時考慮了低解析度流形結構和高解析度流形結構的局部幾何結構特徵，彌補了以往只考慮某一種流形結構的不足，同時經過多次迭代步驟，使重建效果進一步接近原始高解析度圖像。為達到上述目的，本發明採用的技術方案是一種基於局部約束迭代鄰域嵌入的人臉幻構方法，包括如下步驟:步驟1，對輸入的低解析度人臉圖像進行上採樣得到預估高解析度人臉圖像，對輸入的低解析度人臉圖像、預估高解析度人臉圖像、低解析度訓練集中的所有低解析度人臉樣本圖像以及高解析度訓練集中的所有高解析度人臉樣本圖像分別劃分相互重疊的圖像塊；步驟2，對於輸入的低解析度人臉圖像中每個圖像塊，執行以下步驟得到重構高解析度圖像塊，步驟2.1，取低解析度訓練集中每個低解析度人臉樣本圖像相應位置的圖像塊作為樣本點，建立低解析度人臉樣本塊空間；取高解析度訓練集中每個高解析度人臉樣本圖像相應位置的圖像塊作 為樣本點，建立高解析度人臉樣本塊空間；取預估高解析度人臉圖像相應位置的圖像塊，得到預估高解析度圖像塊；步驟2.2，計算上一次迭代所得當前的重構高解析度圖像塊在高解析度人臉樣本塊空間上的K個最近的圖像塊，尋找這K個圖像塊在低解析度人臉樣本塊空間中的K個圖像塊，首次執行步驟2.2時採用步驟2.1所得預估高解析度圖像塊作為當前的重構高解析度圖像塊；並利用低解析度人臉樣本塊空間中的K個圖像塊對輸入的低解析度圖像塊進行線性重構，得到最優權值係數；利用最優權值係數以及高解析度人臉樣本塊空間上的K個圖像塊，線性重構得到本次迭代的重構高解析度圖像塊；K為預設數值；步驟2.3，根據步驟2.2所得當前的重構高解析度圖像塊返回重複步驟2.2，直到迭代次數達到預先設置的值；步驟3，將輸入的低解析度人臉圖像中所有圖像塊分別的相應重構高解析度圖像塊按照位置疊加，然後除以每個像素位置交疊的次數，重構出高解析度人臉圖像。而且，設對輸入的低解析度人臉圖像Xt劃分所得圖像塊集為 |1句丨，預估
高解析度人臉圖像Yt(O)劃分所得圖像塊集為K ι^#Μ}，對高解析度訓練集中所有高解析度人臉樣本圖像分別劃分得到高解析度圖像塊集Y = Iyij 11 ^ i ^ N, I ^ j ^ Ml,對低解析度訓練集中所有低解析度人臉樣本圖像分別劃分得到低解析度圖像塊集X=Ixij 11彡i彡N，I彡j彡M};其中，標識i表示高解析度訓練集中高解析度人臉樣本圖像的序號和低解析度訓練集中低解析度人臉樣本圖像的序號，標識j表示圖像上塊位置序號；y(I)是預估高解析度人臉圖像Yt(I)位置j處的圖像塊，<是輸入的低解析度人臉圖像Xt
位置j處的圖像塊；yij是高解析度訓練集中第i張圖像位置j處的圖像塊，Xij是低解析度訓練集中第i張圖像位置j處的圖像塊；低解析度訓練集中低解析度人臉樣本圖像的個數和高解析度訓練集中高解析度人臉樣本圖像的個數都記為N，M為每幅圖像劃分圖像塊的塊數；步驟2中，對輸入的低解析度人臉圖像中任一圖像塊X〗，執行以下子步驟，步驟2.1，令迭代次數P的初始值為I ;對輸入的低解析度人臉圖像中的任一位置的圖像塊 <，建立低解析度人臉樣本塊空間\ = IxijIl作為低解析度圖像塊字典，建立高解析度人臉樣本塊空間Y」=Iyij 11 ^ i 作為高解析度圖像塊字典，尋找相應位置預估高解析度圖像塊J丨(1)，其中
權利要求
1.一種基於局部約束迭代鄰域嵌入的人臉幻構方法，其特徵在於，包括如下步驟: 步驟1，對輸入的低解析度人臉圖像進行上採樣得到預估高解析度人臉圖像，對輸入的低解析度人臉圖像、預估高解析度人臉圖像、低解析度訓練集中的所有低解析度人臉樣本圖像以及高解析度訓練集中的所有高解析度人臉樣本圖像分別劃分相互重疊的圖像塊；步驟2，對於輸入的低解析度人臉圖像中每個圖像塊，執行以下步驟得到重構高解析度圖像塊， 步驟2.1，取低解析度訓練集中每個低解析度人臉樣本圖像相應位置的圖像塊作為樣本點，建立低解析度人臉樣本塊空間；取高解析度訓練集中每個高解析度人臉樣本圖像相應位置的圖像塊作為樣本點，建立高解析度人臉樣本塊空間；取預估高解析度人臉圖像相應位置的圖像塊，得到預估高解析度圖像塊； 步驟2.2，計算上一次迭代所得當前的重構高解析度圖像塊在高解析度人臉樣本塊空間上的K個最近的圖像塊，尋找這K個圖像塊在低解析度人臉樣本塊空間中的K個圖像塊，首次執行步驟2.2時採用步驟2.1所得預估高解析度圖像塊作為當前的重構高解析度圖像塊；並利用低解析度人臉樣本塊空間中的K個圖像塊對輸入的低解析度圖像塊進行線性重構，得到最優權值係數；利用最優權值係數以及高解析度人臉樣本塊空間上的K個圖像塊，線性重構得到本次迭代的重構高解析度圖像塊；K為預設數值； 步驟2.3，根據步驟2.2所得當前的重構高解析度圖像塊返回重複步驟2.2，直到迭代次數達到預先設置的值； 步驟3，將輸入的低解析度人臉圖像中所有圖像塊分別的相應重構高解析度圖像塊按照位置疊加，然後除以每個像素位置交疊的次數，重構出高解析度人臉圖像。
2.根據權利要求1所述基於局部約束迭代鄰域嵌入的人臉幻構方法，其特徵在於: 設對輸入的低解析度人臉圖像Xt劃分所得圖像塊集為預估高解析度人臉圖像Yt(O)劃分所得圖像塊集為，對高解析度訓練集中所有高解析度人臉樣本圖像分別劃分得到高解析度圖像塊集Y = Iyij 11 ^ i ^ N, I ^ j ^ Μ},對低解析度訓練集中所有低解析度人臉樣本圖像分別劃分得到低解析度圖像塊集X=Ixij 11彡i彡N，I彡j彡M};其中，標識i表示高解析度訓練集中高解析度人臉樣本圖像的序號和低解析度訓練集中低解析度人臉樣本圖像的序號，標識j表示圖像上塊位置序號；之(I)是預估高解析度人臉圖像Yt (I)位置j處的圖像塊，< 是輸入的低解析度人臉圖像XtJJ位置j處的圖像塊；yij是高解析度訓練集中第i張圖像位置j處的圖像塊，Xij是低解析度訓練集中第i張圖像位置j處的圖像塊；低解析度訓練集中低解析度人臉樣本圖像的個數和高解析度訓練集中高解析度人臉樣本圖像的個數都記為N，M為每幅圖像劃分圖像塊的塊數； 步驟2中，對輸入的低解析度人臉圖像中任一圖像塊<，執行以下子步驟， 步驟2.1，令迭代次數P的初始值為I ;對輸入的低解析度人臉圖像中的任一位置的圖像塊 <，建立低解析度人臉樣本塊空間Xj = Ixij I ^ i ^ N}作為低解析度圖像塊字典，建立高解析度人臉樣本塊空間Y」=Iyij 11 ^ i ^ N}作為高解析度圖像塊字典，尋找相應位置預估高解析度圖像塊為(I),其中
全文摘要
一種基於局部約束迭代鄰域嵌入的人臉幻構方法，建立高、低解析度圖像塊集作為高、低解析度圖像塊字典；將輸入的低解析度人臉圖像圖像塊上採樣得預估高解析度圖像塊，並尋找對應位置的高解析度圖像塊字典中最近的K個圖像塊，用對應的K個低解析度圖像塊線性表示輸入低解析度圖像塊獲得權值係數；利用權值係數將K個近鄰高解析度圖像塊重建出新的預估高解析度圖像塊，重複進行直到得到最滿意的預估高解析度圖像塊；根據低解析度圖像塊的位置關係融合成高解析度圖像。本發明在基於位置先驗和局部流形約束的基礎上同時考慮了兩種流形結構，並運用迭代在上一次重建的結果上不斷更新K近鄰和重建權重，得到了更高質量、與真實情況更為接近的重建效果。
文檔編號G06T5/50GK103208109SQ201310147620
公開日2013年7月17日 申請日期2013年4月25日 優先權日2013年4月25日
發明者胡瑞敏, 江俊君, 董小慧, 韓鎮, 陳軍 申請人:武漢大學