一種基於輪廓先驗的魯棒性人臉超解析度處理方法

2023-06-06 17:14:26 1

專利名稱：一種基於輪廓先驗的魯棒性人臉超解析度處理方法
技術領域：
本發明涉及圖像處理(圖像恢復)領域，針對低質量監控視頻中人臉圖像恢復的需求，具體涉及一種基於輪廓先驗的魯棒性人臉超解析度處理方法。
背景技術：
人臉超解析度技術是通過從已有的低解析度人臉圖像中估計出高解析度人臉圖像。隨著監控系統的快速發展，監控系統在刑事偵查行業中，發揮著越來越重要的作用，如安全防範、錄像取證和犯罪調查等等。其中人臉圖像作為直接證據之一，在案件分析和法庭取證中佔據著重要的位置。然而，由於現有條件下，目標物體與攝像頭距離相對較遠，捕捉到的監控人臉可用像素非常少，像素解析度非常低，兼之真實情況下由於惡劣天氣(雨霧)、 光照(過強、過暗、明暗不均)、器件等因素都會對捕獲的圖像引發的嚴重損毀(如嚴重的模糊和噪聲)，圖像恢復、放大和辨識往往受到嚴重的幹擾。這就需要用到人臉超解析度的技術提升圖像解析度，從低解析度圖像恢復到高解析度圖像。
近年來，流形學習逐漸成為了人臉超解析度的主流方法。這類方法的核心思想是 描述低解析度圖像的流形空間關係，尋找出每個低解析度圖像數據點周圍的局部性質，然後將低解析度圖像的流形非線性地映射到高解析度圖像的流形空間中，在高解析度對應空間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法。2004年，Chang[l]等首次將流形學習算法引入到圖像超解析度重構中，提出了一種鄰域嵌入的圖像超解析度重構算法。CeLiu[2]利用流形學習理論提出一種人臉圖像超解析度重構的兩步法，先根據局部保持投影和徑向基函數回歸得到全局的人臉圖像，再由基於局部重建的方法補償人臉特徵的細節信息。SungWon Park[3]提出一種基於局部保持投影的自適應流形學習方法，從局部子流形分析人臉的內在特徵，重構出低解析度圖像缺失的高頻成分。綜上所述，現有的這些方法大多僅按照傳統的技術思路以圖像像素值、圖像梯度值等單一的差異作為人臉相似度準則和算 法基礎，在處理一般環境下低質量圖像的過程中，可以得到不錯的效果，但是圖像質量很低的時候，像素會遭到嚴重的毀壞混疊，用來表示圖像的特徵因此很容易遭到損壞，用傳統方法恢復出來的圖像，效果並不令人滿意。
2010年，Lan[4]針對監控環境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出一種基於形狀約束的人臉超解析度方法，在傳統PCA架構中添加形狀約束作為相似度度量準則，利用人眼睛識別形狀時對幹擾的魯棒性來人工添加形狀特徵點作為約束，優化低質量圖像的重建結果。該方法一定程度上緩解了嚴重像素損毀對於重建結果的幹擾，但是該方法中人工幹預獲得特徵的過程具有較大的偶然性，難以保證恢復結果精確度和穩定性。
[I] H. Chang, D. -Y. Yeung, andY. Xiong, ^ Super-re so Iut ion through neighbor embedding, 」 in Proc.1EEE Conf. Comput. Vis. Pattern Recog. , Jul. 2004, pp. 275 - 282.
[2] C. Liu, H. Shum, and W. T. Freeman. "Face hallucination: Theory and practice' InternationalJournal of Computer Vision, 75(1) :115 - 134, 2007.
[3] Sung Won Park, Savvides, M. ^Breaking the Limitation of Manifold Analysis forSuper-Resolution ofFacial Images", ICASS P,pp:573-576,2007.
[4]C Lan, R Hu, Z Han, A face super-resolution approach using shape semantic mode regularization.1EEE International Conference on Image Processing(ICIP), 2021 - 2024，26_29Sept. 2010.發明內容
本發明的目的在於針對上述現有技術的問題，提供一種魯棒性的人臉超解析度方法，在監控環境下人臉圖像損毀嚴重時，顯著提高人臉恢復圖像的視覺感受。
本發明的技術方案為一種基於輪廓先驗的魯棒性人臉超解析度處理方法，包括以下步驟
步驟1，將高解析度人臉圖像庫1中所有高解析度人臉圖像位置對齊，提取與高解析度人臉圖像庫Ys對應的低解析度人臉圖像庫Xs和人臉輪廓圖像庫Cs ；
步驟2，將輸入的原始低解析度人臉圖像與高解析度人臉圖像庫Ys中高解析度人臉圖像位置對齊，獲取待處理的低解析度人臉圖像Xt，提取對應輪廓圖像ct，待估計的對應高解析度人臉圖像記為It ;
步驟3，將圖像分塊，所述圖像包括高解析度人臉圖像庫Ys、低解析度人臉圖像庫 Xs、人臉輪廓圖像庫Cs中的所有圖像和低解析度人臉圖像xt、對應輪廓圖像Ct，設高解析度人臉圖像庫Ys、低解析度人臉圖像庫Xs和人臉輪廓圖像庫Cs中的每副圖像劃分為Ns個圖像塊，低解析度人臉圖像xt、對應輪廓圖像ct分別劃分為Nt個圖像塊，Ns=Nt ；
步驟4，生成重建係數wqp，實現方式如下，
設一幅圖像中的某圖像塊標記為P，P的取值為1，2，…凡；
將低解析度人臉圖像庫Xs中某幅低解析度人臉圖像Xs中相同位置的圖像塊<和人臉輪廓圖像庫Cs中相應輪廓圖像Cs相同位置的圖像塊Cf分別拉成列向量後首尾做拼接組合，組成一個新的圖像塊單元，對低解析度人臉圖像庫Xs中所有低解析度人臉圖像中圖像塊Xf分別處理得到的圖像塊單元構成集合;將低解析度人臉圖像Xt和輪廓圖像Ct 的相同位置圖像塊f Cf分別拉成列向量後首尾做拼接組合，組成一個新的圖像塊單元並記為；
對圖像塊單元Y汁算出集合中的前K個歐式空間上最相似的圖像塊單元， 構成近鄰集合N ;設塊集合N中K個圖像塊單元的相應權重係數標記為wqp, q的取值為1，2，…K，通過最小化誤差ε 』，得到最優的重建係數wqp，2
其中，
權利要求
1.一種基於輪廓先驗的魯棒性人臉超解析度處理方法，其特徵在於，包括以下步驟 步驟1，將高解析度人臉圖像庫1中所有高解析度人臉圖像位置對齊，提取與高解析度人臉圖像庫Ys對應的低解析度人臉圖像庫Xs和人臉輪廓圖像庫Cs ； 步驟2，將輸入的原始低解析度人臉圖像與高解析度人臉圖像庫Ys中高解析度人臉圖像位置對齊，獲取待處理的低解析度人臉圖像xt，提取對應輪廓圖像ct，待估計的對應高解析度人臉圖像記為It ； 步驟3，將圖像分塊，所述圖像包括高解析度人臉圖像庫Ys、低解析度人臉圖像庫Xs、人臉輪廓圖像庫Cs中的所有圖像和低解析度人臉圖像xt、對應輪廓圖像Ct，設高解析度人臉圖像庫Ys、低解析度人臉圖像庫Xs和人臉輪廓圖像庫Cs中的每副圖像劃分為Ns個圖像塊，低解析度人臉圖像xt、對應輪廓圖像ct分別劃分為Nt個圖像塊，Ns=Nt ； 步驟4，生成重建係數wqp，實現方式如下， 設一幅圖像中的某圖像塊標記為P，P的取值為1，2
2.根據權利要求I所述基於輪廓先驗的魯棒性人臉超解析度處理方法，其特徵在於位置對齊通過仿射變換對齊特徵點的方式實現，仿射變換的方法如下， 通過對樣本庫中的所有高解析度人臉圖像相加除以樣本個數計算出平均臉,設x/和y/是平均臉上第i個特徵點的坐標，Xi和Ji為待對齊的人臉圖像上對應的第i個特徵點的坐標，設仿射矩陣為
3.根據權利要求I或2所述基於輪廓先驗的魯棒性人臉超解析度處理方法，其特徵在於對一張待處理圖像P，輪廓圖像具體獲得方式如下， (1)對待處理圖像P採用以下公式進行伽馬校正，
全文摘要
本發明提供了一種基於輪廓先驗的魯棒性人臉超解析度處理方法，在傳統的基於流形的超解析度方法的基礎上，同時選擇兩種對降質過程魯棒的圖像特徵，通過將二者良好耦合在(局部嵌入)算法中，同時作為算法過程中圖像相似性的判定準則，以此部分解決傳統方法不能很好的解決監控成像過程中嚴重噪聲和模糊對單幀人臉圖像超解析度恢復效果缺乏真實性的問題。
文檔編號G06T3/40GK102982520SQ20121051927
公開日2013年3月20日 申請日期2012年12月5日 優先權日2012年12月5日
發明者胡瑞敏, 陳亮, 夏洋, 韓鎮, 盧濤, 江俊君, 龔燕, 黃克斌 申請人:武漢大學