基於凸優化理論的視頻聯合去噪及超解析度方法和系統與流程

2023-05-18 12:02:07 2

本發明涉及計算攝像學領域，特別涉及一種基於凸優化理論的視頻聯合去噪及超解析度方法和系統。

背景技術：
近年來，信號相關噪聲的去噪及圖像超解析度一直都是計算攝像學和計算機視覺中的研究熱點。傳統去噪方面的研究主要集中於與信號無關的噪聲去噪，但是這與實際的拍攝系統不相符。AlessandroFoi等人的研究表明，原始信號與CCD拍攝噪聲均值之間存在平方關係。現在信號相關的去噪越來越成為計算機視覺與計算攝像學中的研究熱點。下面列舉一些主流的與信號相關的去噪方法：（一）、Danielyan與G.Boracchi等人提出的將原始圖像中的像素塊通過信號變換轉換至頻域進行去噪處理。（二）、LiZhang與SundeepVaddadi等人提出的運用主成分分析與張量分析的方法實現多張噪聲圖像的去噪。（三）、KeigoHirakawa與ThomasW.Parks等人將原始信號看作一系列噪聲像素塊的組合，提出一種概率型的去噪方法。圖像超解析度方面已經有許多較為成熟的方法，總的來說可以概括為基於空域內插、基於頻域處理、基於正則化和基於學習基四大類。與其餘三類方法比較，基於學習基的方法在輸入圖像和優化模型方面具有較少的約束限制。最近的研究結果表明，自然圖像像素塊可以用一組過完備基和稀疏線性矩陣重建表示，因此基於學習基的方法需要學習一組低解析度的過完備基和對應的一組高分辨過完備基用於超解析度。由於需要較少的約束條件，目前此方法吸引了越來越多研究者的興趣。EmmanuelCandes、JianchaoYang和JinjunWang等人已成功驗證了此方法的可實施性。在高速攝像與高幀率視頻中，高噪聲與低解析度一直是兩個最需解決的問題。如何同時解決這兩個問題十分關鍵。在噪聲為高斯分布假設下，YiXu與M.B.Chappalli等人首先將信號轉換到頻域，並利用頻域方法完成了圖像去噪與超解析度。Dekeyser等人利用空域方法同時對圖像進行了去噪與超解析度。但是，目前還沒有人提出一種有效的方法，可以對含有信號相關噪聲的圖像與視頻同時進行去噪與超解析度。

技術實現要素：
本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明的一個目的在於提出一種基於凸優化理論的視頻聯合去噪及超解析度方法，可以有效對進行信號相關去噪與超解析度操作，得到清晰圖像與視頻，算法通用性強，視頻優化效果明顯。本發明的第二個目的在於提出一種基於凸優化理論的視頻聯合去噪及超解析度系統。為達到上述目的，本發明第一方面的實施例提出了一種基於凸優化理論的視頻聯合去噪及超解析度方法，包括以下步驟：根據稀疏編碼理論，基於圖像塊，從多個清晰圖像中學習，得到一組過完備低解析度基和過完備高解析度基；分別建立關於噪聲、重建係數矩陣和原始信號的約束式；根據所述約束式建立目標函數；利用增廣拉格朗日優化方法對所述目標函數求解，得到所述原始信號和所述重建係數矩陣；利用所述重建係數矩陣和所述過完備高解析度基進行超解析度操作，得到去噪後的清晰高解析度視頻。根據本發明實施例的基於凸優化理論的視頻聯合去噪及超解析度方法可以有效對高幀率視頻同時進行信號相關去噪與超解析度操作，得到清晰圖像與視頻，算法通用性強，對自然場景下的高幀率視頻都適用，在優化過程中同時做到信號相關去噪與超解析度，減少了偏差迭代的可能性，視頻優化效果明顯好於其他方法，本方法以稀疏編碼理論、凸優化理論為支撐，從軟體方面較好地解決高速相機拍攝視頻噪聲高、帶寬小的問題。在本發明的一個實施例中，所述得到一組所述過完備低解析度基和所述過完備高解析度基進一步包括：從多個所述清晰圖像中選出多個像素塊，採用sparsecoding在多個所述像素塊中學習，得到所述過完備低解析度基和所述過完備高解析度基，其中，多個所述清晰圖像包括多個高解析度圖像和對應的低解析度圖像。在本發明的一個實施例中，根據所述過完備高解析度基和所述過完備低解析度基，利用所述重建係數矩陣重建得到對應的所述低解析度圖像和所述高解析度圖像。在本發明的一個實施例中，所述過完備低解析度基和所述過完備高解析度基在統計意義下對自然場景普適。在本發明的一個實施例中，所述根據所述約束式建立所述目標函數進一步包括：對所述原始信號利用光流算法通過相對位移進行光流對齊，得到拍攝數據。在本發明的一個實施例中，所述約束式包括：所述拍攝數據由原始信號和拍攝噪聲組成。在本發明的一個實施例中，所述約束式包括：所述攝噪聲在以所述原始信號為均值的3δ 範圍內。在本發明的一個實施例中，所述約束式包括：所述原始信號可用所述過完備低解析度基重建表示。在本發明的一個實施例中，所述約束式包括：如果兩個所述像素塊有重疊，則所述像素塊重疊部分相同。在本發明的一個實施例中，所述得到所述原始信號和所述重建係數矩陣進一步包括：利用所述增廣拉格朗日優化方法，將所述目標函數分解為所述原始信號的迭代優化和所述重建係數的迭代優化，並改變相應的參數。在本發明的一個實施例中，所述增廣拉格朗日優化方法包括將所述約束條件進行增廣拉格朗日展開，得到可解目標函數，並採用凸優化理論進行迭代求解。在本發明的一個實施例中，所述超解析度操作進一步包括：將得到的所述重建係數矩陣與所述過完備高解析度基相乘，得到對應的所述超解析度圖像與視頻。在本發明的一個實施例中，根據所述相對位移對所述超解析度圖像與視頻實施反光流算法，得到去噪後的所述清晰高解析度視頻。本發明第二方面的實施例提出了一種基於凸優化理論的視頻聯合去噪及超解析度系統，包括過完備基學習模塊、約束式模塊、目標函數模塊、求解模塊、結果生成模塊和重建模塊。其中，過完備基學習模塊用於根據稀疏編碼理論，基於圖像塊，從多個清晰圖像中學習，得到一組過完備低解析度基和過完備高解析度基；約束式模塊用於分別建立關於噪聲、重建係數矩陣和原始信號的約束式；目標函數模塊用於根據所述約束式建立目標函數；求解模塊用於利用增廣拉格朗日優化方法對所述目標函數求解，得到所述原始信號和所述重建係數矩陣；結果生成模塊用於利用所述重建係數矩陣和所述過完備高解析度基進行超解析度操作，得到去噪後的清晰高解析度視頻。根據本發明實施例的基於凸優化理論的視頻聯合去噪及超解析度系統可以有效對高幀率視頻同時進行信號相關去噪與超解析度操作，得到清晰圖像與視頻，算法通用性強，對自然場景下的高幀率視頻都適用，在優化過程中同時做到信號相關去噪與超解析度，減少了偏差迭代的可能性，視頻優化效果明顯好於其他系統，本系統以稀疏編碼理論、凸優化理論為支撐，從軟體方面較好地解決高速相機拍攝視頻噪聲高、帶寬小的問題。在本發明的一個實施例中，過完備基學習模塊還用於從多個所述清晰圖像中選出多個像素塊，採用sparsecoding在多個所述像素塊中學習，得到所述過完備低解析度基和所述過完備高解析度基，其中，多個所述清晰圖像包括多個高解析度圖像和對應的低解析度圖像。在本發明的一個實施例中，還包括重建模塊，用於根據所述過完備高解析度基和所述過完備低解析度基，利用所述重建係數矩陣重建得到對應的所述低解析度圖像和所述高解析度 圖像。在本發明的一個實施例中，所述過完備低解析度基和所述過完備高解析度基在統計意義下對自然場景普適。在本發明的一個實施例中，目標函數模塊還用於，對所述原始信號利用光流算法通過相對位移進行光流對齊，得到拍攝數據。在本發明的一個實施例中，所述約束式包括：所述拍攝數據由原始信號和拍攝噪聲組成。在本發明的一個實施例中，所述約束式包括：所述攝噪聲在以所述原始信號為均值的3δ範圍內。在本發明的一個實施例中，所述約束式包括：所述原始信號可用所述過完備低解析度基重建表示。在本發明的一個實施例中，所述約束式包括：如果兩個所述像素塊有重疊，則所述像素塊重疊部分相同。在本發明的一個實施例中，所述求解模塊還用於，利用所述增廣拉格朗日優化方法，將所述目標函數分解為所述原始信號的迭代優化和所述重建係數的迭代優化，並改變相應的參數。在本發明的一個實施例中，所述增廣拉格朗日優化方法包括將所述約束條件進行增廣拉格朗日展開，得到可解目標函數，並採用凸優化理論進行迭代求解。在本發明的一個實施例中，所述結果生成模塊還用於，將得到的所述重建係數矩陣與所述過完備高解析度基相乘，得到對應的所述超解析度圖像與視頻。在本發明的一個實施例中，所述結果生成模塊還用於，根據所述相對位移對所述超解析度圖像與視頻實施反光流算法，得到去噪後的所述清晰高解析度視頻。本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。附圖說明本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：圖1是根據本發明實施例的基於凸優化理論的視頻聯合去噪及超解析度方法的流程圖；圖2a是根據本發明實施例的過完備低解析度基的結構示意圖；圖2b是根據本發明實施例的過完備高解析度基的結構示意圖；圖3是根據本發明實施例的迭代優化過程中參數及迭代結果變化示意圖；圖4是根據本發明實施例的不同程度拍攝噪聲下的優化結果示意圖；圖5是根據本發明實施例的不同自然場景實驗結果數據分析對比示意圖；圖6是根據本發明實施例的實際拍攝視頻的優化結果示意圖；和圖7是根據本發明實施例的基於凸優化理論的視頻聯合去噪及超解析度系統的結構示意圖。具體實施方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能理解為對本發明的限制。下面參考圖1描述根據本發明實施例的基於凸優化理論的視頻聯合去噪及超解析度方法，包括以下步驟：步驟S110：根據稀疏編碼理論，基於圖像塊，從多個清晰圖像中學習，得到一組過完備低解析度基和過完備高解析度基。得到一組過完備低解析度基和過完備高解析度基進一步包括：從多個清晰圖像中選出多個像素塊，採用sparsecoding在多個像素塊中學習，得到過完備低解析度基和過完備高解析度基，其中，多個清晰圖像包括多個高解析度圖像和對應的低解析度圖像。其中，過完備低解析度基和過完備高解析度基在統計意義下對自然場景普適。步驟S120：分別建立關於噪聲、重建係數矩陣和原始信號的約束式。步驟S130：根據約束式建立目標函數。根據約束式建立目標函數進一步包括：對原始信號利用光流算法通過相對位移進行光流對齊，得到拍攝數據。約束式包括：拍攝數據由原始信號和拍攝噪聲組成；攝噪聲在以原始信號為均值的3δ範圍內；原始信號可用過完備低解析度基重建表示;如果兩個像素塊有重疊，則像素塊重疊部分相同。步驟S140：利用增廣拉格朗日優化方法對目標函數求解，得到原始信號和重建係數矩陣。得到原始信號和重建係數矩陣進一步包括：利用增廣拉格朗日優化方法，將目標函數分解為原始信號的迭代優化和重建係數的迭代優化，並改變相應的參數。其中，增廣拉格朗日優化方法包括將約束條件進行增廣拉格朗日展開，得到可解目標函數，並採用凸優化理論進行迭代求解。步驟S150：利用重建係數矩陣和過完備高解析度基進行超解析度操作，得到去噪後的 清晰高解析度視頻。超解析度操作進一步包括：將得到的重建係數矩陣與過完備高解析度基相乘，得到對應的超解析度圖像與視頻。根據相對位移對超解析度圖像與視頻實施反光流算法，得到去噪後的清晰高解析度視頻。在本發明的一個實施例中，根據過完備高解析度基和過完備低解析度基，利用重建係數矩陣重建得到對應的低解析度圖像和高解析度圖像。下面舉例對本方法進行說明，可以理解的是，下述說明僅出於示例目的，根據本發明的實施例不限於此。步驟S210：根據稀疏編碼理論，基於圖像塊，在多個清晰圖像數據中學習，得到一組過完備低解析度基和高解析度基。其中，過完備低解析度基和高解析度基在統計意義下對自然場景普適。其中，將過完備低解析度基記做BL，高解析度基記做BH，拍攝圖像在BL上的投影係數具有稀疏屬性，並可以利用BH進行超解析度。多個清晰圖像包括多個高解析度圖像和對應的多個低解析度圖像。對於多個清晰圖像中的多個像素塊，採用sparsecoding進行學習，得到過完備低解析度基和過完備高解析度基。同時，根據過完備高解析度基和過完備低解析度基，利用對應的係數矩陣重建得到對應的低解析度與高解析度圖像。利用光流算法對輸入數據，如高幀率視頻相鄰幀進行光流對齊，在輸出數據之前對結果進行對應的反光流操作。利用光流算法進行光流對齊可以得到優化算法的輸入數據，從而滿足輸入數據矩陣地址的條件。步驟S220：分別建立關於噪聲N、重建係數矩陣A和原始信號L的約束式。約束式包括：拍攝視頻由原始信號和拍攝噪聲組成；原始信號和拍攝噪聲均值存在平方的關係，故根據3δ準則，拍攝噪聲在以原始信號為均值的3δ範圍內；原始信號可用低解析度過完備基重建表示；如果兩個像素塊有重疊，則兩個像素塊重疊部分相同。步驟S230：生成原始信號低秩，並根據約束式和重建係數稀疏的特點，建立目標函數。目標函數將去噪與超解析度同時納入同一個優化框架中。步驟S240：利用增廣拉格朗日優化方法對目標函數進行求解，得到原始信號L和重建係數A；得到原始信號和重建係數進一步包括：利用增廣拉格朗日優化方法，將目標函數分解為 原始信號的迭代優化和重建係數矩陣的迭代優化，並改變相應的參數，得到原始信號和重建係數。將重建係數矩陣與拍攝噪聲分離。增廣拉格朗日優化方法包括將約束條件進行增廣拉格朗日展開，得到可解的目標函數，並採用凸優化理論進行迭代求解。步驟S250：利用重建係數A和過完備高解析度基BH進行超解析度操作，得到清晰的高解析度圖像與視頻。將得到的重建係數與過完備高解析度基相乘，得到對應的對齊的超解析度圖像與視頻。利用上述光流得到的相對位移，對對齊的超解析度圖像與視頻做反光流算法，得到最終去噪後的清晰高解析度視頻。下面為本說明的具體示例，可以理解的是，本發明並不局限於以下實例。圖2為通過sparsecoding學習得到的一組低解析度過完備基和對應的過完備高解析度基。圖2a為低解析度基，7×7pixels，圖2b為高解析度基，21×21pixels。如圖2所示，為了使用同樣的重建係數矩陣來重建圖像與視頻，過完備高解析度基與低解析度過完備基要保持空間位置上的對應。利用光流算法對拍攝得到的數據進行光流對齊，得到拍攝數據，表示為D。並根據原始信號L、拍攝噪聲N、過完備高解析度基BH、過完備低解析度基BL、重建係數矩陣A建立如下優化模型：其中C為常數矩陣，α、β均為常數；D=L+N表示拍攝得到的數據由原始信號L與拍攝噪聲N構成。L=BLA表示原始信號L可以用低解析度的過完備基BH重建；IL=C表示相鄰像素塊的重疊部分是相同的，此限制條件是為了消除重建結果中的塊效應。N2≤αL+β表明拍攝噪聲N與原始信號L間的非線性關係。基於凸優化理論，利用增廣拉格朗日優化方法對上述模型進行迭代求解。上述模型轉化為增廣拉格朗日函數為：<![CDATA[Lag=||L||*++μ2||D-L-N||F2]]><![CDATA[+λ||A||1++μ2||L-BA||F2]]><![CDATA[++μ2||IL-C||F2]]><![CDATA[+<λ2,N2-(kL+con)+^2>+μ2||N-(kL+con)+.^2||F2]]>在每次迭代過程中重要參數的更新規則如下：（一）、更新L：<![CDATA[Ln+1=argminL||L||*+μ12||L-(x-μ1-1f1(x))||F2]]>其中UL_tempVT是<![CDATA[x-μ1-1f1(x)]]>的SVD分解形式，μ1-1x+μ1-1,ifx<![CDATA[f1(x)=μx-μ(D-N+μ-1Y1)]]><![CDATA[+μα2x-μα(N2-β+.^2+μ-1λ2),]]>x表示上次迭代得到的L。（二）、更新A：<![CDATA[=argminAλ||A||1+μ22(A-(x-μ2-1f2(x)))]]><![CDATA[=sλ/μ2[x-μ2-1f2(x)]]]>其中<![CDATA[f2(x)=μBLTBLx-μBLT(L+μ-1Y2),]]>x表示上次迭代得到的A。（三）、更新N：N為<![CDATA[2N.^3+(1-2(kL+con-^2-μ-1λ2))*N-(D-L+μ-1Y1)=0]]>次方程的正數解。（四）、更新參數ε：ε方程<![CDATA[.^3=(αL+β-N2-μ-1λ2)*]]>的正數解。圖3顯示了迭代過程中重要參數及迭代結果的變化。由圖可見隨著迭代次數的增加， 目標函數逐漸變小，約束條件誤差逐漸變小，表明優化迭代方法可以有效地求解此模型。按照上述迭代更新規則進行模型求解，可得到優化後的重建係數矩陣A。利用A與過完備高解析度基BH相乘即可得到對其的高解析度視頻幀。利用之前光流得到的相對位移對這些對齊視頻幀做反光流算法，便可得到最終去噪後的清晰高解析度視頻。圖4為不同程度拍攝噪聲下的優化結果。由圖可見，當輸入圖像序列噪聲較小時，本方法可以將噪聲完全去除；當輸入噪聲序列噪聲較大時，本方法求解結果噪聲有一定程度的增大，但仍可去除大部分的噪聲。圖5為本方法對不同自然場景求解結果數據分析對比示意圖。在算法參數相同設置的情況下，橫向比較可見本算法對不同的自然場景都可得到較好的結果，說明本算法魯棒性較強；縱向比較可見在圖像信噪比低至11時，本文算法仍可大幅度提升信噪比，說明本文算法對提高圖像的質量是十分有效的。圖6為實際拍攝視頻的優化結果示意圖，由(e)中的細節對比圖可見本文方法可以有效提高實際拍攝視頻的信噪比與解析度，大大提高了拍攝視頻的質量。根據本發明實施例的基於凸優化理論的視頻聯合去噪及超解析度方法利用了高幀率視頻相鄰幀變化較少、過完備基重建圖像時重建係數矩陣稀疏等特點，將信號相關噪聲去噪與超解析度置於同一個優化框架中，通過sparsecoding學習得到一組過完備低解析度基與一組對應的過完備高解析度基。基於凸優化理論，利用增廣拉格朗日優化方法對目標函數進行求解，從而恢復出的清晰低解析度視頻與清晰的高分辨視頻。本方法可以有效去除信號相關噪聲，得到清晰圖像與視頻；算法通用性強，對自然場景下的高幀率視頻都適用；同時做到信號相關去噪與超解析度，視頻優化效果明顯好於其他方法。下面參考圖7描述根據本發明實施例的基於凸優化理論的視頻聯合去噪及超解析度系統100，包括過完備基學習模塊110、約束式模塊120、目標函數模塊130、求解模塊140、結果生成模塊150和重建模塊160。過完備基學習模塊110用於根據稀疏編碼理論，基於圖像塊，從多個清晰圖像中學習，得到一組過完備低解析度基和過完備高解析度基；約束式模塊120用於分別建立關於噪聲、重建係數矩陣和原始信號的約束式；目標函數模塊130用於根據約束式建立目標函數；求解模塊140用於利用增廣拉格朗日優化方法對目標函數求解，得到原始信號和重建係數矩陣；結果生成模塊150用於利用重建係數矩陣和過完備高解析度基進行超解析度操作，得到去噪後的清晰高解析度視頻。過完備基學習模塊110還用於從多個清晰圖像中選出多個像素塊，採用sparsecoding在多個像素塊中學習，得到過完備低解析度基和過完備高解析度基，其中，多個清晰圖像包括多個高解析度圖像和對應的低解析度圖像。重建模塊160用於根據過完備高解析度基和過完備低解析度基，利用重建係數矩陣重建得到對應的低解析度圖像和高解析度圖像。其中，過完備低解析度基和過完備高解析度基在統計意義下對自然場景普適。目標函數模塊130還用於對原始信號利用光流算法通過相對位移進行光流對齊，得到拍攝數據。約束式包括：拍攝數據由原始信號和拍攝噪聲組成；攝噪聲在以原始信號為均值的3δ範圍內；原始信號可用過完備低解析度基重建表示；如果兩個像素塊有重疊，則像素塊重疊部分相同。求解模塊140還用於，利用增廣拉格朗日優化方法，將目標函數分解為原始信號的迭代優化和重建係數的迭代優化，並改變相應的參數。增廣拉格朗日優化方法包括將約束條件進行增廣拉格朗日展開，得到可解目標函數，並採用凸優化理論進行迭代求解。結果生成模塊150還用於，將得到的重建係數矩陣與過完備高解析度基相乘，得到對應的超解析度圖像與視頻。根據相對位移對超解析度圖像與視頻實施反光流算法，得到去噪後的清晰高解析度視頻。下面舉例對本方法進行說明，可以理解的是，下述說明僅出於示例目的，根據本發明的實施例不限於此。過完備基學習模塊110根據稀疏編碼理論，基於圖像塊，在多個清晰圖像數據中學習，得到一組過完備低解析度基和高解析度基。其中，過完備低解析度基和高解析度基在統計意義下對自然場景普適。其中，將過完備低解析度基記做BL，高解析度基記做BH，拍攝圖像在BL上的投影係數具有稀疏屬性，並可以利用BH進行超解析度。多個清晰圖像包括多個高解析度圖像和對應的多個低解析度圖像。具體地，過完備基學習模塊110對於多個清晰圖像中的多個像素塊，採用sparsecoding進行學習，得到過完備低解析度基和過完備高解析度基。根據過完備高解析度基和過完備低解析度基，重建模塊160利用對應的係數矩陣重建得到對應的低解析度與高解析度圖像。過完備基學習模塊110利用光流算法對輸入數據，如高幀率視頻相鄰幀進行光流對齊，在輸出數據之前對結果進行對應的反光流操作。利用光流算法進行光流對齊可以得到優化算法的輸入數據，從而滿足輸入數據矩陣地址的條件。約束式模塊120分別建立關於噪聲N、重建係數矩陣A和原始信號L的約束式。約束式包括：拍攝視頻由原始信號和拍攝噪聲組成；原始信號和拍攝噪聲均值存在平方 的關係，故根據3δ準則，拍攝噪聲在以原始信號為均值的3δ範圍內；原始信號可用過完備低解析度基重建表示；如果兩個像素塊有重疊，則兩個像素塊重疊部分相同。根據原始信號低秩、約束式和重建係數稀疏的特點，目標函數模塊130建立目標函數。目標函數將去噪與超解析度同時納入同一個優化框架中。求解模塊140利用增廣拉格朗日優化方法對目標函數進行求解，得到原始信號L和重建係數A；其中，求解模塊140得到原始信號和重建係數進一步包括：利用增廣拉格朗日優化方法，將目標函數分解為原始信號的迭代優化和重建係數矩陣的迭代優化，並改變相應的參數，得到原始信號和重建係數。將重建係數矩陣與拍攝噪聲分離。增廣拉格朗日優化方法包括將約束條件進行增廣拉格朗日展開，得到可解的目標函數，並採用凸優化理論進行迭代求解。結果生成模塊150利用重建係數A和過完備高解析度基BH進行超解析度操作，得到清晰的高解析度圖像與視頻。結果生成模塊150將得到的重建係數與過完備高解析度基相乘，得到對應的對齊的超解析度圖像與視頻。利用上述光流得到的相對位移，對對齊的超解析度圖像與視頻做反光流算法，得到最終去噪後的清晰高解析度視頻。下面為本說明的具體示例，可以理解的是，本發明並不局限於以下實例。圖2為過完備基學習模塊110通過sparsecoding學習得到的一組過完備低解析度基和對應的過完備高解析度基。圖2a為低解析度基，7×7pixels，圖2b為高解析度基，21×21pixels。如圖2所示，為了使用同樣的重建係數矩陣來重建圖像與視頻，過完備高解析度基與過完備低解析度基要保持空間位置上的對應。過完備基學習模塊110利用光流算法對拍攝得到的數據進行光流對齊，得到拍攝數據，表示為D。約束式模塊120和目標函數模塊130根據原始信號L、拍攝噪聲N、過完備高解析度基BH、過完備低解析度基BL、重建係數矩陣A建立如下優化模型：其中C為常數矩陣，α、β均為常數；D=L+N表示拍攝得到的數據由原始信號L與拍攝噪聲N構成。L=BLA表示原始信號L可以用低解析度的過完備基BH重建；IL=C表示相鄰像素塊的重疊部分是相同的，此限制條件是為了消除重建結果中的塊效應。N2≤αL+β表明拍攝噪聲N與原始信號L間的非線性關係。基於凸優化理論，求解模塊140利用增廣拉格朗日優化方法對上述模型進行迭代求解。上述模型轉化為增廣拉格朗日函數為：<![CDATA[Lag=||L||*++μ2||D-L-N||F2]]><![CDATA[+λ||A||1++μ2||L-BA||F2]]><![CDATA[++μ2||IL-C||F2]]><![CDATA[+<λ2,N2-(kL+con)+^2>+μ2||N-(kL+con)+.^2||F2]]>求解模塊140在每次迭代過程中重要參數的更新規則如下：（一）、更新L：<![CDATA[Ln+1=argminL||L||*+μ12||L-(x-μ1-1f1(x))||F2]]>其中UL_tempVT是<![CDATA[x-μ1-1f1(x)]]>的SVD分解形式，μ1-1x+μ1-1,ifx<![CDATA[f1(x)=μx-μ(D-N+μ-1Y1)]]><![CDATA[+μα2x-μα(N2-β+^2+μ-1λ2),]]>x表示上次迭代得到的L。（二）、更新A：<![CDATA[=argminAλ||A||1+μ22(A-(x-μ2-1f2(x)))]]><![CDATA[=Sλ/μ2[x-μ2-1f2(x)]]]>其中<![CDATA[f2(x)=μBLTBLx-μBLT(L+μ-1Y2),]]>x表示上次迭代得到的A。（三）、更新N：N為<![CDATA[2N.^3+(1-2(kL+con-^2-μ-1λ2))*N(D-L+μ-1Y1)=0]]>三次方程的正數解。（四）、更新參數ε：ε方程<![CDATA[^3=(αL+β-N2-μ-1λ2)*]]>的正數解。圖3顯示了迭代過程中重要參數及迭代結果的變化。由圖可見隨著迭代次數的增加，目標函數逐漸變小，約束條件誤差逐漸變小，表明優化迭代方法可以有效地求解此模型。按照上述迭代更新規則進行模型求解，可得到優化後的重建係數矩陣A。結果生成模塊150利用A與過完備高解析度基BH相乘即可得到對其的高解析度視頻幀。利用之前光流得到的相對位移對這些對齊視頻幀做反光流算法，便可得到最終去噪後的清晰高解析度視頻。圖4為不同程度拍攝噪聲下的優化結果。圖5為人工合成數據實驗結果。如圖6為實際拍攝視頻的優化結果。根據本發明實施例的基於凸優化理論的視頻聯合去噪及超解析度系統利用了高幀率視頻相鄰幀變化較少、過完備基重建圖像時重建係數矩陣稀疏等特點，將信號相關噪聲去噪與超解析度置於同一個優化框架中，通過sparsecoding學習得到一組過完備低解析度基與一組對應的過完備高解析度基。基於凸優化理論，利用增廣拉格朗日優化方法對目標函數進行求解，從而恢復出的清晰低解析度視頻與清晰的高分辨視頻。本方法可以有效去除信號相關噪聲，得到清晰圖像與視頻；算法通用性強，對自然場景下的高幀率視頻都適用；同時做到信號相關去噪與超解析度，視頻優化效果明顯好於其他方法。在本說明書的描述中，參考術語「一個實施例」、「一些實施例」、「示例」、「具體示例」、或「一些示例」等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。儘管已經示出和描述了本發明的實施例，對於本領域的普通技術人員而言，可以理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的範圍由所附權利要求及其等同限定。