用於對有噪圖像進行解析度上調的方法以及用於對有噪圖像進行解析度上調的裝置與流程

2023-09-27 06:49:10 1

本發明涉及一種用於對圖像進行解析度上調(upscaling)的方法和一種用於對圖像進行解析度上調的裝置。
背景技術：
：圖像超解析度是根據低解析度(lr)圖像生成放大的高解析度(hr)圖像的任務。該放大的圖像應當保留lr圖像的高頻(hf)內容。通常，通過首先去噪然後解析度上調來根據有噪lr圖像獲得hr圖像。wo2015121422a公開了一種噪聲感知單圖像超解析度(si-sr)算法，其在添加從較低解析度學習的細節的同時自動地消除加性噪聲。與常規的si-sr技術相反，該方法不假設輸入圖像是清楚的示例源。相反，該方法利用最近且有效的就地跨分比率自相似性先知(prior)，用於學習精細細節示例以補充基於內插的經解析度上調的圖像分塊並減少圖像噪聲。在ep3086280中，首先通過內插獲得超分辨圖像的粗略估計。然後，對經解析度上調的圖像的每個分塊進行平均減法和歸一化，以自上而下遍歷在離線訓練期間獲得的若干獨立的分級非線性映射函數。在每個自上而下遍歷期間，映射中的分層模式與歸一化分塊之間的相似性被組合，並且選擇具有最佳相似性的映射，從而提高通過利用單一映射的替代解決方案實現的質量。然後，通過對應於所選擇的映射中的所得到的線性化的局部線性映射來處理經平均減法的分塊，並將其添加到粗略分塊。[dabov2007]公開了通過兩步法的圖像去噪，其中每個步驟包括通過塊匹配對相似分塊的分組、3d變換、協同濾波級、以及對重構圖像的逆3d變換和構圖。在第一級期間，協同濾波器使用硬閾值設定，而在第二級期間，使用更精細的維納(wiener)去噪濾波器。閾值和濾波器係數的選擇需要知道噪聲水平。[dong2014]使用基於具有多個層的卷積神經網絡(cnn)的方法來對圖像進行解析度上調的方案。技術實現要素：已知的圖像解析度上調方法的問題是當輸入圖像有噪時，在去噪期間丟失重要的細節信息，這在解析度上調期間難以恢復。本發明提供了一種用於改善有噪圖像的解析度上調的解決方案。在一個實施例中，一種用於對有噪輸入圖像進行解析度上調的方法包括：對有噪輸入圖像進行解析度上調以獲得有噪高解析度(hr)圖像；對有噪輸入圖像進行去噪以獲得去噪低解析度(lr)圖像；對去噪lr圖像進行解析度上調以獲得經解析度上調的去噪lr圖像，以及對有噪hr圖像和經解析度上調的去噪lr圖像進行組合，以生成去噪hr圖像。在權利要求14中公開了利用該方法的裝置。在一個實施例中，在權利要求15中公開了一種裝置。根據一個實施例，計算機可讀介質具有使計算機執行如權利要求中所公開的方法的可執行指令。根據一個實施例，一種用於解析度上調的裝置包括至少一個硬體組件和非瞬時性有形計算機可讀存儲介質，該非瞬時性有形計算機可讀存儲介質有形地具體實現至少一個軟體組件，當該至少一個軟體組件在所述至少一個硬體組件上執行時，使該至少一個硬體組件執行如權利要求中所公開的方法。在一個實施例中，至少一個硬體組件包括至少一個硬體處理器。當結合附圖考慮以下描述和所附權利要求時，本發明的其他目的、特徵和優點將變得顯而易見。附圖說明參考附圖描述了本發明的示例性實施例，在附圖中示出了：圖1：圖像解析度上調方法的流程圖；圖2：用於圖像解析度上調的裝置的框圖；圖3：圖像去噪子系統的結構。具體實施方式通常，通過首先去噪然後解析度上調來根據有噪lr圖像獲得hr圖像。在本方法中，在一個實施例中，對有噪lr圖像進行解析度上調以獲得「有噪hr」圖像。該圖像具有經解析度上調的噪聲，但是hf結構也被保留。首先對lr圖像進行去噪然後解析度上調以獲得「去噪hr」圖像。該圖像沒有噪聲，但是它也具有較少的hf信息。為了根據有噪lr圖像實現視覺上良好的hr圖像，本發明將「有噪hr」與「去噪hr」進行非線性組合以產生更好的hr圖像。在一個實施例中，通過閾值設定來獲得非線性。通過這種組合獲得的圖像具有更好的psnr，並且在視覺上也比使用常規方法獲得的那些圖像效果更合意。圖1在一個實施例中示出了圖像解析度上調方法的流程圖。用於對有噪輸入圖像進行解析度上調的方法100包括：對有噪輸入圖像11進行解析度上調20以獲得有噪hr圖像，對有噪輸入圖像11進行去噪30以獲得去噪lr圖像，以及對去噪lr圖像進行解析度上調40以獲得經解析度上調的去噪lr圖像。將有噪hr圖像與經解析度上調的去噪lr圖像進行組合50以生成去噪hr圖像51。在解析度上調20中，使用用於單圖像超解析度的方法對有噪lr輸入圖像進行解析度上調。該操作產生「有噪hr」圖像。還使用去噪算法對有噪lr輸入圖像進行去噪30以產生去噪lr圖像，然後對去噪lr圖像進行解析度上調40。在一個實施例中，兩個解析度上調級20、40使用相同的sr算法。在一個實施例中，兩個解析度上調級20、40使用不同的sr算法。在一個實施例中，在解析度上調20之後執行附加的去噪25，如圖1b所示。附加的去噪25可以非常簡單。使用非線性濾波器的網絡對去噪hr圖像和有噪hr圖像進行組合以生成和輸出hr圖像，該hr圖像是lr輸入圖像的經放大的高解析度版本。圖2在一個實施例中示出了用於對有噪輸入圖像進行解析度上調的裝置。裝置200包括第一圖像解析度上調器220，適於對有噪輸入圖像11進行解析度上調20以獲得有噪hr圖像；圖像去噪器230，適於對有噪輸入圖像11進行去噪30以獲得去噪lr圖像；第二圖像解析度上調器240，適於對去噪lr圖像進行解析度上調40以獲得經解析度上調的去噪lr圖像，以及圖像組合器250，適於將有噪hr圖像與經解析度上調的去噪lr圖像進行組合以生成去噪hr圖像51。在實施例中，組合器250將例如有噪hr圖像的像素或分塊與經解析度上調的去噪lr圖像的像素或分塊進行組合。在一個實施例中，輸入圖像11被劃分為重疊的分塊，並且方法和/或裝置的所有級被應用於這些分塊。在最後級50、250中，對經處理的分塊進行重疊以獲得hr圖像51。在各種實施例中，第一圖像解析度上調器220、圖像去噪器230和第二圖像解析度上調器240以及解析度上調20、40和去噪30中的一個或多個分別包括如下所述的各種濾波器。原則上，可以使用任何fir濾波器類型。然而，在一個實施例中，訓練可以優化(即，修改)濾波器類型、濾波器大小和濾波係數。在其他實施例中，訓練僅優化濾波器大小和/或濾波器係數，而濾波器類型是給定的。原則上，使用三個子系統：圖像去噪子系統、圖像超解析度子系統和圖像組合子系統。圖像去噪子系統執行圖像去噪。圖像去噪的目的是在保持圖像中的高頻細節(即，邊緣、紋理等)的同時去除噪聲。圖像去噪子系統基於濾波器組。在圖3所示的一個實施例中，去噪子系統300的五級架構使用第一去噪濾波310、第一閾值設定320、第二去噪濾波330、第二閾值設定340和第三去噪濾波350。原則上，第一去噪濾波310和第一閾值設定320一起可以被理解為非線性濾波器。這同樣適用於第二去噪濾波330和第二閾值設定340。另一方面，第一閾值設定320和第二去噪濾波330一起也可以被認為是非線性濾波器，並且這同樣適用於第二閾值設定340和第三去噪濾波350。因此，去噪子系統300是非線性濾波器的網絡。在一個實施例中，第一濾波級310具有64個空間大小為9x9個像素的濾波器。為了對有噪輸入與去噪輸出之間的非線性進行建模，在每個濾波級之後使用閾值設定單元320、340。這種閾值設定允許正輸入值通過，而使負值等於零。使用具有不同數目的濾波器和不同的空間濾波器支持(即，使用的像素)的這兩個級的級聯。架構300的最後一級350再次是濾波操作。示例性整體配置如表1所示。級濾波器的數目/操作類型空間支持164/濾波9x921/閾值設定1x1364/濾波7x741/閾值設定1x151/濾波5x5表1：示例性圖像去噪子系統的配置在一個實施例中，濾波器中的一些或全部的係數被隨機初始化，然後使用被稱為反向傳播的機器學習算法被學習。機器學習算法的結果取決於使用的訓練圖像，但是通常類似於表1所示的結果。圖像去噪子系統的一個效果是具有例如高斯噪聲的有噪lr輸入圖像在應用圖像去噪之後具有較少的噪聲，但是它也比輸入更平滑。圖像超解析度子系統對lr圖像執行解析度上調以提供具有保留的高頻內容的放大圖像。在一個實施例中，同樣基於濾波的方法用於該子系統，但是具有不同的濾波器布置。在一個實施例中，濾波器的示例性配置如表2所示。它也使用具有濾波和閾值設定操作的級聯布置的五級架構。圖3所示的結構類似地適用於去噪子系統。表2：示例性圖像超解析度子系統的配置可以使用各種解析度上調因子。例如，解析度上調因數2(每維)給出了在兩個空間維度中具有輸入圖像的雙倍大小的輸出圖像。有噪hr圖像保留hf內容(這是有益的)，但是也包含噪聲。另一方面，去噪hr圖像具有較少的噪聲，但是圖像更平滑。本發明將這兩個圖像進行組合以產生具有降低的噪聲以及hf內容的最終圖像。圖像組合子系統將有噪hr與去噪hr圖像進行組合以產生最終輸出hr圖像。該網絡確定輸入圖像和相應的輸出hr圖像之間的非線性映射。在一個實施例中，使用基於濾波器的網絡來找到非線性映射。它使用與用於圖像去噪和圖像超解析度的濾波網絡類似的架構。在一個實施例中，圖3示出了等效於用於對輸入圖像進行組合的網絡架構的網絡架構。在一個實施例中，組合50使用包括第一組合濾波、第一閾值設定、第二組合濾波、第二閾值設定和第三組合濾波的五級濾波序列。表3示出了組合子系統的示例性配置參數。級濾波器的數目/操作類型空間支持164/濾波7x721/閾值設定1x1332/濾波3x341/閾值設定1x151/濾波5x5表3組合子系統的配置由這種非線性網絡產生的輸出圖像具有比常規去噪的hr圖像更好的psnr(即，更少的噪聲)，例如，對於具有方差為5的高斯噪聲的圖像，psnr增加約2db，並且在視覺上更合意。在一個實施例中，可以通過使用三個子系統的所謂反向傳播來執行訓練。該算法計算誤差關於系統中的權重(即，濾波係數)的導數。誤差是期望的輸出圖像與系統產生的輸出之差。在一個實施例中，將地面真值與系統的輸出圖像之間的平方差用作誤差度量。然後，可以計算誤差關於權重的導數。可以通過使誤差的導數等於零來計算針對權重的權重更新。通過使用導數的鏈規則，誤差的梯度從輸出級中的權重向後傳播到輸入級中的權重。在一個實施例中，例如在輸出級中或在訓練級中進行這種權重調節。少量的訓練圖像(例如91個訓練圖像)足以訓練網絡。對於該訓練，從圖像中提取更小的分塊。例如，對於所有三個子系統，合理的訓練分塊大小是32×32個像素。本發明的一個優點是其適於有效地對lr圖像進行解析度上調和去噪，所述lr圖像包括各種噪聲類型，例如，高斯、膠片噪點、編碼偽像等。也就是說，相同的網絡架構可以用於所有類型的噪聲，對於傳統技術而言並非如此。所公開的方法的一個優點是其在客觀評估(psnr)和主觀評估(視覺外觀)方面實現了更好質量的hr圖像。根據所使用的訓練策略，如果輸入圖像的噪聲水平是已知的，則訓練結果可能更好。動詞「包括」及其變形的使用不排除存在除了權利要求中所述的元件或步驟之外的元件或步驟。此外，元件之前的冠詞「一」或「一個」的使用不排除存在多個這樣的元件。幾個「裝置」可以由相同的硬體項來表示。此外，本發明在於每個新穎特徵或特徵組合。如本文所使用的，「解析度上調」或「去噪」不描述單純的數學抽象，而是表示具體實現在能夠由機器或裝置檢測的物理介質中或由其承載的信息。該術語包括記錄或傳輸的信號，並且應當被理解為包括通過任何形式的編碼(包括脈衝編碼調製(pcm)，但不限於pcm)的傳輸。雖然已經示出、描述和指出了應用於本發明的優選實施例的本發明的基本新穎特徵，但是將理解的是，所描述的裝置和方法中的各種省略、替換和改變在所公開的設備的形式和細節方面可以由本領域技術人員在不脫離本發明的精神的情況下做出。雖然已經關於......公開了本發明，但是本領域技術人員將認識到，本文描述的方法和設備可以應用於任何......。明確地期望以實質上相同的方式執行實質上相同的功能以實現相同結果的那些元件的所有組合落入本發明的範圍內。將元件從一個描述的實施例替換到另一個實施例也是完全預期和設想的。應當理解，僅通過舉例說明的方式描述了本發明，並且在不脫離本發明的範圍的情況下可以對細節進行修改。可以獨立地或以任何適當的組合提供說明書以及(在適當的情況下)權利要求和附圖中公開的每個特徵。可以在適當的情況下以硬體、軟體或兩者的組合來實現特徵。在適當的情況下，連接可以被實現為無線連接或有線(不一定是直接或專用)連接。權利要求中出現的附圖標記僅僅是說明性的，並且對權利要求的範圍沒有限制作用。引用文獻wo2015121422aep3086280[dabov2007]dabov等的「imagedenoisingbysparse3dtransform-domaincollaborativefiltering」，transactiononimageprocessing2007[dong2014]dong等的「learningadeepconvolutionalnetworkforimagesuper-resolution」，proceedingsofeuropeanconferenceoncomputervision(eccv)，2014當前第1頁12