一種圖像處理系統、方法及顯示裝置與流程
2023-12-04 15:42:56 1
本發明涉及圖像信號處理技術領域,尤其涉及一種圖像處理系統、方法及顯示裝置。
背景技術:
目前,在圖像信號處理的過程中,一般是利用標準的諸如雙三次(bicubic)和線性等標準升頻(提高圖像解析度)方式對圖像進行解析度的提升。如圖1所示,示出了一個2x的升頻方式,對輸入圖像的各像素(加上鄰像素)使用四個不同的濾波器f1、濾波器f2、濾波器f3和濾波器f4,每個濾波器產生四分之一的輸出圖像的像素,這個過程可以看作是對輸入圖像應用4個濾波器(卷積)後交錯或復用以創建寬度和高度翻倍的單一輸出圖像;但該圖像處理方法使得數據計算量較大,無法靈活調節升頻倍數。
為了減少數據計算量,提高升頻倍數調節的靈活度,在現有技術中提出了一種通過使用卷積神經網絡來提高視頻圖像的解析度的方法;如圖2所示,將輸入的特徵圖像中的每四個特徵圖像為一組,將其圖像的像素值交叉後,生成一個4倍像素的特徵圖像;顯然,該處理方法只能以固定的像素值排布方式生成特徵圖像。因此現有技術中,存在圖像處理的靈活度較差的問題。
技術實現要素:
本發明實施例提供一種圖像處理系統、方法及顯示裝置,以解決圖像處理的靈活度較差的問題。
第一方面,本發明實施例提供了一種圖像處理系統,所述圖像處理系統包括至少一個解析度轉換子系統,所述解析度轉換子系統包括級聯的卷積神經網絡模塊、複合器和激活模塊,所述卷積神經網絡模塊,用於對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;所述複合器,用於利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;激活模塊,與所述複合器連接,用於利用激活函數對所述第二特徵圖像進行選擇。
第二方面,本發明實施例還提供了一種顯示裝置,該顯示裝置包括圖像處理系統,該圖像處理系統包括至少一個解析度轉換子系統,所述解析度轉換子系統包括級聯的卷積神經網絡模塊、複合器和激活模塊,所述卷積神經網絡模塊,用於對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;所述複合器,用於利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;激活模塊,與所述複合器連接,用於利用激活函數對所述第二特徵圖像進行選擇。
第三方面,本發明實施例提供了一種圖像處理方法,包括:
對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;
利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;
利用激活函數對所述第二特徵圖像進行選擇。
第四方面,本發明實施例提供了一種電子設備,包括:
一個或多個處理器;
存儲器;以及
一個或多個程序,其中,所述一個或多個程序被存儲在所述存儲器中,並且被配置成由所述一個或多個處理器執行,所述程序被執行時實現上述的圖像處理方法中的步驟。
第五方面,本發明實施例提供了一種計算機可讀存儲介質,其上存儲有電腦程式,所述電腦程式被處理器執行時實現上述圖像處理方法中的步驟。
本發明實施例提供的圖像處理系統包括至少一個解析度轉換子系統,所述解析度轉換子系統包括級聯的卷積神經網絡模塊、複合器和激活模塊,所述卷積神經網絡模塊,用於對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;所述複合器,用於利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;激活模塊,與所述複合器連接,用於利用激活函數對所述第二特徵圖像進行選擇。由於在解析度轉換子系統中設置了激活模塊對複合器輸出的第二特徵圖像進行自適應的選擇,因此可以生成不同像素排布方式的第二特徵圖像,從而提高了圖像處理的靈活度。此外,由於複合器直接利用卷積神經網絡模塊的輸出第一特徵圖像進行放大處理,能夠保證儘可能多的特徵圖像參與到放大處理過程中,從而提高放大效果。
附圖說明
為了更清楚地說明本發明實施例的技術方案,下面將對本發明實施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動性的前提下,還可以根據這些附圖獲得其他的附圖。
圖1為現有技術中2x的升頻示意圖;
圖2為現有技術中的圖像升頻系統中複合器的升頻示意圖;
圖3是本發明實施例提供的圖像處理系統的結構圖之一;
圖4是本發明實施例提供的圖像處理系統中解析度轉換子系統的結構圖之一;
圖5是本發明實施例提供的圖像處理系統中解析度轉換子系統的結構圖之二;
圖6是本發明實施例提供的圖像處理系統中解析度轉換子系統的結構圖之三;
圖7a是本發明實施例提供的圖像處理系統中解析度轉換子系統的結構圖之四;
圖7b是本發明實施例提供的圖像處理系統中解析度轉換子系統的結構圖之五;
圖7c是本發明實施例提供的圖像處理系統中解析度轉換子系統的結構圖之六;
圖8是本發明實施例提供的圖像處理系統的結構圖之二;
圖9是本發明實施例提供的圖像處理系統的結構圖之三;
圖10是本發明實施例提供的圖像處理系統的結構圖之四;
圖11是本發明實施例提供的圖像處理系統的一解析度轉換子系統中複合器進行放大處理的示意圖;
圖12是本發明實施例提供的圖像處理方法的流程圖;
圖13是本發明實施例提供的電子設備的結構圖。
具體實施方式
下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。
本發明實施例提供了一種圖像處理系統,如圖3所示,該圖像處理系統包括至少一個解析度轉換子系統10,所述解析度轉換子系統10包括級聯的卷積神經網絡模塊110、複合器120和激活模塊130,所述卷積神經網絡模塊110,用於對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;所述複合器120,用於利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;激活模塊130,與所述複合器120連接,用於利用激活函數對所述第二特徵圖像進行選擇。
具體實施例中,圖像處理系統中還可以包括一個或者多個級聯的卷積神經網絡子系統20,其中,卷積神經網絡子系統20和解析度轉換子系統10的連接關係可以根據實際情況進行設置。例如,每一解析度轉換子系統10的輸入端級聯有兩個卷積神經網絡子系統20,輸出端級聯有兩個卷積神經網絡子系統20,當然在其他的實施例中,卷積神經網絡子系統20的數量和位置還可以採用其他方式,在此不再一一列舉。在本實施例中,卷積神經網絡子系統20包括級聯的卷積神經網絡模塊和激活模塊。
應理解,利用圖像處理系統處理的圖像可以是持續播放的視頻圖像。值得注意的是,在本發明實施例提供的上述處理系統中,輸入信號中不僅包括待處理的圖像,還可以包括噪聲圖像;該噪聲圖像可以人工生成細節,並且,一個噪聲大於1的輸入圖像可以產生更多的細節,有助於對視頻圖像進行更為細緻的處理;不僅如此,針對視頻圖像,在輸入信號中加入噪聲圖像還有助於輸入低解析度幀和幾個過去的幀,以保持視頻圖像的穩定。
本發明實施例提供的圖像處理系統包括至少一個解析度轉換子系統10,所述解析度轉換子系統10包括級聯的卷積神經網絡模塊110、複合器120和激活模塊130,所述卷積神經網絡模塊110,用於對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;所述複合器120,用於利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;激活模塊130,與所述複合器120連接,用於利用激活函數對所述第二特徵圖像進行選擇。由於在解析度轉換子系統10中設置了激活模塊130對複合器輸出的第二特徵圖像進行自適應的選擇,因此可以生成不同像素排布方式的第二特徵圖像,從而提高了圖像處理的靈活度。此外,由於複合器120直接利用卷積神經網絡模塊110的輸出第一特徵圖像進行放大處理,能夠保證儘可能多的特徵圖像參與到放大處理過程中,從而提高放大效果。
在具體實施時,在本發明實施例提供的上述圖像處理系統中,解析度轉換子系統10中的卷積神經網絡模塊110與複合器120的連接方式有以下幾種,如圖4至圖6所示;其中,在圖4中,解析度轉換子系統10可以包括一個卷積神經網絡模塊110、一個複合器120和一個激活模塊130,且卷積神經網絡模塊110的信號輸出端與複合器120的信號輸入端連接,複合器的信號輸出端與激活模塊130的輸入端連接。在圖5中,解析度轉換子系統10可以包括一個卷積神經網絡模塊110、兩個複合器120和一個激活模塊130,且卷積神經網絡模塊110的信號輸出端與第一級的複合器120的信號輸入端連接,第一級的複合器120的信號輸出端與第二級的複合器120的信號輸入端連接,第二級的複合器120的信號輸出端與激活模塊130的輸入端連接。在圖6中,解析度轉換子系統10可以包括兩個卷積神經網絡模塊110、兩個複合器120和兩個激活模塊130,且卷積神經網絡模塊110、複合器120和激活模塊130依次交錯連接。
具體地,在本發明實施例提供上述圖像處理系統中,解析度轉換子系統10中設置多個複合器120時,為了使每個複合器進行放大處理時可以採用高質量的第一特徵圖像合成高質量的解析度為n倍的第二特徵圖像,如圖6所示,一般各複合器120的信號輸入端與卷積神經網絡模塊110的輸出端連接,各複合器120的信號的輸出端與激活模塊130的輸入端連接,先採用卷積神經網絡模塊110來獲取特徵圖像後輸入到對應的複合器120的輸入端,即在解析度轉換子系統10中卷積神經網絡模塊110、複合器120和激活模塊130可以成對設置。
進一步地,在本發明提供的上述圖像處理系統中,設置多個解析度轉換子系統10時,各解析度轉換子系統10的放大倍數可以相同也,可以不同,在此不做限定。同一解析度轉換子系統10設置多個複合器120時,各複合器120的放大倍數可以相同,也可以不同,在此不做限定。以圖5和圖6為例,若兩個複合器120的放大倍數均為m倍,那麼在圖片經過解析度轉換子系統10後,圖像的解析度將放大到原來的m2倍;若圖像處理系統存在兩個解析度轉換子系統10,且兩個解析度轉換子系統10放大的倍數相同,那麼在圖片經過圖像處理系統後,圖像的解析度將放大到原來的m4倍。
在具體實施時,在一個解析度轉換子系統中,當需要對輸入的第一特徵圖像進行較大倍數的放大處理時,為了不影響每個複合器的計算精度和處理速度,在本發明實施例提供的上述處理系統中,複合器可以包括多個子複合器;並且,可以根據對輸入的第一特徵圖像需要放大的倍數,將放大倍數進行因式分解,即將較大的放大倍數分解為多個較小的放大倍數,使各子複合器分別以較小的放大倍數對輸入的第一特徵圖像進行處理;因此,子複合器的個數一般設置為輸出的第二特徵圖像相對於輸入的第一特徵圖像的解析度放大倍數的因式分解的個數;或者,還可以根據輸入的第一特徵圖像在行方向上的解析度和在列方向上的解析度,設置用於放大輸入的第一特徵圖像的列方向的垂直子複合器,和用於放大輸入的特徵圖像的行方向的水平子複合器,使得垂直子複合器和水平子複合器分別對輸入的第一特徵圖像在列方向和行方向進行放大處理,因此,子複合器可以包括:用於放大輸入的第一特徵圖像的列方向的垂直子複合器,以及用於放大輸入的特徵圖像的行方向的水平子複合器。
也可就是說,本實施例中,上述複合器為解析度放大m倍的複合器,所述複合器包括:
級聯的多個在行列方向同時進行在行和列方向進行放大處理的子複合器,所述子複合器的放大倍數的乘積等於所述m;
或者
級聯的用於在行方向進行放大處理的水平子複合器和用於在列方向進行放大處理的垂直子複合器,所述水平子複合器在行方向的放大倍數與所述垂直子複合器在列方向的放大倍數的乘積等於所述m。
具體地,以圖4所示的解析度轉換子系統中,且輸出的第二特徵圖像相對於輸入的第一特徵圖像的解析度放大36x為例,可以按照以下兩種方式設置子複合器:第一,可以將放大倍數36x因式分解為放大4x(2×2)和放大9x(3×3),即將較大地放大倍數因式分解成兩個較小的放大倍數,相應地,如圖7a所示,將子複合器的個數設置為兩個,分別為用於將輸入的第一特徵圖像的解析度放大4x的子複合器121,和用於將輸入的第一特徵圖像的解析度放大9x的子複合器122;第二,還可以使子複合器包括用於放大輸入的第一特徵圖像的列方向的垂直子複合器,以及用於放大輸入的第一特徵圖像的行方向的水平子複合器,相應地,為了使輸入的第一特徵圖像放大36x,如圖7b所示,在子複合器中可以包括:放大倍數為2x(1×2)的第一垂直子複合器123,放大倍數為3x(1×3)的第二垂直子複合器124,放大倍數為2x(2×1)的第一水平子複合器125和放大倍數為3x(3×1)的第二水平子複合器126;當然,各垂直子複合器和各水平子複合器還可以交叉設置,如圖7c所示;通過以上兩種設置方式,可以對圖片進行多層次分布式的處理,有助於對每個處理過程進行優化,以提高視頻圖像處理的效率。
本實施例中,由於複合器120輸出的每個第二特徵圖像的像素排布方式均不相同,即可以採用多種像素值排布方式生成多個第二特徵圖像,這樣不僅可以使輸入信號中各第一特徵圖像的信息不損失的記載到生成的第二特徵圖像中,還可以使與激活模塊130的信號輸出端相連接的下一層級對第二特徵圖像進行自適應地選擇,在保持不丟失圖像信息的前提下,提高了圖像處理的靈活度。
應當說明的,在還可以在不同的解析度轉換子系統10中部署不同類型的複合器實現對圖像的解析度進行放大。例如,在第一級的解析度轉換子系統10中部署複合器為用於放大輸入的第一特徵圖像的行方向的水平子複合器,在第二級的解析度轉換子系統10中部署複合器為用於放大輸入的第一特徵圖像的列方向的水平子複合器。應理解,上述第一特徵圖像和第二特徵圖像僅僅是用於說明通過複合器轉換之前的特徵圖像,以及通過複合器轉換之後的特徵圖像,並不用於限定圖像本身。也就是說,針對所有的複合器,其輸入的特徵圖像為第一特徵圖像,輸出的圖像為第二特徵圖像。
應理解,在具體實施時,上述圖像處理系統還可以包括:
轉換模塊,用於將接收rgb格式的輸入圖像轉換為yuv格式,輸出y通道信號、u通道信號和v通道信號;
所述至少一個解析度轉換子系統10對所述y通道信號、u通道信號和/或v通道信號進行解析度放大處理。
本實施例中,yuv格式為一種圖片格式,由y、u和v組成,其中,y表示亮度,u和v表示顏色的色度。
參照圖8至圖10所示,在圖像處理系統中,可以採用上述解析度轉換子系統對所述y通道信號、u通道信號和/或v通道信號進行解析度放大處理。
如圖8所示,y通道信號、u通道信號和v通道信號的放大倍數均採用本實施例中的解析度轉換子系統實現。
如圖9所示,y通道信號的放大倍數採用本實施例中的解析度轉換子系統實現。u通道信號和v通道信號的放大倍數採用本實施例中的解析度轉換子系統和現有的解析度放大子系統配合實現。
例如,上述圖像處理系統對所述輸入圖像的解析度的放大倍數為n倍,則有y通道信號通過至少一個解析度轉換子系統進行解析度放大的放大倍數為n倍;
u通道信號通過至少一個解析度轉換子系統進行解析度放大的放大倍數為n1倍,n1小於n;
v通道信號通過至少一個解析度轉換子系統進行解析度放大的放大倍數為n2倍,n2小於n。
其中,n1和n2的大小可以根據實際需要進行設置,在此不做進一步的限定。例如,上述n為100,n1和n2均為50,則在本發明實施例中,u通道信號和v信號通過設置至少一個解析度轉換子系統進行解析度放大10倍處理,同時設置現有的解析度放大子系統進行放大10倍處理。應理解,為了減少放大的計算量,通常的,首先通過本發明中的至少一個解析度轉換子系統進行放大10倍之後,再採用現有的解析度放大子系統進行放大10倍處理。現有的解析度放大子系統的計算算法可以根據實際需要進行選擇,例如可以採用雙三次(bicubic)和線性等標準升頻的方式對圖像的像素進行放大處理。
如圖10所示,所述至少一個解析度轉換子系統僅對所述y通道信號進行解析度放大處理。u通道信號和v通道信號採用現有的解析度放大子系統進行放大處理。
由於本發明實施例中的解析度轉換子系統需要在對第一特徵圖像放大到第二特徵圖像後,進行第二特徵圖像的選擇,因此放大的計算量較大,在本實施例中,可以綜合考慮系統的資源開銷,採用圖8至圖10任一種方式實現放大處理。對於圖像而言,都包括兩方面的信息:色彩和灰階,而對應於放大技術而言,其中灰階信息的處理對放大效果的影響大於色彩信息。因此,根據上述對放大的認知,本發明具體實施例中,將rgb圖像轉換為yuv格式之後,採用圖9和圖10所示的放大方式,可以減小系統的資源開銷,同時保證放大效果。
具體的,對於每一通道信號均可以採用一個或者多個解析度轉換子系統,具體的每一通道設置解析度轉換子系統的數量可以根據實際需要進行設置,在此不做進一步的限定。
應當說明的是,上述激活模塊130選擇第二特徵圖像的方式可以根據實際需要進行設置。可選的,所述激活模塊130具體用於在條件滿足時,輸出所述第二特徵圖像或施加偏移量後的第二特徵圖像,否則丟棄所述第二特徵圖像。
上述條件可以根據實際需要進行設置,例如,在本實施例中,可以將第二特徵圖像與-b(偏移量參數b的負數)進行比較,根據比較的結果確定是否輸出第二特徵圖像,以及如何輸出第二特徵圖像。具體的,當第二特徵圖像大於-b時,可以直接輸出第二特徵圖像或者增加偏移量b之後的第二特徵圖像,當第二特徵圖像小於或等於-b時,則直接丟棄該第二特徵圖像,輸出為0。其中,第二特徵圖像具有卷積處理中的權重參數a。
現有的卷積處理中,通常都包括權重參數a和偏移量參數b,而本發明具體實施例中,本發明通過不斷的實驗發現,在卷積處理中僅使用權重參數也可達到同時使用權重參數a和偏移量參數b的放大效果,同時還能降低訓練和調試難度。
進一步的,上述在解析度轉換子系統10中,上述複合器為解析度放大m倍的複合器,具體用於:將每m個第一特徵圖像的像素值交叉後合成m個第二特徵圖像並輸出。
在具體實施時,當解析度轉換子系統10放大的倍數為m倍,確定輸入的第一特徵圖像相當於輸出的第二特徵圖像在行方向上的放大因子mx和行方向上的放大因子my,mx和my為正整數。複合器,具體用於將輸入的第一特徵圖像中每m個輸入的第一特徵圖像的像素值交叉後合成m個解析度放大為輸入的第一特徵圖像m倍的第二特徵圖像並輸出;輸入的第一特徵圖像的數量為m的整數倍。其中,第二特徵圖像和第一特徵圖像相比,第二特徵圖像在行方向上放大了mx倍,在列方向上放大了my倍。
具體的,以圖6所示的解析度轉換子系統10中的複合器120為例。在圖11中,複合器120的放大倍數為4,即輸入的第一特徵圖像相對於輸出的第二特徵圖像在行方向上的放大因子為mx為2,輸入的第一特徵圖像相對於輸出的第二特徵圖像在列方向上的放大因子為my為2,因此,複合器120將輸入的4個第一特徵圖像的像素值交叉後合成4個解析度放大為輸入的第一特徵圖像4倍的特徵圖像,並輸出至激活模塊130進行選擇自適應選擇,然後輸出到下一層級進行放大,並進行再次自適應選擇,因此提高了視頻圖像處理的靈活度。
在具體實施時,在本發明實施例提供的上述圖像處理系統中,每個複合器可以為自適應插值濾波器。如圖11所示,將輸入的第一特徵圖像中每4個第一特徵圖像為一組交錯其圖像的像素值後生成4個解析度放大為輸入的第一特徵圖像4倍的第二特徵圖像並輸出;如圖11所示,複合器的工作原理是將4個輸入的第一特徵圖像中各相同像素點位置的像素值進行矩陣排列記載在輸出的第二特徵圖像中,因此,在此放大過程中不會修改(丟失或增加)特徵圖像中的任何像素信息。
具體地,為了確定複合器合成輸出的第二特徵圖像,在本發明實施例提供的上述圖像處理系統中,上述複合器採用如下公式合成第二特徵圖像:
其中,i的取值範圍為(0...h-1),j的取值範圍為(0...w-1),p的取值範圍為(0...myh-1),q的取值範圍為(0...mxw-1),h表示第二特徵圖像的高度,w表示第二特徵圖像的寬度,c表示第一特徵圖像的個數,mx表示第一特徵圖像相對於第二特徵圖像在行方向的放大因子,my表示第一特徵圖像相對於第二特徵圖像在列方向的放大因子,%為取餘運算符,表示小於(n-1)/my的最大整數,表示第一特徵圖像,和均表示的第二特徵圖像,n表示第二特徵圖像的編號。
可選的,所述卷積神經網絡模塊和所述激活模塊的訓練基於結構相似性ssim準則的成本函數進行判斷。
本實施例中,成本函數可以為:
cost(input,refrence)
=1-ssim(output(input)+refrence)+λ1downreg(input)+λ2wbratioreg(w,b)
其中,input為原始圖像,ssim為結構相似性計算函數,downreg(input)為描述原始圖像和訓練圖像的相似度函數,λ1為downreg(input)的權重係數和λ2為wbratioreg(w,b)的權重係數,wbratioreg(w,b)為權重偏移比函數;
其中l1(w)為權重參數的l1範數,l1(b)為偏移參數的l1範數,eps為常數。
在具體實施時,在系統運行過程中,由於每個濾波器的標量權重,以及偏置的數值相對固定,在系統運行前需要採用一系列的標準輸入輸出圖像來對系統進行訓練,並且依靠應用程式調整到滿足某些優化準則。因此,在本發明實施例提供的上述處理系統運行之前,需要進行一系列的訓練。本發明實施例還對神經網絡以及激活器的訓練進行了優化,對此詳細說明如下。
結合圖3所示的子系統結構以及子系統中各模塊的說明可知,本發明實施例的圖像處理系統中,由於複合器不會引入任何的參數,因此涉及到的參數僅包括卷積神經網絡的權重參數和激活器的偏移參數。
在訓練過程中,首先需要準備一系列的訓練圖像,對訓練圖像的取得簡要說明如下。
這些訓練圖像取自於一個資料庫,該資料庫中具有大量的樣本圖像,如具有解析度為480*320的500個圖像。該訓練圖像可以是隨機選擇部分樣本圖像,然後從選擇樣本圖像中隨機選擇一定數量的80*80的圖像塊,如30000個。
這些隨機選擇的圖像塊就構成了本發明實施例的訓練圖像。
在得到訓練圖像之後,可以採用各種標準的解析度壓縮算法,對該訓練圖像進行解析度縮小x倍的操作後,得到輸入到圖像處理系統的原始圖像。
在得到原始圖像之後,將原始圖像輸入到參數初始化的圖像處理系統,並調整圖像處理系統的各參數,以使得參數調整後的圖像處理系統對原始圖像進行x倍放大操作得到的目標圖像。
而參數的調整可以採用各種已有的算法來進行,如標準隨機梯度下降sgd算法等。
而參數是否合適可以以目標圖像和訓練圖像的損失函數cost進行判決,當二者之間的差異度較小時,表明圖像處理系統的放大效果較好,則cost較小,反之較差。
現有技術中,損失函數cost可以採用多種準則來進行處理,如常用的均方差mse。
然而,發明人在實現本發明實施例的過程中發現,現有的判斷準則都與人類視覺系統的相關度較差,舉例說明如下。
現有技術中,對於圖像而言,都包括兩方面的信息:色彩和灰階,而人類視覺系統對不同的參數的敏感度並不相同。而現有的參數設置是否合理的準則把所有的信息同等對待,與人類視覺系統的相關度較差。
發明人在實現本發明實施例的過程中潛心研究,發現採用ssim(structuralsimilarity,結構相似性)準則能夠更好地訓練卷積神經網絡和激活器。
對此進一步說明如下。
ssim,是一種全參考的圖像質量評價指標,它分別從亮度、對比度、結構三方面度量圖像相似性,定義如下:
其中uo、ur分別表示目標圖像和原始圖像的均值,σo、σr分別表示目標圖像和原始圖像的方差,σor表示目標圖像和原始圖像y的協方差,c1和c2為非零常數。
ssim取值範圍[0,1],值越大,表示圖像失真越小,即當ssim等於1時,表示目標圖像和原始圖像完全相同。
在實際應用中,可以利用滑動窗將圖像分塊,令分塊總數為n,考慮到窗口形狀對分塊的影響,採用高斯加權計算每一窗口的均值、方差以及協方差,然後計算對應塊的結構相似度ssim,最後將平均值作為兩圖像的結構相似性度量,即平均結構相似性mssim:
而損失函數cost則可以表示為1-ssim,標識目標圖像和原始圖像的差異程度,即:
cost=1-ssim。
本發明具體實施例中,為進一步提高卷積神經網絡和激活器的收斂程度,該cost函數也可以附加其他的參數,如權重參數的l1範數等。
本發明具體實施例中進一步增加如下的兩種新的參數:downreg(input)以及權重偏移比函數。
其中,
downreg(input)=mse(downscale(output(input)),input)
或者,
downreg(input)=1-ssim(downscale(output(input)),input)
其中input為原始圖像,downscale(output(input)為訓練圖像,mse為圖像均方差計算函數,ssim為結構相似性計算函數。
對於神經卷積網絡而言,為了將特徵進行分類,神經卷積網絡(包括神經卷積模塊和激活器)包括權重參數和偏移參數,理想情況下,偏移參數相對權重參數而言應該儘可能大。
為此,本發明具體實施例定義如下函數權重偏移比函數,如下:
其中l1(w)為權重參數的l1範數,l1(b)為偏移參數的l1範數如下:
其中:l為神經網絡的層序號,f為特徵序號,濾波器大小為n*m。其中eps為非常小的常數,如le-6。
其中:
cost=1-ssim(output(input)+refrence)+λ1downreg(input)+λ2wbratioreg(w,b)
其中λ1為downreg(input)的權重係數和λ2為wbratioreg(w,b)的權重係數,其具體取值取決於其重要程度。
基於同一發明構思,本發明實施例還提供了一種顯示裝置,包括如本發明實施例提供的上述圖像處理系統。該顯示裝置可以為:手機、平板電腦、電視機、顯示器、筆記本電腦、數碼相框、導航儀等任何具有顯示功能的產品或部件。該顯示裝置的實施可以參見上述圖像處理系統的實施例,重複之處不再贅述。由於在顯示裝置中採用了上述圖像處理系統,因此具有與上述圖像處理系統相同的有益效果。
基於同一發明構思,本發明實施例還提供了一種圖像處理方法,該圖像處理方法可以在上述圖像處理系統中被執行,具體的,參照圖12,本發明實施例提供的圖像處理方法包括:
步驟1201,對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;
步驟1202,利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;
步驟1203,利用激活函數對所述第二特徵圖像進行選擇。
具體的,步驟1201可以由上述解析度轉換子系統的卷積神經網絡模塊執行,步驟1202可以由上述解析度轉換子系統的複合器執行,步驟可以由上述解析度轉換子系統的激活模塊執行,該卷積神經網絡模塊、複合器和激活模塊的具體結構可以參照上述實施例,在此不再贅述。
本發明實施例提供的圖像處理方法首先對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;然後利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;最後利用激活函數對所述第二特徵圖像進行選擇。由於在解析度轉換子系統中設置了激活模塊對複合器輸出的第二特徵圖像進行自適應的選擇,因此可以生成不同像素排布方式的第二特徵圖像,從而提高了圖像處理的靈活度。此外,由於複合器直接利用卷積神經網絡模塊的輸出第一特徵圖像進行放大處理,能夠保證儘可能多的特徵圖像參與到放大處理過程中,從而提高放大效果。
參照圖13,圖13是本發明實施例提供的電子設備的結構圖,如圖13所示電子設備包括:至少一個處理器1301、存儲器1302、至少一個網絡接口1304和用戶接口1303。電子設備中的各個組件通過總線系統1305耦合在一起。可理解,總線系統1305用於實現這些組件之間的連接通信。總線系統1305除包括數據總線之外,還包括電源總線、控制總線和狀態信號總線。但是為了清楚說明起見,在圖13中將各種總線都標為總線系統1305。
其中,用戶接口1303可以包括顯示器、鍵盤或者點擊設備(例如,滑鼠,軌跡球(trackball)、觸感板或者觸控螢幕等。
可以理解,本發明實施例中的存儲器1302可以是易失性存儲器或非易失性存儲器,或可包括易失性和非易失性存儲器兩者。其中,非易失性存儲器可以是只讀存儲器(read-onlymemory,rom)、可編程只讀存儲器(programmablerom,prom)、可擦除可編程只讀存儲器(erasableprom,eprom)、電可擦除可編程只讀存儲器(electricallyeprom,eeprom)或快閃記憶體。易失性存儲器可以是隨機存取存儲器(randomaccessmemory,ram),其用作外部高速緩存。通過示例性但不是限制性說明,許多形式的ram可用,例如靜態隨機存取存儲器(staticram,sram)、動態隨機存取存儲器(dynamicram,dram)、同步動態隨機存取存儲器(synchronousdram,sdram)、雙倍數據速率同步動態隨機存取存儲器(doubledataratesdram,ddrsdram)、增強型同步動態隨機存取存儲器(enhancedsdram,esdram)、同步連接動態隨機存取存儲器(synchlinkdram,sldram)和直接內存總線隨機存取存儲器(directrambusram,drram)。本文描述的系統和方法的存儲器1302旨在包括但不限於這些和任意其它適合類型的存儲器。
在一些實施方式中,存儲器1302存儲了如下的元素,可執行模塊或者數據結構,或者他們的子集,或者他們的擴展集:作業系統13021和應用程式13022。
其中,作業系統13021,包含各種系統程序,例如框架層、核心庫層、驅動層等,用於實現各種基礎業務以及處理基於硬體的任務。應用程式13022,包含各種應用程式,例如媒體播放器(mediaplayer)、瀏覽器(browser)等,用於實現各種應用業務。實現本發明實施例方法的程序可以包含在應用程式13022中。
在本發明實施例中,通過調用存儲器1302存儲的程序或指令,具體的,可以是應用程式13022中存儲的程序或指令,處理器1301用於:對輸入信號進行卷積處理,得到具有第一解析度的多個第一特徵圖像;利用所述第一特徵圖像合成具有大於第一解析度的第二解析度的第二特徵圖像;利用激活函數對所述第二特徵圖像進行選擇。
本發明實施例還提供一種計算機可讀存儲介質,其上存儲有電腦程式,所述電腦程式被處理器執行時實現上述任意一個方法實施例中的圖像處理方法中的步驟。
本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的單元及算法步驟,能夠以電子硬體、或者計算機軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行,取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不應認為超出本發明的範圍。
所屬領域的技術人員可以清楚地了解到,為描述的方便和簡潔,上述描述的系統、裝置和單元的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。
在本申請所提供的實施例中,應該理解到,所揭露的裝置和方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本發明實施例方案的目的。
另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來,該計算機軟體產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可以是個人計算機,伺服器,或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:u盤、移動硬碟、rom、ram、磁碟或者光碟等各種可以存儲程序代碼的介質。
以上所述,僅為本發明的具體實施方式,但本發明的保護範圍並不局限於此,任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內,可輕易想到變化或替換,都應涵蓋在本發明的保護範圍之內。因此,本發明的保護範圍應以權利要求的保護範圍為準。