用於處理Bayer格式視頻圖像的方法及裝置與流程
2023-09-22 16:35:05
本發明涉及計算機視覺領域，具體而言，涉及一種用於處理Bayer格式視頻圖像的方法及裝置。
背景技術：
由於各個行業及人們生活中安防需求的提升，各種用於監控的儀器和設備不斷推陳出新，並漸漸遍布我們生活的各個角落。在這些監控方式中，視頻監控技術，以其直觀、可靠、信息量大的優勢得到廣泛應用，如：交通、電力、商店、百貨公司、工作室、金融、政府機關事業單位窗口，及軍隊、公安、監獄、航空航天等要害部門。伴隨著數字圖像處理技術和微電子技術的進步，數字圖像的獲取、處理、傳輸及分析變得更為方便和快速，監控系統也從模擬向數字逐漸過渡。
數字成像系統的動態範圍擴展方法有多種實現的途徑，目前主要可以歸為兩類，即軟體擴展方法和硬體擴展方法。從硬體上擴展系統動態範圍具有非常高的技術難度，還沒有成熟可靠的方案。並且此方法需要對相機或是圖像傳感器進行改造，甚至重新設計，在硬體設備上花費了大量精力，製造成本也大大提高。軟體擴展方法的主要思路是對場景進行多次曝光成像，通過設置不同的曝光時間，改變系統探測的亮度範圍，獲得多幅不同曝光度的圖像，再通過軟體方法將它們合成一副高動態範圍圖像，恢復場景的細節信息。此方法的不足之處在於需要通過拍攝多幅場景圖片，需對多幅圖像進行處理，不符合視頻監控的實時性要求。大多數的高動態處理的改進方法都是基於RGB圖像進行的，由於處理的數據總量沒有變化，運算效率提升有限，且硬體資源消耗大，難以進行嵌入式開發。
因此，需要一種新的用於處理Bayer格式視頻圖像的方法及裝置。
在所述背景技術部分公開的上述信息僅用於加強對本發明的背景的理解，因此它可以包括不構成對本領域普通技術人員已知的現有技術的信息。
技術實現要素：
有鑑於此，本發明提供一種用於處理Bayer格式視頻圖像的方法及裝置，能夠較好的還原原始圖像，同時滿足實時性寬動態的視頻監控系統的要求。
本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。
根據本發明的一方面，提出一種用於處理Bayer格式視頻圖像的方法，該方法包括：對輸入的Bayer格式的視頻圖像進行預處理，生成預處理數據；對預處理數據進行處理，生成高光數據與低光數據；利用空域變化算法處理高光數據與低光數據，生成算法數據；以及通過算法數據輸出視頻圖像。
在本公開的一種示例性實施例中，對輸入的Bayer格式的視頻圖像進行預處理，生成預處理數據，包括：對輸入的Bayer格式的視頻圖像進行線性空間濾波，生成濾波數據；以及對濾波數據進行濾波校正，生成預處理數據。
在本公開的一種示例性實施例中，對預處理數據進行處理，生成高光數據與低光數據，包括：通過視頻圖像的灰度值，將預處理數據分為高光數據與低光數據。
在本公開的一種示例性實施例中，利用空域變化算法處理高光數據與低光數據，生成算法數據，包括：通過空域變化算法處理高光數據，生成高光算法數據；通過空域變化算法處理低光數據，生成低光算法數據；通過高光算法數據與低光算法數據，生成算法數據。
在本公開的一種示例性實施例中，通過空域變化算法處理低光數據，生成低光算法數據，包括：通過低光補償部分算法公式處理低光數據，生成低光算法數據；
低光補償部分算法公式，包括：
其中，Y2為低光算法數據，k為低光補償參數，I為輸入的視頻圖像的像素值，Y1為輸入的視頻圖像的修正值。
在本公開的一種示例性實施例中，通過空域變化算法處理高光數據，生成高光算法數據，包括：通過高光補償部分算法公式處理高光數據，生成高光算法數據；
高光補償部分算法公式，包括：
其中，Y3為高光算法數據，α為高光補償參數，I為輸入的視頻圖像的像素值，Y1為輸入的視頻圖像的修正值，Max a為輸入的視頻圖像的像素最大值。
在本公開的一種示例性實施例中，高光補償參數範圍為0.7-1。
在本公開的一種示例性實施例中，通過高光算法數據與低光算法數據，生成算法數據，包括如下公式：
Y＝Y2+Y3
其中，Y為算法數據，Y2為低光算法數據，Y3為高光算法數據。
在本公開的一種示例性實施例中，通過算法數據輸出視頻圖像為寬動態圖像。
根據本發明的一方面，提出一種用於處理Bayer格式視頻圖像的裝置，該裝置包括：預處理模塊，用於對輸入的Bayer格式的視頻圖像進行預處理，生成預處理數據；數據模塊，用於對預處理數據進行處理，生成高光數據與低光數據；算法模塊，用於利用空域變化算法處理高光數據與低光數據，生成算法數據；以及輸出模塊，用於通過算法數據輸出視頻圖像。
根據本發明的用於處理Bayer格式視頻圖像的方法及裝置，能夠較好的還原原始圖像，同時滿足實時性寬動態的視頻監控系統的要求。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性的，並不能限制本發明。
附圖說明
通過參照附圖詳細描述其示例實施例，本發明的上述和其它目標、特徵及優點將變得更加顯而易見。下面描述的附圖僅僅是本發明的一些實施例，對於本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1是根據一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法的流程圖。
圖2是根據一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法中濾波算法原理圖。
圖3是根據另一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法處理前後對比圖。
圖4是根據另一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法處理前後對比圖。
圖5是根據另一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法處理前後對比圖。
圖6是根據另一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法的流程圖。
圖7是根據一示例性實施例示出的一種用於處理Bayer格式視頻圖像的裝置的框圖。
具體實施例
現在將參考附圖更全面地描述示例實施例。然而，示例實施例能夠以多種形式實施，且不應被理解為限於在此闡述的實施例；相反，提供這些實施例使得本發明將全面和完整，並將示例實施例的構思全面地傳達給本領域的技術人員。在圖中相同的附圖標記表示相同或類似的部分，因而將省略對它們的重複描述。
此外，所描述的特徵、結構或特性可以以任何合適的方式結合在一個或更多實施例中。在下面的描述中，提供許多具體細節從而給出對本發明的實施例的充分理解。然而，本領域技術人員將意識到，可以實踐本發明的技術方案而沒有特定細節中的一個或更多，或者可以採用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知方法、裝置、實現或者操作以避免模糊本發明的各方面。
附圖中所示的方框圖僅僅是功能實體，不一定必須與物理上獨立的實體相對應。即，可以採用軟體形式來實現這些功能實體，或在一個或多個硬體模塊或集成電路中實現這些功能實體，或在不同網絡和/或處理器裝置和/或微控制器裝置中實現這些功能實體。
附圖中所示的流程圖僅是示例性說明，不是必須包括所有的內容和操作/步驟，也不是必須按所描述的順序執行。例如，有的操作/步驟還可以分解，而有的操作/步驟可以合併或部分合併，因此實際執行的順序有可能根據實際情況改變。
應理解，雖然本文中可能使用術語第一、第二、第三等來描述各種組件，但這些組件不應受這些術語限制。這些術語乃用以區分一組件與另一組件。因此，下文論述的第一組件可稱為第二組件而不偏離本公開概念的教示。如本文中所使用，術語「及/或」包括相關聯的列出項目中的任一個及一或多者的所有組合。
本領域技術人員可以理解，附圖只是示例實施例的示意圖，附圖中的模塊或流程並不一定是實施本發明所必須的，因此不能用於限制本發明的保護範圍。
圖1是根據一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法的流程圖。
如圖1所示，在S102中，對輸入的Bayer格式的視頻圖像進行預處理，生成預處理數據。對於彩色圖像，需要採集多種最基本的顏色，如R、G、B三種顏色，最簡單的方法就是用濾鏡的方法，紅色的濾鏡透過紅色的波長，綠色的濾鏡透過綠色的波長，藍色的濾鏡透過藍色的波長。如果要採集R、G、B三個基本色，則需要三塊濾鏡，這樣價格昂貴，且不好製造，因為三塊濾鏡都必須保證每一個像素點都對齊。bayer格式圖片在一塊濾鏡上設置的不同的顏色，通過分析人眼對顏色的感知發現，人眼對綠色比較敏感，所以一般bayer格式的圖片綠色格式的像素是是R和G像素的和。對輸入的Bayer格式的視頻圖像進行預處理可例如，對輸入的Bayer格式的視頻圖像進行線性空間濾波，還可例如，對濾波後的數據進行濾波校正。
在S104中，對預處理數據進行處理，生成高光數據與低光數據。在本發明實時例中，為了更好地對圖像進行處理，將預處理數據分成高光數據與低光數據分別進行後續處理。可例如，根據輸入圖像中像素的加權平均值與一預定的閾值將預處理數據分成高光數據與低光數據，還可例如，通過圖像中每個像素的灰度數值與另一預定數值將預處理數據分成高光數據與低光數據。本發明不以此為限。
在S106中，利用空域變化算法處理高光數據與低光數據，生成算法數據。空域變化算法屬於色調映射算法中的一種，色調映射，是在有限動態範圍媒介上近似顯示高動態範圍圖像的一項計算機圖形學技術。列印結果、CRT或者LCD顯示器以及投影儀等都只有有限的動態範圍。本質上來講，色調映射是要解決的問題是進行大幅度的對比度衰減將場景亮度變換到可以顯示的範圍，同時要保持圖像細節與顏色等對於表現原始場景非常重要的信息。色調映射算法有很多種，有的用於生成前一幅圖像的六幅不同曝光程度的圖像。還有一種算法是基於對比度或者梯度域的方法，這些算法的側重點在於對比度的保持而不是亮度的映射，這種色調映射由於較好地保存了對比度細節，所以通常會產生非常銳利的圖像，但是這樣做的代價是使得整體的圖像對比度變得平緩。在本發明實施例中，通過空域變化算法分別處理高光數據與低光數據，生成算法數據。
在S108中，通過算法數據輸出視頻圖像。可例如，通過現有技術中的數據處理算法將所述算法數據進行數據整理輸出。其中，通過算法數據輸出視頻圖像為寬動態圖像。
根據本發明的用於處理Bayer格式視頻圖像的方法，通過將圖像數據分為高光數據與低光數據，並且利用空域變化算法分別處理高光數據與低光數據的方式，能夠較好的還原原始圖像，同時滿足實時性寬動態的視頻監控系統的要求。
應清楚地理解，本發明描述了如何形成和使用特定示例，但本發明的原理不限於這些示例的任何細節。相反，基於本發明公開的內容的教導，這些原理能夠應用於許多其它實施例。
在本公開的一種示例性實施例中，對輸入的Bayer格式的視頻圖像進行預處理，生成預處理數據，包括：對輸入的Bayer格式的視頻圖像進行線性空間濾波，生成濾波數據；以及對濾波數據進行濾波校正，生成預處理數據。
線性空間濾波的現實意義是改良影象質量，包括去除高頻噪聲與幹擾，及影像邊沿增強、線性增強和去模糊。線性空間濾波，是規定了相應濾波器大小，對鄰域像素進行的線性運算，輸出的響應為濾波器內的像素進行線性運算後的得數值。線性空間濾波，從本質上來說是兩個矩陣的卷積或者相關運算：通過相應濾波器(或者稱之為掩膜，實際也為一個二維矩陣)與圖像矩陣進行卷積或者相關運算實現。
其算法表述為：
Y1＝Imfilter(I，GH，′conv′)+Mean·β
可以用公式表述為：
Y1＝I*GH+Mean·β
其中，Y1為輸入的視頻圖像的修正值，Imfilter為線性空間濾波函數，I為輸入的視頻圖像的像素值，值得注意的是，此處輸入的是無需處理的數據格式為12bit的RGB Bayer型圖像，故運算速度得到了很大的提高，且不影響整體效果。另外，GH為濾波矩陣，conv為卷積運算(輸入像素值I與濾波矩陣GH的卷積運算)，Mean為整幀圖像的平均值，β為調節平均值(調節平均值根據系統需要進行人為設定)。
根據本發明的用於處理Bayer格式視頻圖像的方法，通過對Bayer圖像數據進行預處理的方式，能夠減少輸入視頻圖像的噪聲。
圖2是根據一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法中濾波算法原理圖。濾波算法原理如圖2所示。可例如，H為一個5*5的濾波掩膜，加權平均，旋轉對稱，越靠近中心位置權值越大。在本實施例中，原始圖像分別以每個像素點為核心，取一個5*5的矩陣，陣列中的像素值與H矩陣對應的加權係數加權後，再除以加權係數和256。如果中心像素在邊界或臨近邊界，則複製邊界，補足5*5的矩陣。
濾波校正為調節平均值與整幀圖像的平均值的乘積(Mean·β)。
在本公開的一種示例性實施例中，對預處理數據進行處理，生成高光數據與低光數據，包括：通過視頻圖像的灰度值，將預處理數據分為高光數據與低光數據。
在本公開的一種示例性實施例中，通過空域變化算法處理高光數據與低光數據，生成算法數據，包括：通過空域變化算法處理高光數據，生成高光算法數據；通過空域變化算法處理低光數據，生成低光算法數據；通過高光算法數據與低光算法數據，生成算法數據。
根據本發明的用於處理Bayer格式視頻圖像的方法，通過空域變化算法處理Bayer圖像數據，能夠獲得較好的效果，對圖像的還原度高，滿足視頻監控系統的實時性要求。
色調映射方法可以分為全局算法(空域不變算法)和局部算法(空域變化算法)兩種。全局算法中，對圖像各個像素的處理與其空間位置和周圍像素的值無關，所有像素被同一個映射函數處理。
由於空域不變算法需要的映射曲線具有統一性，不變性與固定性，所以它的計算簡單快捷，容易實現，映射時的算法複雜度較低，但是簡單的映射必定將影響最後的效果，導致圖像中的細節特徵很可能丟失，而原先圖像中局部的對比度等信息也將會因此而受影響。
空域變化算法則與之不同。與空域不變算法形成對比，這類算法關注的是當前像素點與其周圍像素點之間的關係，像素點一旦發生變化，相應的映射關係也將因此而發生變化。
在本公開的一種示例性實施例中，通過空域變化算法處理低光數據，生成低光算法數據，包括：通過低光補償部分算法公式處理低光數據，生成低光算法數據。
在本公開的一種示例性實施例中，低光補償部分算法公式，包括：
其中，Y2為低光算法數據，k為低光補償參數，I為輸入的視頻圖像的像素值，Y1為輸入的視頻圖像的修正值。
在本公開的一種示例性實施例中，通過空域變化算法處理高光數據，生成高光算法數據，包括：通過高光補償部分算法公式處理高光數據，生成高光算法數據。
在本公開的一種示例性實施例中，高光補償部分算法公式，包括：
其中，Y3為高光算法數據，α為高光補償參數，I為輸入的視頻圖像的像素值，Y1為輸入的視頻圖像的修正值，Max a為輸入的視頻圖像的像素最大值。
在本公開的一種示例性實施例中，高光補償參數範圍為0.7-1。
在本公開的一種示例性實施例中，通過高光算法數據與低光算法數據，生成算法數據，包括如下公式：
Y＝Y2+Y3
即為：
其中，Y為算法數據，Y2為低光算法數據，Y3為高光算法數據。
圖3、4、5是根據另一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法處理前後對比圖。由圖中可知，本發明實施例中的方法有效地提升了圖像的動態範圍，圖像的色度信息也保持良好，對圖像細節增強明顯。與此同時，本發明提出的方式步驟簡單，魯棒性好，實時性也能得到滿足。
圖6是根據另一示例性實施例示出的一種用於處理Bayer格式視頻圖像的方法的流程圖。
如圖6所示，S602，Bayer格式視頻圖像輸入。
S604，對輸入圖像進行線性空間濾波。
S606，對濾波後的圖像進行濾波校正。
S608，基於改進的色調映射法對濾波過後的視頻圖像進行寬動態處理
S610輸出處理後的寬動態圖像。
其中，S604中的線性空間濾波是視頻圖像的預處理，為了減少輸入視頻圖像的噪聲。而Bayer圖像特殊的排列方式，有效地減少了系統的硬體資源，在本發明實施例中，將寬動態算法應用於Bayer格式視頻圖像，所處理數據從根本上較其他算法減少了2/3，在不降低視頻圖像效果的前提下，很大程度上減少了寬動態算法的計算量，提高了算法效率。
本領域技術人員可以理解實現上述實施例的全部或部分步驟被實現為由CPU執行的電腦程式。在該電腦程式被CPU執行時，執行本發明提供的上述方法所限定的上述功能。所述的程序可以存儲於一種計算機可讀存儲介質中，該存儲介質可以是只讀存儲器，磁碟或光碟等。
此外，需要注意的是，上述附圖僅是根據本發明示例性實施例的方法所包括的處理的示意性說明，而不是限制目的。易於理解，上述附圖所示的處理並不表明或限制這些處理的時間順序。另外，也易於理解，這些處理可以是例如在多個模塊中同步或異步執行的。
下述為本發明裝置實施例，可以用於執行本發明方法實施例。對於本發明裝置實施例中未披露的細節，請參照本發明方法實施例。
圖7是根據一示例性實施例示出的一種用於處理Bayer格式視頻圖像的裝置的框圖。
預處理模塊702用於對輸入的Bayer格式的視頻圖像進行預處理，生成預處理數據。
數據模塊704用於通過預定規則與預處理數據，生成高光數據與低光數據。
算法模塊706用於通過空域變化算法處理高光數據與低光數據，生成算法數據.
輸出模塊708用於通過算法數據輸出視頻圖像。
在本公開的一種示例性實施例中，預處理模塊，包括：濾波子模塊，用於對輸入的Bayer格式的視頻圖像進行線性空間濾波，生成濾波數據；以及校正子模塊，用於對濾波數據進行濾波校正，生成預處理數據。
在本公開的一種示例性實施例中，算法模塊，包括：高光子模塊，用於通過空域變化算法處理高光數據，生成高光算法數據；以及低光子模塊，用於通過空域變化算法處理低光數據，生成低光算法數據。
本發明實施例中的裝置可例如嵌入FPGA實現，運用於具有實時的高動態範圍相機或攝像機中。
本領域技術人員可以理解上述各模塊可以按照實施例的描述分布於裝置中，也可以進行相應變化唯一不同於本實施例的一個或多個裝置中。上述實施例的模塊可以合併為一個模塊，也可以進一步拆分成多個子模塊。
通過以上的實施例的描述，本領域的技術人員易於理解，這裡描述的示例實施例可以通過軟體實現，也可以通過軟體結合必要的硬體的方式來實現。因此，根據本發明實施例的技術方案可以以軟體產品的形式體現出來，該軟體產品可以存儲在一個非易失性存儲介質(可以是CD-ROM，U盤，移動硬碟等)中或網絡上，包括若干指令以使得一臺計算設備(可以是個人計算機、伺服器、移動終端、或者網絡設備等)執行根據本發明實施例的方法。
通過以上的詳細描述，本領域的技術人員易於理解，根據本發明實施例的用於處理Bayer格式視頻圖像的方法及裝置具有以下優點中的一個或多個。
根據一些實施例，本發明的用於處理Bayer格式視頻圖像的方法，通過將圖像數據分為高光數據與低光數據，並且利用空域變化算法分別處理高光數據與低光數據的方式，能夠較好的還原原始圖像，同時滿足實時性寬動態的視頻監控系統的要求。
根據另一些實施例，本發明的用於處理Bayer格式視頻圖像的方法，通過對Bayer圖像數據進行預處理的方式，能夠減少輸入視頻圖像的噪聲。
根據再一些實施例，本發明的用於處理Bayer格式視頻圖像的方法，通過空域變化算法處理Bayer圖像數據，能夠獲得較好的效果，對圖像的還原度高，滿足視頻監控系統的實時性要求。
以上具體地示出和描述了本發明的示例性實施例。應可理解的是，本發明不限於這裡描述的詳細結構、設置方式或實現方法；相反，本發明意圖涵蓋包含在所附權利要求的精神和範圍內的各種修改和等效設置。
此外，本說明書說明書附圖所示出的結構、比例、大小等，均僅用以配合說明書所公開的內容，以供本領域技術人員了解與閱讀，並非用以限定本公開可實施的限定條件，故不具技術上的實質意義，任何結構的修飾、比例關係的改變或大小的調整，在不影響本公開所能產生的技術效果及所能實現的目的下，均應仍落在本公開所公開的技術內容得能涵蓋的範圍內。同時，本說明書中所引用的如「上」、「第一」、「第二」及「一」等的用語，也僅為便於敘述的明了，而非用以限定本公開可實施的範圍，其相對關係的改變或調整，在無實質變更技術內容下，當也視為本發明可實施的範疇。