使用多光譜濾光器陣列傳感器的圖像融合方法和設備的製作方法
2023-09-23 05:50:10 2
使用多光譜濾光器陣列傳感器的圖像融合方法和設備的製作方法
【專利摘要】提供一種使用多光譜濾光器陣列傳感器的圖像融合方法和設備。所述圖像融合設備包括：分離單元，被配置為將通過多光譜濾光器陣列傳感器輸入的輸入圖像分離為RGB圖像和近紅外（NIR）圖像；色彩重建單元，被配置為通過從R值、G值和B值去除通過多光譜濾光器陣列傳感器與R值、G值和B值一起入射的NIR值來提取可見光波段中的RGB圖像；圖像融合單元，被配置為將可見光波段中的RGB圖像與NIR圖像進行融合，其中，RGB圖像與NIR圖像的融合率基於可見光波段中的RGB圖像的R值、G值和B值中的每一個的大小。
【專利說明】使用多光譜濾光器陣列傳感器的圖像融合方法和設備
[0001]本申請要求於2013年2月4日提交到韓國知識產權局的第10-2013-0012607號韓國專利申請的優先權，其中，所述專利申請的公開內容通過引用全部合併於此。
【技術領域】
[0002]與示例性實施例一致的設備和方法涉及圖像處理，更具體地講，涉及在使用多光譜濾光器陣列(mult1-spectral filter array)獲得的圖像中將RGB圖像與近紅外(NIR)(或黑/白)圖像進行融合。
【背景技術】
[0003]為了同時獲得可見光波段中的圖像和不可見光波段中的NIR圖像，如圖1所示，可使用多光譜濾光器陣列同時獲得各個通道中的圖像。
[0004]然後，從獲得的圖像分離RGB圖像和NIR圖像並進行處理，隨後，這些圖像最終被融合在一起，以提高圖像靈敏度。
【發明內容】
[0005]提供一個或多個示例性實施例以解決現有技術的問題，其中，因為在融合RGB圖像與NIR圖像的處理中，在不考慮可見RGB圖像中的R值、G值和B值中的每一個的大小的情況下執行融合，所以色度被破壞。
[0006]根據示例性實施例的一方面，提供一種使用多光譜濾光器陣列傳感器的圖像融合設備，所述圖像融合設備包括:分離單元，被配置為將通過多光譜濾光器陣列傳感器輸入的輸入圖像分離為RGB圖像和近紅外(NIR)圖像；色彩重建單元，被配置為通過從R值、G值和B值去除通過多光譜濾光器陣列傳感器與R值、G值和B值一起入射的NIR值來提取可見光波段中的RGB圖像；圖像融合單元，被配置為將可見光波段中的RGB圖像與NIR圖像進行融合，其中，RGB圖像與NIR圖像的融合率基於可見光波段中的RGB圖像的R值、G值和B值中的每一個的大小。
[0007]根據另一示例性實施例的一方面，提供一種使用多光譜濾光器陣列傳感器的圖像融合方法，所述圖像融合方法包括:從通過多光譜濾光器陣列傳感器輸入的RGB圖像提取可見光波段中的RGB圖像；通過多光譜濾光器陣列傳感器的NIR濾光器接收NIR圖像的輸入；計算可見光波段中的RGB圖像的R值、G值和B值中的每一個的大小；根據計算出的R像素、G像素和B像素中的每一個的大小，將可見光波段中的RGB圖像與NIR圖像進行融合。
[0008]在將可見光波段中的RGB圖像與NIR圖像進行融合的處理中，所述兩個圖像的融合率可根據輸入圖像的局部或全局特性進行調整。
【專利附圖】
【附圖說明】
[0009]通過參照附圖對示例性實施例的詳細描述，上述和其他方面將變得更加清楚，其中:[0010]圖1示出多光譜濾光器陣列傳感器的示例；
[0011]圖2示出根據示例性實施例的使用多光譜濾光器陣列傳感器的圖像融合系統的框圖；
[0012]圖3示出圖像融合的構思的示例；
[0013]圖4示出根據示例性實施例的圖像融合方法的示例；
[0014]圖5示出根據另一示例性實施例的RGB圖像與近紅外(NIR)圖像之間融合的示例；以及
[0015]圖6是示出根據示例性實施例的將RGB圖像與NIR圖像進行融合，同時調整亮度和色彩的處理的流程圖。
【具體實施方式】
[0016]這裡使用的術語用於描述實施例，而非用來限制本發明構思。如這裡所使用的情況，單數形式也可包括複數形式，除非上下文清楚地另有指示。還將理解:術語「包括」和/或「具有」在本文中被使用時，指定存在聲明的部件、步驟、操作和/或元件，但是並不排除存在或附加一個或多個其它部件、步驟、操作和/或元件。
[0017]除非術語被不同地定義，否則，這裡使用的術語(包括技術以及科學術語)具有與本領域技術人員所通常理解的術語相同的含義。應理解，在常用詞典中定義的術語具有與術語在現有技術中的 含義一致的含義。在術語未被明確定義的情況下，所述術語不應被理想地或過度地解析為正式含義。
[0018]一般來講，一種基於強度-色調-飽和度(IHS)的圖像融合方法已被廣泛使用，其中，從包括使用多光譜濾光器陣列傳感器(如圖1所示)獲得的R通道、G通道、B通道和NIR通道的多光譜圖像分離RGB圖像和近紅外(NIR)圖像，處理RGB圖像和NIR圖像，然後將RGB圖像與NIR圖像融合在一起。
[0019]在基於IHS的圖像融合方法中，對彩色域中的彩色圖像進行色彩轉換，然後，如下
分離與空間信息相應的I (強度)和與光譜信息相應的H (色調)和S (飽和度):
【權利要求】
1.一種使用多光譜濾光器陣列傳感器的圖像融合設備，所述圖像融合設備包括: 分離單元，被配置為將通過多光譜濾光器陣列傳感器輸入的輸入圖像分離為RGB圖像和近紅外(NIR)圖像； 色彩重建單元，被配置為通過從R值、G值和B值去除通過多光譜濾光器陣列傳感器與R值、G值和B值一起入射的NIR值來提取可見光波段中的RGB圖像； 圖像融合單元，被配置為將可見光波段中的RGB圖像與NIR圖像進行融合，其中，RGB圖像與NIR圖像的融合率基於可見光波段中的RGB圖像的R值、G值和B值中的每一個的大小。
2.如權利要求1所述的圖像融合設備，其中，多光譜濾光器陣列傳感器包括: 色彩濾光器，用於使範圍為400nm至700nm的可見光波段中的光分量通過； NIR濾光器，用於使不可見光波段中大於700nm但小於或等於IlOOnm的NIR區域的光分量通過。
3.如權利要求1所述的圖像融合設備，其中，色彩重建單元通過從包括RGB圖像的R通道、G通道和B通道的彩色通道的所有波段值中的每一個去除NIR值來提取RGB圖像。
4.如權利要求1所述的圖像融合設備，其中，通過以下等式來給出由圖像融合單元融合的各個彩色通道R』、G』和B』:
5.如權利要求4所述的圖像融合設備，其中，由圖像融合單元進行融合而得出的圖像的亮度為強度I，= (R，+G』 +B，)/3。
6.如權利要求1所述的圖像融合設備，其中，圖像融合單元被進一步配置為根據輸入圖像的局部或全局特性來調整融合率。
7.如權利要求6所述的圖像融合設備，其中，通過以下等式來給出由圖像融合單元融合的各個彩色通道R』、G』和B』:
R』 =NX (l-α ) XR/(R+G+B) +NX α
G』 =NX (1-α ) XG/(R+G+B) +NX α
B』 =NX (1-α ) XB/(R+G+B) +NX a， 其中，a被實現為根據輸入圖像的局部或全局特性而改變。
8.如權利要求6所述的圖像融合設備，其中，色彩重建單元通過從包括RGB圖像的R通道、G通道和B通道的彩色通道的所有波段值的每一個去除NIR值來提取可見光波段中的RGB圖像。
9..一種使用多光譜濾光器陣列傳感器的圖像融合方法，所述圖像融合方法包括: 從通過多光譜濾光器陣列傳感器輸入的圖像提取可見光波段中的RGB圖像； 通過多光譜濾光器陣列傳感器的NIR濾光器接收NIR圖像的輸入；計算可見光波段中的RGB圖像的R值、G值和B值中的每一個的大小；根據計算出的R值、G值和B值中的每一個的大小，將可見光波段中的RGB圖像與NIR圖像進行融合。
10.如權利要求9所述的圖像融合方法，其中，多光譜濾光器陣列傳感器被安裝在包括監控相機的圖像處理設備上。
11.如權利要求9所述的圖像融合方法，其中，通過從R值、G值和B值去除通過多光譜濾光器陣列傳感器與R值、G值和B值一起入射的NIR值來提取可見光波段中的RGB圖像。
12.如權利要求11所述的圖像融合方法，其中，去除NIR值的步驟包括:從包括RGB圖像的R通道、G通道和B通道的彩色通道的所有波段值中的每一個去除NIR值。
13.如權利要求9所述的圖像融合方法，其中，通過以下等式來給出在融合步驟中融合的各個彩色通道R』、G』和B』:
14.如權利要求9所述的圖像融合方法，其中，在將可見光波段中的RGB圖像與NIR圖像進行融合的步驟中，根據輸入圖像的局部或全局特性來調整上述兩個圖像的融合率。
15.如權利要求14所述的圖像融合方法，其中，通過以下等式來給出通過將可見光波段中的RGB圖像與NIR圖像進行融合而融合的各個彩色通道R』、G』和B』:
R』 =NX (l-α ) XR/(R+G+B) +NX α
G』 =NX (1-α ) XG/(R+G+B) +NX α
B』 =NX (1-α ) XB/(R+G+B) +NX a， 其中，a被實現為根據輸入圖像的局部或全局特性而改變。
【文檔編號】G06T5/50GK103971351SQ201310487513
【公開日】2014年8月6日 申請日期:2013年10月17日 優先權日:2013年2月4日
【發明者】崔銀喆 申請人:三星泰科威株式會社