微透鏡陣列的成像方法與成像裝置與流程
2023-06-10 20:47:36
本發明涉及成像技術領域,尤其涉及微透鏡陣列的成像方法與成像裝置。
背景技術:
微透鏡陣列廣泛應用於光場相機,複眼相機以及大視野的顯微相機。然而,由於光的波動性,以及圖像傳感器在感光、模擬信號轉換為數位訊號以及數位訊號重映射為數字圖像等過程中存在著非線性響應,這導致其輸出的數字圖像中的光照分布與真實的場景環境光分布並非線性關係,進而導致微透鏡成像中光亮度的非均勻性,導致每個微透鏡成像都會出現中間亮四周暗的現象。這對於微透鏡陣列成像的後續處理(無論是對兩個微透鏡成像做匹配,還是將多個微透鏡成像做拼接)都會造成嚴重的幹擾。
技術實現要素:
鑑於上述技術問題,本發明提供一種微透鏡陣列的成像方法與成像裝置,解決微透鏡陣列所成的原始圖像中亮度分布不均的問題,提高原始圖像的質量,降低對微透鏡所成圖像做匹配和拼接的難度。
依據本發明的一個方面,提供了一種微透鏡陣列的成像方法,所述成像方法包括:獲取圖像傳感器輸出的原始場景圖像;根據所述原始場景圖像和預先存儲的所述圖像傳感器的響應曲線,得到原始場景輻照度分布;根據預先存儲的微透鏡輻照度分布模型對所述原始場景輻照度分布進行亮度均一化變換,得到亮度均一的場景輻照度分布;將所述亮度均一的場景輻照度分布重新變換為亮度均一的數字圖像。
可選地,所述成像方法還包括:獲取圖像傳感器的響應曲線,並將所述圖像傳感器的響應曲線存儲至存儲設備中。
可選地,所述成像方法還包括:使用微透鏡陣列,固定圖像傳感器配置不 變,依次改變傳感器曝光時間,對光照強度維持不變的均勻發光光源獲取至少兩張光照圖像;按如下方式計算微透鏡輻照度分布模型Emicrolens:
其中,N為總共拍攝的光照圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
(j)表示數字圖像中的第j個像素、以及微透鏡輻照度分布模型中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的圖像傳感器的響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
可選地,所述根據所述原始場景圖像和預先存儲的所述圖像傳感器的響應曲線,得到原始場景輻照度分布,包括:
根據預先存儲的所述圖像傳感器的響應曲線,對原始場景圖像做如下方式的變換,得到原始場景輻照度分布Escene:
其中,N為總共拍攝的原始場景圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的傳感器響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
可選地,所述根據預先存儲的微透鏡輻照度分布模型對所述原始場景輻照度分布進行亮度均一化變換,得到亮度均一的場景輻照度分布,包括:
根據預先存儲的微透鏡輻照度分布模型Emicrolens對原始場景輻照度分布 Escene做如下的亮度變換,得到亮度均一的場景輻照度分布Euniform:
其中,(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
max(Emicrolens)表示數字圖像中像素的微透鏡輻照度分布模型Emicrolens的最大值。
依據本發明的另一個方面,還提供了一種微透鏡陣列的成像裝置,所述成像裝置包括:第一模塊,用於獲取圖像傳感器輸出的原始場景圖像;第二模塊,用於根據所述原始場景圖像和預先存儲的所述圖像傳感器的響應曲線,得到原始場景輻照度分布;第三模塊,用於根據預先存儲的微透鏡輻照度分布模型對所述原始場景輻照度分布進行亮度均一化變換,得到亮度均一的場景輻照度分布;第四模塊,用於將所述亮度均一的場景輻照度分布重新變換為亮度均一的場景數字圖像。
可選地,所述成像裝置還包括:
第五模塊,用於獲取圖像傳感器的響應曲線,並將所述圖像傳感器的響應曲線存儲至存儲設備中。
可選地,所述成像裝置還包括:
第六模塊,用於使用微透鏡陣列,固定圖像傳感器配置不變,依次改變傳感器曝光時間,對光照強度維持不變的均勻發光光源獲取至少兩張光照圖像;
按如下方式計算微透鏡輻照度分布模型Emicrolens:
其中,N為總共拍攝的光照圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
(j)表示數字圖像中的第j個像素、以及微透鏡輻照度分布模型中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的圖像傳感器的響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
可選地,所述第二模塊具體用於根據預先存儲的所述圖像傳感器的響應曲線,對原始場景圖像做如下方式的變換,得到原始場景輻照度分布Escene:
其中,N為總共拍攝的原始場景圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的傳感器響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
可選地,所述第三模塊具體用於根據預先存儲的微透鏡輻照度分布模型Emicrolens對原始場景輻照度分布Escene做如下的亮度變換,得到亮度均一的場景輻照度分布Euniform:
其中,(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
max(Emicrolens)表示數字圖像中像素的微透鏡輻照度分布模型Emicrolens的最大值。
本發明的有益效果是:本發明的實施例中微透鏡陣列的成像方法與成像裝置對圖像傳感器輸出的原始數字圖像進行非線性變換,將其還原為場景環境光經過主透鏡聚焦後入射到圖像傳感器表面上的輻照度分布,再對該輻照度分布消除由微透鏡成像所導致的光照非均勻性,最後重映射為數字圖像。由於光的波動性,以及圖像傳感器在感光、模擬信號轉換為數位訊號以及數位訊號重映射為數字圖像等過程中存在著非線性響應,這導致其輸出的數字圖像中的光照 分布與真實的場景環境光分布並非線性關係,進而導致微透鏡成像中光亮度的非均勻性,導致每個微透鏡成像都會出現中間亮四周暗的現象。而本實施例中的成像方法與成像裝置將數字圖像轉換為輻照度分布進行亮度均一化處理,可以有效地消除圖像傳感器對光照的非線性響應所帶來的不利影響。
而且,本實施例中的成像方法與成像裝置適用範圍廣泛,在透明物體的透射成像模式、不透明物體的表面反射成像模式及這兩者的混合模式下均可工作,且對圖像的處理是實時的,無須在拍攝場景圖像前獲取用於校正的光照底圖。
附圖說明
圖1為本發明的第一實施例的微透鏡陣列的成像方法的流程圖;
圖2為本發明的第二實施例的微透鏡陣列的成像方法的流程圖;
圖3為本發明的第三實施例的微透鏡陣列的成像方法的流程圖;
圖4A~4C為一組彩色圖像傳感器響應曲線(R、G、B三個通道),其中橫軸為光的輻射量的對數值,縱軸為傳感器輸出的數字圖像中對應的數值;
圖5為一個微透鏡陣列的輻照度分布模型,該微透鏡陣列輻照度分布模型的數值被線性壓縮至0~255以便顯示;
圖6為一張原始場景圖像,該圖像為彩色圖像;
圖7為圖6中的原始場景圖像直接拼接得到的圖像,圖中環形陰影即為微透鏡陣列成像中的亮度不均現象所導致;
圖8為圖6中的原始場景圖像經過本發明所述的亮度均一化處理後,拼接得到的圖像,微透鏡陣列成像中的亮度不均現象已被消除;其中採用的圖像重映射方法為亮度均一的場景輻照度分布將線性壓縮至0~255動態範圍內;
圖9為本發明的第四實施例的微透鏡陣列的成像裝置的結構框圖。
具體實施方式
下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例,然而應當理解,可以以各種形式實現本公開而不應被這裡闡述的實施例所限制。相反,提供這些實施例是為了能夠更透徹地理解本公開,並且能夠將本公開的範圍完整的傳達給本領域的技術人員。
第一實施例
參見圖1,圖中示出了第一實施例的微透鏡陣列的成像方法的流程圖,該方法可以應用於光場相機、複眼相機以及大視野的顯微成像系統,該方法包括的具體步驟如下:
步驟S101、獲取圖像傳感器輸出的原始場景圖像。
具體地,使用微透鏡陣列,對實際場景進行拍攝,得到原始場景圖像。優選地,可以對場景進行不同曝光時間的多次拍攝,獲取多張不同曝光時間的原始場景圖像。
步驟S103、根據原始場景圖像和預先存儲的圖像傳感器的響應曲線,得到原始場景輻照度分布。
需要說明的是,為了消除圖像傳感器對光照的非線性響應所帶來的不利影響,需要將因圖像傳感器的非線性變換而失真的數字圖像還原為真實的原始場景輻照度分布。具體地,使用儲存在存儲設備中的傳感器響應曲線,對原始場景圖像進行變換,得到原始場景輻照度分布。
步驟S105、根據預先存儲的微透鏡輻照度分布模型對原始場景輻照度分布進行亮度均一化變換,得到亮度均一的場景輻照度分布。
具體地,使用儲存在存儲設備中的微透鏡輻照度分布模型對原始場景輻照度分布進行亮度變換,得到亮度均一的場景輻照度分布。
步驟S107、將亮度均一的場景輻照度分布重新變換為亮度均一的場景數字圖像。
具體地,將亮度均一的場景輻照度分布重新變換成為亮度均一的場景數字圖像,根據具體需求可選擇線性映射或非線性映射,例如將輻照度分布線性或分段線性地壓縮至0~255的動態範圍,或使用諸如對數變換、gamma變換以及直方圖均衡化等非線性的變換。
本發明的實施例中微透鏡陣列的成像方法對圖像傳感器輸出的原始數字圖像進行非線性變換,將其還原為場景環境光經過主透鏡聚焦後入射到傳感器表面上的輻照度分布,再對該輻照度分布消除由微透鏡成像所導致的光照非均勻性,最後重映射為圖像。由於光的波動性,以及圖像傳感器在感光、模擬信號轉換為數位訊號以及數位訊號重映射為數字圖像等過程中存在著非線性響應, 這導致其輸出的數字圖像中的光照分布與真實的場景環境光分布並非線性關係,進而導致微透鏡成像中光亮度的非均勻性,導致每個微透鏡成像都會出現中間亮四周暗的現象。而成像方法將數字圖像轉換為輻照度分布進行亮度均一化處理,可以有效地消除傳感器對光照的非線性響應所帶來的不利影響。
第二實施例
參見圖2,為本發明的第二實施例的微透鏡陣列的成像方法的流程圖,該方法可以應用於光場相機、複眼相機以及大視野的顯微成像系統,該方法包括的具體步驟如下:
步驟S201、獲取圖像傳感器的響應曲線,並將所述圖像傳感器的響應曲線存儲至存儲設備中,然後進入步驟S207。
步驟S203、獲取圖像傳感器輸出的原始場景圖像,然後進入步驟S207。
具體地,使用微透鏡陣列,對實際場景進行拍攝,得到原始場景圖像,優選地,可以對場景進行不同曝光時間的多次拍攝,獲取多張不同曝光時間的原始場景圖像。
步驟S205、計算微透鏡輻照度分布模型,然後進入步驟S209。
具體地,使用微透鏡陣列,固定圖像傳感器配置不變,依次改變傳感器曝光時間,對光照強度維持不變的均勻發光光源獲取至少兩張光照圖像;
按如下方式計算微透鏡輻照度分布模型Emicrolens:
其中,N為總共拍攝的光照圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
(j)表示數字圖像中的第j個像素、以及微透鏡輻照度分布模型中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的圖像傳感器的響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
步驟S207、根據原始場景圖像和預先存儲的圖像傳感器的響應曲線,得到 原始場景輻照度分布。
需要說明的是,為了消除圖像傳感器對光照的非線性響應所帶來的不利影響,需要將因圖像傳感器的非線性變換而失真的數字圖像還原為真實的原始場景輻照度分布。具體地,使用儲存在存儲設備中的傳感器響應曲線,對原始場景圖像進行變換,得到原始場景輻照度分布。
具體地,根據預先存儲的所述圖像傳感器的響應曲線,對原始場景圖像做如下方式的變換,得到原始場景輻照度分布Escene:
其中,N為總共拍攝的原始場景圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的傳感器響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
步驟S209、根據預先存儲的微透鏡輻照度分布模型對原始場景輻照度分布進行亮度均一化變換,得到亮度均一的場景輻照度分布。
具體地,使用儲存在存儲設備中的微透鏡輻照度分布模型對原始場景輻照度分布進行亮度變換,得到亮度均一的場景輻照度分布,例如:
根據預先存儲的微透鏡輻照度分布模型Emicrolens對原始場景輻照度分布Escene做如下的亮度變換,得到亮度均一的場景輻照度分布Euniform:
其中,(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
max(Emicrolens)表示數字圖像中像素的微透鏡輻照度分布模型Emicrolens的最大值。
步驟S211、將亮度均一的場景輻照度分布重新變換為亮度均一的場景數字圖像。
具體地,將亮度均一的場景輻照度分布重新變換成為數字圖像,根據具體需求可選擇線性映射或非線性映射,例如將輻照度分布線性或分段線性地壓縮至0~255的動態範圍,或使用諸如對數變換、gamma變換以及直方圖均衡化等非線性的變換。
本發明的實施例中微透鏡陣列的成像方法對圖像傳感器輸出的原始數字圖像進行非線性變換,將其還原為場景環境光經過主透鏡聚焦後入射到傳感器表面上的輻照度分布,再對該輻照度分布消除由微透鏡成像所導致的光照非均勻性,最後重映射為圖像。由於圖像傳感器在感光、模擬信號轉換為數位訊號以及數位訊號重映射為數字圖像等過程中存在著非線性響應,這導致其輸出的數字圖像中的光照分布與真實的場景環境光分布並非線性關係,進而導致微透鏡成像中光亮度的非均勻性,導致每個微透鏡成像都會出現中間亮四周暗的現象。而成像方法將數字圖像轉換為輻照度分布進行亮度均一化處理,可以有效地消除傳感器對光照的非線性響應所帶來的不利影響。
第三實施例
參見圖3,圖中示出了本發明的第三實施例的微透鏡陣列的成像方法的流程圖,該方法可以應用於光場相機、複眼相機以及大視野的顯微成像系統,該方法包括的具體步驟如下:
步驟S301、獲取圖像傳感器的響應曲線。
需要說明的是,圖像傳感器的響應曲線表達了傳感器將光的輻射量轉換為數字圖像數值的非線性映射關係,是傳感器的固有特徵。響應曲線的獲取可以在圖像傳感器定型時進行,可通過查找傳感器出廠參數得到傳感器的響應曲線;如若響應曲線資料欠缺,亦可通過實驗測定圖像傳感器的響應曲線,實驗測定方法如下所述:
步驟1、選擇一處光照動態範圍大、明暗對比強烈的靜態場景。若待測圖像傳感器為彩色圖像傳感器,則還要求該場景色彩豐富,R、G、B各通道分量均具有較大的動態範圍。
步驟2、固定圖像傳感器配置不變,依次改變傳感器曝光時間,對該靜態場 景獲取一系列數字圖像,要求最小曝光時間下的圖像大部分為黑色或接近黑色,最大曝光時間下的圖像大部分為白色或接近白色(即過曝狀態)。
在此過程中,對成像透鏡的選取無特殊要求。至少需要兩張以上的不同曝光時間的靜態場景圖像,但場景圖像的數量並不嚴格限制,一般的,曝光時間的變化越連續,計算得到的響應曲線越接近真實。靜態場景圖像中存在的噪聲會對後續的響應曲線計算造成幹擾,為了達到降噪的目的,在拍攝一張場景圖像的過程中,應當在相同的曝光時間下重複拍攝若干張圖像,一般的,需要5張或以上數量,用多張圖像的平均值作為該曝光時間下的場景圖像。
步驟3、對獲取的一系列同一場景的不同曝光時間數字圖像進行以下計算,得到圖像傳感器的響應曲線。
此處僅以灰度傳感器的單一灰度通道為例進行說明,彩色傳感器需將R、G、B通道分別作相應操作,每個色彩通道的操作均與灰度傳感器單灰度通道操作類似,故此處不再贅述。
符號定義:
假設被拍攝的靜態場景內光的輻照度分布為E;
假設共拍攝N張圖像,拍攝圖像時的曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
以(j)來表示數字圖像中的第j個像素、以及靜態場景內對應於該像素位置的區域;
待求的圖像傳感器的響應曲線為f,為從光的輻射量到數字圖像數值的非線性映射,即f(E(j)*ti)=Ii(j);
為了求解方便及簡化符號,定義非線性映射g=lnf-1,即g(Ii(j))=lnE(j)+lnti。
下面將通過計算g的數值解來間接求解f;
(1)採樣:對所有N張圖像的所有像素點進行計算是不必要的,可對像素點進行採樣,例如在空間上均勻地、隨機地抽取圖像內的P個像素,要求被提取的像素數目P滿足關係N*(P-1)>(zmax-zmin)(其中,zmin表示在圖像I1,I2,I3,…,IN中的灰度(或R、G、B通道分量)最小值,zmax表示在圖像I1,I2,I3,…,IN中的灰度(或R、G、B通道分量)最大值),然後提取N張圖像內這P個像 素上的灰度值(或R、G、B通道分量的數值);
(2)構造權值函數:圖像傳感器的響應曲線通常在較高及較低亮度處變化劇烈,在中間亮度處較為平緩、近似線性,為了強調其曲線中段的平緩特徵、減輕劇烈變化的兩端處對整體數值擬合的影響,可構造一個兩端小、中部大的權值函數w(z),其中z為數字圖像中像素的灰度值(或R、G、B通道分量的數值),例如
(3)構造代價函數:綜合考察最小平方誤差及曲線光滑性,構造代價函數如下
式中第一部分反映了數值擬合的平方誤差,第二部分反映了擬合曲線的光滑度,參數λ為一正數,作用是調節兩部分在目標函數中的權重;求解的目標是使代價函數最小化;
(4)約束條件:為了求得g的唯一數值解,還須添加一約束條件,例如約束
(5)求解g與f:因代價函數所有分量均為二次項,因此使其最小化的問題可化為線性最小二乘法問題(LLS),可使用奇異值分解法(SVD)求出g與E的數值解,再根據g=lnf-1,得到f=inv(exp(g))的數值解(其中inv表示逆函數)。
一般的,灰度圖像傳感器的響應曲線為從光的輻射量到數字圖像灰度值的一條函數曲線,彩色圖像傳感器的響應曲線為從光的輻射量到數字圖像R、G、B通道數值的三條函數曲線。
需要說明的是,所獲取的傳感器響應曲線儲存在存儲設備中,在對原始場景圖像做輻照度分布重建時被使用,在實際拍攝場景圖像時無須再次進行此步 驟。
步驟S303、微透鏡輻照度分布模型測定。
微透鏡輻照度分布模型的測定在圖像傳感器定型後、微透鏡陣列定型時進行,所獲取的微透鏡輻照度分布模型反映了該微透鏡的成像特徵,被用於校正實際拍攝時的亮度不均。其測定方法是:
(1)使用微透鏡陣列,固定圖像傳感器配置不變,依次改變傳感器曝光時間,對光照強度維持不變的均勻發光光源獲取一系列光照圖像。要求最小曝光時間下的圖像大部分為黑色或接近黑色,最大曝光時間下的圖像大部分為白色或接近白色(即過曝狀態)。
至少需要兩張以上的不同曝光時間的光照圖像,但光照圖像的數量並不嚴格限制,一般的,曝光時間的變化越連續,計算得到的微透鏡輻照度分布模型越接近真實;光照圖像中存在的噪聲會對後續的微透鏡輻照度分布模型計算造成幹擾,為了達到降噪的目的,在拍攝一張光照圖像的過程中,應當在相同的曝光時間下重複拍攝若干張圖像,一般的,需要5張或以上數量,用多張圖像的平均值作為該曝光時間下的光照圖像。
(2)假設微透鏡輻照度分布模型為Emicrolens,即微透鏡在均勻發光光源下的輻照度分布為Emicrolens,按如下方式計算微透鏡輻照度分布模型Emicrolens:
其中,N為總共拍攝的光照圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;(j)表示數字圖像中的第j個像素、以及微透鏡輻照度分布模型中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的圖像傳感器的響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
一般的,若使用灰度圖像傳感器,則微透鏡輻照度分布模型為單一灰度通道的輻照度分布;若使用彩色圖像傳感器,則微透鏡輻照度分布模型為分別對應R、G、B通道的三個輻照度分布。
所獲取的微透鏡輻照度分布模型儲存在存儲設備中,在對原始場景輻照度分布做亮度均一時被使用,在實際拍攝場景圖像時無須再次進行此步驟。
步驟S305、實際場景拍攝。
使用微透鏡陣列,對實際場景進行拍攝,得到原始場景圖像。
可以對場景進行不同曝光時間的多次拍攝,獲取多張不同曝光時間的原始場景圖像,藉助圖像傳感器的響應曲線可以提升最終生成的圖像質量。
步驟S307、重建場景輻照度分布。
為了消除圖像傳感器對光照的非線性響應所帶來的不利影響,需要將因圖像傳感器的非線性變換而失真的數字圖像還原為真實的原始場景輻照度分布(該原始場景輻照度分布中仍存在著微透鏡成像的光照非均勻特性)。
使用儲存在存儲設備中的傳感器響應曲線,對原始場景圖像做如下方式的變換,得到原始場景輻照度分布Escene:
其中,N為總共拍攝的原始場景圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的傳感器響應曲線;
w(Ii(j))是一個權重函數,其定義與之前的描述相同;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
一般的,若使用灰度圖像傳感器,則重建得到的原始場景輻照度分布為單一灰度通道的輻照度分布;若使用彩色圖像傳感器,則原始場景輻照度分布模型為分別對應R、G、B通道的三個輻照度分布,在計算時亦應各個通道分別計算。
步驟S309、亮度均一。
使用儲存在存儲設備中的微透鏡輻照度分布模型Emicrolens對原始場景輻照度分布Escene做如下所述的亮度變換,得到亮度均一的場景輻照度分布Euniform:
其中,(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
max(Emicrolens)表示數字圖像中像素的微透鏡輻照度分布模型Emicrolens的最大值。
在亮度均一的場景輻照度分布Euniform中,因微透鏡成像而導致的光照非均勻現象已經被消除。
一般的,若使用灰度圖像傳感器,則對灰度通道的輻照度分布進行以上計算;若使用彩色圖像傳感器,則需分別對R、G、B通道的輻照度分布進行計算,在計算時微透鏡輻照度分布模型Emicrolens與原始場景輻照度分布Escene的通道需一一對應。
步驟S311、圖像重映射。
將亮度均一的場景輻照度分布重新變換成為數字圖像,根據具體需求可選擇線性映射或非線性映射,例如將輻照度分布線性或分段線性地壓縮至0~255的動態範圍,或使用諸如對數變換、gamma變換以及直方圖均衡化等非線性的變換。
第四實施例
參見圖9,圖中示出了第四實施例中微透鏡陣列的成像裝置,該成像裝置900包括:第一模塊901、第二模塊903、第三模塊905和第四模塊907,其中
第一模塊901用於獲取圖像傳感器輸出的原始場景圖像;
第二模塊903用於根據所述原始場景圖像和預先存儲的所述圖像傳感器的響應曲線,得到原始場景輻照度分布;
第三模塊905用於根據預先存儲的微透鏡輻照度分布模型對所述原始場景輻照度分布進行亮度均一化變換,得到亮度均一的場景輻照度分布;
第四模塊907用於將所述亮度均一的場景輻照度分布重新變換為亮度均一的場景數字圖像。
繼續參見圖9,成像裝置900還包括:
第五模塊909,用於獲取圖像傳感器的響應曲線,並將所述圖像傳感器的響 應曲線存儲至存儲設備中。
繼續參見圖9,成像裝置900還包括:
第六模塊911,用於使用微透鏡陣列,固定圖像傳感器配置不變,依次改變傳感器曝光時間,對光照強度維持不變的均勻發光光源獲取至少兩張光照圖像;
按如下方式計算微透鏡輻照度分布模型Emicrolens:
其中,N為總共拍攝的光照圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
(j)表示數字圖像中的第j個像素、以及微透鏡輻照度分布模型中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的圖像傳感器的響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
可選地,所述第二模塊903具體用於根據預先存儲的所述圖像傳感器的響應曲線,對原始場景圖像做如下方式的變換,得到原始場景輻照度分布Escene:
其中,N為總共拍攝的原始場景圖像張數,對應的拍攝曝光時間分別為t1,t2,t3,…,tN,對應的數字圖像分別為I1,I2,I3,…,IN;
(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
g(Ii(j))為儲存在存儲設備中的傳感器響應曲線;
w(Ii(j))是一個權重函數;
Ii(j)為第i個數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域。
可選地,所述第三模塊905具體用於根據預先存儲的微透鏡輻照度分布模型Emicrolens對原始場景輻照度分布Escene做如下的亮度變換,得到亮度均一的場 景輻照度分布Euniform:
其中,(j)表示數字圖像中的第j個像素、以及原始場景輻照度分布中對應於該像素位置的區域;
max(Emicrolens)表示數字圖像中像素的微透鏡輻照度分布模型Emicrolens的最大值。
在本申請所提供的幾個實施例中,應該理解到,所揭露方法和裝置,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。
另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理包括,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現,也可以採用硬體加軟體功能單元的形式實現。
上述以軟體功能單元的形式實現的集成的單元,可以存儲在一個計算機可讀取存儲介質中。上述軟體功能單元存儲在一個存儲介質中,包括如果幹指令用以使得一臺計算機設備(可以是個人計算機,伺服器,或者網絡設備等)執行本發明各個實施例所述成像方法的部分步驟。而前述的存儲介質包括:U盤、移動硬碟、只讀存儲器(Read-Only Memory,簡稱ROM)、隨機存取存儲器(Random Access Memory,簡稱RAM)、磁碟或者光碟等各種可以存儲程序代碼的介質。
以上所述的是本發明的優選實施方式,應當指出對於本技術領域的普通人員來說,在不脫離本發明所述的原理前提下還可以作出如果幹改進和潤飾,這些改進和潤飾也在本發明的保護範圍內。