使用具有異構成像器的單片相機陣列的圖像拍攝和圖像處理的製作方法
2023-05-15 04:42:01 1
使用具有異構成像器的單片相機陣列的圖像拍攝和圖像處理的製作方法
【專利摘要】本發明提供相機陣列、成像設備和/或使用製作於基底之上的多個成像器拍攝圖像的方法。每個成像器包括多個像素。所述多個成像器包括具有第一成像特徵的第一成像器和具有第二成像特徵的第二成像器。處理由所述多個成像器生成的圖像以獲取相對於所述成像器拍攝的圖像增強後的圖像。每個成像器可與使用晶片級光學（WLO）技術製作的光學元件關聯。
【專利說明】使用具有異構成像器的單片相機陣列的圖像拍攝和圖像處
理
[0001]本申請是 申請人:為派力肯成像公司，申請日為2009年5月20日，發明名稱為「使用具有異構成像器的單片相機陣列的圖像拍攝和圖像處理」的中國專利申請200980117890.1 (國際申請號:PCT/US2009/044687)的分案申請。
[0002]相關申請
[0003]本申請要求於2008年5月20日提交的序列號為61/054，694的名稱為「異構圖像傳感器的單片集成陣列」的美國專利申請的優先權，該專利申請全文在此通過引用併入本文。
【技術領域】
[0004]本申請涉及具有多個異構成像器的圖像傳感器，更具體而言，本申請涉及具有多個晶片級成像器的圖像傳感器，所述晶片級成像器具有不同配置的自定義濾鏡、傳感器和光學元件。
【背景技術】
[0005]圖像傳感器用於相機和其他成像設備以拍攝圖像。在通常的成像設備中，光線通過成像設備一端的開ロ(光圏)進入並通過諸如透鏡之類的光學元件導向圖像傳感器。在多數成像設備中，ー層或多層光學元件置於所述光圈和所述圖像傳感器之間以將光線聚焦於所述圖像傳感器。所述圖像傳感器由在通過所述光學元件接收光線之後產生信號的像素構成。通常使用的圖像傳感器包括CXD (電荷耦合器件)圖像傳感器和CMOS (互補型金屬氧化物半導體)傳感器。
[0006]在圖像傳感器中通常使用濾鏡以選擇性地傳輸特定波長的光線至像素。拜耳濾鏡馬賽克通常形成於所述圖像傳感器之上。所述拜耳濾鏡是在每個顏色像素上布置RGB顏色濾鏡之一的顔色濾鏡陣列。所述拜耳濾鏡布局包括50%緑色濾鏡、25%紅色濾鏡和25%藍色濾鏡。由於每個像素產生代表光線中某一顔色成分強度的信號，而非代表全部範圍的顏色，因此對每個圖像像素執行去馬賽克以內插ー組紅色、緑色和藍色的值。
[0007]圖像傳感器受各種性能約束的影響。所述圖像傳感器的性能約束包括動態範圍、信噪比(SNR)、低感光度和其他ー些性能約束。所述動態範圍定義為可被像素捕獲的最大可能信號與總噪聲信號的比。典型地，圖像傳感器的阱容量限制了可被所述圖像傳感器捕獲的最大可能信號，所述最大可能信號繼而依賴於入射照度和暴露持續時間(例如積分時間和快門時長)。所述動態範圍可表述為如下式的分貝(dB)的無量綱量:
[0008]
全牌容量
RMSa^P公式(I )
[0009] 通常，所拍攝圖像中的噪聲水平影響動態範圍的本底(floor)。因此，對於8位圖像而言，假設RMS噪聲水平是I位，那麼最佳的情形將是48dB。然而實際上RMS噪聲水平要高於I位，因此這進一步降低了動態範圍。
[0010]拍攝圖像的信噪比很大程度上是對圖像質量的測量。總體而言，像素拍攝到的光線越多，信噪比越高。所拍攝圖像的信噪比通常與所述像素的聚光能力有夫。
[0011]一般而言，拜耳濾鏡傳感器具有低的感光度。在弱光水平下，每個像素的聚光能力受入射到每個像素上的低信號水平的限制。此外，像素上方的顔色濾鏡進一歩限制了到達所述像素的信號。IR(紅外)濾鏡同樣降低了對載有重要信息的近紅外信號的光響應。
[0012]圖像傳感器的這些性能約束在被設計用於移動系統的相機中被大幅度地擴大，這歸因於設計約束的性質。行動裝置中的相機的像素通常遠小於數位相機(DSC)的像素。由於聚光能力的限制、降低的信噪比、動態範圍的限制以及對弱光景象的感光度降低，行動裝置中的相機顯現出性能不佳。
【發明內容】
[0013]本發明的實施方式提供ー種相機陣列、ー種具有相機陣列的成像設備和/或ー種拍攝圖像的方法，該方法使用製作在基底上的多個成像器，其中每個成像器具有多個傳感器元件。所述多個成像器至少包括形成於所述基底上第一位置的第一成像器和形成於所述基底上第二位置的第二成像器。所述第一成像器和所述第二成像器可具有相同的成像特徵或不同的成像特徵。
[0014]在一種實施方式中，所述第一成像特徵和所述第二成像特徵具有不同的成像特徵。所述成像特徵可包括:成像器的尺寸、成像器中所含的像素種類、成像器的形狀、與成像器關聯的濾鏡、成像器的曝光時間、與成像器相關的光圈尺寸、與成像器關聯的光學元件的布置、成像器的増益、成像器的解析度、成像器的運行時序以及其他ー些特徵。
[0015]在一種實施方式中，所述第一成像器包括用於傳輸光譜的濾鏡。所述第二成像器也包括與所述第一成像器相同的用於傳輸同種光譜的同種濾鏡，但是所述第二成像器拍攝與所述第一成像器拍攝的圖像具有子像素相移的圖像。使用超解析度處理將所述第一成像器和所述第二成像器所得圖像結合以獲取更高解析度的圖像。
[0016]在一種實施方式中，所述第一成像器包括用於傳輸第一光譜的第一濾鏡，並且所述第二成像器包括用於傳輸第二光譜的第二濾鏡。隨後處理所述第一成像器和所述成像器所得圖像以獲取更高質量的圖像。
[0017]在一種實施方式中，提供透鏡元件將光導向所述成像器並聚焦於所述成像器。每個透鏡元件都將光聚焦於ー個成像器。由於每個透鏡元件都與一個成像器關聯，每個透鏡元件可設計並配置成用於窄光譜。此外，所述透鏡元件的厚度可降低從而降低所述相機陣列的總體厚度。使用晶片級光學(WLO)技術製作所述透鏡元件。
[0018]在一種實施方式中，所述多個成像器包括至少ー個近紅外成像器用於接收近IR(紅外)光譜。近紅外成像器生成的圖像可與具有顔色濾鏡的其他成像器生成的圖像融合以降低噪聲並提升圖像質量。
[0019]在一種實施方式中，所述多個成像器可與具有變焦能力的透鏡元件相關聯。不同的成像器可與具有不同焦距的透鏡相關聯以具有不同視野並提供不同級別的變焦能力。可提供ー種機構以提供從ー種變焦級別至另ー種變焦級別的平穩轉換。
[0020]在一種或多種實施方式中，協調並運行所述多個成像器以獲取高動態範圍圖像、全景圖像、高光譜圖像、物距和高幀速視頻中至少ー種。
[0021]說明書中所描述的特徵和益處並非涵蓋所有特徵和優點。尤其是，結合附圖、說明書和權利要求書，許多其他特徵和優點對於本領域普通技術人員顯而易見。此外，應注意到說明書中所用的語言的選取主要基於可讀性和指導性的目的，並非選取用來描述或限制發明主題。
【專利附圖】
【附圖說明】
[0022]附圖1是根據一種實施方式的具有多個成像器的相機陣列的平面圖。
[0023]圖2A是根據一種實施方式的具有透鏡元件的相機陣列的立體圖。
[0024]圖2B是根據一種實施方式的相機陣列的剖視圖。
[0025]圖3A和圖3B是根據一種實施方式的截面圖，該截面圖顯示了基於成像器尺寸的變化，透鏡元件高度的變化。
[0026]圖3C是顯示了基於透鏡元件的不同尺寸主視角變化的圖。
[0027]圖4是根據一種實施方式的成像設備的功能框圖。
[0028]圖5是根據一種實施方式的圖像處理流水線模塊的功能框圖。
[0029]圖6A至圖6E是根據實施方式的具有不同布局的異構成像器的相機陣列的平面圖。
[0030]圖7是根據一種實施方式的顯示了通過由多個成像器拍攝的較低解析度圖像生成的增強圖像的過程的流程圖。
【具體實施方式】
[0031]現在結合附圖描述本發明的優選實施方式，其中相似附圖標記指示相同元件或功能近似元件。並且，在附圖中，每個附圖標記的最左側的數字對應於該附圖標記第一次使用的附圖。
[0032]實施方式涉及使用分布式方法以通過採用多個不同成像特徵的成像器拍攝圖像。每個成像器可在空間上以如下方式偏離另一成像器:成像器拍攝的圖像相對於另一成像器拍攝的圖像偏移子像素的量。每個成像器也可包括具有不同濾鏡的獨立的光學元件並以不同的運行參數(例如曝光時間)運行。處理由所述成像器生成的清晰圖像以獲取增強的圖像。每個成像器可與由使用晶片級光學(WLO)技術製作的光學元件關聯。
[0033]傳感器元件或是像素指相機陣列中的單獨的光感知元件。所述傳感器元件或像素包括傳統的CIS (CMOS圖像傳感器)、CXD (電荷耦合器件)、高動態範圍像素、多光譜像素及其各種替代元件以及其他一些傳感器元件。
[0034]成像器指ニ維像素陣列。每個成像器的傳感器元件具有相似的物理性能並通過相同的光學組件接收光線。此外，每個成像器中的傳感器元件可與相同的顔色濾鏡相關聯。
[0035]相機陣列指成像器的集合，該集合被設計作為單ー組件運行。所述相機陣列可在単一晶片上製作以用於裝配或安裝至各種設備。
[0036]一系列相機陣列指兩個或多個相機陣列的集合。兩個或多個相機陣列可聯合運行以相對於單ー相機陣列提供擴展功能。
[0037]成像器的圖像特徵指與圖像拍攝有關的任何特徵或參數。所述圖像特徵除了別的以外可包括:成像器尺寸、成像器所含像素的種類、成像器的形狀、與成像器關聯的濾鏡、成像器的曝光時間、與成像器相關的光圈尺寸、與成像器關聯的光學元件的布局、成像器的增益、成像器的解析度、成像器的運行時序。
[0038]相機陣列的結構
[0039]圖1是根據一種實施方式的具有成像器IA至成像器匪的相機陣列100的平面圖。相機陣列100製作於半導體晶片上以包括多個成像器IA至成像器NM。成像器IA至成像器NM的每ー個可包括多個像素(例如0.32百萬像素)。在一種實施方式中，成像器IA至成像器匪布置成圖1所顯示的網格形式。在其他的實施方式中，所述成像器布置為非網格的形式。例如，所述成像器可布置為圓形布局、鋸齒形布局或分散布局。
[0040]所述相機陣列可包括兩種或多種異構成像器，每個成像器包括兩個或多個傳感器元件或像素。所述成像器中每ー個可具有不同的圖像特徵。或者，可有兩種不同的或更多種不同的成像器，其中相同種類的成像器共有相同的圖像特徵。
[0041]在一種實施方式中，成像器IA至成像器匪中的每ー個都具有自己的濾鏡和/或光學元件(例如透鏡)。具體而言，成像器IA至成像器匪的每ー個或一組成像器可與光譜的顔色濾鏡相關聯以接收特定波長的光。示例的濾鏡包括傳統的在拜耳模式(R、G、B或他們的互補C、M、Y)中使用的濾鏡、紅外截止濾鏡、近紅外濾鏡、偏振濾鏡以及以滿足超光譜成像需求的定製濾鏡。一些成像器可不具有濾鏡以接收整個可視光譜和提升成像器信噪比的近紅外光譜。清晰濾鏡的數目可與相機陣列中的成像器的數目同樣多。此外，成像器IA至成像器匪中的每ー個或一組通過具有不同光學特徵(例如焦距)或不同尺寸的光圈的透鏡可接收光線。
[0042]在一種實施方式中，所述相機陣列包括其他相關電路。所述其他相關電路可包括控制成像參數和控制傳感器感知物理參數的電路以及其他電路。控制電路可控制諸如曝光時間、増益和黑電平偏移之類的成像參數。所述傳感器可包括暗像素以估算工作溫度下的暗電流。所述暗電流可被測量以用於對基底可能遭受的任何熱蠕變進行動態補償。
[0043]在一種實施方式中，用於控制成像參數的電路可獨立地或以同步的方式觸發每個成像器。相機陣列中各種成像器的曝光時間的開始(類似於打開快門)可以交疊的方式錯開，這樣在使一些成像器同時暴露於光線時連續地採樣景象。在傳統攝像機中，以每秒N次曝光的速度採樣景象，毎次採樣的曝光時間限制在1/N秒。憑藉多個成像器，對於每次採樣的曝光時間則沒有此類限制，因為可運行多個成像器以交錯的方式拍攝圖像。
[0044]可獨立運行每個成像器。可個性化處理與每個獨立的成像器相關的全部或多數運行。在一種實施方式中，編程主設置(master setting)，對每個成像器配置該主設置的偏差(即偏移或増益)。所述偏差可反映諸如高動態範圍、増益設置、積分時間設置、數字處理設置或他們的組合之類的功能。對具體的相機陣列，這些偏差在低級別(例如増益偏差)或更高級別(例如ISO數的差，該ISO數的差繼而自動地轉化為增益増量、積分時間或以其他方式被環境/主控制寄存器(context/master control register)所具體化)下可具體化。通過設置主值和對該主值的偏差，可實現更高級別的控制抽象以利於實現對許多操作的更簡單的編程模式。在一種實施方式中，成像器的參數是任意地固定以用於目標應用。在另一種實施方式中，所述參數被配置以允許高度的靈活性和可編程性。
[0045]在一種實施方式中，相機陣列設計為已有的用在手機和其他行動裝置中的相機圖像傳感器的替換器件。因此，所述相機陣列可被設計成與具有近似相同解析度的傳統的圖像傳感器在物理上兼容，然而在許多拍攝場合所述相機陣列所達到的解析度可超過傳統的圖像傳感器。利用提升的性能的優勢，該實施方式的相機陣列相比於傳統的圖像傳感器可具有更少像素來獲取同等或更佳質量圖像。可選地，在獲得類似結果的同時，所述成像器中像素的尺寸相比於傳統圖像傳感器中的像素可減小。
[0046]為了在不擴大矽片面積的前提下匹配傳統圖像傳感器的原始像素數，獨立的成像器的邏輯開銷優選地限制於矽片區域內。在一種實施方式中，大部分的像素控制邏輯是全部或大多數成像器所共有的功能的單個集合，所述成像器具有可應用於每ー個成像器的更小功能集。在這個實施方式中，因為所述成像器的輸出數據並沒有大幅増加，所以傳統的外部接ロ可用於所述成像器。
[0047]在一種實施方式中，具有成像器的相機陣列替換M百萬像素的傳統圖像傳感器。所述相機陣列包括NXN個成像器，每個傳感器具有M/N2個像素。相機陣列的每個成像器還具有與被替換的傳統圖像傳感器相同的高寬比。表1列出根據本發明的替換傳統圖像傳感器的相機陣列的示例配置。
[0048]表1
[0049]
【權利要求】
1.ー種相機陣列，所述相機陣列包括: 多個相機，其中每個相機具有獨立的光學器件以及多個光感知元件，並且每個相機配置成獨立拍攝景象圖像； 其中每個相機的光學器件配置成使得每個相機具有相對於其他相機的視野偏移的視野，這樣每個相機的視野相對於其他相機的視野的每個偏移配置成具有景象的偏移唯一子像素的景象視野； 其中所述相機陣列是單片集成模塊，所述單片集成模塊包括單個半導體基底和光學器件，在所述半導體基底上形成所有傳感器元件，所述光學器件具有多個透鏡元件，其中每個透鏡元件形成所述相機之一的獨立的光學器件的一部分； 其中每個所述相機包括多個不同種類濾鏡之一；以及 其中具有相同種類濾鏡的相機圍繞所述相機陣列的幾何中心分布。
2.如權利要求1所述的相機陣列，其中包括特定種類濾鏡的至少ー個相機位於所述相機陣列的每個象限之中。
3.如權利要求2所述的相機陣列，其中包括特定種類濾鏡的相機圍繞所述相機陣列的幾何中心對稱分布。
4.如權利要求2所述的相機陣列，其中: 姆個相機具有藍色濾鏡、綠色濾鏡或紅色濾鏡； 具有藍色濾鏡的至少ー個相機位於所述相機陣列的每個象限中； 具有緑色濾鏡的至少ー個相機位於所述相機陣列的每個象限中；以及 具有紅色濾鏡的至少ー個相機位於所述相機陣列的每個象限中。
5.如權利要求2所述的相機陣列，其中: 姆個相機具有藍色濾鏡、綠色濾鏡、紅色濾鏡或近紅外濾鏡； 具有藍色濾鏡的至少ー個相機位於所述相機陣列的每個象限中； 具有緑色濾鏡的至少ー個相機位於所述相機陣列的每個象限中； 具有紅色濾鏡的至少ー個相機位於所述相機陣列的每個象限中；以及 具有近紅外濾鏡的至少ー個相機位於所述相機陣列的每個象限中。
6.如權利要求1所述的相機陣列，其中每個相機包括濾鏡，所述濾鏡選自:ー個或多個藍色濾鏡、ー個或多個綠色濾鏡、ー個或多個紅色濾鏡、ー個或多個光譜遷移濾鏡、ー個或多個近紅外濾鏡以及ー個或多個超光譜濾鏡。
7.如權利要求1所述的相機陣列，其中具有不同種類濾鏡的相機在具有至少ー個差別的運行參數下運行。
8.如權利要求7所述的相機陣列，其中運行參數中的所述至少一個差別包括曝光差別。
9.如權利要求1所述的相機陣列，其中每個相機具有控制電路，所述控制電路配置成使每個相機能獨立運行。
10.如權利要求1所述的相機陣列，其中所述相機陣列是至少為4X4的相機陣列。
【文檔編號】H01L27/146GK103501416SQ201310438869
【公開日】2014年1月8日 申請日期:2009年5月20日 優先權日:2008年5月20日
【發明者】卡爾蒂克·文卡塔拉曼, 阿曼丁·S·賈彼, 羅伯特·H·穆利斯 申請人:派力肯成像公司