具有多視角圖像捕捉的傳感器的製作方法

2023-05-30 12:17:51 1

專利名稱：具有多視角圖像捕捉的傳感器的製作方法
技術領域：
本發明涉及一種圖像傳感器，其捕捉來自場景的輻射。本發明還涉及一種具有柱 面微透鏡的圖像傳感器，其能夠同時捕捉具有不同視角的多個圖像。
背景技術：
從彼此分離一定距離的兩個或多於兩個相機捕捉的兩個或多於兩個圖像組成的 立體圖像提供不同的視角在本領域是已知的。然而，這些多相機系統體積大並且由於這種 系統的大尺寸而難於對準或校準。具有兩個或多於兩個透鏡的立體相機在本領域中也是已 知的。John N. Border等人以Eastman Kodak Company的名義在2007年3月9日提交的美 國專利申請11/684,036公開了使用具有同時捕捉圖像的兩個或多於兩個透鏡的相機以基 於兩個或多於兩個圖像中的不同視角的差異產生範圍映射(rangemap)。在Meltzer的美國專利6，545，741中，描述了一種具有兩個透鏡系統的立體相機， 這兩個透鏡系統將光引導到單個圖像傳感器。通過每個透鏡系統依次捕捉圖像來成對地產 生圖像。在透鏡系統之間的依次來回切換是通過快門完成的。在Nomura等人申請的美國專利6，072，627中，描述了一種立體圖像捕捉裝置，該 立體圖像捕捉裝置使用無焦透鏡組件將圖像呈現到透鏡或狹縫陣列，該透鏡或狹縫陣列以 光束的強度和角度能夠被記錄的方式將光束聚焦到圖像傳感器上的一系列像素上。然而，現有技術中存在的方法要求特殊的透鏡組件，其增加了立體相機的複雜度 和大小。因此，仍存在對簡單的傳感器系統的需求，該簡單的傳感器系統能夠與任何成像透 鏡一起使用以使相機能夠捕捉立體圖像而不增加複雜度。

發明內容
本發明公開一種圖像採集系統，其具有改進的圖像傳感器，使得能夠同時捕捉具 有不同視角的至少兩個圖像。像素被劃分為位於一系列柱面微透鏡或線性光導下方的兩個 或多於兩個像素子集。柱面微透鏡或線性光導限制僅僅來自成像透鏡的一部分或另一部分 的輻射照射到每個微透鏡或光導下方的第一和第二像素子集上，從而產生立體圖像集合。 改進的圖像傳感器上的像素設置被相應地改進以使得在所捕捉的立體圖像中能夠產生均 勻的圖像質量。改進的圖像傳感器的一個優點是其能夠用於多種成像透鏡。


圖1是透過成像透鏡並進入位於圖像傳感器上的兩個像素上方的一個柱面微透 鏡的一系列光射線的示意截面圖；圖2是透過成像透鏡並進入位於圖像傳感器上的多個像素上方的多個柱面微透 鏡的一系列光射線的示意截面圖；圖3是示出本發明產生的狹縫孔徑的有效分離的成像透鏡孔徑的示意圖；圖4是位於柱面微透鏡陣列下方的圖像傳感器上的濾色片陣列的示意4
圖5是如本發明描述的紅/綠/藍濾色片陣列模式的示意圖，其中實線示出柱面 微透鏡的邊緣且虛線示出像素的邊緣；圖6是如本發明描述的另一紅/綠/藍濾色片陣列模式的示意圖，其中實線示出 柱面微透鏡的邊緣且虛線示出像素的邊緣；圖7是如本發明描述的紅/綠/藍/全色濾色片陣列模式的示意圖，其中實線示 出柱面微透鏡的邊緣且虛線示出像素的邊緣；圖8是如本發明描述的另一紅/綠/藍/全色濾色片陣列模式的示意圖，其中實 線示出柱面微透鏡的邊緣且虛線示出像素的邊緣；圖9是柱面微透鏡的示意圖，其具有位於下方的微透鏡以幫助將光聚焦到像素的 有效區域上；圖10是柱面微透鏡的示意圖，其在兩側上都具有單獨的微透鏡，其中柱面微透鏡 定位在全色像素上方且單獨的微透鏡定位在紅/綠/藍像素上方；圖11是非球面微透鏡的示意圖，其具有中央脊以更好地分離從兩個半個成像透 鏡收集到圖像傳感器上的像素子集上的光；以及圖12是透過成像透鏡並進入位於圖像傳感器上的多個像素上方的多個導光的一 系列光射線的示意截面圖。
具體實施例本發明包括一種圖像獲取系統，其包括具有多個像素和多個柱面微透鏡的改進的 圖像傳感器，多個柱面微透鏡將光聚焦到下方的像素上以優選地例如從成像透鏡孔徑的一 側或另一側收集，以便能夠使用本領域已知的技術從所捕捉的像素數據產生立體圖像。本 發明的一個優點是改進的圖像傳感器能夠與多種成像透鏡一起使用以使得能夠捕捉立體 圖像或其他多視角圖像。圖1示出位於圖像傳感器124中的多個像素的子集120、121上方的單個柱面微透 鏡110的示意截面圖。該柱面微透鏡包括柱面微透鏡左側的第一部分以及柱面微透鏡右側 的第二部分。成像透鏡130將入射輻射(示出為光射線126和128)聚焦到微透鏡110上。 微透鏡110使得透過成像透鏡130左側的輻射(光射線128)落在圖像傳感器124左側的像 素121上。以互補方式，微透鏡110使得透過成像透鏡110右側的輻射(光射線126)落在 圖像傳感器124右側的像素120上。在沒有微透鏡110的情況下，落在像素120和121上 的光將是透過成像透鏡110的左側和右側的輻射的混合物(光射線126和128的結合)。圖2顯示位於包括圖像傳感器224上的像素子集的第一部分220和像素子集的第 二部分221的多個各自像素子集120、121上方的多個柱面微透鏡210。應注意儘管本發明 中的附圖僅示出幾個像素來圖示說明本發明的概念，但是通常圖像傳感器包括數百萬個像 素，因此附圖中所示的結構在實際圖像傳感器中將被重複很多次。成像透鏡230將入射輻 射(光射線226和228)聚焦到包括柱面微透鏡210的圖像傳感器224上。柱面微透鏡210 優選地將入射輻射引導到柱面微透鏡210下方的多個像素的子集(221和220)上，使得透 過成像透鏡228左側的光照射到柱面微透鏡210左側下方的像素子集的第一部分221上以 及透過成像透鏡226右側的光照射到柱面微透鏡210右側下方的第二像素子集的第二部分 220上。然後來自柱面微透鏡210左側下方的像素子集的第一部分221的像素數據能夠被
5組合到被成像的場景的第一圖像中。類似地，來自柱面透鏡210右側下方的像素子集的第 二部分220的像素數據能夠被組合到被成像的場景的第二圖像中。上述第一圖像和第二圖 像一起形成立體圖像對。由於輻射分別從成像透鏡的左側或右側收集造成的視角差異，在 場景的第一圖像和場景的第二圖像之間將存在小的差異。因此，分別具有不同視角的第一 和第二圖像是本領域中已知的立體對(stereo-pair)。該立體對能夠被用於產生用於顯示 或使用的三維圖像。圖3是示出具有分別顯示為317和315的左半和右半的成像透鏡孔徑的示意圖， 該左半和右半可以用於收集照射到位於圖2所示的圖像傳感器224左側和右側上的柱面微 透鏡210下方的像素子集221和220的第一和第二部分上的輻射。通過使用僅從來自成像 透鏡孔徑的左半317的輻射收集的像素數據，第一圖像中提供的視角好像是成像透鏡居中 在成像透鏡孔徑的左半的質心318處。類似地，通過使用僅從來自成像透鏡孔徑的右半315 的輻射收集的像素數據，第二圖像中提供的視角好像是成像透鏡居中在成像透鏡孔徑的右 半的質心316處。因此，本發明提供的第一和第二圖像之間的視角差是成像透鏡孔徑的左 半的質心318與成像透鏡孔徑的右半的質心316之間的距離。對於圓形成像透鏡孔徑，成 像透鏡孔徑的左半的質心318與成像透鏡孔徑的右半的質心316之間的距離D通過公式1 給出，並且可以近似為D = O. 42d，其中d是成像透鏡孔徑的直徑。D = 4d/3 π公式 1在直徑d很小的情況下，立體對可能必須基於如本領域已知的從第一和第二圖像 產生的範圍映射被增強。圖4示出位於柱面微透鏡陣列410下方的濾色片陣列和相關的多個像素425的示 意圖。在圖4中，字母R、G、B分別代表每個像素上的濾色片。濾色片陣列和相關的像素425 設置在每個微透鏡410下方的多個像素425的子集中。換句話說，一個柱面微透鏡410下 方的像素被認為是多個像素425的「像素子集」。每個像素子集的第一部分421被設置成收 集來自成像透鏡孔徑317的左半的輻射。類似地，每個像素子集的第二部分420被設置成 收集來自成像透鏡孔徑316的右半的輻射。來自第一部分421的像素數據被用於形成具有 第一視角的第一圖像，而來自第二部分420的像素數據被用於形成具有第二視角的第二圖 像。為了提供均勻的高質量圖像，濾色片陣列和相關的像素425關於柱面微透鏡的中心線 被對稱地設置。針對圖4中所示的濾色片，對於在圖像傳感器424的左側上的柱面微透鏡 410，示出像素子集的第一部分421的交替的紅像素和綠像素與像素子集的第二部分420的 交替的紅像素和綠像素相鄰。對於右側的下一柱面微透鏡，示出像素子集的第一部分421 的交替的綠像素和藍像素與像素在的第二部分420的交替的綠像素和藍像素相鄰。圖5示出自身描述為本發明的實施例的濾色片陣列525，其中實線標記柱面微透 鏡的邊緣，虛線標記像素的邊緣，以及R、G、B字母指示像素上的紅、綠和藍濾色片陣列。濾 色片陣列關於柱面微透鏡550的豎直中心線對稱。這種設置的柱面微透鏡410是兩個像素 寬並且像素子集的第一部分和第二部分(421和420)在柱面微透鏡410的每個部分或一半 的下方均是一個像素寬。顏色信息的完整集(紅、綠、藍)通過合併來自兩個柱面微透鏡 410下方的像素子集的各自部分的像素數據獲得。與針對第二圖像被像素子集的第二部分 420收集(通過成像透鏡孔徑316的右半收集)的輻射相比，針對第一圖像被像素子集的第 一部分421收集(通過成像透鏡孔徑317的左半收集)的輻射在強度和顏色光譜上應非常類似。本領域技術人員應注意，如圖5所示的針對像素子集的每個部分(421和420)的濾 色片陣列被設置成已知的紅、綠和藍像素的拜爾(Bayer)塊模式560，其正好在兩個相鄰的 柱面微透鏡410之間分布。圖6示出設置在柱面微透鏡下方的以及作為本發明的另一個實施例描述的另一 濾色片陣列模式。如同前一濾色片陣列模式，該濾色片陣列模式關於柱面微透鏡650的豎 直中心線對稱設置。這種設置的柱面微透鏡是4個像素寬，並且像素子集的第一部分和第 二部分(421和420)在每個柱面微透鏡下方是兩個像素寬。在此情況下，如圖6所示，針對 像素子集的第一部分421，紅、綠和藍像素交替的拜爾塊模式660被豎直設置。針對關於柱 面微透鏡650的豎直中心線對稱的像素子集的第二部分420，提供紅、綠和藍像素交替的水 平反轉的拜爾塊模式662。該設置在從每個柱面微透鏡下方的針對第一圖像和第二圖像的 像素子集的第一部分和第二部分提取的像素數據內提供顏色信息的完整集(紅、綠和藍)。圖7示出本發明的實施例，其中濾色片陣列模式包括紅、綠、藍和全色像素。儘管 紅、綠和藍像素僅僅收集基本來自其可見光譜的1/3各自部分的光，然而全色像素收集基 本來自整個可見光譜的光，並且因此全色像素大致是3倍(3X)敏感於被拍攝的大多數場景 中發現的多光譜光。這種設置的柱面微透鏡是兩個像素寬，並且像素子集的第一部分和第 二部分(421和420)在每個柱面微透鏡下方均是1個像素寬。類似於圖5中所示的濾色片 陣列模式，拜爾塊模式760在兩個相鄰的柱面微透鏡之間被劃分。然而，在本實施例中，全 色像素被以棋盤模式764均勻混雜在拜爾塊模式760中。該設置產生關於柱面微透鏡750 的豎直中心線對稱的濾色片陣列模式，其在像素子集的第一部分421和像素子集的第二部 分420之間具有1個像素豎直位移。圖8示出本發明的另一個實施例，其中濾色片陣列包括紅、綠、藍和全色像素。這 種設置的柱面微透鏡是4個像素寬，像素子集的第一部分和第二部分(421和420)在每個 柱面透鏡下方均是兩個像素寬。在本實施例中，濾色片陣列按塊設置，這些塊包含紅、綠、藍 和全色像素。如圖8所示，與針對像素子集的第二部分420的紅/綠/藍/全色塊870相 比，針對像素子集的第一部分421的紅/綠/藍/全色塊868被反轉。該設置針對每個柱 面微透鏡下方的像素子集的每個部分提供顏色信息的完整集(紅、綠和藍)以及全色信息， 同時還提供關於柱面微透鏡850的中心線對稱的濾色片陣列模式以提供與用於產生第一 圖像和第二圖像的像素子集的第一部分和第二部分(421和420)非常類似的輻射強度和顏 色光譜。圖9示出本發明描述的圖像傳感器的示意圖，其中柱面微透鏡410定位在微透鏡 的第二集合985的上方，該微透鏡的第二集合985用於聚焦輻射到像素的有效區域上以增 加收集輻射的效率。總體上，像素的有效區域通常比像素區域小。微透鏡的第二集合985 是1個像素寬，其可以是柱面或更優選地被形成為匹配單個像素的形狀(正方形、矩形或八 邊形)。圖10示出本發明的又一個實施例的示意圖，其包括具有紅、綠、藍1094和全色像 素1096的圖像傳感器1024。柱面微透鏡1090設置在全色像素1096的上方，並且單獨的微 透鏡1092被設置在紅、綠和藍像素1094的每個上方。在此實施例中，像素子集的第一部分 421和像素子集的第二部分420僅僅包括全色像素，並且被設置在柱面微透鏡1090下方，該 像素子集的像素數據分別用於形成第一圖像和第二圖像(具有不同視角)。與本發明的其他實施例相反，本實施例具有兩個像素子集的另一集合1022，其包括紅、綠和藍像素，由於 該兩個像素子集的另一集合被設置在單獨的微透鏡下方並且具有在第一圖像和第二圖像 的視角之間的視角，所以其收集來自整個成像透鏡孔徑(包括317和315)的輻射。在本實 施例中，三維信息將從第一圖像和第二圖像的不同視角被提供，而最終圖像將從像素子集 的第一部分和第二部分(421和420)的各個部分以及來自兩個像素子集的另一個集合1022 的顏色信息形成。圖11示出柱面微透鏡的另一個實施例，其中該柱面微透鏡在截面上是非球面的。 通過使用非球面柱面微透鏡1110，能夠改進柱面微透鏡的每側(1112和1113)僅僅從成像 透鏡230的一半收集輻射的效率。此外，微透鏡能夠被傾斜或稍微偏移以進一步改進柱面 微透鏡的每側(1112和1113)僅僅從成像透鏡230的一半收集輻射的效率。因此，圖像傳感 器1124上的每個非球面柱面微透鏡1110可以被設計為使得非球面柱面微透鏡的每個部分 (非球面柱面微透鏡的左部分和右部分的1112和1113)在形狀、角度和橫向位置方面被單 獨設計，以僅僅從成像透鏡孔徑的期望的一半收集輻射以及將輻射聚焦到像素子集的期望 部分上。作為非球面柱面微透鏡1110的每側(1112和1113)的單獨設計的結果，非球面柱 面微透鏡可以在截面中是非對稱的。如圖11所示，非球面柱面微透鏡的左部1112將收集 來自成像透鏡的左半317的輻射以及將輻射聚焦到像素子集的第一部分421上。相反地， 非球面柱面微透鏡的右部1113將收集來自成像透鏡的右半316的輻射以及將輻射聚焦到 像素子集的第二部分420上。如圖11所示，具有被設計為僅僅從成像透鏡的一半更好地收 集光的兩個部分或兩半(1112和1113)的非球面柱面透鏡1110沿著柱面微透鏡表面的中 心線將通常具有急劇的曲面變化或脊，透鏡表面的兩個部分(如圖所示的左部和右部1112 和1113)在該中心線處相遇。圖12示出本發明的替換實施例，其中使用線性光導對1270和1271代替柱面微透 鏡將僅僅來自成像透鏡230 —半的輻射引導到期望的像素子集。如圖所示，線性光導1271 收集透過成像透鏡230的左半的輻射使得輻射照射到像素子集的第一部分421。類似地， 線性光導1270收集透過成像透鏡230的右半的輻射使得輻射照射到像素子集的第二部分 420。為了有效地引導輻射而不造成光散射，線性光導1271和1270可以被形成具有位於像 素子集上方並且使得輻射被引導朝向像素表面的反射表面1272，和位於像素子集之間的表 面上的吸收表面1273。此外，線性光導1271和1272的表面可以被形成具有彎曲表面、傾斜 表面或偏移表面以幫助將輻射聚焦到期望的像素子集。此外，線性光導1271和1272可以 被用於針對柱面微透鏡所描述的全部濾色片陣列模式。已經參考其優選實施例對本發明進行了詳細描述，但應該理解可以在本發明的思 想和範圍內進行變化和修改。部件列表110柱面微透鏡120 像素121 像素124圖像傳感器126光射線128光射線
8130成像透鏡 210柱面微透鏡 220像素子集 221像素子集 224圖像傳感器 226光射線 228光射線 230成像透鏡 315成像透鏡孔徑 316成像透鏡孔徑 317成像透鏡孔徑 318成像透鏡孔徑 410柱面微透鏡 420像素 421像素 424圖像傳感器 425像素 525濾光片陣列 550柱面微透鏡 560拜爾塊模式 650柱面微透鏡 660像素 662像素 750柱面微透鏡 760拜爾塊模式 764棋盤模式 850柱面微透鏡 868全色塊 870全色塊 985微透鏡 1022像素 1024圖像傳感器 1090柱面微透鏡 1092單獨微透鏡 1094像素 1096像素
1110非球面柱面微透鏡 1112柱面微透鏡 1113柱面微透鏡
1124圖像傳感器
1270線性光導
1271線性光導
1272反射表面
1273吸收表面
權利要求
一種圖像採集系統，其包括圖像傳感器，其包括多個像素；以及在表面上形成的多個柱面微透鏡，所述表面在所述圖像傳感器上或上方，其中每個柱面微透鏡被配置為將輻射聚焦到所述多個像素的子集上，以及其中每個柱面微透鏡具有第一部分和第二部分，所述第一部分被配置為將輻射聚焦到其像素子集的第一部分上，所述第二部分被配置為將輻射聚焦到其像素子集的第二部分上。
2.根據權利要求1所述的圖像採集系統，其中所述柱面微透鏡的第一部分和所述柱面 微透鏡的第二部分分別是各自微透鏡的一半，並且其中所述像素子集的第一部分和所述像 素子集的第二部分分別是各自像素子集的一半。
3.根據權利要求1所述的圖像採集系統，其中每個像素子集對稱地設置。
4.根據權利要求1所述的圖像採集系統，其中所述表面包括不同於所述柱面微透鏡的 微透鏡層。
5.根據權利要求1所述的圖像採集系統，其中所述微透鏡是非球面的。
6.根據權利要求5所述的圖像採集系統，其中所述微透鏡被傾斜或偏移。
7.根據權利要求5所述的圖像採集系統，其中所述微透鏡在截面上是非對稱的。
8.根據權利要求1所述的圖像採集系統，其還包括成像透鏡，所述成像透鏡距所述圖 像傳感器一定距離並且具有引導輻射透過所述柱面微透鏡到所述圖像傳感器上的位置，其中每個柱面微透鏡將來自所述成像透鏡的輻射聚焦到其多個像素的子集上，以及其中每個柱面微透鏡的第一部分將來自所述成像透鏡的第一部分的輻射聚焦到其像 素子集的第一部分上，以及其中每個柱面微透鏡的第二部分將來自所述成像透鏡的第二部分的輻射聚焦到其像 素子集的第二部分上。
9.根據權利要求8所述的圖像採集系統，其中所述柱面微透鏡的第一部分和所述柱面 微透鏡的第二部分是各自微透鏡的一半，其中所述像素子集的第一部分和所述像素子集的 第二部分是各自像素子集的一半，並且其中所述成像透鏡的第一部分和所述成像透鏡的第 二部分是所述成像透鏡的一半。
10.一種圖像採集系統，其包括圖像傳感器，其包括多個像素；以及在表面上形成的多個光導對，所述表面在所述圖像傳感器上或上方，其中每個光導對被配置為將輻射聚焦到所述多個像素的子集上，以及其中每個光導對具有第一光導和第二光導，所述第一光導被配置為將輻射聚焦到各自 光導對的像素子集的第一部分上，所述第二光導被配置為將輻射聚焦到各自光導對的像素 子集的第二部分上。
11.根據權利要求10所述的圖像採集系統，其中所述像素子集的第一部分和所述像素 子集的第二部分是各自像素子集的一半。
12.根據權利要求10所述的圖像採集系統，其中每個像素子集對稱地設置。
13.根據權利要求10所述的圖像採集系統，其還包括成像透鏡，所述成像透鏡距所述 圖像傳感器一定距離並且具有引導輻射透過所述光導對到所述圖像傳感器上的位置，其中每個光導對將來自所述成像透鏡的輻射聚焦到其多個像素的子集上，以及 其中每個光導對的第一光導將來自所述成像透鏡的第一部分的輻射聚焦到其像素子 集的第一部分上，以及其中每個光導對的第二光導將來自所述成像透鏡的第二部分的輻射聚焦到其像素子 集的第二部分上。
14.根據權利要求13所述的圖像採集系統，其中所述像素子集的第一部分和所述像素 子集的第二部分是各自像素子集的一半，並且其中所述成像透鏡的第一部分和所述成像透 鏡的第二部分是所述成像透鏡的一半。
全文摘要
本發明公開一種圖像採集系統，其具有改進的圖像傳感器，使得能夠同時捕捉具有不同視角的至少兩個圖像。像素被劃分為位於一系列柱面微透鏡或線性光導下方的兩個或多於兩個像素子集。柱面微透鏡或線性光導限制僅僅來自成像透鏡的一半或另一半的輻射照射到每個微透鏡或光導下方的第一和第二像素子集上，從而產生立體圖像集合。
文檔編號H04N13/00GK101960861SQ200980106706
公開日2011年1月26日 申請日期2009年2月9日 優先權日2008年2月29日
發明者J·E·小亞當斯, J·N·伯德, J·R·比爾特雷, R·J·帕勒姆 申請人:伊斯曼柯達公司