用於獲得三維圖像的cmos立體照相機的製作方法

2023-06-27 14:52:06

專利名稱：用於獲得三維圖像的cmos立體照相機的製作方法
技術領域：
本發明涉及用於獲得三維圖像的照相機，更具體地，涉及用於獲 得三維圖^f象的COMS立體照相^L,該照相機能夠/人4吏用至少兩個 CMOS圖像傳感器獲得的圖像中不費力地獲得三維信息。
背景技術：
獲得目標的三維信,l的傳統方法包括使用雙眼視差的方法和探測 三維目標的各點的距離的方法，其中雙眼視差是指左眼獲得的圖像和 右眼獲得的圖像之間的像差。在採用雙眼視差的方法中，使用了相互平行設置的兩個圖像傳感 器。由於兩個圖像傳感器以不同方向觀察三維目標，因此通過所述兩 個圖像傳感器獲得的圖像彼此有差別。因而，通過在兩幅圖像中搜索 相同點並比較左右圖像的位移可獲得距離信息。由於上述方法採用了兩個圖像傳感器，因此該方法通過使用相對 簡單的裝置來實現。但是，為了從所獲得的兩幅圖像中搜索相同的點， 需要進行大量的圖像處理操作，因而需要進行大量的計算。另一方面，在測量三維目標各點距離的方法中，可精確地測量三 維目標所有點的距離信息。但是，其需要複雜的裝置，且測量速度慢。在更一般的方法中，以具有柵格圖案(即網狀)的雷射束照射三 維目標來測量距離，從而通過相互平行設置的照相機獲得左右圖像， 其中所述雷射束是利用雷射指示器而獲得的。在上述方法中，在兩幅圖像之間可不費力地搜索到相同的點。但 是，除了所述的兩個照相機之外，還需要能夠發射具有柵格圖案的激 光束的指示器，且該方法不能在一般開放的大氣環境中進行。圖1圖解說明了傳統的實施例100,其中三維信息通過比較左右 圖像獲得。
參考圖1，三維空間中的點A經過左鏡頭110定位於左圖4象115 上的點A'，經過右鏡頭120定位於右圖像125上的點A"。通過對兩個 圖像115和125進行相互比較可獲得點A的深度信息。然而，在上述方法中，為了通過比較圖像115和125來搜索相同 的點，需要進行複雜的計算。在大多數情況下，通過提取圖像的邊緣 並假定該邊緣是相同的點可獲得深度信息。處理圖像的過程和確定相 同點的過程是複雜的且具有較高的不確定性。因此，需要大量處理以 ^修改此不確定性。圖2圖解說明了提取三維信息的傳統流程的實施例200。參考圖2,通過兩個水平設置的照相機210和220獲得的圖像經 過串行或並行通信鏈路201存儲在圖像緩沖器215和225中。分別存 儲在圖像緩衝器215和225中的圖像被傳輸至數位訊號處理器(DSP) 230。最後，通過在DSP230中比較圖像和計算深度信息以搜索相同的 點，從而獲得三維信息240。但是，圖2所示的用於提取三維信息的 傳統方法需要圖像緩衝器215和225。另外，由串行或並行通信鏈路 201造成的通信量會導致處理速度出現延遲。
發明內容
技術問題本發明提出了用於獲得 CMOS立體照相機是小型的 理速度較高。技術方案根據本發明的一個方面，提出了一種用於獲得三維圖像的CMOS 立體照相才幾，所述CMOS立體照相機包括左鏡頭和右鏡頭，所述左 鏡頭和右鏡頭接收來自同一平面上的點光源的光；左CMOS圖像傳感 器和右CMOS圖像傳感器，所述左CMOS圖像傳感器和右CMOS圖 像傳感器設置於所述左鏡頭和所述右鏡頭下方的單個基底上；以及 DSP (數位訊號處理器)，所述DSP形成於所述左CMOS圖像傳感器三維圖像的CMOS立體照相機，其中， ，可簡單地計算出三維圖像信息，且其處
和右CMOS圖像傳感器之間，以通過數據總線接收來自所述左CMOS 圖像傳感器和右CMOS圖像傳感器的圖像而提取所述點光源的三維信息。根據本發明的另一個方面，提出了一種用於獲得三維圖像的 CMOS立體照相機，所述CMOS立體照相機包括至少三個鏡頭，所 述至少三個鏡頭接收來自同一平面上的點光源的光；至少三個CMOS 圖像傳感器，所述至少三個CMOS圖像傳感器設置於所述至少三個鏡 頭下方的單個基底上；以及DSP (數位訊號處理器)，所述DSP形成 於所述至少三個CMOS圖像傳感器之間，其通過數據總線接收來自所 述至少三個CMOS圖像傳感器的圖像以提取所述點光源的三維信息。


通過參考附圖詳細描述本發明的示例性的實施方案，本發明的上 述和其它特徵以及優點將變得顯而易見，其中圖1圖解說明了提取三維信息的傳統實施例；圖2圖解說明了提取三維信息的傳統流程的實施例；圖3圖解說明了根據本發明的實施方式用於獲得三維圖像的 CMOS立體照相才幾的截面圖和俯碎見圖；圖4圖解說明了像平面上的像點之間的幾何關係，其中，通過使 用圖3所示的CMOS立體照相機從空間點獲得該像平面；圖5圖解說明了圖3所示的CMOS立體照相機中的點光源的左圖 像和右圖像；以及圖6圖解說明了在圖3所示的CMOS立體照相機中提取三維信息 的流程。
具體實施方式
在下文中，將參考附圖詳細描述本發明。圖3圖解說明了根據本發明的實施方案的用於獲得三維圖像的 CMOS立體照相機的截面圖和俯視圖。參考圖3,根據本發明的實施方案的用於獲得三維圖像的CMOS 立體照相機300包括兩個鏡頭310和320,兩個CMOS圖像傳感器315 和325,以及DSP 330 (數位訊號處理器)。在本文中，CMOS圖像傳 感器315、 325和DSP 330設置於單個基底上。另外，CMOS圖像傳 感器315和325的光軸相互平行且垂直於像平面。CMOS圖像傳感器315和325在基底上相互分隔開。另夕卜，CMOS 圖像傳感器315和325被設置成CMOS圖像傳感器315和325的中心 之間的距離為d。為了方便起見，設置在圖3中左側的CMOS圖像傳 感器315被稱為左CMOS圖像傳感器，設置在圖3中右側的圖像傳感 器325被稱為右CMOS圖像傳感器。DSP 330設置成從由CMOS圖像傳感器315和325獲得的圖像中 4^取三維信息。為了有效地利用空間，DSP 330可設置於CMOS圖像 傳感器315和325之間。鏡頭310和320在垂直方向以距離h與圖像傳感器315和325分 隔開。具體地，由CMOS圖^^傳感器315和325形成的像平面在垂直 方向以距離h與鏡頭310和320分隔開。圖4圖解說明了像平面上的各像點之間的幾何關係400,其中， 通過使用用於獲得如圖3所示的三維圖像的CMOS立體照相機300從 空間點獲得該像平面。在圖4中，Wl表示從左鏡頭310和右鏡頭320的平面到點光源 410的垂直距離。W2表示從穿過左CMOS圖像傳感器315和右圖像 傳感器325之間的中心點的垂直軸到點光源410的水平距離。W3表 示從穿過CMOS圖像傳感器315和325之間的中心點的垂直軸到點光 源410的水平距離。CMOS圖像傳感器315和325中心之間的水平距離d與圖像傳感 器和鏡頭之間的垂直距離h與測量深度信息的解析度有關。雖然當距 離d與高度h相比變得越來越大時，深度信息的解析度也隨之提高， 但是，遠處目標的深度則變得不能分辨。儘管當距離d與高度h相比 變得越來越小時，深度信息的解析度也隨之降低，但是，遠處目標的 深度則變得可分辨。設置於X-Y平面上的點光源410發出的光分別經過鏡頭310和 320投射至左CMOS圖像傳感器315和右CMOS圖像傳感器325上。 在X軸方向上，左圖像點和左CMOS圖像傳感器315的中心之間 的位移t2，以及右圖像點和右CMOS圖像傳感器325的中心之間的位 移t3隨著從鏡頭310和320的中心到點光源410的距離的變化而變化。 因此，點光源410的深度信息可從位移t2和t3獲得。參考圖4，三維空間中點的深度信息將根據下面的等式獲得(在 圖4的實施例中，假設t2<t3 )。 [等式l]/#2-(€J/2)4 =沐'3 機Wl、 W2和W3可由等式1獲得, [等式2]formula see original document page 8在上述設置中，投射至Y軸上的點光源410的圖像點的位移tl 相對於COMS圖像傳感器315和325總是相同的。由於存在上述特徵， 因此提取目標三維信息所需的計算是筒單的。圖5圖解說明了用於提取三維信息的實施例500。圖5圖解說明 了獲得在空間中的圖像傳感器上具有相同的tl的任意線的深度信息即 Wl的方法。遠離點光源的光位於左像平面510上的點515以及右^f象平 面520上的點525。像平面上點515和點525的高度tl是相等的。
利用等式1和等式2可從圖像點的值tl、 t2和t3獲得空間值Wl、 W2和W3。因此，通過比較來自圖像傳感器的具有特定值tl的兩條線、 利用搜索相同點的方法可獲得三維信息。因此，與通過比較整個左圖像和整個右圖像來搜索相同點以獲得 三維深度信息的傳統方法相比，其計算量急劇減少且具有相對較低的 不確定性。另外，通過相鄰點的深度信息可不費力地修改本實施例中 所包含的深度的不確定性。圖6圖解說明了圖3所示的在CMOS立體照相機300中提取三維 信息以獲得三維圖像的流程的實施例600。參考圖6, CMOS圖像傳感器315和325連接至DSP 330，以通 過數據總線610提取三維信息。三維信息620通過DSP 330提取。因 此，與傳統技術不同的是，其不需要圖2中的圖像緩衝器215和225。 另外，不會出現由圖2中的串行或並行通信鏈路201造成的通信量而 引起的處理速度延遲。另外，CMOS圖像傳感器315和325的圖像信息以多行為單位進 行處理以便對該信息進行內插。例如，在VGA的情況下，圖像包括 640x480個像素。圖4象處理操作，例如內插處理等，通過使用具有640 段數據的多行來實現。由於圖像處理操作通過使用五到八條線來實現，因此通過利用左 右CMOS圖像傳感器315和325的多行的數據，從而可採用用於提取 來自DSP 330的線的三維信息的方法，其中，兩個CMOS圖像傳感器 的圖像點的位移tl相對於任意軸是相等的。因而數據可被無延遲地立 刻處理，因此圖像處理速度較高。具體地，與通過利用整個左右圖像來搜索相同點的方法相比，通 過利用左CMOS圖像傳感器315和右CMOS圖像傳感器325的多行 的數據來搜索相同點的方法可不費力地提取三維信息。到目前為止，已說明了包含兩個鏡頭和形成於單個基底的兩個 CMOS圖像傳感器的實施例。但是，包含三個或三個以上鏡頭以及形 成於單個基底上、對應於所述鏡頭的三個或三個以上的CMOS圖像傳 感器的另 一 實施例也可獲得相同的結果。
工業適用性如上所述，通過在單一基底的同一平面上"^殳置至少兩個CMOS圖 像傳感器並且在兩個或兩個以上CMOS圖像傳感器間設置DSP以獲 取三維信息，根據本發明的實施方案的用於獲得三維圖像的CMOS立 體照相機具有較小的尺寸。CMOS立體照相才幾通過以行為單位提取三 維信息可筒單地計算三維信息。因此CMOS立體照照相機具有較高的 處理速度。另外，由於根據本發明實施方案的用於獲得三維圖像的CMOS立 體照相機不需要例如圖像緩沖器的額外裝置，因此可採用低價的三維 圖像傳感器。
權利要求
1. 一種用於獲得三維圖像的CMOS立體照相機，所述CMOS立體照相機包括左鏡頭和右鏡頭，所述左鏡頭和右鏡頭接收來自同一平面上的點光源的光；左CMOS圖像傳感器和右CMOS圖像傳感器，所述左CMOS圖像傳感器和右CMOS圖像傳感器設置於所述左鏡頭和所述右鏡頭下方的單個基底上；以及DSP(數位訊號處理器)，所述DSP形成於所述左CMOS圖像傳感器和右CMOS圖像傳感器之間，以通過數據總線接收來自所述左CMOS圖像傳感器和右CMOS圖像傳感器的圖像而提取所述點光源的三維信息。
2. 根據權利要求1所述的CMOS立體照相機，其中，通過利用所 述左CMOS圖像傳感器和所述右CMOS圖像傳感器的圖像點的位移 以計算所述點光源的高度，從而獲得所述三維信息，所述圖像點是通 過允許所述點光源的光經過所述左鏡頭和所述右鏡頭，在所述左 CMOS圖像傳感器和所述右CMOS圖像傳感器上形成圖像而獲得的。
3. 根據權利要求1所述的CMOS立體照相機，其中，所述三維信 息是以所述左CMOS圖像傳感器和所述右CMOS圖像傳感器的行為 單位提取的。
4. 根據權利要求3所述的CMOS立體照相機，其中，所述三維信 息是通過利用其中所述左CMOS圖像傳感器及所述右CMOS圖像傳 感器的圖像點相對於任意軸的位移是相同的多行而提取的。
5. 根據權利要求4所述的CMOS立體照相機，其中，所述多行的 數目為五到八行。
6. —種用於獲得三維圖像的CMOS立體照相機，所述CMOS立 體照相才幾包括至少三個鏡頭，所述至少三個鏡頭接收來自同一平面上的點光源 的光；至少三個CMOS圖像傳感器，所述至少三個CMOS圖像傳感器 設置於所述至少三個鏡頭下方的單個基底上；以及DSP (數位訊號處理器)，所述DSP形成於所述至少三個CMOS 圖像傳感器之間，其通過數據總線接收來自所述至少三個CMOS圖像 傳感器的圖像以提取所述點光源的三維信息。
7. 根據權利要求6所述的COMS立體照相機，其中，通過利用所 述至少三個CMOS圖像傳感器的圖像點的位移來計算所述點光源的高 度，從而獲得所述三維信息，所述圖像點是通過允許所述點光源的光 經過所述至少三個鏡頭，在所述至少三個CMOS圖^f象傳感器上形成圖 像而獲得的。
8. 根據權利要求6所述的CMOS立體照相機，其中，所述三維信 息是以所述至少三個CMOS圖像傳感器的行為單位提取的。
9. 根據權利要求8所述的CMOS立體照相機，其中，所述三維信 息是通過利用其中所述至少三個CMOS圖像傳感器的圖像點相對於任 意軸的位移是相同的多行而提取的。
10. 根據權利要求9所述的CMOS立體照相機，其中，所述多行 的數目為五到八行。
全文摘要
本發明提出了一種用於獲得三維圖像的CMOS立體照相機，其中，具有相同特徵的兩個CMOS圖像傳感器設置於單個半導體基底上。通過將兩個CMOS圖像傳感器設置在同一半導體基底上，CMOS圖像傳感器具有位於同一平面內的像平面。用於處理三維圖像的數位訊號處理器(DSP)設置於兩個CMOS圖像傳感器之間。CMOS圖像傳感器的光軸相互平行且垂直於所述像平面。由於形成於CMOS圖像傳感器上的光學裝置可通過相同的方法製造，因此兩個CMOS圖像傳感器之間的光軸的偏離可被最小化。
文檔編號H04N13/02GK101401443SQ200780008388
公開日2009年4月1日 申請日期2007年2月7日 優先權日2006年3月9日
發明者元俊鎬, 李炳洙 申請人:(株)賽麗康