3-d攝像機的製作方法
2023-09-21 16:12:10
專利名稱：3-d攝像機的製作方法
3-D攝像機
背景技術：
隨著可通過網絡來傳遞信息的速度的快速增長，部署許多應用成為可能。一個這種應用包括交互式計算(例如遠程在場)。例如，遠程在場應用越來越變為流行，並且在某種程度上至少改變人們使用網絡彼此交互的方式。通常，支持諸如交互式計算之類的應用的設備可包括通信裝置、處理裝置和圖像捕獲裝置。圖像捕獲裝置可包括三維(3-D)圖像捕獲系統、例如3-D攝像機(camera)。使用不可見結構化光的當前3-D系統要求兩個獨立攝像機，一個用於3D識別而另一個用於彩色紋理捕獲。這類當前3-D系統還可要求精心設計的系統以用於對齊由獨立的3-D識別攝像機和彩色紋理攝像機所生成的兩個圖像。這種布置可具有相當大的尺寸和成本。但是，可優選的是具有小型並且價格不太高的圖像捕獲裝置，特別是當圖像捕獲裝置安裝在行動裝置時。
以舉例的方式而不是限制的方式在附圖中說明本文所述的發明。為了說明的簡潔和清晰起見，圖中所示的元件不一定按比例繪製。例如，為了清晰起見，一些元件的尺寸可能相對於其它元件經過放大。此外，在認為適當的情況下，在附圖之間重複參考標號，以便表示對應或相似的元件。圖1示出按照一個實施例的組合圖像傳感器100 ；
圖2示出按照一個實施例的組合圖像傳感器100中預備的每個濾光器的像素分布；
圖3示出按照一個實施例的、包括三維(3D)攝像機中使用的組合圖像傳感器100的前端塊300 ；
圖4示出按照一個實施例的、使用前端塊300的3D攝像機；
圖5示出按照一個實施例的、在捕獲圖像之後在3D攝像機中執行的處理操作；
圖6是示出按照一個實施例的3-D攝像機的操作的流程圖。
具體實施例方式以下的說明描述使用彩色圖像傳感器的三維攝像機。在以下描述中，提出諸如邏輯實現、資源劃分或共享、或者重複實現、系統組件的類型和相互關係以及邏輯劃分或綜合選擇之類的許多具體細節，以便提供對本發明的更透徹了解。然而，本領域的技術人員將會理解，即使沒有這類具體細節，也可實施本發明。在其它情況下，沒有詳細示出控制結構、門級電路和完全軟體指令序列，以免影響使本發明模糊不清。通過所包含的描述，本領域的技術人員將能夠實現適當的功能性而無需過度實驗。說明書中提到「一個實施例」、「實施例」、「示例實施例」表示所述的實施例可包括具體特徵、結構或特性，但可能不一定每一個實施例都包括該具體特徵、結構或特性。此外，這類詞語不一定指同一個實施例。此外，在結合一個實施例來描述具體特徵、結構或特性時，無論是否明確描述，均認為結合其它實施例來影響這種特徵、結構或特性是在本領域的技術人員的知識範圍之內的。本發明的實施例可通過硬體、固件、軟體或者它們的任何組合來實現。本發明的實施例還可實現為存儲在機器可讀介質上的指令，指令可由一個或多個處理器來讀取和運行。機器可讀存儲介質可包括用於存儲或傳送採用機器(例如計算裝置)可讀形式的信息的任何機構。例如，機器可讀存儲介質可包括:只讀存儲器(ROM);隨機存取存儲器(RAM);磁碟存儲介質；光存儲介質；閃速存儲器裝置；電、光形式的信號。此外，本文中可將固件、軟體、例程和指令描述為執行某些動作。但是，應當理解，這類描述只是為了方便起見，並且這類動作實際上產生於運行固件、軟體、例程和指令的計算裝置、處理器、控制器和其它裝置。在一個實施例中，3-D攝像機可使用組合圖像傳感器，組合圖像傳感器感測顏色信息和近紅外(NIR)輻射。在一個實施例中，組合圖像傳感器可生成圖像，圖像可包括顏色信息和可用於重建被捕獲對象的深度信息的NIR信息。在一個實施例中，組合圖像傳感器可包括濾色器(color filter)陣列(CFA)，CFA又可包括2X 2陣列以包括四個不同濾光器(filter)類型。但是，CFA的其它實施例可包括4X4陣列(以包括16種濾光器類型)以及其它這類NXN或NXM大小陣列。例如，在一個實施例中，CFA的四個不同濾光器類型可包括用於捕獲彩色輻射的紅色濾光器類型、綠色濾光器類型和藍色濾光器類型以及用於捕獲NIR輻射的附加的帶通濾光器。在一個實施例中，除了全解析度或較低解析度的NIR圖像之外，在3-D攝像機中使用組合圖像傳感器還可產生紅色、綠色和藍色全圖像。在一個實施例中，通過構成，彩色圖像可與3-D深度圖對齊，並且因此，具有完整顏色信息和深度信息的3-D圖像可使用緊湊且低成本的組件來重建。在一個實施例中，這種方式可允許尤其在諸如膝上型電腦、上網本、智慧型電話、PDA和其它小形狀因子裝置之類的移動裝置中便利地使用緊湊且低成本的3-D攝像機。圖1中示出組合圖像傳感器100的一個實施例。在一個實施例中，組合圖像傳感器100包括彩色圖像傳感器110和NIR圖像傳感器140。在一個實施例中，組合圖像傳感器110可生成圖像，圖像可包括顏色信息和可從其中提取被捕獲對象的深度信息的NIR信息。在一個實施例中，組合圖像傳感器100可包括CFA，CFA可包括捕獲顏色信息的不同濾光器類型以及捕獲近紅外(NIR)輻射的帶通濾光器。在一個實施例中，諸如圖2所示的210、240、260和280之類的CFA的各周期實例可包括四個不同濾光器類型，其中可包括用以捕獲顏色信息的可表示第一基本色(例如綠色(G))的第一濾光器類型、可表示第二基本色(例如紅色(R))的第二濾光器類型、可表示第三基本色(例如藍色(B))的第三濾光器類型以及用以允許NIR輻射的可表示帶通濾光器的第四濾光器類型。在一個實施例中，CFA 210的第一周期實例可包括四個不同的濾光器類型210-A、210-B、210-C和210-D。在一個實施例中，第一濾光器類型210-A可用作紅色(R)的濾光器，第二濾光器類型210-B可用作綠色(G)的濾光器，第三濾光器類型210-可用作藍色(B)的濾光器，以及第四濾光器類型210-D可用作允許NIR輻射的帶通濾光器。同樣,在一個實施例中，第二、第三和第四周期實例240、260和280可分別包括濾光器類型(240-A、240-B、240-C 和 240-D)、(260-A、260-B、260_C 和 260-D)以及(280-A、280-B.280-C和280-D)。在一個實施例中，濾光器類型240_Α、260_Α和280-Α可表示紅色濾光器，濾光器類型240-Β、260-Β和280-Β可表示綠色濾光器，濾光器類型240-C、260_C和280-C可表示藍色濾光器，以及濾光器類型240-D、240-D和280-D可表示允許NIR輻射的帶通濾光器。在一個實施例中，將RGB和NIR濾光器類型設置成陣列可允許捕獲組合彩色和NIR圖案(pattern)。在一個實施例中，除了全解析度或較低解析度的NIR圖像之外，組合彩色和NIR圖案還可產生紅色、綠色和藍色的全圖像。在一個實施例中，這種方式可允許通過組合成像器傳感器的構造使RGB圖像以及可從NIR圖案提取的深度圖相互對齊。圖3示出包括三維(3D)攝像機中使用的組合圖像傳感器100的前端塊300的一個實施例。在一個實施例中，前端塊300可包括NIR投影儀310和組合圖像傳感器350。在一個實施例中，NIR投影儀310可將結構化光投射到對象上。在一個實施例中，結構化光可表示包括線條的光圖案、其它圖案和/或它們的組合。在一個實施例中，組合圖像傳感器350可響應捕獲對象、圖像或目標的彩色紋理和深度信息而感測顏色信息和近紅外(NIR)輻射。在一個實施例中，組合圖像傳感器350可包括一個或多個濾色器陣列(CFA)。在一個實施例中，各周期實例中的濾光器類型也可感測顏色信息和NIR輻射。在一個實施例中，除了全解析度或較低解析度的NIR圖像之外，組合圖像傳感器350還可產生紅色、綠色和藍色全圖像。在另一個實施例中，通過構造彩色圖像傳感器350，從顏色信息所生成的彩色圖像可與可從NIR輻射生成的3-D深度圖對齊。因此，具有完整顏色信息和深度信息的3-D圖像可使用緊湊且低成本組件來重建。在一個實施例中，組合圖像傳感器350可與以上所述的組合圖像傳感器110相似。圖4中示出3-D攝像機400的一個實施例。在一個實施例中，3_D攝像機400可包括光學系統410、前端塊430、處理器450、存儲器460、顯示器470和用戶接口 480。在一個實施例中，光學系統410可包括光學透鏡，光學透鏡將可包括環境光和投射NIR輻射的光源指引到傳感器，並且把來自NIR投影儀的光線聚焦在場景(scene)上。在一個實施例中，前端塊430可包括NIR投影儀432和組合圖像傳感器434。在一個實施例中，NIR投影儀432可生成結構化光，結構化光將要投射在場景、圖像、對象或者其它這類目標上。在一個實施例中，NIR投影儀432可生成結構化光的一個或多個圖案。在一個實施例中，NIR投影儀432可與以上所述的NIR投影儀310相似。在一個實施例中，組合圖像傳感器434可包括CFA以捕獲目標的彩色紋理和NIR信息，從而捕獲從NIR投影儀432所發射的結構化光。在一個實施例中，組合圖像傳感器434可生成圖像，圖像可包括被捕獲對象的顏色信息和NIR信息(可從其中提取深度信息/圖)。在一個實施例中，包括顏色信息和NIR信息的圖像以及由結構化光所形成的一個或多個圖案可共同實現3-D空間中的目標的重建。在一個實施例中，組合圖像傳感器434可與以上所述的組合圖像傳感器350相似。在一個實施例中，前端塊430可向處理器450提供彩色圖像和NIR圖案。在一個實施例中，處理器450可使用彩色圖像和NIR圖案來重建3_D空間中的目標圖像。在一個實施例中，處理器450可執行去鑲嵌(de-mosaicing)操作，以便在圖中插入顏色信息和NIR信息，從而分別產生『全色圖像』和『NIR圖像』。在一個實施例中，處理器450可通過使用NIR投影儀432所生成的『一個或多個圖案』和去鑲嵌操作所生成的『NIR圖像』執行深度重建操作來生成『深度圖』。在一個實施例中，處理器450可通過使用『全色圖像』和『深度圖』執行合成操作來生成『全3-D加彩色模型』。在一個實施例中，處理器450可相當容易地重建『全3-D加彩色模型』，因為彩色圖像和深度圖因組合圖像傳感器434的構造而可相互對齊。在一個實施例中，處理器450可將『全3-D加彩色模型』存儲在存儲器460中，並且處理器450可允許在顯示器470上渲染『全3-D加彩色模型』。在一個實施例中，處理器450可通過用戶接口 480-接收來自用戶的輸入，並且可執行諸如放大、縮小、存儲、刪除、實現閃光、記錄、實現夜視操作之類的操作。在一個實施例中，使用前端裝置430的3-D攝像機例如可在諸如膝上型計算機、筆記本計算機、數位相機、蜂窩電話、手持裝置、個人數字助理之類的移動裝置中使用。由於前端塊430包括組合圖像傳感器434以捕獲顏色和NIR信息，所以3D攝像機的尺寸和成本可充分減小。另外，諸如深度重建之類的處理操作以及合成的成本和複雜度可相當容易並且以降低的成本來執行，因為顏色信息和深度信息可相互對齊。在一個實施例中，處理操作可通過硬體、軟體或者該硬體和軟體的組合來執行。圖5中示出由3-D攝像機400的處理器450所執行的操作的一個實施例。在一個實施例中，處理器450可執行重建操作以生成全3-D加彩色模型。在一個實施例中，重建操作可包括由去鑲嵌塊520所支持的去鑲嵌操作、由深度重建塊540所表示的深度重建操作以及由合成器塊570所執行的合成操作。在一個實施例中，去鑲嵌塊520可響應於從前端塊430的組合圖像傳感器接收顏色信息而生成彩色圖像和NIR圖像。在一個實施例中，可將彩色圖像作為輸入提供給合成器570，並且可將NIR圖像作為輸入提供給深度重建塊540。在一個實施例中，深度重建塊540可響應於接收NIR圖案和NIR圖像而生成深度圖。在一個實施例中，可將深度圖信息作為輸入提供給合成器塊570。在一個實施例中，合成器塊570可響應於分別接收作為第一輸入和第二輸入的彩色圖像和深度圖來生成全3-D彩色模型。圖6的流程圖中示出3D攝像機的操作的一個實施例。在框620，組合圖像傳感器434可捕獲目標或對象的顏色信息和NIR圖案。在框640，處理器450可響應於接收由組合圖像傳感器434被捕獲的信息而執行去鑲嵌操作以生成彩色圖像和NIR圖像。在框660，處理器450可響應於接收NIR圖像和NIR圖案而執行深度重建操作以生成深度圖。在框680，處理器450可使用彩色圖像和深度圖來執行合成操作以生成全3-D彩色模型。參照示例實施例描述了本發明的某些特徵。但是，描述並不是要被理解為限制性的。本發明所涉及的領域的技術人員清楚知道的本發明的示例實施例的各種修改以及本發明的其它實施例被認為落入本發明的精神和範圍之內。
權利要求
1.一種三維攝像機中的方法，包括: 使用組合圖像傳感器來生成圖像，其中所述圖像包括被捕獲對象的顏色信息和近紅外信息， 從所述圖像生成彩色圖像和近紅外圖像， 使用所述近紅外圖像和來自近紅外投影儀的一個或多個圖案來生成深度圖，以及 基於所述彩色圖像和所述深度圖來生成全三維彩色模型。
2.如權利要求1所述的方法，包括使用濾色器陣列的第一部分來捕獲所述顏色信息，其中所述組合圖像傳感器包括所述濾色器陣列。
3.如權利要求2所述的方法，包括使用所述濾色器陣列的所述第一部分來捕獲所述彩色圖像，所述第一部分包括捕獲對象的紅色的第一濾光器類型、捕獲綠色的第二濾光器類型以及捕獲藍色的第三濾光器類型。
4.如權利要求2所述的方法，包括使用所述濾色器陣列的第二部分來捕獲所述近紅外信息。
5.如權利要求4所述的方法，包括在所述濾色器陣列的所述第二部分中包含帶通濾光器以捕獲所述近紅外信息。
6.如權利要求2所述的方法，其中，所述顏色信息與所述深度圖對齊。
7.如權利要求1所述的方法，包括執行去鑲嵌操作以從所述圖像來生成所述彩色圖像和所述近紅外圖像。
8.如權利要求1所述的方法，包括執行深度重建操作以從所述一個或多個圖案來生成所述深度圖。
9.如權利要求1所述的方法，包括執行合成操作以基於所述彩色圖像和所述深度圖來生成所述全三維彩色模型。
10.一種設備，包括: 近紅外投影儀，生成一個或多個圖案，以及 組合圖像傳感器，其中，所述組合圖像傳感器包括濾色器陣列，其中濾色器陣列生成包括被捕獲對象的顏色信息和近紅外信息的圖像， 所述顏色信息用於生成彩色圖像，並且所述近紅外信息用於生成近紅外圖像， 所述近紅外圖像和所述一個或多個圖案用於生成深度圖，以及 所述彩色圖像和所述深度圖用於生成全三維彩色模型。
11.如權利要求10所述的設備，其中，所述濾色器陣列包括捕獲所述顏色信息的第一部分。
12.如權利要求11所述的設備，其中，所述濾色器陣列的所述第一部分包括在生成所述彩色圖像之前捕獲對象的紅色的第一濾光器類型、捕獲綠色的第二濾光器類型以及捕獲藍色的第三濾光器類型。
13.如權利要求11所述的設備，其中，所述濾色器陣列還包括第二部分，其中所述第二部分捕獲所述近紅外信息。
14.如權利要求13所述的設備，其中，所述濾色器陣列的所述第二部分包含帶通濾光器以捕獲所述近紅外信息。
15.如權利要求10所 述的設備，其中，所述濾色器陣列生成與所述近紅外信息對齊的所述顏色信息。
16.一種三維攝像機系統，包括: 光學系統，其中所述光學系統指引可包括環境光和投射近紅外輻射的光源，並且聚焦投射在對象上的所述近紅外輻射， 前端塊，耦合到所述光學系統， 處理器，耦合到所述前端塊，以及 存儲器，耦合到所述處理器， 其中所述前端塊還包括組合圖像傳感器和近紅外投影儀，所述組合圖像傳感器生成包括被捕獲對象的顏色信息和近紅外信息的圖像，並且所述近紅外投影儀生成一個或多個圖案， 所述處理器從所述圖像來生成彩色圖像和近紅外圖像，使用所述近紅外圖像和來自近紅外投影儀的一個或多個圖案來生成深度圖，以及基於所述彩色圖像和所述深度圖來生成全三維彩色模型。
17.如權利要求16所述的三維攝像機系統，其中，所述組合圖像傳感器還包括濾色器陣列，其中濾色器陣列包括第一部分和第二部分，所述濾色器陣列的所述第一部分捕獲所述顏色信息。
18.如權利要求17所述的三維攝像機，其中，所述濾色器陣列的所述第一部分包括捕獲對象的紅色的第一濾光器類型、捕獲綠色的第二濾光器類型以及捕獲藍色的第三濾光器類型以生成所述顏色信息。
19.如權利要求17所述的三維攝像機系統，其中，所述濾色器陣列的所述第二部分捕獲所述近紅外信息。
20.如權利要求19所述的三維攝像機系統，其中，所述濾色器陣列的所述第二部分包含帶通濾光器以捕獲所述近紅外信息。
21.如權利要求17所述的三維攝像機系統，其中，所述濾色器陣列中的所述第一部分和所述第二部分的布置將所述顏色信息與所述深度圖對齊。
22.如權利要求16所述的三維攝像機系統，其中，所述處理器執行去鑲嵌操作以從所述圖像來生成所述彩色圖像和所述近紅外圖像。
23.如權利要求16所述的三維攝像機系統，其中，所述處理器執行深度重建操作以從所述近紅外圖像和所述一個或多個圖案來生成所述深度圖。
24.如權利要求16所述的三維攝像機系統，其中，所述處理器執行合成操作以基於所述彩色圖像和所述深度圖來生成所述全三維彩色模型。
全文摘要
公開一種3-D攝像機。3-D攝像機包括光學系統、前端塊和處理器。前端塊還包括生成包括被捕獲對象的顏色信息和近紅外信息的圖像的組合圖像傳感器以及生成一個或多個圖案的近紅外投影儀。處理器從圖像來生成彩色圖像和近紅外圖像，然後使用近紅外圖像和來自近紅外投影儀的一個或多個圖案來生成深度圖。處理器還基於可相互對齊的彩色圖像和深度圖來生成全三維彩色模型。
文檔編號G03B35/00GK103081484SQ201180043096
公開日2013年5月1日 申請日期2011年8月29日 優先權日2010年9月7日
發明者D.斯坦希爾, O.戈夫林, Y.約塞夫, E.圖裡爾 申請人:英特爾公司