用於個人電子裝置的三維獲取和顯像系統的製作方法

2023-06-02 09:10:16

專利名稱：用於個人電子裝置的三維獲取和顯像系統的製作方法
技術領域：
本發明涉及三維(3D)成像領域。更具體地說，本發明涉及用於三維獲取和顯像的個人電子裝置。
背景技術：
三維技術已發展了一個多世紀，但通常由於其複雜性和對於一般用戶的高成本，所以它尚未成為主流。比消費電子類和計算機行業中傳統的陰極射線管(CRT)監控器和電視更適於再現3D圖像的液晶顯示器(LCD)和等離子屏的出現激發了對此技術的興趣。3D系統已從技術珍品進展到現在用於娛樂、商業和科學應用的實際獲取和顯示系統。隨著興趣的劇增，許多硬體和軟體公司正在協力研發3D產品。
最近，NTT DoCoMo展示了Sharp mova SH251iS手機，這是第一個以能夠再現3D圖像的彩屏為特色的手機。單個數字攝像機允許其用戶拍攝二維(2D)圖像，然後使用編輯系統將圖像轉換為3D。3D圖像發送到其接收人能看3D圖像的其它電話，如果他們也擁有類似配備的手機的話。不需要特殊眼鏡來觀看自動立體系統上的3D圖像。不過這種技術有許多問題。為了看到優質的3D圖像，用戶必須位於電話的正前方，且距其屏幕約1英尺。如果用戶稍有移動，圖像就會模糊不清。而且，由於只使用一個攝像機，所以只能拍攝2D圖像，然後通過3D編輯器將圖像人為轉換成3D圖像。所以圖像的質量是個問題。
從2D圖像產生立體圖像的一個方法已在授予Richard的美國專利No.6,477,267中取得專利，此方法是在原始圖像上識別至少一個對象；畫出該對象或多個對象的輪廓；為每個對象定義深度特徵；以及相應移位圖像的所選區域。但如上所述，將2D圖像轉換為3D圖像有許多問題，最重要的是，所得3D圖像的質量。
取代用一個攝像機獲取2D圖像，授予Gartner等人的美國專利No.6,664,531公開了一種可能的配置，使用兩個攝像機獲取一對圖像，這兩個攝像機觀察對象的視差效應。然後，左眼觀看這對立體圖像的一個圖像，右眼觀看另一個圖像。人腦能很容易合併這對圖像，而將對象看成3D圖像。
用兩個攝像機獲取3D圖像的另一實例在授予Montgomery等人的美國專利No.6,512,892中公開了，它包括一個至少具有兩個可移動平行檢測器頭的3D攝像機。
如針對DoCoMo產品所描述的，用戶在觀看3D圖像時必須基本上靜止不動，否則他就看不清圖像。這個問題的一個原因在於，圖像是多圖像顯示。多圖像顯示包括間插到單一顯示介質中的不同圖像。多圖像顯示的最簡單實現方案包括重複左右圖像序列。每個相繼圖像之間的距離是65mm，這等於觀眾眼睛之間的平均距離。但是，如果觀眾向左或向右移動超過32mm，則觀眾會看到反的3D圖像。反的3D圖像觀看起來很不舒服，過一會兒就會引起頭痛和難受。
不過，通過使用許多圖像，每個圖像間隔65mm，可以對多圖像顯示加以改進。有了許多圖像，觀眾可以左右移動他的頭部，而仍然看到正確的圖像。但是，這種技術也有些額外的問題。所需的攝像機數量增加了。例如，要有四個視圖，就需要四個攝像機。而且，由於這些數量組在重複，仍然會有一個位置產生反的3D圖像，只是較少而已。反像可以通過在重複組之間插入空場或黑場來克服。黑場會去除反的3D圖像問題，但會有些位置上圖像不再是3D的了。另外，所需黑場的數量與所用攝像機的數量成反比，這樣所用攝像機越多，所需黑場就越少。所以，多圖像顯示有許多問題需要克服，觀眾才能享受他的3D體驗。
目前有各種各樣的觀看設備可用於觀看3D圖像。一種類型包括的觀看設備需要將透鏡、稜鏡或反射鏡放在觀眾眼睛的附近，它們一般都不如不需特殊眼睛佩戴物的備選設備那麼方便。第二種類型包括雙凸透鏡系統，它們用於高質量圖像呈現相對困難，並且製造昂貴，這是由於與它們生產相關聯的精確度所致，如果需要高解析度圖像的話。此外，雙凸透鏡系統總是呈現出比雙凸透鏡陣列附於其上的顯示裝置本應能有的解析度還要低的圖像。另外，雙凸透鏡系統不能很好適用於諸如計算機顯示器和電視等觀看系統，所以沒有廣泛使用。
第三類3D圖像觀看設備包括用於3D觀看的視差柵欄。這種系統是一些網格，由散置有不透明部分的透明部分組成，這些部分被放置成與被看或投影的圖像成各種關係，圖像是從左圖像(最終僅由觀眾的左眼看到)中取出的區域和從右圖像(最終僅由觀眾的右眼看到)中取出的區域的散置組成，網格或多個網格放置在使右圖像區域左眼無法看到並使左圖像區域右眼無法看到的位置，但同時允許每隻眼睛看到顯示器上的部分顯示源自於其適當圖像的區域。在這種系統中，大致有一半的顯示不包含任何圖像。在授予Kleinberger等人的美國專利No.6,252,707中公開的第四種類型包括用於觀看和投影全色平面屏幕雙目立體觀看的系統，不必使用眼鏡。偏光層和旋光構件層或彩色濾光鏡的各種組合用於向適當的左眼或右眼顯示左圖像和右圖像。
用於解決有關多圖像顯示的所述問題的一個可能選擇是跟蹤系統。授予Richards的美國專利No.6,163,336公開了一種具有跟蹤系統的自動立體顯示系統。Richards說明的跟蹤系統知道觀眾的位置，並能指示顯示單元移動所顯示圖像的位置，以使它們對應於觀眾的正確位置。
另一問題是在現代數字攝像機中所用的無源自動聚焦系統，現代數字攝像機的工作是基於測量畫面的高頻含量並改變聚焦設置，直到該測量達到最大值。這個方法很慢且經常失效。授予Dougherty的美國專利No.6,616,347公開了如現有技術用於自動聚焦的許多雙攝像機系統，雖然它們都有一些問題，包括太笨重、昂貴等。另外，對準來自兩個攝像機的部分圖像也有困難。授予Szeliski等人的美國專利No.6,611,268公開了使用兩個視頻攝像機，其中至少一個攝像機是視頻攝像機，用以估計場景的深度圖。
另外，雖然存在有許多無線手持數字攝像機，如授予Tullis的美國專利No.6,535,243所公開的，但這些無線裝置完全沒有3D能力。因此需要進一步探索這種可能性。
過去一直在研發3D圖像的投影，但需要改進。授予Kleinberger等人的美國專利No.6,252,707公開了一種3D投影儀系統，它包括兩個投影儀，它們將3D圖像投影到屏幕上，不需要特殊的眼睛佩戴物。投影儀一直是電影投影儀、電視投影儀、計算機驅動的投影裝置、幻燈片投影儀或類似大小的某種其它設備，因此這些投影儀的體積都相當大。

發明內容
一種用於個人電子裝置的三維(3D)獲取和顯像系統包括以各種方式工作的兩個數字攝像機。這兩個數字攝像機獲取3D數據，然後將它們顯示在自動立體顯示器上。為了清晰和易於使用，這兩個數字攝像機還起眼睛跟蹤裝置的作用，幫助以正確的角度向用戶投影合適的圖像。這兩個數字攝像機還起著幫助以正確深度自動聚焦的作用。每個個人電子裝置還能存儲、發送和顯示所獲取的3D數據。
在一個方面，一種用於獲取和顯示三維信息的系統包括電子裝置；連接到電子裝置的多個數字攝像機，用於自動聚焦在三維信息上和獲取三維信息；以及連接到電子裝置的顯示器，用於顯示三維信息。電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。三維信息包括一組圖像。數字攝像機包括一個或多個電荷耦合器件傳感器，用於獲取三維信息。自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲(warping)。對三維信息進行處理包括壓縮、格式化、解析度增強和彩色增強。三維信息以立體格式存儲在本機存儲器中，其中立體格式是上下、行交替、並排、賽博範圍(cyberscope)、壓扁(squashed)並排以及JPS立體JPEG中的一種或多種。多個數字攝像機在顯示三維信息時跟蹤觀眾的頭部和眼睛中的一項或多項。系統還包括一個或多個紅外雷射器，用於在顯示三維信息時跟蹤觀眾頭部和眼睛中的一項或多項。但是，系統並不要求在顯示三維信息時使用一個或多個紅外雷射器來跟蹤觀眾頭部和眼睛中的一項或多項。觀看三維信息無需觀看輔助物。備選的是，用觀看輔助物來觀看三維信息。在另一備選中，顯示器顯示二維信息。在又一備選中，顯示器是投影顯示器。系統還包括通信接口，用於與一個或多個其它裝置通信，以發送和接收三維信息。具體地說，通信接口進行無線通信。系統還包括連接到電子裝置的控制接口，用於控制電子裝置。
在另一方面，一種用於獲取和顯示三維信息的系統包括電子裝置；連接到電子裝置的多個數字攝像機，用於獲取三維信息；以及連接到電子裝置的顯示器，用於顯示三維信息，其中多個數字攝像機跟蹤觀眾頭部和眼睛中的一項或多項，並在顯示三維信息時基於觀眾頭部和眼睛中的一項或多項的位置來調節三維信息。電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。三維信息包括一組圖像。數字攝像機包括一個或多個電荷耦合器件傳感器，用於獲取三維信息。多個攝像機還用於自動聚焦。自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。對三維信息進行處理包括壓縮、格式化、解析度增強和彩色增強。三維信息以立體格式存儲在本機存儲器中，其中立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一種或多種。系統還包括一個或多個紅外雷射器，用於在顯示三維信息時跟蹤觀眾頭部和眼睛中的一項或多項。但是，系統並不要求在顯示三維信息時使用一個或多個紅外雷射器來跟蹤觀眾頭部和眼睛中的一項或多項。觀看三維信息無需觀看輔助物。備選的是，用觀看輔助物來觀看三維信息。在另一備選中，顯示器顯示二維信息。在又一備選中，顯示器是投影顯示器。系統還包括通信接口，用於與一個或多個其它裝置通信，以發送和接收三維信息。具體地說，通信接口進行無線通信。系統還包括連接到電子裝置的控制接口，用於控制電子裝置。
在又一方面，一種用於獲取和顯示三維信息的系統包括電子裝置；連接到電子裝置的多個數字攝像機，用於自動聚焦在三維信息上和獲取三維信息；本機存儲器，用於以立體格式存儲三維信息；自動立體顯示器，連接到電子裝置用於顯示三維信息；以及多個數字攝像機，用於跟蹤觀眾頭部和眼睛中的一項或多項，並在顯示三維信息時基於觀眾頭部和眼睛中的一項或多項的位置來調節三維信息；通信接口，用於與一個或多個其它裝置通信，以發送和接收三維信息；以及連接到電子裝置的控制接口，用於控制電子裝置。電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。三維信息包括一組圖像。數字攝像機包括一個或多個電荷耦合器件傳感器，用於獲取三維信息。自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。對三維信息進行處理包括壓縮、格式化、解析度增強和彩色增強。立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一種或多種。系統還包括一個或多個紅外雷射器，用於在顯示三維信息時跟蹤觀眾頭部和眼睛中的一項或多項。但是，系統並不要求在顯示三維信息時使用一個或多個紅外雷射器來跟蹤觀眾頭部和眼睛中的一項或多項。備選的是，顯示器是投影顯示器。具體地說，通信接口進行無線通信。
在另一方面，一種用於獲取和顯示三維信息的方法包括使用連接到電子裝置的多個數字攝像機自動聚焦到三維信息上；使用多個數字攝像機獲取三維信息；以及用顯示器顯示三維信息。電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。三維信息包括一組圖像。數字攝像機包括一個或多個電荷耦合器件傳感器，用於獲取三維信息。自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。該方法還包括對三維信息進行處理，包括壓縮、格式化、解析度增強和彩色增強。該方法還包括以立體格式將三維信息存儲在本機存儲器中，其中立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一種或多種。該方法還包括在顯示三維信息時使用多個數字攝像機跟蹤觀眾的頭部和眼睛中的一項或多項，具體地說，用一個或多個紅外雷射器。但是，該方法並不要求在顯示三維信息時使用一個或多個紅外雷射器來跟蹤觀眾頭部和眼睛中的一項或多項。備選的是，顯示器是投影顯示器。該方法還包括使用通信接口與一個或多個其它裝置通信，以發送和接收三維信息。具體地說，通信接口進行無線通信。
在又一方面，一種用於獲取和顯示三維對象的方法包括使用連接到電子裝置的多個數字攝像機自動聚焦到三維對象上；使用多個數字攝像機獲取三維對象；使用多個數字攝像機跟蹤觀眾頭部和眼睛中的一項或多項；使用顯示器顯示三維對象；在顯示三維對象時基於觀眾頭部和眼睛中的一項或多項的位置調節三維對象；以及使用通信接口與一個或多個其它裝置通信，以發送和接收三維對象。電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。三維對象包括一組圖像。數字攝像機包括一個或多個電荷耦合器件傳感器，用於獲取三維對象。該方法還包括由計算確定的自動聚焦，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。該方法還包括對三維對象進行處理，包括壓縮、格式化、解析度增強和彩色增強。該方法還包括以立體格式將三維對象存儲在本機存儲器中，其中立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一種或多種。該方法還包括在顯示三維對象時使用具有一個或多個紅外雷射器的多個數字攝像機跟蹤觀眾的頭部和眼睛中的一項或多項。但是，該方法並不要求在顯示三維對象時使用一個或多個紅外雷射器來跟蹤觀眾頭部和眼睛中的一項或多項。備選的是，顯示器是投影顯示器。具體地說，通信接口進行無線通信。


圖1示出在3D獲取和顯像系統的實施例中組件的內部視圖。
圖2示出由3D獲取和顯像系統實現的方法流程圖。
圖3示出3D獲取和顯像系統的自動聚焦系統的圖示。
圖4a示出使用3D獲取和顯像系統從電子裝置向兼容裝置發送3D信息的圖示。
圖4b示出使用3D獲取和顯像系統通過網際網路從電子裝置向兼容裝置發送3D信息的圖示。
具體實施例方式
3D獲取和顯像系統的一個實施例在個人電子裝置中實現，個人電子裝置包括但不限於膝上型計算機、PDA、照相電話、數字攝像機、視頻攝像機以及電子表。
圖1示出在3D獲取和顯像系統實施例的系統中組件的內部視圖。電子裝置100包括確保系統正常功能所需的許多組件。在一個實施例中，電子裝置是以下許多不同裝置中的一個或多個膝上型計算機、PDA、照相電話、數字攝像機、視頻攝像機或電子表。第一數字攝像機102和第二數字攝像機104基本彼此平行放置，並用於自動聚焦、同時獲取3D信息以及用於3D顯示的眼睛跟蹤等過程。在第一數字攝像機102和第二數字攝像機104獲取到圖像後，處理器106用於通過硬體或軟體處理3D信息，包括壓縮、格式化以及最終存儲在本機存儲器108中。發送器110可用於向一個或多個其它電子裝置發送3D信息。還包括有接收器112，用於從另一電子裝置接收3D信息。除了被發送到另一裝置外，電子裝置100包括顯示器116，以顯示所存儲的3D信息。顯示器116包括眼睛跟蹤，在顯示3D信息時利用第一數字攝像機102和第二數字攝像機104跟蹤觀眾的眼睛。顯示器116還包括一種或多種各種適合且可用的3D顯示技術來顯示3D信息。控制接口114用於允許觀眾控制電子裝置100的許多方面，包括設置和其它特性。電源118向電子裝置100供電。電子裝置100中3D獲取和顯像系統的組件在一起允許用戶自動聚焦、獲取3D信息、顯示3D信息時跟蹤觀眾的眼睛、向另一裝置發送3D信息以及顯示3D信息。
圖2示出由3D獲取和顯像系統實現的方法流程圖。在步驟202，使用第一數字攝像機102和第二數字攝像機104通過光學三角測量自動聚焦到所需對象上。然後在步驟204，第一數字攝像機102和第二數字攝像機104獲取包括有對象的3D視頻或圖像，這就是3D信息。一旦被獲取，在步驟206處理器106就處理3D信息，並壓縮和格式化3D信息。然後，在步驟208，將3D信息存儲在本機存儲器108中。存儲後，在步驟209，3D信息就能被顯示給觀眾，在步驟210用眼睛跟蹤或不用眼睛跟蹤。為了進行眼睛跟蹤，第一數字攝像機102和第二數字攝像機104確定觀眾眼睛在何處，然後確保3D信息以適當的角度顯示給觀眾，以使他們能正確地看到3D信息。在步驟214，3D信息還能被發送到兼容裝置。這種傳輸可用任何適合的方式進行，包括有線、無線、紅外、射頻、蜂窩和衛星傳輸。然後，根據兼容裝置的配置，兼容接收裝置的觀眾就能夠觀看3D信息。在步驟216，如果兼容裝置允許有眼睛跟蹤的3D顯示，觀眾就會看見類似於包括有3D獲取和顯像系統的裝置上所顯示的3D信息，如上所述。但步驟218提供備選的3D顯示過程，其中沒有眼睛跟蹤，但也不需要眼鏡，或者相反，在步驟220需要眼鏡。而且，如果兼容裝置只有2D顯示器，則在步驟222，觀眾只會看見2D圖像。兼容裝置使用軟體將3D信息轉換為2D圖像。電子裝置100也具有接收來自其它兼容裝置的3D信息的能力，如步驟212所述。類似於電子裝置100發送3D信息的能力，它也具有接收2D或3D信息用於顯示目的的能力。一旦電子裝置100通過接收器112接收到信息，電子裝置100就根據需要處理該信息，然後將其存儲在存儲器108中，並最終使用眼睛跟蹤將信息顯示給觀眾，進行3D觀看。
圖3示出3D獲取和顯像系統的自動聚焦系統的圖示。在一個實施例中，用於個人電子裝置的3D獲取和顯像系統允許利用第一數字攝像機102和第二數字攝像機104自動聚焦。系統利用第一數字攝像機102和第二數字攝像機104測量3D幾何形狀、顏色以及對象深度。第一數字攝像機102具有第一透鏡302和第一電荷耦合器件(CCD)308，第二數字攝像機104具有第二透鏡304和第二CCD 310。眾所周知，CCD傳感器允許用戶用數字攝像機攝影。一旦數字攝像機的機械快門打開，CCD傳感器就通過透鏡曝光。CCD傳感器將光轉換為電荷，然後再轉換為信號。然後將信號數位化，並存儲在存儲器中。最後，例如在電子裝置的LCD上，顯示獲取的信息。在一個實施例中，用光學三角測量將第一數字攝像機102和第二數字攝像機104聚焦在正確的深度。光學三角測量包括匹配在從第一數字攝像機102和第二數字攝像機104所獲得的畫面中的點P 306的圖像。第一數字攝像機102和第二數字攝像機104並聯到電子裝置100。使用深度圖來存儲深度測量值，它通常是一個二維陣列。對x分量和y分量編碼，且z是對應於每一點的深度測量值。對於針孔攝像機，深度(z)用下式計算z＝b*f/(x1』-xr』)
式中焦距為f，兩個數字攝像機中心之間的距離為b，第一圖像平面為x1』，第二圖像平面為xr』。計算是由電子裝置100的內部硬體和軟體自動進行，使電子裝置100非常精確地自動聚焦。
數字攝像機聚焦後，獲取三維信息就很簡單了，因為第一數字攝像機102和第二數字攝像機104都一起連接在電子裝置100中。用戶像往常一樣攝影，並且第一數字攝像機102和第二數字攝像機104各從稍有不同的角度採集3D信息，從而創建立體圖像。而且，由於數字攝像機放置得非常靠近，因此就避免了在過去困擾立體攝像機的大多數問題。
獲取3D信息的備選實施例使用一個連接到電子裝置100的適當大小的雷射測距器，其中雷射從對象上彈出，並且接收器計算反射的光束返回所需的時間。測距器幫助自動聚焦在正確的距離，以使第一數字攝像機102和第二數字攝像機104獲取正確數據。
獲取3D信息的另一備選實施例包括將光圖案投影到對象上。這些圖案可包括網格、條紋或橢圓圖案。然後從光圖案的翹曲中導出對象的形狀。然後利用第一數字攝像機102的位置和第二數字攝像機104的位置以及翹曲來計算深度。
獲取3D信息後，對其進行處理，並存儲在電子裝置100的本機存儲器108中。數據處理包括壓縮、格式化、解析度增強和色彩增強。然後將3D信息存儲為一種或多種不同的格式，包括上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG。
為了使觀眾觀看3D信息，實現眼睛跟蹤系統，以使3D信息始終保持焦點對準，而且總是3D的。第一數字攝像機102和第二數字攝像機104用於實現眼睛跟蹤系統。用於眼睛跟蹤的實施例包括使用紅外LED，這些LED圍繞在第一數字攝像機102和第二數字攝像機104的透鏡周圍，以使LED光源儘可能靠近數字攝像機透鏡的光軸，以便最大化觀眾眼睛的反光效果。眼睛和面部之間反射率的差異會導致眼睛是白色而面部是黑色，這就足以確定眼睛的位置。不過當環境光太強或觀眾戴眼鏡時，還是有問題，但可使用差分分析技術去除不需要的反射或額外的照明問題。備選的是，在沒有紅外LED的系統中，數字攝像機可備選地分析和比較觀眾的圖像，並確定觀眾眼睛的位置。一旦確定了觀眾眼睛的位置，在觀眾觀看顯示器116時，第一數字攝像機102和第二數字攝像機104就繼續跟蹤他們。顯示器116上的圖像根據需要旋轉和/或移動，以使觀眾能連續觀看到3D圖像。
用於跟蹤觀眾的備選實施例包括跟蹤觀眾的頭部，然後估算觀眾的眼睛位於何處。系統獲得觀眾頭部的輪廓，然後預測觀眾的眼睛位於何處。有許多技術可實現頭部跟蹤。圖像分析一般需要有已知的背景或一致和受控的環境照明。紅外LED位於第一數字攝像機102和第二數字攝像機104的透鏡周圍，並朝背景和觀眾發光。在此，不需要複雜的亮度控制，所以CCD攝像機就可以使用。對攝像機的光圈進行調節，以使背景的曝光區域呈現為全白色，而觀眾呈現為黑色。然後使用電子裝置中的軟體建立觀眾的輪廓，以估計眼睛的位置。備選的是，該過程的進行沒有反光屏，而是使用紅外條紋和條紋變形來計算觀眾頭部的位置。備選的是，在沒有紅外LED的系統中，數字攝像機可備選地分析和比較觀眾的圖像，並確定觀眾頭部和眼睛的位置。
頭部跟蹤的備選實施例包括聲測距，以及使用三角測量找到觀眾的頭部位置。位於電子裝置100上的超聲變換器用來發送脈衝，並接收脈衝的回聲。知道了發送脈衝和接收到脈衝之間的時間延遲，對象的距離就可進行三角測量。該過程重複多次，並且對觀眾的頭部，包括眼睛的位置不斷進行近似。
另一備選實施例包括跟蹤多個觀眾眼睛的方式，由此使用多個投影儀向觀眾的眼睛顯示3D信息，並將3D信息引向適當位置。
對於顯示3D信息的裝置，有許多不同的選擇。用於顯示器116的一個實施例使用視差柵欄技術，它用作3D自動立體顯示器或2D顯示器。視差柵欄包括距像素平面有一定距離間隔的狹縫陣列。窗口上的強度分布被模擬為詳細像素結構的卷積，以及通過狹縫孔徑的近場衍射，這導致窗口平面上的強度改變。而且，視差柵欄必須以高精確度與LED對準。視差柵欄可作成透明的，以允許在2D和3D間轉換。
一個備選實施例使用雙凸透鏡狀元件來顯示3D信息。雙凸透鏡狀元件通常是圓柱形透鏡，相對2D顯示器例如LCD垂直排列。圓柱形透鏡引導來自像素的漫射光，因此在顯示器前方僅能在有限角度才可看到。因此，不同的像素被導向左視角或右視角。2D/3D轉換擴散器連接在雙凸透鏡狀元件的前面，以允許觀眾在2D和3D之間轉換。當2D/3D轉換擴散器關閉時，它使光散射，並阻止光到達雙凸透鏡，這得到正常2D顯示器的類似性能。
另一備選實施例包括使用垂直定向的微型稜鏡作為視差元件，且左右圖像垂直交錯在各列中，由微型稜鏡引導到兩個觀看窗口。
另一備選實施例包括使用一系列疊層式微型偏光元件來產生可轉換的視差柵欄。微型偏光元件構建在LCD元件內，以避免共同的視差問題。
另一備選實施例結合有觀看輔助物，例如彩色、偏光或轉換眼鏡，來觀看3D信息，如果立體顯示器不是自動立體顯示的話。
另一備選實施例包括使用分束器，它使用光偏振將左眼和右眼的立體圖像分開，並將合適的圖像導向適合的眼睛。
圖4a和4b示出使用3D獲取和顯像系統從電子裝置100向兼容接收裝置400發送3D信息的圖示。除了顯示3D信息的能力外，電子裝置100還具有向兼容裝置400無線發送3D信息的能力。而且，電子裝置100也具有接收來自兼容裝置400的3D信息的能力。無線傳輸的類型包括藍牙402或類似技術402，用於直接裝置到裝置的傳輸。另一類型的無線傳送包括將電子裝置連接到網際網路410，通過網際網路將3D信息發送到伺服器，然後兼容裝置400就能無線下載該3D信息。如上所述，電子裝置100包括發送器110和接收器112。發送器110和接收器112都連接成能夠向/從電子裝置100的處理器106、存儲器108以及顯示器116傳送數據。發送器110可包括紅外傳輸系統或射頻傳輸系統。兼容裝置400應包括有類似組件，雖然兼容裝置400不必是自動立體裝置。兼容裝置可以是自動立體裝置、立體裝置或只是2D裝置。顯然，根據裝置的不同，要能夠觀看圖像的所有特性可能需要附加的硬體，例如專用眼鏡。至於2D裝置，3D圖像只能以2D呈現。在備選實施例中，3D信息通過電纜，例如乙太網電纜、IEEE 1394兼容電纜或USB電纜，進行非無線傳輸。
本發明的一個備選實施例包括將3D信息投影到屏幕上供觀看。除了在顯示器116上觀看3D信息外，電子裝置100將3D信息投影到屏幕上，由此使用專用眼鏡進行觀看，如上所述。
除了上述用於立體獲取和顯示能力的所有特性外，電子裝置100保留有其固有的所有特性。例如，如果電子裝置是具有立體特性的PDA，則用戶仍然能夠存儲信息、設置日程以及繼續像從前一樣使用PDA。同樣，照相電話除了立體特性外，其作用就是電話。3D獲取和顯像系統通過添加立體特性，增強了電子裝置100。
工作時，電子裝置100的使用實質上類似於基礎裝置上具有立體特性的數字攝像機，這些基礎裝置包括但不限於膝上型計算機、PDA、照相電話、數字攝像機、視頻攝像機以及電子表。要拍3D照片和獲取3D信息，用戶接通電子裝置100的電源。然後用戶將電子裝置100的第一數字攝像機102和第二數字攝像機104對準所需對象。最後，用戶按下連接到第一數字攝像機102和第二數字攝像機104的按鈕，它們就攝影。在攝影之前，在用戶對準所需對象時，第一數字攝像機102和第二數字攝像機104的自動聚焦系統自動聚焦到對象的適合深度，以拍攝最可能清晰的圖片。這兩個攝像機三角測量對象的深度，並快速和清楚地聚焦到對象上。第一數字攝像機102從第一角度獲取信息，而第二數字攝像機104從略微偏離第一角度的第二角度獲取信息。處理器106使用內部軟體，並將來自各攝像機的分離信息處理成一組3D信息。攝影之後，用戶可選擇在顯示器116上觀看3D信息、將3D信息發送到兼容接收裝置400、或將3D信息投影到屏幕上。要在電子裝置100上觀看3D信息，第一攝像機102和第二攝像機104用來跟蹤用戶的眼睛、頭部或二者。用戶在顯示器116上只觀看3D信息時，可以自由地到處移動，而3D信息不會模糊不清。顯示器116還利用一種或多種適合且可用的3D顯示技術來顯示3D信息。為將3D信息傳輸到兼容接收裝置400，電子裝置包括與兼容接收裝置400通信所需的功能。另外，用戶使用輸入裝置與電子裝置100交互，以發送3D信息，輸入裝置包括但不限於一組可按壓的按鈕、可觸摸的觸控螢幕、或可轉動的球柄。此外，用戶可將3D信息投影到外部屏幕上，由此需要有視覺輔助物來觀看3D信息。投影3D信息的設置包括將電子裝置100穩定在適當靠近的表面上，以使3D信息清晰地顯示在外部屏幕上。例如，將電子裝置100放在桌子上，距下拉的白色帆布顯示屏幕5英尺，觀眾戴上偏光3D眼鏡來觀看投影的3D信息。
已就具體實施例對本發明作了說明，包括了一些細節，以便於理解本發明的構造和工作原理。本文引用具體實施例及其細節不是為了將所附權利要求書的範圍局限於此。對於業界技術人員來說，顯而易見的是，在不背離權利要求書所定義的精神和範圍的前提下，在選作說明的實施例中可以作其它各種改動。
權利要求
1.一種用於獲取和顯示三維信息的系統，包括a.電子裝置；b.多個數字攝像機，連接到所述電子裝置，用於自動聚焦在所述三維信息上並獲取所述三維信息；以及c.顯示器，連接到所述電子裝置，用於顯示所述三維信息。
2.如權利要求1所述的系統，其中所述電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。
3.如權利要求1所述的系統，其中所述三維信息包括一組圖像。
4.如權利要求1所述的系統，其中所述數字攝像機包括一個或多個電荷耦合器件傳感器，用以獲取所述三維信息。
5.如權利要求1所述的系統，其中自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。
6.如權利要求1所述的系統，其中對所述三維信息進行處理包括壓縮、格式化、解析度增強和彩色增強。
7.如權利要求1所述的系統，其中所述三維信息以立體格式存儲在本機存儲器中。
8.如權利要求7所述的系統，其中所述立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一種或多種。
9.如權利要求1所述的系統，其中在顯示所述三維信息時，所述多個數字攝像機跟蹤觀眾的頭部和眼睛中的一項或多項。
10.如權利要求9所述的系統，其中所述多個數字攝像機使用一個或多個紅外雷射器，用於在顯示所述三維信息時跟蹤觀眾的頭部和眼睛中的一項或多項。
11.如權利要求1所述的系統，其中所述顯示器是投影顯示器。
12.如權利要求1所述的系統，其中所述顯示器顯示二維信息。
13.如權利要求1所述的系統，其中觀看所述三維信息無需觀看輔助物。
14.如權利要求1所述的系統，其中需要觀看輔助物來觀看所述三維信息。
15.如權利要求1所述的系統，還包括通信接口，所述通信接口用於與一個或多個其它裝置通信，以發送和接收所述三維信息。
16.如權利要求15所述的系統，其中所述通信接口進行無線通信。
17.如權利要求1所述的系統，還包括控制接口，所述控制接口連接到所述電子裝置，用於控制所述電子裝置。
18.一種用於獲取和顯示三維信息的系統，包括a.電子裝置；b.多個數字攝像機，連接到所述電子裝置，用於獲取所述三維信息；以及c.顯示器，連接到所述電子裝置，用於顯示所述三維信息，其中所述多個數字攝像機跟蹤觀眾的頭部和眼睛中的一項或多項，並在顯示所述三維信息時基於所述觀眾的頭部和眼睛中的一項或多項的位置來調節所述三維信息。
19.如權利要求18所述的系統，其中所述電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。
20.如權利要求18所述的系統，其中所述三維信息包括一組圖像。
21.如權利要求18所述的系統，其中所述數字攝像機包括一個或多個電荷耦合器件傳感器，用以獲取所述三維信息。
22.如權利要求18所述的系統，其中所述多個攝像機用於自動聚焦。
23.如權利要求22所述的系統，其中自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。
24.如權利要求18所述的系統，其中對所述三維信息進行處理包括壓縮、格式化、解析度增強和彩色增強。
25.如權利要求18所述的系統，其中所述三維信息以立體格式存儲在本機存儲器中。
26.如權利要求25所述的系統，其中所述立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一種或多種。
27.如權利要求18所述的系統，其中所述多個數字攝像機使用一個或多個紅外雷射器，用於在顯示所述三維信息時跟蹤觀眾的頭部和眼睛中的一項或多項。
28.如權利要求18所述的系統，其中所述顯示器是投影顯示器。
29.如權利要求18所述的系統，其中所述顯示器顯示二維信息。
30.如權利要求18所述的系統，其中觀看所述三維信息無需觀看輔助物。
31.如權利要求18所述的系統，其中需要觀看輔助物來觀看所述三維信息。
32.如權利要求18所述的系統，還包括通信接口，所述通信接口用於與一個或多個其它裝置通信，以發送和接收所述三維信息。
33.如權利要求32所述的系統，其中所述通信接口進行無線通信。
34.如權利要求18所述的系統，還包括控制接口，所述控制接口連接到所述電子裝置，用於控制所述電子裝置。
35.一種用於獲取和顯示三維信息的系統，包括a.電子裝置；b.多個數字攝像機，連接到所述電子裝置，用於自動聚焦在所述三維信息上並獲取所述三維信息；c.本機存儲器，用於以立體格式存儲所述三維信息；d.自動立體顯示器，連接到所述電子裝置，用於顯示所述三維信息，並且所述多個數字攝像機用於跟蹤觀眾的頭部和眼睛中的一項或多項，並在顯示所述三維信息時基於所述觀眾的頭部和眼睛中的一項或多項的位置來調節所述三維信息；e.通信接口，用於與一個或多個其它裝置通信，以發送和接收所述三維信息；以及f.控制接口，連接到所述電子裝置，用於控制所述電子裝置。
36.如權利要求35所述的系統，其中所述電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。
37.如權利要求35所述的系統，其中所述三維信息包括一組圖像。
38.如權利要求35所述的系統，其中所述數字攝像機包括一個或多個電荷耦合器件傳感器，用以獲取所述三維信息。
39.如權利要求35所述的系統，其中自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。
40.如權利要求35所述的系統，其中對所述三維信息進行處理包括壓縮、格式化、解析度增強和彩色增強。
41.如權利要求35所述的系統，其中所述立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一種或多種。
42.如權利要求35所述的系統，其中所述多個數字攝像機使用一個或多個紅外雷射器，用於在顯示所述三維信息時跟蹤所述觀眾的頭部和眼睛中的一項或多項。
43.如權利要求35所述的系統，其中所述顯示器是投影顯示器。
44.如權利要求35所述的系統，其中所述通信接口進行無線通信。
45.一種用於獲取和顯示三維信息的方法，包括a.使用連接到電子裝置的多個數字攝像機自動聚焦在所述三維信息上；b.使用所述多個數字攝像機獲取所述三維信息；以及c.使用顯示器顯示所述三維信息。
46.如權利要求45所述的方法，其中所述電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。
47.如權利要求45述的方法，其中所述三維信息包括一組圖像。
48.如權利要求45所述的方法，其中所述數字攝像機包括一個或多個電荷耦合器件傳感器，用以獲取所述三維信息。
49.如權利要求45所述的方法，其中自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。
50.如權利要求45所述的方法，還包括處理所述三維信息，所述處理包括壓縮、格式化、解析度增強和彩色增強。
51.如權利要求45所述的方法，還包括將所述三維信息以立體格式存儲在本機存儲器中。
52.如權利要求51所述的方法，其中所述立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一種或多種。
53.如權利要求45所述的方法，還包括在顯示所述三維信息時使用所述多個數字攝像機跟蹤觀眾的頭部和眼睛中的一項或多項。
54.如權利要求53所述的方法，還包括在顯示所述三維信息時使用具有一個或多個紅外雷射器的所述多個數字攝像機跟蹤所述觀眾的頭部和眼睛中的一項或多項。
55.如權利要求45所述的方法，其中所述顯示器是投影顯示器。
56.如權利要求45所述的方法，還包括使用通信接口與一個或多個其它裝置通信，以發送和接收所述三維信息。
57.如權利要求56所述的方法，其中所述通信接口進行無線通信。
58.一種用於獲取和顯示三維對象的方法，包括a.使用連接到電子裝置的多個數字攝像機自動聚焦在所述三維對象上；b.使用所述多個數字攝像機獲取所述三維對象；c.使用所述多個數字攝像機跟蹤觀眾的頭部和眼睛中的一項或多項；d.使用顯示器顯示所述三維對象；e.在顯示所述三維對象時基於所述觀眾的頭部和眼睛中的一項或多項的位置來調節所述三維對象；以及f.使用通信接口與一個或多個其它裝置通信，以發送和接收所述三維對象。
59.如權利要求58所述的方法，其中所述電子裝置來自如下項構成的組PDA、照相電話、膝上型計算機、數字攝像機、視頻攝像機以及電子表。
60.如權利要求58所述的方法，其中所述三維對象包括一組圖像。
61.如權利要求58所述的方法，其中所述數字攝像機包括一個或多個電荷耦合器件傳感器，用以獲取所述三維對象。
62.如權利要求58所述的方法，其中自動聚焦由計算確定，由此所述計算來自如下項構成的組光學三角測量、測距以及光圖案翹曲。
63.如權利要求58所述的方法，還包括處理所述三維對象，所述處理包括壓縮、格式化、解析度增強和彩色增強。
64.如權利要求58所述的方法，還包括將所述三維對象以立體格式存儲在本機存儲器中。
65.如權利要求64所述的方法，其中所述立體格式是上下、行交替、並排、賽博範圍、壓扁並排以及JPS立體JPEG中的一項或多項。
66.如權利要求58所述的方法，還包括在顯示所述三維對象時使用具有一個或多個紅外雷射器的所述多個數字攝像機跟蹤所述觀眾的頭部和眼睛中的一項或多項。
67.如權利要求58所述的方法，其中所述顯示器是投影顯示器。
68.如權利要求58所述的方法，其中所述通信接口進行無線通信。
全文摘要
用於個人電子裝置的三維(3D)獲取和顯像系統包括兩個以各種方式工作的數字攝像機。這兩個數字攝像機獲取3D數據，然後將它們顯示在自動立體顯示器上。為了清晰和易於使用，這兩個數字攝像機還起眼睛跟蹤裝置的作用，幫助以正確的角度向用戶投影適當的圖像。這兩個數字攝像機還起幫助以正確的深度自動聚焦的作用。每個個人電子裝置還能存儲、發送和顯示所獲取的3D數據。
文檔編號H04N13/00GK1934874SQ200580008604
公開日2007年3月21日 申請日期2005年3月14日 優先權日2004年3月18日
發明者李俊傑, A·貝雷斯託夫 申請人:索尼電子有限公司