根據空間光圖案生成深度數據的製作方法
2023-05-19 03:50:31
專利名稱：根據空間光圖案生成深度數據的製作方法
技術領域：
本公開總體上涉及生成深度數據。
背景技術：
除非本文另外指出，否則本節中描述的素材不是本申請權利要求的現有技術，並且不應因包括在本節中而承認是現有技術。用於立體觀看的圖像包括可以針對左眼的圖像和針對右眼的圖像。典型地，觀看者可以使用特殊眼鏡，該眼鏡使得右眼僅能看到針對右眼的圖像，而左眼僅能看到針對左眼的圖像，由此觀看者能夠感知三維場景。存在兩種典型方法來傳輸針對立體觀看的圖像數據。第一方法可以涉及同時發送左眼和右眼圖像，這導致需要傳輸兩倍於普通2D圖像數據的數據。第二方法可以涉及根據左眼圖像和右眼圖像生成深度圖，然後和左眼或右眼圖像一起傳輸結果的深度圖。數據的接收方可以使用深度圖來重建兩個圖像中的沒有被發送的一個。第二方法還可能導致傳輸比正常2D圖像數據更多的數據量。此外，需要在傳輸側產生深度圖可能會導致附加的計算負荷。
發明內容
根據一個或多個實施例，一種生成深度數據的方法包括:獲取空間光圖案投影到的一個或多個對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調增大或減小；計算感興趣像素周圍的局部圖像區域中圖像的空間頻率分量值；並且通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。根據一個或多個實施例，一種生成深度數據的裝置包括:圖像接收單元，配置成接收空間光圖案投影到的一個或多個對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調增大或減小；頻率分量計算單元，配置成計算感興趣像素周圍的局部圖像區域中圖像的空間頻率分量值；以及深度圖生成單元，配置成通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。根據一個或多個實施例，一種生成深度數據的系統包括:投影單元，配置成投影空間光圖案；成像單元，配置成捕獲空間光圖案投影到的一個或多個對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調增大或減小頻率分量計算單元，配置成計算感興趣像素周圍的局部圖像區域中圖像的空間頻率分量值；以及深度圖生成單元，配置成通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。以上概要僅是示意性的並不意在以任何方式進行限制。除了上述示意性方面、實施例和特徵以外，參照附圖和以下詳細描述其他方面、實施例和特徵將變得顯而易見。
說明書的結束部分中具體指出並且清楚地要求保護本公開的主題。根據以下說明和所附權利要求，結合附圖，本公開的前述和其他特徵將更加清楚。在認識到這些附圖僅僅示出了根據本公開的一些實施例且因此不應被認為是限制本公開範圍的前提下，通過使用附圖以額外的特徵和細節來描述本公開。圖1是示出了深度數據生成系統的示例的圖；圖2是不出了空間光圖案的不例的圖；圖3是示出了空間光圖案的模糊度示例的圖，其中空間光圖案的模糊度在對象表面上沿深度方向單調增大；圖4是示出了深度數據生成裝置的配置示例的方框圖；圖5是示出了由深度數據生成裝置執行的生成深度數據的方法的流程圖；圖6是示出了反射率校正單元的配置示例的方框圖；圖7是示出了由反射率校正單元執行的執行亮度校正的過程的流程圖；圖8是示出了深度圖生成單元的配置示例的方框圖；圖9是示出了由深度圖生成單元執行的用於確定深度數據的方法的流程圖；以及圖10是示出了沿深度方向的單調模糊度增大的示例的圖；所有附圖均按照本文所述的至少一些實施例設置。
具體實施例方式以下詳細說明描述了各種示例以及特定細節來提供對於要求保護的主題的全面理解。然而，本領域技術人員可以理解，要求保護的主題可以實現為不具有本文公開的一個或多個特定細節。此外，在一些情況下，不再詳細描述公知的方法、過程、系統、組件和/或電路以避免不必要地模糊要求保護的主題。在以下詳細說明中，參考了作為詳細說明的一部分的附圖。在附圖中，類似符號通常表示類似部件，除非上下文另行指明。
具體實施方式
部分、附圖和權利要求書中描述的示例性實施例並不是限制性的。在不脫離在此所呈現主題的精神或範圍的情況下，可以利用其他實施例，且可以進行其他改變。應當理解，在此一般性描述以及附圖中圖示的本公開的各方案可以以多種不同配置來設置、替換、組合、分割和設計，所有這些不同配置來設置、替換、組合、分割和設計均明確包含於此。本公開尤其涉及與生成深度數據相關的方法、裝置、設備和/或系統。簡言之，本文總體上描述了一種用於生成深度數據的方法和裝置。在一些示例中，方法可以包括獲取空間光圖案投影到的一個或多個對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調增大或減小；計算感興趣像素周圍的局部圖像區域中圖像的空間頻率分量值；並且通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。圖1是示出了根據本文所述至少一些實施例設置的深度數據生成系統的示例的圖。圖1所示的深度數據生成系統10可以包括投影單元11、成像單元12和深度數據生成裝置13。為了便於描述，由坐標系的x、y和z軸來表示空間中的三個正交方向，其中z軸對應於投影單元11和成像單元12的深度方向。投影單元11可以配置成發射空間光圖案。投影單元11可以是能夠投影由膠片介質或類似介質生成的高清晰度圖像的傳統投影儀。備選地，投影單元11可以是使用液晶顯示板的數字投影儀或使用數字微鏡器件的DLP(數字光處理)投影儀。在這種情況下，可以將要投影的空間光圖案的顯示數據輸入到投影單元11。成像單元12可以配置成捕獲空間光圖案投影到的一個或多個對象16到18的圖像。成像單元12可以是使用成像器件(例如CCD (電荷耦合器件)圖像傳感器或CMOS (互補金屬氧化物半導體)圖像傳感器)的攝像機。可以調整投影單元11和成像單元12的光學系統參數，以便所捕獲圖像中空間光圖案的模糊度沿深度方向z單調增大或減小。接下裡將詳細描述如何實現這種光學系統參數。成像單元12可以操作為靜態攝像機從而一次產生單個圖像，或者可以操作為視頻或運動攝像機從而在激活狀態期間連續產生一系列圖像。將成像單元12產生或生成的圖像提供到深度數據生成裝置13。圖像的提供可以經由暫時性介質14或非暫時性介質15。暫時性介質14可以是傳輸電信號的通信線路，或者可以是傳輸電磁信號的空間。非暫時性介質15可以是有形記錄介質，例如緊緻盤(CD)、數字多用途盤(DVD)、存儲卡等。深度數據生成裝置13可以配置成產生深度數據，深度數據指示了在與成像單元12捕獲的圖像中任意給定x、y位置相對應的像素處沿深度方向的位置z。可以從成像單元12捕獲的圖像中提取這種深度數據。即，深度數據生成裝置13可以通過分析由成像單元12捕獲的圖像來生成對例如對象16到成像單元12的距離加以指示的深度數據。深度數據生成裝置13可以生成對圖像中所有像素處的深度加以表示的深度圖。為了生成深度數據，投影單元11可以計算感興趣像素周圍的局部圖像區域中圖像的預定空間頻率分量值。然後，投影單元11可以通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。如前所述，所捕獲圖像中空間光圖案的模糊度可以沿深度方向z單調增大或減小。在這種情況下，預定空間頻率分量值可以沿深度方向z單調增大或減小。深度和預定空間頻率分量值之間的關係可以設置為數學公式。備選地，可以預先獲取深度和預定空間頻率分量值之間的關係並作為查找表等存儲在存儲器中。當確定深度數據時可以參考這種查找表，因此可以在表中定位與針對感興趣像素計算的預定空間頻率分量值相對應的深度值。圖2是示出了根據本文所述至少一些實施例設置的空間光圖案的示例的圖。在該示例中，空間光圖案可以是棋盤圖案，其中沿垂直方向和水平方向交替地排列黑色方形區域和白色方形區域。投影單元11和成像單元12可以配置成實質上具有相同的視角。在這種情況下，與表面到投影單元11的距離z無關，該表面上由投影單元11投影的空間光圖案的每個方形區域在成像單元12拍攝的圖像中看起來具有恆定的二維尺寸。即，在圖1所示的示例中，當由成像單元12觀看時，投影到對象16的表面上的空間光圖案看起來具有與投影到對象17或18的表面上的空間光圖案相同的尺寸。投影單元11可以配置成在沿深度方向的點Zpf處具有焦點位置，因此焦點Zpf比成像單元12捕獲的任意對象(例如16、17、18)更近。這種布置可以保證空間光圖案的模糊度在位於深度z處的對象表面上沿深度方向z單調增大。投影單元11可以具有比任意對象距離投影單元11都遠的焦點位置。這種布置可以保證空間光圖案的模糊度在位於深度z處的對象表面上沿深度方向z單調減小。圖3是示出了根據本文所述的至少一些實施例設置的對象表面上沿深度方向z單調增大的空間光圖案的模糊度的示例。在圖3中，由成像單元12捕獲的圖像30可以包括對象16的圖像31 (參見圖1)、對象17的圖像32和對象18的圖像33。如圖1所示，可以沿深度方向z按照所示的順序排列對象16、對象17和對象18，其中對象16距離成像單元12最近。在這情況下，投影到最近對象16上的空間光圖案34可以最為清晰，投影到最遠對象18上的空間光圖案36可以最為模糊，而投影到對象17上的空間光圖案35在清晰度方面居中。在感興趣的局部圖像區域中，通過分析預定頻率分量的值可以從圖像30中提取深度數據，該值是圖像30中出現的空間光圖案34、35和36的模糊程度的函數。可以配置由投影單元11投影的空間光圖案以便出現在所捕獲圖像30中的空間光圖案34、35和36精細到觀看圖像30的人不會辨認出存在空間光圖案。可以通過使用數字投影儀來產生這種精細的光圖案，數字投影儀可以採用具有大量像素的液晶顯示板，例如1280X1024像素、1920X1080像素等。在通常的觀看條件下，人類觀眾不會察覺到幾個像素大小那麼小的細節。即，圖像中出現的空間光圖案可以在高於當觀察圖像時對於人類視覺可察覺的空間頻率的空間頻率處具有周期性。這種布置可以保證，從美學觀點來看，圖像30的質量不會由於疊加空間光圖案而被破壞。然而，可以注意到棋盤圖案的每個方形區域的尺寸可以沿X方形和y方形是像素尺寸的至少兩倍大。這種布置可以保證成像單元12實現了適當的採樣間距以便提取有關空間光圖案的頻率分量的準確信息。以上關於圖3的圖像30中出現的空間光圖案提供的描述沒有考慮成像單元12的聚焦。例如，如果成像單元12是針孔攝像機，則成像單元12能夠對任意距離處的任意對象聚焦。在這情況下，投影到給定對象表面上的空間光圖案在所捕獲的圖像中可能會出現模糊，因為它在對象表面上。即，在一些情況下可以忽視成像單元12的聚焦。然而，在實際中成像單元12的光學系統的特性可能會影響出現在捕獲的圖像中的空間光圖案的模糊度。即，當根據成像單元12捕獲的圖像來生成深度數據時，除了投影單元11的聚焦以外還需要考慮到成像單元12的聚焦。在一些情況下，成像單元12可以聚焦在作為感興趣對象的對象16上。在其他情況下，成像單元12可以聚焦在作為感興趣對象的對象17上，然後聚焦在作為下一個感興趣對象的對象18上。下面將進一步描述如何考慮成像單元12的聚焦以及其焦點位置的改變。然而，這裡可以注意到，與成像單元12的聚焦無關，可以容易地進行設置以便所捕獲圖像中空間光圖案的模糊度沿深度方向z單調增大或減小。通過以下方式可以提供這種單調特性:保證相對於由成像單元12引起的沿深度方向的模糊度改變，由投影單元11引起的沿深度方向的單調模糊度增大(或減小)是主導的。圖4是示出了根據本文所述的至少一些實施例設置的深度數據生成裝置13的配置的示例的方框圖。圖4所示的深度數據生成裝置13可以包括圖像接收單元41、頻率分量計算單元42、反射率校正單元43、深度圖生成單元44和頻率檢測單元45。圖5是示出了根據本文所述的至少一些實施例設置的由深度數據生成裝置13執行的用於產生深度數據的方法的流程圖。如圖所示，示例方法可以包括如一個或多個框S1、S2、S3、S4、S5和/或S6所示的一個或多個操作、動作或功能。例如，由於可以使用圖4所示的深度數據生成裝置13來實現圖5中的方法，參考圖4和圖5來描述用於生成深度數據的方法。圖像接收單元41可以從成像單元12接收空間光圖案投影到的一個或多個對象的圖像。在該圖像中，空間光圖案的模糊度可以沿深度方向單調增大或減小。可以在框SI開始處理。在框SI，頻率檢測單元45可以將圖像劃分為塊，每一個塊可以是包括像素陣列的矩形圖像區域。處理可以從框SI繼續到框S2。在框S2，頻率檢測單元45可以向每一塊應用正交變換，例如傅立葉變換或哈達馬變換，以針對每個塊獲取頻率分量F (u，V)。這裡，F(u,v)可以是像素數據b(x，y)的離散傅立葉變換(或哈達馬變換或任意其他正交變換)，像素數據b(x，y)表示與感興趣塊相對應的像素陣列的像素值。坐標X和y可以表示感興趣塊中的像素位置。變量u表示沿X方向的空間頻率，變量V表示沿y方向的空間頻率。處理可以從框S2繼續到框S3。在框S3，頻率檢測單元45可以將所有塊的F (u，v)相加以獲取S (U，v)，並可以得到閾值頻率以上的頻率範圍內的S(u，v)的最大值。當圖像中具有N個塊時，S(u，v)可以
是第一塊的F (u，V)、第二塊的F (u，V)、第三塊的F (u，v)......以及第N塊的F(u，v)之和。
由於圖像中包括特定空間頻率處的空間光圖案周期性，S(u，v)可以在特定閾值頻率以上的頻率範圍內的該空間頻率處具有局部最大值。通過考慮空間光圖案具有周期性時的空間頻率可以確定該閾值頻率。例如，可以將閾值頻率設為低於上述空間頻率但高於可歸於所捕獲場景的圖像信息的大多數頻譜。由於可歸於所捕獲場景的圖像信息(即，除了可歸於投影空間光圖案的圖像信息以外)的大多數頻譜處於較低頻率處，設置這種閾值頻率使得可以檢測可歸於投影空間光圖案的頻譜的局部最大值。按照這種方式，可以檢測到空間光圖案具有周期性時的空間頻率(Um, vffl)。處理可以從框S3繼續到框S4。在框S4，頻率分量計算單元42可以向坐標(x，y)處每個感興趣像素周圍的局部圖像區域應用正交變換，例如傅立葉變換或哈達馬變換，以獲取頻率分量Fx,y (um，vm)。該局部圖像區域可以是以坐標(x，y)為中心的矩形圖像區域。這裡，Fx,y(u，v)可以是像素數據的離散傅立葉變換(或哈達馬變換或任意其他正交變換)，像素數據是局部圖像區域的圖像陣列的像素值。處理可以從框S4繼續到框S5。在框S5，反射率校正單元43可以針對不同對象反射率來校正Fx,y(um，vm)。由投影單元11投影的空間光圖案可以被對象表面反射到達成像單元12。反射光的強度可以取決於對象表面的反射率。結果，所捕獲圖像的像素值(即，亮度值)取決於每個對象表面的反射率。隨著對象表面的反射率增大，位於與該對象表面相對應的圖像區域中的像素的像素值也可以增大。由此Fx, Juii1, vj的值也取決於對象表面反射率。反射率校正單元43可以去除由對象表面反射率的差異引起的Fx,y(um，Vm)的變化。接下來將詳細描述該校正處理。處理可以從框S5繼續到框S6。在框S6，深度生成單元44可以根據校正的FxiyOv vj和查找表來生成深度圖。查找表可以指示深度(即，沿z方向的位置)和空間頻率分量值Fx,yOv Vm)之間的關係。可以預先準備該查找表並將其存儲在存儲器中。圖6是示出了根據本文所述的至少一些實施例設置的反射率校正單元43的配置示例的方框圖。圖6所示的反射率校正單元43可以包括全局平均亮度計算單元61、校正單元62和局部平均亮度計算單元63。圖7是示出了根據本文所述的至少一些實施例設置的由反射率校正單元43執行的用於執行亮度校正的方法的流程圖。如圖所示，示例方法可以包括如一個或多個框S21、S22和/或S23所示的一個或多個操作、動作或功能。例如，由於可以使用圖6所示的反射率校正單元43來實現圖7中的方法，參考圖6和圖7來描述用於執行亮度校正的方法。處理可以在框S21開始。在框S21，全局平均亮度計算單元61可以計算整個圖像的平均亮度DCa。可以通過將所有像素值相加並將得到的和除以像素的數目來計算整個圖像的平均亮度dca。備選地，可以通過與Fx,y (iv vm) —起獲取的直接當前分量Fx,y (O，0)來計算整個圖像的平均亮度DCao由於直接當前分量Fx,y(0，0)與局部圖像區域中像素值的總和成比例，全局平均亮度計算單元61可以使用Fx，y(0，0)來獲取整個圖像的平均亮度DCa。處理可以從框S21繼續到框 S22。在框S22，局部平均亮度計算單元63可以計算坐標(x，y)處每個感興趣像素周圍的局部圖像區域的平均亮度DCxy。可以通過將局部圖像區域的所有像素值相加並將得到的和除以像素的數目來計算局部圖像區域的平均亮度DCxy。備選地，可以從直接當前分量Fx,y(0，0)直接獲取局部圖像區域的平均亮度DCxy。處理可以從框S22繼續到框S23。在框S23，校正單元62可以針對亮度校正將Fj^yOv vm)與DCA/DCxy相乘。可以注意到局部圖像區域的局部平均亮度DCxy可以與對應於該局部圖像區域的對象表面的反射率成比例。此外，Fx,y(Um，Vm)的值也與對應於該局部圖像區域的對象表面的反射率成比例。因此，與DCA/DCxy相乘能夠從Fx,y(um，vffl)中去除對象表面反射率變化的影響。還可以注意到為了去除對象表面反射率變化的影響，將Fx,y(um，vffl)與1/1)(；7相乘就足夠了。圖8是示出了根據本文所述的至少一些實施例設置的深度圖生成單元44的配置示例的方框圖。圖8所示的深度圖生成單元44包括攝像機參數獲取單元81、A(Z)計算單元82、LUT生成單元83、深度計算單元84、和指示了 B(Z)的LUT(查找表)85。A(z)可以表示沿深度方向的位置和由投影空間光圖案的投影單元11引起的空間光圖案的模糊度之間的關係。B(Z)可以表示沿深度方向的位置和由捕獲圖像的成像單元12引起的空間光圖案的模糊度之間的關係。圖9是示出了根據本文所述的至少一些實施例設置的由深度圖生成單元44執行的用於確定深度數據的方法的流程圖。如圖所示，示例方法可以包括如一個或多個框S31、S32、S33、S34和/或S35所示的一個或多個操作、動作或功能。所示的示例方法通過組合投影單元11的聚焦效果和成像單元12的聚焦效果來確定深度數據。例如，由於可以使用圖8所示的深度圖生成單元44來實現圖9`中的方法，通過參考圖8和圖9來描述用於確定深度數據的方法。處理可以在框S31開始。在框S31，攝像機參數獲取單元81可以從成像單元12獲取沿z方向的焦點位置zcf和光圈大小D。攝像機參數獲取單元81還可以獲取焦點位置(xtf, yrf),成像單元12在x-y平面內的該點處聚焦在對象表面上。典型地以焦距f 和f 數N的形式來提供光圈大小D。然後，光圈大小D( S卩，入射光孔的直徑)可以被計算為D = f/N。處理可以從框S31繼續到框S32。在框S32，A(z)計算單元82可以根據焦點位置Zrf和光圈大小D，根據深度z來計算由攝像機光學系統(即，成像單元12)引起的空間圖案頻率的深度相關幅度變化A(Z)。該深度相關幅度變化A(Z)可以表示當由聚焦於焦點位置Zrf的成像單元12觀看時，位於深度z處的表面上空間光圖案的空間頻率(um，Vm)的幅度。該空間光圖案可以是在位於深度z的表面上沒有模糊的理想空間光圖案。即，在不存在由投影單元11引起的空間光圖案的模糊的情況下，深度相關幅度變化A(Z)可以僅考慮到由成像單元12引起的空間光圖案的模糊。可以如下獲取深度相關幅度變化A(Z)。可以將聚焦在距離Zef的成像單元12的點擴展函數表示為psf (X, y), psf(x, y)在具有直徑Dz/(zef+z)的圓形區域內的值為(2(zcf+z)/Dz)2/pi (pi = 3.14......)，該圓形區域外的值為零。因此，當 p(x, y) = p0(x,
y)*psf(x, y, z)時,位於深度z的空間光圖案可以出現在由成像單元12捕獲的圖像中，其中Po(x，y)是位置Zrf處的空間光圖案，符號表示卷積運算。可以將p(x，y)相對於X和y的正交變換(例如傅立葉變換或哈達馬變換)表示為P (u，v) = P0 (u，v) PSF (u，v, z)，其中P0(u,v)和PSF(u,v,z)分別是pQ(x,y)和psf(x,y, z)的正交變換。然後，深度相關幅度變化A(Z)可以等於P(um，vm)，其中(Um，Vni)是空間光圖案具有周期性時的空間光頻率。處理可以從框S32繼續到S33。在框S33，LUT生成單元83可以根據A(Z)和B(Z)，生成對Fx,y(um,vm)和深度z之間的關係加以指示的查找表Bc(z)，其中B(Z)表示由投影系統11引起的空間光圖案的模糊度。可以按照以下方式預先獲取B(Z)。首先，按照圖1所示的連接，投影單元11可以將空間光圖案(例如棋盤圖案)投影到位於深度z的空白平坦表面(例如，白色平坦表面)上，同時聚焦於深度zpf。然後，由聚焦於位於深度z處該表面上的成像單元12捕獲位於深度Z的表面上的該空間光圖案的圖像。所捕獲的圖像中的空間光圖案p(x，y，z)可以包括由投影單元11引起的模糊，但可以不包括由成像單元12引起的模糊。當將相對於X和y的p(x, y, z)的正交變換稱作P(u, v, z)時,可以將B(z)表示為P (um, vm, z)。將預先按照這種方式獲取的B(Z)作為查找表B(Z)存儲在存儲器中。然後，將同時以由投影單元11引起的模糊度和由成像單元12引起的模糊度作為因子的深度相關幅度變化表示為A(Z)B(Z)。即，可以將A(Z)B(Z)存儲為查找表Bc(Z)。可以注意到，備選地，通過投影單個光斑而不是例如棋盤圖案的空間光圖案，可以將B(Z)獲取為點擴展函數的深度相關特性。還可以注意至IJ，可以備選地作為近似投影單元11的點擴展函數的數學公式來獲得B (z)。點擴展函數可以類似於之前所述的psf (x，y，z)，或者可以表示為高斯函數。當將B(Z)提供為數學公式時，也可以將Be (z)獲取為數學公式而不是查找表。處理可以從框S33繼續到框S34。在框34，深度計算單元84可以針對亮度因子對Fx, y(um，vffl)進行標準化。如前所述，針對反射率變化由反射率校正單元43校正的頻率分量的值可以是Fx,y(um，vm)DCA/DCxy0在圖9的框SI，可以從成像單元12獲取焦點位置(xrf，yrf)，成像單元12在對象表面上x-y平面中的該點處聚焦。可以將該焦點位置(xrf, ycf)處Fx,y(um, vm)DCA/DCxy的值表示為Rxy。然後，深度計算單元84可以通過將所捕獲的圖像中任意給定空間坐標(x，y)處Fx,y Ov vjDCA/DCxy的值與Be (zcf) /Rxy相乘，對該值進行標準化。該標準化過程可以保證焦點深度Zrf處的焦點位置(xrf，ycf)的空間頻率(IV vffl)的幅度等於Bc(zrf)。處理可以從框S34繼續到框S35。在框S35，深度計算單元84可以根據標準化的Fx,y(um，vj和Be (z)來確定每個像素位置處的深度。即，深度計算單元84可以參考查找表Bc(Z)來得到與(Fx,y(um，vffl)DCa/DCxy) XBc(Zef)/Rxy相關聯的深度z。在查找表Be (Z)中得到的深度z可以是對應於像素位置(x，y)的對象表面在由成像單元12捕獲的場景中所處的深度。按照上述方式，在深度圖生成單元44生成的深度圖中，可以同時考慮到由投影單元11引起的空間光圖案的模糊度和由成像單元12引起的空間光圖案的模糊度。此外，如前所述，與成像單元12的聚焦無關，可以容易地進行設置以便所捕獲圖像中空間光圖案的模糊度沿深度方向z單調增大或減小。通過以下方式可以提供這種單調特性:保證相對於由成像單元12引起的沿深度方向的模糊度改變，由投影單元11引起的沿深度方向的單調模糊度增大(或減小)是主導的。圖10是示出了根據本文所述的至少一些實施例設置的沿深度方向單調模糊度增大的示例的圖。水平軸可以表示深度z，垂直軸可以表示空間頻率(um，Vm)的幅度。特性曲線91可以對應於A(Z)，A(z)可以表示由成像單元12引起的空間光圖案的模糊度。成像單元12可以在感興趣對象處具有焦點位置，因此特性曲線91可以沿深度方向z在該焦點位置處具有最大波峰。特性曲線92可以對應於B(Z)，B(z)可以表示由投影單元11引起的空間光圖案的模糊度。投影單元11可以沿深度方向z在最近位置處具有焦點位置，因此，隨著深度z增大，特性曲線單調下降。即，隨著深度z增大，由特性曲線92表示的模糊度可以單調增大。如圖10所示，進行設置以便相對於由成像單元12引起的沿深度方向的模糊度改變，由投影單元11引起的沿深度方向的單調模糊度增大是主導的。因此，隨著深度z增大，對應於Bc(z) =A(Z)B(Z)的特性曲線93可以單調下降。S卩，隨著深度z增大,通過組合由投影單元11引起的模糊度和成像單元12引起的模糊度獲取的模糊度可以單調增大。利用這種模糊度特性，可以根據空間頻率(IVvm)的給定幅度來唯一地確定深度數據。本公開中對於術語「響應」或「響應於」的引用並不局限於僅響應特定特徵和/或結構。特徵還可以響應於其他特徵和/或結構，並且還處於該特徵和/或結構內。此外，當
本文中或隨後的權利要求書中使用諸如「耦接」或「響應」或「響應於」或「與......進行
通信」等術語或短語時，應當廣義地理解這些術語。例如，在使用短語「耦接」的上下文中，該短語可以是指適當地在通信上、電學上和/或操作上耦接。根據對於存儲在計算系統存儲器(例如計算機存儲器)中的數據比特或二進位數位訊號的操作的算法或符號表述來呈現前述詳細描述的一些部分。這些算法描述或表述是數據處理技術領域的普通技術人員使用的技術示例，以便將其工作的實質傳達給該領域中的其他技術人員。這裡的算法總體上被視為運算的自相一致序列或導致期望結果的類似處理。在該上下文中，運算或處理涉及物理量的物理操縱。典型地，儘管不是必要地，這種物理量可以採用能夠被存儲、傳送、組合、比較或操縱的電或磁信號的形式。主要針對常見用途，有時便利地將這種信號稱作比特、數據、數值、元素、符號、字符、術語、數、數字等。然而，應當理解所有這些和類似術語均與適當的物理量相關聯，並且僅為便利標記。除非特別另外指出，如根據以下討論中顯見的是，可以理解，貫穿本說明書討論使用的術語(例如「處理」、「計算處理」、「計算」、「確定」等)是指計算設備的動作或處理，該計算設備操縱或變換計算設備的存儲器、寄存器或其他信息存儲設備、傳輸設備或顯示設備中被表示為物理電子或磁量的數據。以上的詳細描述通過使用方框圖、流程圖和/或示例，已經闡述了設備和/或工藝的眾多實施例。在這種方框圖、流程圖和/或示例包含一個或多個功能和/或操作的情況下，本領域技術人員應理解，這種方框圖、流程圖或示例中的每一功能和/或操作可以通過各種硬體、軟體、固件或實質上它們的任意組合來單獨和/或共同實現。在一個實施例中，本公開所述主題的若干部分可以通過專用集成電路(ASIC)、現場可編程門陣列(FPGA)、數位訊號處理器(DSP)、或其他集成格式來實現。然而，本領域技術人員應認識到，這裡所公開的實施例的一些方面在整體上或部分地可以等同地實現在集成電路中，實現為在一臺或多臺計算機上運行的一個或多個電腦程式(例如，實現為在一個或多個計算機系統上運行的一個或多個程序)，實現為在一個或多個處理器上運行的一個或多個程序(例如，實現為在一個或多個微處理器上運行的一個或多個程序)，實現為固件，或者實質上實現為上述方式的任意組合，並且本領域技術人員根據本公開，將具備設計電路和/或寫入軟體和/或固件代碼的能力。此外，本領域技術人員將認識到，本公開所述主題的機制能夠作為多種形式的程序產品進行分發，並且無論實際用來執行分發的信號承載介質的具體類型如何，本公開所述主題的示例性實施例均適用。信號承載介質的示例包括但不限於:可記錄型介質，如軟盤、硬碟驅動器、緊緻盤(CD)、數字通用盤(DVD)、數字磁帶、計算機存儲器等；以及傳輸型介質，如數字和/或模擬通信介質(例如，光纖光纜、波導、有線通信鏈路、無線通信鏈路
坐、
寸/ o本領域技術人員應認識到，本領域普通以上述方式描述設備和/或工藝，以及此後使用工程實踐來將所描述的設備和/或工藝集成到數據處理系統中。也即，這裡所述的設備和/或工藝的至少一部分可以通過合理數量的試驗而被集成到數據處理系統中。本領域技術人員將認識到，典型的數據處理系統一般包括以下各項中的一項或多項:系統單元外殼；視頻顯示設備；存儲器，如易失性和非易失性存儲器；處理器，如微處理器和數位訊號處理器；計算實體，如作業系統、驅動程序、圖形用戶接口、以及應用程式；一個或多個交互設備，如觸摸板或屏幕；和/或控制系統，包括反饋環和控制電機(例如，用於感測位置和/或速度的反饋；用於移動和/或調節成分和/或數量的控制電機)。典型的數據處理系統可以利用任意合適的商用部件(如數據計算/通信和/或網絡計算/通信系統中常用的部件)予以實現。本公開所述的主題有時說明不同部件包含在不同的其他部件內或者不同部件與不同的其他部件相連。應當理解，這樣描述的架構只是示例，事實上可以實現許多能夠實現相同功能的其他架構。在概念上，有效地「關聯」用以實現相同功能的部件的任意設置，從而實現所需功能。因此，這裡組合任意兩個部件實現具體功能可以被視為彼此「關聯」從而實現所需功能，而無論架構或中間部件如何。同樣，任意兩個如此關聯的部件也可以看作是彼此「可操作地連接」或「可操作地耦合」以實現所需功能，且能夠如此關聯的任意兩個部件也可以被視為彼此「能可操作地耦合」以實現所需功能。能可操作地耦合的具體示例包括但不限於物理上可配對和/或物理上交互的部件，和/或無線交互和/或可無線交互的部件，和/或邏輯交互和/或可邏輯交互的部件。至於本文中任何關於多數和/或單數術語的使用，本領域技術人員可以從多數形式轉換為單數形式，和/或從單數形式轉換為多數形式，以適合具體環境和應用。為清楚起見，在此明確聲明單數形式/多數形式可互換。本領域技術人員應當理解，一般而言，所使用的術語，特別是所附權利要求中(例如，在所附權利要求的主體部分中)使用的術語，一般地應理解為「開放」術語(例如，術語「包括」應解釋為「包括但不限於」，術語「具有」應解釋為「至少具有」等)。本領域技術人員還應理解，如果意在所引入的權利要求中標明具體數目，則這種意圖將在該權利要求中明確指出，而在沒有這種明確標明的情況下，則不存在這種意圖。例如，為幫助理解，所附權利要求可能使用了引導短語「至少一個」和「一個或多個」來引入權利要求中的特徵。然而，這種短語的使用不應被解釋為暗示著由不定冠詞引入的權利要求特徵將包含該特徵的任意特定權利要求限制為僅包含一個該特徵的實施例，即便是該權利要求既包括引導短語「一個或多個」或「至少一個」又包括不定冠詞(例如，不定冠詞應當被解釋為意指「至少一個」或「一個或多個」)；在使用定冠詞來引入權利要求中的特徵時，同樣如此。另外，即使明確指出了所引入權利要求特徵的具體數目，本領域技術人員應認識到，這種列舉應解釋為意指至少是所列數目(例如，不存在其他修飾語的短語「兩個特徵」意指至少兩個該特徵，或者兩個或更多該特徵)。另外，在使用類似於「A、B和C等中至少一個」這樣的表述的情況下，一般來說應該按照本領域技術人員通常理解該表述的含義來予以解釋(例如，「具有
A、B和C中至少一個的系統」應包括但不限於單獨具有A、單獨具有B、單獨具有C、具有A和
B、具有A和C、具有B和C、和/或具有A、B、C的系統等)。在使用類似於「A、B或C等中至少一個」這樣的表述的情況下，一般來說應該按照本領域技術人員通常理解該表述的含義來予以解釋(例如，「具有A、B或C中至少一個的系統」應包括但不限於單獨具有A、單獨具有B、單獨具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系統等)。本領域技術人員還應理解，實質上任意表示兩個或更多可選項目的轉折連詞和/或短語，無論是在說明書、權利要求書還是附圖中，都應被理解為給出了包括這些項目之一、這些項目任一方、或兩個項目的可能性。例如，短語「A或B」應當被理解為包括「A」或「B」、或「A和B」的可能性。還應當理解,術語「優化」可以包括最大化和/或最小化。術語「最小化」和/或這裡使用的類似術語可以包括全局最小值、局部最小值、近似全局最小值和/或近似局部最小值。類似地，還應當理解，術語「最大化」和/或這裡使用的類似術語可以包括全局最大值、局部最大值、近似全局最大值、和/或近似全局最大值。說明書中對「實現」、「一種實現」、「一些實現」或「其他實現」的引用可以意味著結合一種或多種實現描述的特定特徵、結構或特性可以包括在至少一些實現中，而不必包括在所有實現中。先前說明書中出現的「實現」、「一種實現」或「一些實現」不必全指相同實現。儘管本文已經使用各種方法和系統描述並示出了特定示例技術，本領域技術人員應當理解，在不脫離要求保護的主題的前提下，可以進行各種其他修改並替換等同物。此夕卜，在不脫離本文所述的中心思想的前提下，可以進行多種修改以將特定情形與要求保護的主題的教旨相適配。因此，要求保護的主題不局限於所公開的特定示例，這種要求保護的主題還可以包括落在所附權利要求及其等同物的範圍內的所有實現方式。
權利要求
1.一種生成深度數據的方法，包括: 獲取空間光圖案投影到的一個或多個對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調增大或減小； 計算感興趣像素周圍的局部圖像區域中圖像的空間頻率分量值；並且 通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。
2.根據權利要求1所述的方法，還包括:檢測圖像的空間頻譜在閾值頻率以上的頻率範圍內具有最大值時的空間頻率，其中空間頻率分量的計算值是檢測到的空間頻率處的空間頻率分量值，圖像中空間光圖案至少在所述閾值頻率以上的空間頻率處具有周期性。
3.根據權利要求1所述的方法，其中，圖像中空間光圖案具有周期性的空間頻率高於當觀察圖像時對於人類視覺可察覺的空間頻率。
4.根據權利要求1所述的方法，其中，局部圖像區域是矩形區域，計算空間頻率分量值包括通過向矩形區域應用正交變換來計算空間頻率分量。
5.根據權利要求1所述的方法，還包括:針對圖像的局域圖像區域中出現的對象的反射率來校正空間頻率分量的計算值。
6.根據權利要求5所述的方法，其中，通過將計算值除以局部圖像區域中圖像的平均亮度來校正計算值。
7.根據權利要求1所述的方法，還包括: 獲取對沿深度方向的位置和由用於投影空`間光圖案的投影系統引起的空間光圖案的模糊度之間的第一關係加以指示的第一數據； 獲取對沿深度方向的位置和由用於捕獲圖像的成像系統引起的空間光圖案的模糊度之間的第二關係加以指示的第二數據；並且 根據第一數據和第二數據計算深度和空間頻率分量值之間的預設關係。
8.根據權利要求7所述的方法，其中，獲取第二數據包括: 獲取對沿深度方向的成像系統的焦點位置和成像系統的透鏡光圈尺寸加以指示的數據；並且 根據接收到的數據，相對於沿深度方向的不同位置計算由成像系統引起的空間光圖案的模糊度。
9.根據權利要求7所述的方法，其中，獲取第一數據包括: 將空間光圖案從投影系統投影到平坦單調表面； 通過使用聚焦在所述表面上的成像系統來捕獲投影在所述表面上的空間光圖案的圖像；並且` 相對於沿深度方向的不同點處設置的平坦單調表面，執行投影空間光圖案和捕獲空間光圖案的圖像。
10.一種生成深度數據的裝置，包括: 圖像接收單元，配置成接收空間光圖案投影到的一個或多個對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調增大或減小； 頻率分量計算單元，配置成計算感興趣像素周圍的局部圖像區域中圖像的空間頻率分量值；以及深度圖生成單元，配置成通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。
11.根據權利要求10所述的裝置，還包括:頻率檢測單元，配置成檢測圖像的空間頻譜在閾值頻率以上的頻率範圍內具有最大值時的空間頻率，其中空間頻率分量的計算值是檢測到的空間頻率處的空間頻率分量的值，圖像中空間光圖案至少在所述閾值頻率以上的空間頻率處具有周期性。
12.根據權利要求10所述的裝置，其中，圖像中空間光圖案具有周期性時的空間頻率高於當觀察圖像時對於人類視覺可察覺的空間頻率。
13.根據權利要求10所述的裝置，其中，頻率分量計算單元配置成通過向作為局部圖像區域的矩形區域應用正交變換來計算空間頻率分量。
14.根據權利要求10所述的裝置，還包括:反射率校正單元，配置成針對圖像的局域圖像區域中出現的對象的反射率來校正空間頻率分量的計算值。
15.根據權利要求14所述的裝置，其中，反射率校正單元配置成通過將計算值除以局部圖像區域中圖像的平均亮度。
16.根據權利要求10所述的裝置，其中，深度圖生成單元包括: 數據存儲單元，配置成存儲對沿深度方向的位置和由用於投影空間光圖案的投影系統引起的空間光圖案的模糊度之間的第一關係加以指示的第一數據； 模糊度數據獲取單元，配置成獲取對沿深度方向的位置和由用於捕獲圖像的成像系統引起的空間光圖案的模糊度之間的第二關係加以指示的第二數據；以及 關係計算單元，配置成根據第一數據和第二數據計算深度和空間頻率分量值之間的預設關係。
17.根據權利要求16所述的裝置，還包括參數獲取單元，配置成獲取對沿深度方向的成像系統的焦點位置和成像系統的透鏡光圈尺寸加以指示的數據，其中模糊度數據獲取單元配置成根據焦點位置和透鏡光圈，相對於沿深度方向的不同位置計算由成像系統引起的空間光圖案的模糊度。
18.—種生成深度數據的系統，包括: 投影單元，配置成投影空間光圖案； 成像單元，配置成捕獲空間光圖案投影到的一個或多個對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調增大或減小； 頻率分量計算單元，配置成計算感興趣像素周圍的局部圖像區域中圖像的空間頻率分量值；以及 深度圖生成單元，配置成通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。
19.根據權利要求18所述的系統，還包括反射率校正單元，配置成針對圖像的局域圖像區域中出現的對象的反射率，通過將計算值除以局部圖像區域中圖像的平均亮度來校正空間頻率分量的計算值。
20.根據權利要求18所述的系統，其中，深度圖生成單元包括: 數據存儲單元，配置成存儲對沿深度方向的位置和由投影單元引起的空間光圖案的模糊度之間的第一關係加以指示的第一數據；模糊度數據獲取單元，配置成獲取對沿深度方向的位置和由成像單元引起的空間光圖案的模糊度之間的第二關係加以指示的第二數據；以及 關係計算單元，配置成根據第一數據和第二數據計算深度和空間頻率分量值之間的預設關 系。
全文摘要
總體上描述了用於根據空間光圖案生成深度數據的技術。在一些示例中，一種生成深度數據的方法包括獲取空間光圖案投影到的一個或多個對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調增大或減小；計算感興趣像素周圍的局部圖像區域中圖像的空間頻率分量值；並通過使用深度和空間頻率分量值之間的預設關係來確定與空間頻率分量的計算值相對應的深度數據。
文檔編號G06T1/00GK103109158SQ20108006756
公開日2013年5月15日 申請日期2010年10月5日 優先權日2010年10月5日
發明者上平員丈, 鈴木雅洋 申請人:英派爾科技開發有限公司