三維圖像獲取裝置以及生成深度圖像的方法

2023-05-31 05:49:16

三維圖像獲取裝置以及生成深度圖像的方法
【專利摘要】提供一種三維（3D）圖像獲取裝置，以及在3D圖像獲取裝置中生成深度圖像的方法。所述方法可以包括順序地向對象投射從光源生成的光透射信號；使用光調製信號調製由對象反射的反射光；使用在通過捕獲已調製的反射光獲得的全部組的第二多個圖像當中的兩組的第一多個圖像的組合來計算相位延遲；以及基於相位延遲生成深度圖像。
【專利說明】三維圖像獲取裝置以及生成深度圖像的方法
[0001] 相關申請的交叉引用
[0002] 本申請要求於2013年4月8日在韓國知識產權局提交的韓國專利申請第 10-2013-0038287號的優先權，其公開內容通過引用全面合併於此。

【技術領域】
[0003] 示例性實施例涉及三維（3D)圖像獲取裝置，以及通過使用3D圖像獲取裝置生成 深度圖像的方法。

【背景技術】
[0004] 在用於捕獲目標的距離信息的三維（3D)相機或光探測和測距（LIDAR)【技術領域】 的研究已經增長。此外，這些技術中的一個是通過測量捕獲單元和對象之間的距離（以下簡 稱"深度圖像"）來測量光的傳播時間的飛行時間（T0F)方法。
[0005] 在T0F方法中，使用發光二極體（LED)或雷射二極體（LD)將預定波長，例如，近紅 夕KNIR) (850nm (納米)）的光投射到對象，並且使用光電二極體或相機來測量或捕獲從對 象反射的相同波長的光。從而，T0F方法可以提取深度圖像。已經引入了多種T0F技術，其 包括一系列的多個光學處理，諸如光從光源的投射、對象的反射、光調製、捕獲和處理。
[0006] 例如，光學快門方法是這樣的方法：使用LED或LD將預定波長(例如，NIR850nm) 的光投射到對象，並且使用圖像增強器或預定的固態調製器光學地調製從反射自對象的相 同波長的光獲得的光學圖像。使用包括在圖像增強器或固態調製器的後部的諸如光電二極 管（PD)、電荷耦合器件（(XD)、或互補金屬氧化物半導體（CMOS)圖像傳感器（ClS)之類的圖 像傳感器捕獲圖像。處理圖像的強度值以獲得深度圖像。為了根據光的距離識別相位差或 傳播時間，需要大約幾十到幾百MHz (兆赫）的較高光調製率。為了獲得該較高光調製率， 可以使用包括多通道板（MCP)或基於GaAs的固態調製器的圖像增強器。在現有技術中，已 經發布了具有改善特性的基於GaAs的調製器設備，並且已經發布了使用電光材料的薄型 調製器。
[0007] 關於用於提取深度圖像或深度信息的光學處理，已經引入了驅動光源和光調製器 的方法、使用諸如三角波(斜波)的特定波形的方法、以及使用正弦波的方法。已經引入了根 據各自的波形來驅動光源和光調製器的方法，以及基於捕獲的圖像的強度提取和計算深度 圖像的方法，即，多種深度算法。噪聲或信號畸變通常發生在3D相機中使用的光源、光調製 器、或捕獲設備（C⑶或CIS)中。因此，噪聲或信號畸變可以導致深度圖像中的誤差。為了 除去噪聲或信號畸變，必須使用合適的設備來除去噪聲分量。在現有技術中，已知使用高階 的正弦波(其是特定波形）的方法、使用碼分多址（CDMA)方法的方法、或除去隨機誤差的方 法來除去噪聲或信號畸變。
[0008] 在現有技術中，使用T0F方法的3D相機通過使用本質上具有不同相位(例如，0度、 90度180度和270度）的驅動信號順序地獲得四個紅外線（IR)圖像來生成一個深度圖像。 當四個紅外圖像的捕獲時間彼此不同時導致運動模糊。換句話說，因為運動目標的四個紅 外圖像被順序地捕獲，所以在四個圖像的整個捕獲時間期間，一些像素(或圖像）的對象可 能改變，或者不同深度信息(而不是相同深度信息）的目標可能被捕獲。運動模糊的頻率在 運動目標的邊界面上較高。此外，當目標快速運動或當捕獲相對較慢地發生時，運動模糊的 頻率也較高。
[0009] 與典型的運動模糊相比，深度圖像中的運動模糊具有不同的後果。相對於諸如其 它目標和其背景的目標，典型的運動模糊的後果是在運動目標的邊界面處的平均圖像，例 如，平均亮度或顏色。然而，不是為典型的運動模糊而獲得的深度圖像的平均，而是在關於 用於獲得深度圖像的相機的運動模糊的計算操作中生成發散（divergence)。從而，關於相 機的運動模糊，導出意外的結果。因此，重要的是除去運動模糊。


【發明內容】

[0010] 示例性實施例可以提供用於通過使用兩組圖像的組合生成一個深度圖像來改善 捕獲深度圖像的等級的三維（3D)圖像獲取裝置。
[0011] 示例性實施例可以提供在3D圖像獲取裝置中生成深度圖像的方法。當使用飛行 時間（T0F)方法捕獲運動目標時，在檢測和恢復不可避免導致的運動模糊的部分(諸如，邊 緣）之後生成深度圖像，以便避免運動模糊所致的深度圖像的發散。此外，示例性實施例可 以包括在現有技術中用於生成深度圖像的光源、光調製器、或捕獲設備，所以不招致額外設 備的額外費用。因為不使用額外設備，所以可以降低額外計算。
[0012] 其他方面將在下面的描述中部分地闡明，並將從該描述中部分地變得清楚，或者 可以通過實踐提供的實施例而部分地習得。
[0013] 根據示例性實施例的一方面，生成深度圖像的方法包括：向對象順序地投射從光 源生成的光透射信號；使用光調製信號調製由對象反射的反射光；使用在通過捕獲已調製 的反射光獲得的全部組的第二多個圖像當中的兩組的第一多個圖像的組合計算相位延遲； 以及基於相位延遲生成深度圖像。
[0014] 根據示例性實施例的另一方面，生成深度圖像的方法包括：向對象順序地投射在 光源中生成的光透射信號；使用光調製信號調製由對象反射的反射光；獲得相應於0度的 第一圖像、相應於180度的第二圖像、相應於90度的第三圖像，以及相應於270度的第四圖 像，其中〇度、180度、90度和270度是已調製的反射光的相位；通過確定第一組中的圖像的 第一總和與第二組中的圖像的第二總和之間的差是否等於或大於第一臨界值來確定是否 存在通過對象的運動生成的運動模糊圖像，該第一組包括第一圖像和第二圖像，該第二組 包括第三圖像和第四圖像，以及使用其他組的圖像恢復包括運動模糊圖像的組的圖像；使 用所述其他組的圖像和恢復的組的圖像計算相位延遲；以及基於相位延遲生成深度圖像。
[0015] 根據示例性實施例的另一方面，三維（3D)圖像獲取裝置包括：光源，被配置成向 對象順序地投射光透射信號；光調製器，被配置成使用具有增益波形的光調製信號調製由 對象反射的反射光；捕獲設備，被配置成捕獲由光調製器調製的、已調製的反射光以生成多 個第二圖像；以及深度圖像處理器，被配置成使用在使用捕獲裝置生成的全部組的第二多 個圖像當中的兩組的第一多個圖像的組合計算相位延遲；以及基於相位延遲生成深度圖 像。
[0016] 根據示例性實施例的另一方面，恢復包括運動模糊的圖像的方法包括：通過確定 第一組中的圖像的第一總和與第二組中的圖像的第二總和之間的差是否等於或大於第一 臨界值來確定運動模糊圖像是否發生在反射光信號中；響應於發生在反射光信號中的運動 模糊圖像，通過比較第一組中的圖像的差與第二組中的圖像的差來確定包括運動模糊圖像 的組；以及使用不包括運動模糊圖像的組的其他組的圖像來恢復包括運動模糊圖像的組的 圖像。所述第一組包括反射光信號的第一圖像和第二圖像，並且所述第二組包括反射光信 號的第三圖像和第四圖像。所述第一圖像、第二圖像、第三圖像和第四圖像每個具有不同的 相位。

【專利附圖】

【附圖說明】
[0017] 從以下結合附圖對示例性實施例的描述，這些和/或其他方面將變得清楚和更加 容易理解。其中：
[0018] 圖1是示出根據實施例的、用於通過使用飛行時間（T0F)方法生成深度圖像的三 維（3D)圖像獲取裝置的示意性的結構圖；
[0019] 圖2A到圖2D示出根據另一實施例的、在從光源向對象投射四個不同的光透射信 號之後通過使用捕獲設備生成四個不同的圖像(子幀）的操作；
[0020] 圖3A到圖3D示出根據另一實施例的、在通過使用光調製器使用四個不同的光調 制信號來調製反射光之後生成四個不同的圖像(子幀）的操作；
[0021] 圖4示出根據另一實施例的通過使用運動窗口方法生成深度圖像的操作；
[0022] 圖5示出根據另一實施例的光學處理的流程；
[0023] 圖6A和圖6B是用於說明根據另一實施例的光源和光調製器的輸出波形的圖；
[0024] 圖7A和圖7B是用於說明根據另一實施例的、在通過使用捕獲設備捕獲的子幀中 生成的運動模糊的類型的示意圖；
[0025] 圖8A和圖8B是用於說明根據另一實施例的、通過使用圖像處理器恢復運動模糊 的操作的示意圖；
[0026] 圖9是示出根據另一示例性實施例的、通過使用3D圖像獲取裝置生成深度圖像的 方法的流程圖；
[0027] 圖10是示出根據另一示例性實施例的、通過使用3D圖像獲取裝置生成深度圖像 的方法的流程圖；
[0028] 圖11A和圖11B是用於說明當捕獲運動對象時發生的運動|旲糊的圖像；
[0029] 圖12不出根據另一實施例的、為了確定運動|旲糊向圖11A和圖11B的圖像應用等 式19的結果；以及
[0030] 圖13A和圖13B示出根據另一實施例的、運動模糊被生成的深度圖像以及運動模 糊被恢復的深度圖像。

【具體實施方式】
[0031] 現在將對實施例進行詳細參考，在附圖中示出了實施例的例子，附圖中相似的附 圖標記始終指代相似的元件。在這點上，所述實施例可以具有不同的形式，並且不應被看作 是局限於此處的描述。因此，以下參照附圖對實施例的描述僅僅是為了解釋本描述的各個 方面。如此處使用的，術語"和/或"包括一個或多個相關列出項目中的任意一個以及所有 組合。
[0032] 因為示例性實施例允許多種改變和許多的實施例，所以特定實施例將在附圖中示 出並且在寫出的描述中詳細地描述。然而，這不意欲將示例性實施例限制到實踐的特定模 式，並且將理解地是不脫離精神和技術範圍的全部改變、等效物和代替物包含在示例性實 施例中。在示例性實施例的描述中，當認為現有技術的特定詳細說明可能不必要地模糊示 例性實施例的實質時省略所述特定詳細說明。
[0033] 雖然如"第一"、"第二"等等的這種術語可以用於描述多種組件，但是這種組件不 必限於以上術語。以上術語僅用於將一個組件區別於另一組件。
[0034] 本說明書中使用的術語僅僅用於描述特定示例性實施例，並且不意欲限制示例性 實施例。單數形式使用的表達式包含複數形式的表達式，除非在上下文中具有清楚地不同 的意識。在給出的說明書中，將理解的是，諸如"包括"或"具有"等等的術語是用來指示說 明書中公開的特徵、數字、步驟、動作、組件、部分或其組合的存在，並且不意欲排除可以存 在或可以添加一個或多個其他特徵、數字、步驟、動作、組件、部分或其組合的可能性。
[0035] 下面將參照附圖更詳細地描述實施例。向相同或對應的那些組件給予相同的參考 標號而不考慮圖號，並且省略多餘的說明。
[0036] 圖1是示出根據實施例的、用於使用飛行時間（T0F)方法生成深度圖像的三維 (3D)圖像獲取裝置100的示意性的結構圖。
[0037] 參照圖1，3D圖像獲取裝置100可以包括發出預定波長的光的光源101、驅動光源 101的光源驅動單元102、調製由對象200反射的光的光調製器103、驅動光調製器103的 光調製器驅動單元104、從由光調製器103調製的光生成圖像的捕獲設備105、基於捕獲設 備105的輸出生成深度圖像的深度圖像處理器107、以及控制光源驅動單元102、光調製器 驅動單元104、捕獲設備105以及深度圖像處理器107的操作的控制單元106。此外，通過 其將反射光聚焦在光調製器103的區域中的光調製器的光入射面的第一鏡頭108、以及僅 使具有預定波長的光穿過並除去背景光或雜光的濾波器109也可以布置在光調製器103的 光入射面上。此外，將已調製的光聚焦在捕獲設備105的區域中的第二鏡頭110可以進一 步布置在光調製器103和捕獲設備105之間。
[0038] 例如，為了安全，光源101可以是會發出人眼不可見的具有約850nm波長的光的發 光二極體（LED)或雷射二極體（LD)。然而，光源的波長的波段和類型不局限於此。光源驅 動單元102可以根據從控制單元106接收到的控制信號來驅動光源101，例如，以調幅方式 或調相方式。從光源101投射到對象200的光透射信號可以根據光源驅動單元102的驅動 信號具有周期性的連續函數，該連續函數具有預定周期。例如，光透射信號可以具有被具體 定義的波形，諸如正弦波、斜波、或方波，但是還可以是典型的、未定義的波形。
[0039] 光調製器103根據光調製器驅動單元104的控制來調製由對象200反射的光。光 調製器驅動單元104根據從控制單元106接收到的控制信號驅動光調製器103。例如，光調 制器103可以根據由光調製器驅動單元104提供的具有預定波長的光調製信號通過變化反 射光的增益來調製反射光的振幅。因此，光調製器103具有可變增益。光調製器103可以 以約幾十到數百MHz的相對較高的光調製速度操作，以便根據距離識別光的相位差或傳播 時間。例如，光調製器103可以是包括多通道板（MCP)的圖像增強管、基於GaAs的固態調 制器、或使用電光材料形成的薄型調製器。雖然在圖1中示出了投射類型的光調製器103， 但是還可以使用反射類型的光調製器。
[0040] 捕獲設備105根據控制單元106的控制通過檢測由光調製器103調製的反射光來 生成圖像。當僅測量到對象200的預定點的距離時，例如，捕獲設備105可以是單個光學傳 感器，諸如光電二極體或積分器。然而，當將在相同時間測量到對象200上的多個點的距 離時，捕獲設備105可以具有包括多個光電二極體或其他光學檢測器的一維陣列或二維陣 列。例如，捕獲設備105可以是具有二維陣列的電荷耦合器件（CCD)圖像傳感器或互補金 屬氧化物半導體（CMOS)圖像傳感器（CIS)。
[0041] 深度圖像處理器107基於捕獲設備105的輸出根據深度圖像生成算法生成深度圖 像。例如，深度圖像處理器107可以是單獨的集成電路（1C)，或可以是安裝在3D圖像獲取 裝置100中的軟體。當深度圖像處理器107是軟體時，深度圖像處理器107可以存儲在分 離的可攜式存儲介質中。
[0042] 下文中，將簡短地描述具有上述結構的3D圖像獲取裝置100的操作。根據實施 例，光源101的透射光或光透射信號是以具有預定周期的連續函數的形式，諸如正弦波或 方波，並且具有不同相位。換句話說，根據控制單元106的控制信號控制透射光或光透射信 號以具有相同波形但是不同相位。雖然已經如上描述了光源101的透射光被形成為具有四 個不同相位，但是光源101的透射光還可以被形成為具有相同相位的透射光而且光調製器 103的光調製信號被形成為具有四個不同相位。此外，四個不同相位的光透射信號按0度、 180度、90度和270度的次序順序地投射。本說明將集中在具有四個不同相位的光透射信 號按〇度、180度、90度和270度的次序順序地投射。
[0043] 光源101根據控制單元106和光源驅動單元102的控制向對象200順序地投射具 有預定周期和波形的透射光的四個不同光束。例如，透射光1 (〇度）被生成並且在時間段 T1期間向對象200投射。然後，透射光2 (180度）被生成並且在下一時間段T2期間向對 象200投射。然後，透射光3 (90度）被生成並且在下一時間段T3期間向對象200投射。 然後，投射光4 (270度)被生成並且在下一時間段T4期間向對象200投射。順序地投射到 對象200的透射光可以是以諸如正弦波的具有預定周期的連續函數的形式。
[0044] 在投射到對象200的透射光在對象200的面上被反射之後，透射光入射到第一鏡 頭108。對象200典型地具有多個面，該多個面距離3D圖像獲取裝置100具有不同距離， 艮P，不同深度。為了簡化描述，圖1中示出的對象200具有五個面P1到P5,該五個面P1到 P5具有不同深度。因為透射光由具有不同深度的五個面P1到P5中的每一個反射，所以在 時間上被不同地延遲（即，不同相位）的五個反射光束被分別地生成。例如，當透射光1在 對象200的五個面P1到P5上被反射時，生成具有不同相位的反射光1的五個光束。當透 射光2在對象200的五個面P1到P5上被反射時，生成具有不同相位的反射光2的五個光 束。此外，透射光4被五個面P1到P5反射，生成了具有不同相位的反射光4的五個光束。 由面P1 (其距離3D圖像獲取裝置100最遠）反射的反射光被相位延遲ΦΡ1才到達第一鏡 頭108。由面P5 (其最接近3D圖像獲取裝置100)反射的反射光被相位延遲比ΦΡ1小的 ΦΡ5才到達第一鏡頭108。
[0045] 第一鏡頭108將反射光聚焦在光調製器103的區域中。僅透射具有預定波長的光 的濾波器109可以布置在第一鏡頭108和光調製器103之間以除去除了被使用的波長的光 之外的背景光或雜光。例如，當光源101發出具有約850nm的NIR波長的光時，濾波器109 可以是透射約850納米的NIR波段的IR帶通濾波器。因此，入射到光調製器103的光可以 主要是從光源101發出並且由對象200反射的光。雖然濾波器109布置在第一鏡頭108和 光調製器103之間，但是可以交換第一鏡頭108和濾波器109的位置。例如，已經首先透射 通過濾波器109的NIR光可以通過第一鏡頭108而聚焦於光調製器103。
[0046] 光調製器103將反射光調製為具有預定波長的光調製信號。光調製器103中的增 益波形的周期可以與波形的周期相同。參照圖1，光調製器103可以調製由對象200的五個 面P1到P5分別反射的反射光1的五個光束，並且將其提供給捕獲設備105。光調製器103 還可以順序地調製反射光2到5中的每一個的五個光束並且將其提供給捕獲設備105。
[0047] 其振幅使用光調製器103被調製的光穿過第二鏡頭110。這裡，光的放大率被調 整並且光被重新聚焦。然後，光到達捕獲設備105。因此，已調製的光通過第二鏡頭110聚 焦在捕獲設備105的區域中。捕獲設備105通過在曝光時間期間接收已調製的光來生成圖 像。例如，如圖2A中指示的，捕獲設備105接收反射光1的五個光束，該五個光束分別在對 象200的五個面P1到P5上被反射，然後在曝光時間的預定周期期間被調製以生成圖像1 (CIS圖像1)。接下來，如圖2B中示出的，捕獲設備205接收反射光2的五個光束，該五個 光束分別地在對象200的五個面P1到P5上被反射然後在曝光時間的預定周期期間被調製 以生成圖像2 (CIS圖像2)。最終，通過重複以上操作，如圖2C中示出的，捕獲設備105接 收反射光4的五個光束，該五個光束分別地在對象400的五個面P1到P5上被反射然後在 曝光時間的預定周期期間被調製以生成圖像4 (CIS圖像4)。用這樣的方式，如圖2D中所 示，可以順序地獲得四個不同的圖像。圖像1到圖像4可以每個是用於生成具有深度信息 的幀的圖像的子幀圖像。例如，當假定深度信息的幀的周期是Td時，用於獲得四個圖像1 至帽像4的捕獲設備105中的曝光時間可以約是Td/4。
[0048] 參照圖2A，在第一子幀中，從光源101投射到對象200的透射光1由對象200的 五個面P1到P5反射以生成反射光1的五個光束。反射光1的五個光束使用光調製器103 調製，然後到達捕獲設備105。在圖2中，為了描述方便起見，捕獲設備105僅包括分別相應 於五個面P1到P5的五個像素。因此，反射光1的五個光束可以分別地入射到相應的五個 像素上。如圖2A中示出的，分別在面P1到P5上反射的反射光1的五個波束根據從3D圖 像獲取裝置100到面P1到P5的距離而具有不同的相位延遲ΦΡ1到ΦΡ5。例如，捕獲設備 105可以通過在約Td/4的曝光時間期間捕獲反射光1來生成圖像1。以與上面描述的相同 的方式，如圖2B和圖2C中示出的，從第二子幀到第四子幀，在具有不同深度的五個面P1到 P5上生成不同的相位延遲ΦΡ1到ΦΡ5。
[0049] 雖然在圖2A到圖2D中四個不同的光透射信號被透射到對象並且使用捕獲設備生 成四個不同的圖像(子幀)，但是可以在每個子幀中使用同樣的透射光，並且光調製器103可 以將反射光調製為用於子幀中的每一個的不同的增益波形。圖3示出根據另一實施例的、 在光調製器103中使用四個不同的光調製信號調製反射光之後生成四個不同的圖像(子幀） 的操作。參照圖3,由對象200反射的反射光在每個子幀中具有相同波形和相位。如上所 述，根據對象200的面P1到P5在每個子幀的反射光中存在不同的相位延遲ΦΡ1到ΦΡ5。 如圖3A到圖3C中所示，在第一子幀中，光調製器103使用光調製信號1 (0度）調製反射 光。在第二子幀中，光調製器103使用具有與光調製信號1不同相位的光調製信號2 (180 度）調製反射光。雖然在圖3A到圖3D中未示出，但是在第三子幀中，光調製器103將反射 光調製為具有另一不同相位的光調製信號3 (90度)。在第四子幀中，光調製器103將反射 光調製為另一光調製信號4 (270度)。這裡，光調製信號1到4是具有0度、180度、90和 270度的不同相位的信號。此外，光調製信號1到4可以具有相同周期和波形。然後，如圖 3D中所示出，可以獲得四個不同的圖像1到4。在圖2和圖3中，雖然如上所述，調製圖像 被稱為CIS圖像1到CIS圖像4,但是捕獲設備105不局限於CIS。
[0050] 通過如圖2中所示投射具有不同相位（0、180、90和270度)的光透射信號、或通過 如圖3中所示使用具有不同相位（0,180,90和270度）的光調製信號1到4所獲得的四個 圖像被發送到深度圖像處理器107。深度圖像處理器107基於該四個圖像根據算法生成深 度圖像或深度信息。此外，根據另一實施例，為了有效地除去由對象的運動所致發生的運動 模糊，深度圖像處理器107執行用於確定運動模糊是否已經發生在該四個圖像(相應於0度 的第一圖像、相應於180度的第二圖像、相應於90度的第三圖像、以及相應於270度的第四 圖像)中的算法。當運動模糊生成時，在深度圖像處理器107中執行算法以用於恢復其中生 成了運動模糊的圖像或像素。
[0051] 圖4示出根據另一實施例的通過使用運動窗口方法生成深度圖像的操作。
[0052] 如圖2和圖3中示出的，在生成深度圖像時，深度圖像處理器107使用四個順序捕 獲的強度圖像1到4。四個捕獲的圖像

【權利要求】
1. 一種生成深度圖像的方法，所述方法包括： 順序地向對象投射從光源生成的光透射信號； 使用光調製信號調製由對象反射的反射光； 使用通過捕獲已調製的反射光所獲得的全部組的第二多個圖像當中的兩組的第一多 個圖像的組合來計算相位延遲；以及 基於相位延遲生成深度圖像。
2. 如權利要求1所述的方法，其中所述光透射信號具有不同相位，並且以0度、180度、 90度和270度的次序被順序地透射，以及 其中使用包括相應於〇度的第一圖像和相應於180度的第二圖像的第一組以及包括相 應於90度的第三圖像和相應於270度的第四圖像的第二組來計算所述相位延遲。
3. 如權利要求1所述的方法，其中所述光調製信號具有不同相位，並且以0度、180度、 90度和270度的次序被順序地透射，以及 其中使用包括相應於〇度的第一圖像和相應於180度的第二圖像的第一組以及包括相 應於90度的第三圖像和相應於270度的第四圖像的第二組來計算所述相位延遲。
4. 如權利要求1所述的方法，還包括： 確定所述第二多個圖像當中是否存在通過對象的運動生成的運動模糊圖像， 其中以〇度、180度、90度和270度的相位的次序捕獲所述已調製的反射光，並且所述 第二多個圖像包含相應於〇度的第一圖像、相應於180度的第二圖像、相應於90度的第三 圖像、以及相應於270度的第四圖像；以及 其中所述確定是否存在通過對象的運動生成的運動模糊圖像包括：當包括第一圖像和 第二圖像的第一組中的圖像的第一總和與包括第三圖像和第四圖像的第二組中的圖像的 第二總和之間的差等於或大於第一臨界值時確定生成運動模糊圖像。
5. 如權利要求4所述的方法，還包括： 作為確定的結果，如果生成運動模糊圖像，則從第一組和第二組當中確定生成運動模 糊圖像的組， 其中所述確定生成運動模糊圖像的組包括：從第一組和第二組當中確定在圖像的亮度 方面的變化範圍相對較大的組中生成運動模糊圖像。
6. 如權利要求5所述的方法，還包括： 恢復運動模糊圖像， 其中所述恢復運動模糊圖像包括使用其他組的圖像來恢復所確定的包括運動模糊圖 像的組的圖像。
7. 如權利要求6所述的方法，其中所述恢復運動模糊圖像包括使用其他組的圖像以及 解調常數來恢復運動模糊圖像，所述解調常數是相位延遲所致的圖像的AC變化和DC偏移 值之間的比率。
8. 如權利要求1所述的方法，其中所述兩組的第一多個圖像的組合包括第一組和第二 組，第一組包括相應於0度的第一圖像和相應於180度的第二圖像，並且第二組包括相應於 90度的第三圖像和相應於270度的第四圖像。
9. 如權利要求8所述的方法，其中相對於全部組的第二多個圖像，通過計算相對於第 一組和第二組的相位延遲來生成第一深度圖像，以及通過計算相對於第二組和下一第一組 的相位延遲來生成第二深度圖像。
10. -種生成深度圖像的方法，所述方法包括： 順序地向對象投射在光源中生成的光透射信號； 使用光調製信號調製由對象反射的反射光； 獲得相應於0度的第一圖像、相應於180度的第二圖像、相應於90度反射的光第三圖 像、以及相應於270度的第四圖像，其中0度、180度、90度、和270度是已調製的反射光的 相位； 通過確定包括第一圖像和第二圖像的第一組中的圖像的第一總和與包括第三圖像和 第四圖像的第二組中的圖像的第二總和之間的差是否等於或大於第一臨界值來確定是否 存在通過對象的運動生成的運動模糊圖像； 當存在運動模糊圖像時，通過比較第一組中的圖像的差與第二組中的圖像的差來確定 包括運動模糊圖像的組，並且使用其他組的圖像恢復包括運動模糊圖像的組的圖像； 使用所述其他組的圖像和被恢復組的圖像來計算相位延遲；以及 基於相位延遲生成深度圖像。
11. 一種三維（3D)圖像獲取裝置，包括： 光源，被配置成順序地向對象投射光透射信號； 光調製器，被配置成使用具有增益波形的光調製由對象反射的反射光； 捕獲設備，被配置成捕獲通過光調製器調製的已調製的反射光，以生成多個第二圖像； 以及 深度圖像處理器，被配置成使用在使用捕獲裝置生成的全部組的所述第二多個圖像當 中的兩組的第一多個圖像的組合來計算相位延遲，以及基於相位延遲生成深度圖像。
12. 如權利要求11所述的3D圖像獲取裝置，還包括： 光源驅動器，被配置成通過驅動光源來控制光透射信號的波形； 光調製器驅動器，被配置成通過驅動光調製器控制增益波形；以及 控制器，被配置成控制光源驅動器、光調製器驅動器和捕獲設備的操作。
13. 如權利要求12所述的3D圖像獲取裝置，其中所述控制器被配置成控制光源驅動器 以使得光透射信號具有不同相位，並且以〇度、180度、90度和270度的次序順序地投射， 其中所述深度圖像處理器被配置成使用包括相應於〇度的第一圖像和相應於180度的 第二圖像的第一組以及包括相應於90度的第三圖像和相應於270度的第四圖像的第二組 來計算所述相位延遲。
14. 如權利要求12所述的3D圖像獲取裝置，其中所述控制器被配置成控制光調製器驅 動器以使得光調製信號具有不同相位，並且反射光以〇度、180度、90度和270度的次序順 序地調製，以及 其中所述深度圖像處理器被配置成使用包括相應於〇度的第一圖像和相應於180度的 第二圖像的第一組以及包括相應於90度的第三圖像和相應於270度的第四圖像的第二組 來計算所述相位延遲。
15. 如權利要求13所述的3D圖像獲取裝置，其中所述深度圖像處理器被配置成確定所 述多個第二圖像當中是否存在通過對象的運動生成的運動模糊圖像的組，以及 其中所述深度圖像處理器被配置成當包括第一圖像和第二圖像的第一組中的圖像的 第一總和與包括第三圖像和第四圖像的第二組中的圖像的第二總和之間的差等於或大於 第一臨界值時，確定存在運動模糊圖像。
16. 如權利要求15所述的3D圖像獲取裝置，其中所述深度圖像處理器被配置成使用所 述其他組的圖像以及解調常數來恢復所確定的包括運動模糊圖像的組的圖像，所述解調常 數是相位延遲所致的圖像的AC變化和DC偏移值之間的比率。
17. 如權利要求15所述的3D圖像獲取裝置，其中所述深度圖像處理器被配置成通過計 算相對於第一組和第二組的相位延遲來生成第一深度圖像，以及通過計算相對於第二組和 下一第一組的相位延遲來生成第二深度圖像。
18. 如權利要求15所述的3D圖像獲取裝置，還包括： 第一鏡頭，被配置成將反射光聚焦在光調製器的區域之內的光調製器的光入射面； 濾波器，被配置成將具有預定波長的光透射在第一鏡頭和光調製器之間，以及被配置 成除去除了預定波長之外的波長的光；以及 第二鏡頭，被配置成將光調製器和捕獲設備之間的已調製的光聚焦在捕獲設備的區域 之內。
19. 如權利要求15所述的3D圖像獲取裝置，其中所述捕獲設備包括包含一維陣列或二 維陣列的電荷耦合器件（CCD)圖像傳感器、互補金屬氧化物半導體（CMOS)圖像傳感器、光 電二極體陣列以及光電二極體中的至少一個，以及 其中所述捕獲設備被配置成測量到單個點的距離。
20. 如權利要求15所述的3D圖像獲取裝置，其中所述光源是固態發光設備中的一個， 其包括紅外線波段中的雷射二極體（LD)和發光二極體（LED)。
21. -種恢復包括運動模糊的圖像的方法，所述方法包括： 通過確定第一組中的圖像的第一總和與第二組中的圖像的第二總和之間的差是否等 於或大於第一臨界值來確定運動模糊圖像是否發生在反射光信號中； 響應於運動模糊圖像發生在反射光信號中，通過比較第一組中的圖像的差與第二組中 的圖像的差來確定包括運動模糊圖像的組；以及 使用其他組的圖像來恢復包括運動模糊圖像的組的圖像，所述其他組是不包括運動模 糊圖像的組， 其中所述第一組包括反射光信號的第一圖像和第二圖像，並且所述第二組包括反射光 信號的第三圖像和第四圖像，以及 其中所述第一圖像、第二圖像、第三圖像和第四圖像每個具有不同的相位。
22. 如權利要求21所述的方法，其中所述第一圖像相應於0度、第二圖像相應於180 度、第三相應於90度、以及第四圖像相應於270度。
23. 如權利要求21所述的方法，其中所述反射光已經通過光調製信號被調製。
24. 如權利要求21所述的方法，其中所述反射光已經被對象反射。
【文檔編號】H04N13/00GK104104941SQ201410138665
【公開日】2014年10月15日 申請日期:2014年4月8日 優先權日:2013年4月8日
【發明者】樸勇和, 金善權, 尹熙善 申請人:三星電子株式會社