用於通過利用自適應核來執行深度估計的系統和方法與流程

2023-05-23 00:52:32

本發明總體上涉及用於分析圖像數據的技術，並且更具體地涉及用於通過利用自適應核來執行深度（depth）估計過程的系統和方法。技術背景對於現代電子設備的設計者和生產商來說，實現用於分析圖像數據的有效方法是一個重要的考慮因素。然而，利用電子設備有效地分析圖像數據給系統設計者帶來了大量的挑戰。例如，對提高設備功能和性能的加強的需求要求更多的系統處理能力以及附加的硬體資源。處理或硬體要求的增多還導致對應的不利的經濟影響，因為生產成本增加並且經營效率下降。此外，提高設備執行各種高級操作的能力給系統用戶帶來了額外的益處，但是同時也對各種設備組件的控制和管理提出了更多的要求。例如，由於涉及的數字圖像數據的龐大數量以及複雜性的緣故，有效地分析數字圖像數據的增強型電子設備可以受益於有效實現。由於對系統資源的日益增長的需求以及數據大小的大幅增加，顯然，開發用於分析圖像數據的新技術是相關電子技術中值得關注的問題。因此，出於上述所有原因，開發用於分析圖像數據的有效的系統對於現代電子設備的設計者、生產商、以及用戶來說是一個重要的考慮因素。

技術實現要素：
根據本發明，公開了一種用於通過利用自適應核來執行深度估計過程的系統和方法。深度估計過程可以被用來為對應的攝影目標或場景創建深度圖。深度圖中的不均一是由相機中的不對稱的光圈形狀造成的。一個著名的深度圖生成技術是散焦測深（depth-from-defocus）法，在該散焦測深技術中，卷積核（convolutionkernel）被用來匹配兩個圖像的散焦模糊，以獲取對深度的間接估計。因此，卷積核在獲得準確的深度值上起著重要的作用。在本發明的一個實施例中，按照任何有效的方式獲得相機光圈數據（cameraaperturedata）。相機光圈數據可以包括任何適當的信息，包括但不限於，光圈形狀、光圈尺寸、以及光圈對稱特徵。可以利用任何有效的方法來分析相機光圈數據。例如，可以由一個或多個設計者手動地執行光圈信息分析，或者可以通過一個或多個計算機設備自動地執行光圈信息分析。因此，確定光圈是對稱的或者是不對稱的。如果光圈是對稱的，那麼可以在相機的本地存儲器中存儲對稱核係數。但是，如果光圈是不對稱的，那麼可以按照任何有效的方式設計適當的不對稱卷積核。例如，可以由一個或多個設計者手動地創建該不對稱卷積核，也可以通過一個或多個計算機設備自動地生成該不對稱卷積核。在某些實施例中，可以利用頻域核設計方法來設計該不對稱卷積核。在其它實施例中，可以利用空間域核設計方法來設計該不對稱卷積核。所得到的不對稱核係數可以存儲在相機的本地存儲器中。在操作中，取決於相機光圈的具體電流特性，相機隨後可以從存儲器選擇適當的卷積核。最後，相機利用選擇的卷積核來執行卷積過程，從而有力地支持深度估計過程。由此，本發明提供一種用於通過利用自適應卷積核來執行深度估計過程的改善的系統和方法。附圖說明圖1是根據本發明的針對相機設備的一個實施例的框圖；圖2是根據本發明的針對圖1的捕獲子系統的一個實施例的框圖；圖3是根據本發明的針對圖1的控制模塊的一個實施例的框圖；圖4是根據本發明的針對圖3的存儲器的一個實施例的框圖；圖5A是根據本發明的一個用於捕獲散焦模糊圖像的示例性實施例的示意圖；圖5B是根據本發明的一個實施例的圖示核卷積過程的示意圖；圖5C是根據本發明的一個實施例的示意性匹配曲線的圖表；圖6A至6B是根據本發明的一個實施例的用於利用自適應核執行深度估計過程的方法步驟的流程圖；圖7A至7B是根據本發明的一個實施例的圖示頻域核設計過程的圖；以及圖8A至8C是根據本發明的一個實施例的圖示空間域核設計過程的圖。具體實施方式本發明設計圖像數據分析技術的改進。給出以下描述使得本領域技術人員能夠做出並且使用本發明，並且在專利申請及其要求的背景中提供以下描述。對所公開的實施例的各種修改對於本領域技術人員來說是易於明了的，並且本說明書中的一般原理也適用於其它實施例。因此，本發明並不旨在對所示出的實施例進行限制，而是應該被給予與本說明書中描述的原理和特徵一致的最廣泛的範圍。本發明包括一種用於通過利用自適應核來支持深度估計過程的系統和方法，並且包含一種用於捕獲攝影目標的圖像的捕獲子系統。捕獲子系統包含可調節用於允許來自攝影目標的反射光進入傳感器裝置的光圈。基於光圈的對稱特徵在核設計過程中設計自適應核。可以在頻域核設計過程中或者在空間域核設計過程中設計自適應核。深度估計裝置利用該自適應核來執行深度估計過程。參照圖1，示出了根據本發明的針對相機設備110的一個實施例的框圖。在圖1的實施例中，相機設備110可以包括，但不限於，捕獲子系統114、系統總線116、以及控制模塊118。在圖1的實施例中，捕獲子系統114可以光學的方式與攝影目標112耦合，並且可以電氣的方式經由系統總線116與控制模塊118耦合。在替代的實施例中，除了或者取代結合圖1的實施例描述的那些組件，相機設備110可以容易地包括各種其它組件。此外，在某些實施例中，本發明可以替代地具體化為除了圖1的相機設備110以外的任何適當類型的電子設備。例如，相機設備110可以替代地被實現為成像設備，計算機設備，或者消費電子設備。在圖1的實施例中，一旦相機110的捕獲子系統114自動聚焦在目標112上，相機用戶請求相機設備110捕獲對應於目標112的圖像數據。然後，控制模塊118優選地經由系統總線116指示捕獲子系統114捕獲代表目標112的圖像數據。隨後，捕獲的圖像數據通過系統總線116被轉移至控制模塊118，作為響應，控制模塊118利用該圖像數據執行各種處理和功能。系統總線116還可以在捕獲子系統114和控制模塊118之間雙向地傳遞各種狀況和控制信號。現在參照圖2，示出了根據本發明的針對圖1的捕獲子系統114的一個實施例的框圖。在圖2的實施例中，捕獲子系統114優選地包括，但不限於，光圈218，透鏡200，圖像傳感器224，紅、綠、藍（R/G/B）放大器228，模數（A/D）轉換器230，以及接口232。在替代的實施例中，除了或者取代結合圖2的實施例描述的那些組件，捕獲子系統114可以容易地包括各種其它組件。在圖2的實施例中，捕獲子系統114可以經由沿光學路徑236撞擊圖像傳感器224的反射光捕獲對應於目標112的圖像數據。在某些實施例中，光圈218包括可控的快門機制，以調節到達圖像傳感器224的反射光的量。作為響應，圖像傳感器224可以產生一組代表目標112的圖像數據，該圖像傳感器224可優選地包括電荷耦合器件（CCD）。然後，可以通過放大器228、A/D轉換器230、以及接口232路由（route）圖像數據。圖像數據從接口232通過系統總線116傳遞至控制模塊118，以用於適當的處理和存儲。結合本發明也可以設想其它類型的圖像捕獲傳感器，諸如CMOS或線性陣列。下面，結合圖3至圖8C，進一步討論相機110的使用和功能。現在參照圖3，示出了根據本發明的針對圖1的控制模塊118的一個實施例的框圖。在圖3的實施例中，控制模塊118優選地包括，但不限於，取景器308、中央處理單元（CPU）344、存儲器346、以及一個或多個輸入/輸出接口（I/O）348。優選地，取景器308、CPU344、存儲器346、以及I/O348均經由公共系統總線116耦合和通信，該公共系統總線116還與捕獲子系統114通信。在替代的實施例中，除了或者取代結合圖3的實施例描述的那些組件，控制模塊118可以容易地包括各種其它組件。在圖3的實施例中，CPU344可以實現為包括任何適當的微處理器設備。作為選擇，可以使用任何其它適當的技術來實現CPU344。例如，CPU344可以實現為包括某些專用集成電路（ASIC）或其它適當的電子設備。存儲器346可以實現為一個或多個適當的存儲設備，包括但不限於，只讀存儲器、隨機存取存儲器、以及各種類型的非易失性存儲器，諸如，軟盤設備、硬碟設備、或快閃記憶體。I/O348可以提供一個或多個有效的接口，用於促進相機設備110和任何外部實體（包括系統用戶或另一個電子設備）之間的雙向通信。可以使用任何適當的輸入和/或輸出設備來實現I/O348。下面，結合圖4至圖8C，進一步討論控制模塊118的操作和使用。現在參照圖4，示出了根據本發明的針對圖3的存儲器346的一個實施例的框圖。在圖4的實施例中，存儲器346可以包括，但不限於，相機應用程式412、作業系統414、深度估計裝置416、圖像數據418、估計數據420、自動對焦模塊422、以及雜項信息（miscellaneousinformation）424。在替代的實施例中，除了或者取代結合圖4的實施例描述的那些組件，存儲器346可以容易地包括各種其它組件。在圖4的實施例中，相機應用程式412可以包括優選地由CPU344（圖3）運行以執行相機設備110的各種功能和操作的程序指令。優選地，相機應用程式412的具體性質和功能根據諸如對應的相機設備110的類型和具體用途之類的因素變化。在圖4的實施例中，作業系統414優選地控制和協調相機設備110的低級別（low-level）的功能。根據本發明，深度估計裝置416可以控制和協調深度估計過程，以促進相機110中的自動對焦特徵。在圖4的實施例中，圖像數據418可以包括相機設備110捕獲的攝影目標112的一個或多個圖像。估計數據420可以包括用於執行深度估計過程的任何類型的信息或數據。例如，估計數據420可以包括一個或多個對稱的或不對稱的卷積核，如下面將要討論的。在圖4的實施例中，自動對焦模塊422可以利用深度估計過程的結果來執行相機設備110的自動對焦過程。雜項信息424包括用於相機110的操作的任何其它適當的信息。下面，結合圖5A至圖8C，進一步討論關於深度估計裝置416的操作的附加細節。現在參照圖5A，示出了根據本發明的用於捕獲散焦模糊圖像518的一個示例性實施例的示意圖。出於闡釋的目的給出圖5A的實施例，而在替代的實施例中，本發明可以利用各種其它的配置和元件來捕獲散焦模糊圖像518。在圖5A的實施例中，相機110的傳感器224（參見圖2）捕獲攝影目標或場景112的散焦模糊圖像518，以用於執行深度估計過程。通過將透鏡220調節至不同於正確的聚焦透鏡位置的位置處來創建該散焦模糊圖像518，該正確的聚焦透鏡位置取決於目標112、透鏡220、以及傳感器224之間的相對位置。在一個實施例中，可以比較兩個不同的散焦模糊圖像518以獲取深度估計。針對彼此相隔一個景深（depth-of-field）的兩個模糊圖像518計算模糊差。可以使用該模糊差以及已知的匹配曲線的斜率來確定給定的目標112的深度。下面，結合圖6至圖8C，進一步討論用於深度估計的散焦模糊圖像的生成和使用。現在參照圖5B，示出了根據本發明的圖示核卷積過程的示意圖。出於闡釋的目的給出圖5B的實施例，而在替代的實施例中，本發明可以利用各種其它的配置和技術來執行核卷積過程。在圖5B的實施例中，可以利用高斯卷積核522對原始圖像520進行卷積，按照任何有效的方式來實現該過程，從而產生卷積圖像526。在某些實施例中，核522可以實現為具有單個的核係數的濾波器矩陣，這些單個的核係數分別被應用於原始圖像520的不同的對應的各個像素值。然後，組合所得到的值，為卷積圖像526創建卷積中心像素值。隨後，針對原始圖像520中的每個像素，重複卷積過程，以完全填充卷積圖像526。下面，結合圖5C至圖8C，進一步討論用於深度估計的卷積核的生成和使用。現在參照圖5C，示出了根據本發明的一個示例性匹配曲線714的圖表。出於闡釋的目的給出圖5C的實施例，而在替代的實施例中，本發明可以實現為利用具有除了或者替代結合圖5C的實施例描述的某些配置和參數的配置和參數的匹配曲線。在某些實施例中，捕獲模糊圖像1和多散焦模糊圖像（more-defocusedblurimage）2，利用高斯卷積核（例如，具有小的方差的3×3高斯矩陣）對較清晰的圖像1進行卷積，從而產生卷積圖像1。將卷積圖像1與模糊圖像2進行比較。重複該過程，直到兩個模糊圖像匹配。然後，繪製迭代數對景深（或以1個景深為增量的圖像數目）的圖表，從而產生可以被用來估計從任何離焦位置到聚焦位置的距離的模糊匹配曲線。在Li等人的美國專利No.8,045,046中，進一步討論了關於卷積核和上述深度估計技術的附加細節，該美國專利在此通過引用被全部併入。現在參照圖6A至圖6B，根據本發明的一個實施例示出了用於利用自適應核來執行深度估計過程的方法步驟的流程圖。出於闡述的目的給出圖6的實施例，而在替代的實施例中，除了結合圖6的實施例描述的步驟和順序以外，本發明可以容易地利用其它各種步驟和順序。深度估計過程可以被用來為對應的攝影目標或場景創建深度圖。深度圖中的不均一性可以頻繁地由相機中的不對稱的光圈形狀造成。在大多數情況下，不對稱的光圈形狀導致相機的點擴散函數（PSF）也不對稱。結果，使用這些相機獲得的深度圖示出了圖像方向依賴性。本發明有利地被用來設計深度圖算法，該深度圖算法可以適當地處理各種相機光圈的不對稱特徵。實踐中，可以使用各種不同的方法從單個或多個圖像生成深度圖。例如，可以使用散焦測深、立體成像、陰影測深（depthfromshading）等從2D圖像恢復深度信息。一個顯著的被動深度圖生成技術是散焦測深技術（DFD）。在DFD中，卷積核被用來匹配兩個圖像區域的模糊，從而獲取對深度的間接估計。由此，卷積核在獲得深度值上起著重要的作用。按照慣例，無論相機設置如何，對整個圖像應用對稱統一的卷積核。由於相機的PSF依賴於諸如光圈設置之類的相機參數，因此這通常會導致問題。不對稱的光圈形狀使PSF不對稱，並且對稱的卷積核隨後將不能捕獲正確的深度。本發明有效地支持基於諸如相機光圈信息之類的因素的自適應核的設計和使用，從而使得得到的深度圖統一、一致、並且可靠。在圖6A的實施例中，在步驟614中，以有效的方式獲得相機光圈數據。相機光圈數據可以包括任何適當的信息，包括但不限於，光圈形狀、光圈大小、以及光圈對稱特徵。在步驟618中，可以利用任何有效的方法來分析相機光圈數據。例如，可以由一個或多個設計者手動地執行光圈信息分析，也可以通過一個或多個計算機設備自動地執行光圈信息分析。在步驟622中，確定光圈是對稱的還是不對稱的。如果光圈是對稱的，那麼在相機110的存儲器346（圖3）中存儲對稱核係數，並且圖6A的過程經由連接字母「B」前進至圖6B的步驟642。但是，如果光圈是不對稱的，那麼圖6A的過程經由連接字母「A」前進至圖6B的步驟630。在步驟630中，可以按照任何有效的方式設計適當的不對稱卷積核。例如，可以由一個或多個設計者手動地創建該不對稱卷積核，也可以通過一個或多個計算機設備自動地生成該不對稱卷積核。在某些實施例中，可以利用頻域核設計方法來設計該不對稱卷積核。此外，在其它實施例中，可以利用時空域核設計方法來設計該不對稱卷積核。在步驟634中，所得到的不對稱核係數可以存儲在相機110的存儲器346（圖3）中。在步驟638中，取決於相機光圈的具體電流特性，相機110可以從存儲器346選擇適當的卷積核。最後，在步驟642中，相機110可以利用選擇的卷積核來執行適當的卷積過程，以支持深度估計過程。圖6的過程可以終止。由此，本發明提供了一種通過利用自適應卷積核來執行深度估計過程的改進的系統和方法。現在參照圖7A至7B，示出了根據本發明的圖示頻域核設計過程的圖。出於闡述的目的給出圖7的實施例，而在替代的實施例中，本發明可以利用除了結合圖7的實施例描述的元件和配置以外的元件和配置來執行核設計過程。在圖7A的實施例中，在空間域中示出了不對稱的光圈712的圖表。在圖7A的實施例中，在縱坐標Y上表示第一光圈大小，在橫坐標X上表示第二光圈大小。在圖7A的實施例中，光圈712包括水平尺寸「a」718以及垂直尺寸「b」714。如在圖7A中所示出的，水平尺寸「a」718和垂直尺寸「b」714不相等，導致光圈712不對稱。在圖7B的實施例中，示出了圖7A的不對稱的光圈712的頻域中的表示722。在某些實施例中，可以通過將適當的快速傅立葉變換（FFT）應用於圖7A的空間域光圈712來生成圖7B的表示722。在圖7A的實施例中，在縱坐標Fv上表示垂直頻率，在橫坐標Fu上表示水平頻率。在圖7B的實施例中，表示722包括水平帶寬「Bu」730和垂直帶寬「Bv」726。在圖7B的實施例中，水平帶寬「Bu」730對應於圖7A的水平尺寸「a」718，並且垂直帶寬「Bv」726對應於圖7A的垂直尺寸「b」714。在圖7B的實施例中，水平帶寬「Bu」730由水平截止頻率738限制，並且垂直帶寬「Bv」726由垂直截止頻率734限制。頻率變量「Bu」和「Bv」表示帶寬特徵（通過光圈可以支持多少頻率）。可以利用截止頻率為兩個帶寬設計濾波器核。可以利用任何標準的或增強的濾波器設計技術。然後，必須組合這個信息以生成不對稱卷積核。實踐中，首先將FFT應用於光圈712（圖7A）的點擴散函數（PST）。然後，可以基於水平截止頻率和垂直截止頻率設計水平濾波器和垂直濾波器。隨後，組合水平濾波器和垂直濾波器，以生成組合的濾波器。對組合的濾波器執行逆FFT，從而產生不對稱卷積核。在某些實施例中，如果原始核超出某一核尺寸，那麼可能需要利用尺寸減小的核來近似該卷積核。現在參照圖8A至圖8C，示出了根據本發明的一個實施例的圖示空間域核設計過程的圖。出於闡述的目的給出圖8的實施例，而在替代的實施例中，本發明可以利用除了結合圖8的實施例描述的元件和方法以外的元件和方法來執行核設計過程。在圖8A的實施例中，示出了水平測試頁圖像816。此外，對應於圖像816，示出了空間域中不對稱的光圈812的圖表。類似地，在圖8B的實施例中，示出了垂直測試頁圖像824。此外，對應於圖像824，示出了空間域中不對稱的光圈820的圖表。垂直測試頁圖像824是旋轉90度的水平測試頁圖像816。當使用水平測試頁816時，散焦模糊在垂直（Y）方向中，並且迭代數在垂直方向上與PSF方差成比例。當使用垂直測試頁824時，散焦模糊在水平（X）方向中，並且迭代數在水平方向上與PSF方差成比例。根據本發明，執行圖8A和圖8B的實施例的空間分析，以生成不對稱卷積核，如下面結合圖8C進一步描述的。出於闡述的目的給出圖8C的實施例，而在替代的實施例中，本發明可以利用除了結合圖8的實施例描述的元件和方法以外的元件和方法來執行核設計過程。例如，可以用任何其它有效的或適當的計算或實現值來替代圖8C的示例中提供的各種具體的計算或實現值。圖8C的示例包括水平濾波器核828、垂直濾波器核832、水平-垂直濾波器組合過程836、以及最終的不對稱卷積核840。根據本發明的一個實施例，可以對前述圖8A和圖8B的實施例執行空間域分析，從而產生用於根據下述變量定義不對稱卷積核840的代表性等式（參見下述等式1）。此處，使用水平測試頁與[161]核的迭代數使用垂直測試頁與[161]核的迭代數<![CDATA[σv2σh2=n1n22]]>[等式1]由此，在圖8的示例中，等式1指示垂直方差值與水平方差值之間應該是近似2比1的關係。在圖8C的示例中，根據本發明的一個實施例，由此在水平-垂直濾波器組合過程836中組合水平濾波器核828和垂直濾波器核832，從而產生最終的不對稱卷積核840。以上已經參照某些實施例闡述了本發明。根據該公開，其它的實施例對本領域的技術人員來說也是明了的。例如，可以使用除了在上述實施例中描述的配置和技術以外的配置和技術來容易地實現本發明。此外，可以結合除了以上描述的系統以外的系統來有效地使用本發明。因此，這些以及其它基於所討論的實施例的變體旨在由本發明所覆蓋，本發明僅受所附的權利要求書限制。