用於全視差光場壓縮的預處理器的製作方法

2023-06-02 15:29:01

本申請要求保護2014年7月15日提交的美國臨時申請No. 62/024,889的依據35 U.S.C. 119(e)的權益，通過引用特別將該申請以整體合併於此。

技術領域

本發明總體上涉及光場以及3D圖像和視頻處理，更特別地，涉及要被用作全視差光場壓縮和全視差光場顯示系統的輸入的數據的預處理。

背景技術：

為了更清楚地描述本發明而引用下面的參考文獻，其公開由此通過引用併入本文：

[1] P050Z，美國專利申請No. US 61/926,069，Methods For Full Parallax 3D Compressed Imaging Systems.No，Graziosi等人，2014年1月10日。

[2] 美國專利申請No. 13/659776，Spatio-Temporal Light Field Cameras，El-Ghoroury等人，2012年10月24日。

[3] 美國專利No.US 8,155,456，Method and Apparatus for Block-based Compression of Light Field Images，Babacan等人，2012年4月10日。

[4] 美國專利7623560，Quantum Photonic Imagers and Method of Fabrication Thereof，El-Ghoroury等人，2009年11月24日公開。

[5] 美國專利7829902，Quantum Photonic Imagers and Method of Fabrication Thereof，El-Ghoroury等人，2010年11月9日公開。

[6] 美國專利7767479，Quantum Photonic Imagers and Method of Fabrication Thereof，El-Ghoroury等人，2010年8月3日公開。

[7] 美國專利8049231，El-Ghoroury等人，Quantum Photonic Imagers and Method of Fabrication Thereof，2011年11月1日公開。

[8] 美國專利8243770，Quantum Photonic Imagers and Method of Fabrication Thereof，El-Ghoroury等人，2012年8月14日公開。

[9] 美國專利8567960，Quantum Photonic Imagers and Method of Fabrication Thereof，El-Ghoroury等人，2013年10月29日公開。

[10] Quantum Photonic Imager (QPI): A New Display Technology and Its Applications（受邀），Proceedings of The International Display Workshops 第21卷，El-Ghoroury,H.S.、Alpaslan,Z.Y.，2014年12月3日。

[11] Small form factor full parallax tiled light field display，Proceedings of Electronic Imaging, IS&T/SPIE第9391卷，Alpaslan,Z.Y.、El-Ghoroury,H.S.，2015年2月9日。

我們周圍的環境包含反射無窮多數目的光線的對象。當該環境被人觀察時，通過眼睛來捕獲這些光線的子集並且由大腦處理它們以創建視覺感知。光場顯示器試圖通過顯示從被顯示的環境中可得的數據採樣的經過數位化的光線陣列來重新創建所觀察環境的現實感知。該數位化的光線陣列對應於由光場顯示器生成的光場。

不同的光場顯示器具有不同的光場產生能力。因此，必須針對每個顯示器來不同地格式化光場數據。而且，顯示光場所需的大量數據和光場數據中存在的大量相關性給出了光場壓縮算法的方法。一般來說光場壓縮算法是與顯示硬體有關的並且它們可以受益於光場數據的硬體專用預處理。

現有技術光場顯示系統使用不充分的壓縮算法。這些算法首先捕獲或渲染場景3D數據或者光場輸入數據。然後該數據被壓縮用於在光場顯示系統內傳輸，然後經過壓縮的數據被解壓縮，並且最後顯示經過解壓縮的數據。

隨著新發射和壓縮顯示器的引入，現在有可能實現具有寬視角、低功率消耗、高刷新率、高解析度、大的場深和實時壓縮/解壓縮能力的全視差光場顯示器。已經引入了新的全視差光場壓縮方法來非常有效地利用全視差光場數據中的內在相關性。這些方法可以降低傳輸帶寬，降低功率消耗，降低處理要求並且實現實時編碼和解碼性能。

為了實現壓縮，現有技術方法的目標在於通過預處理輸入數據來改進壓縮性能以使輸入特性適應顯示壓縮能力。例如，參考文獻[3]描述了一種利用預處理階段來使輸入光場適應後續的基於塊的壓縮階段的方法。因為在壓縮階段中採用基於塊的方法，所以預期由壓縮引入的塊偽影將影響角度內容，使垂直和水平視差妥協。為了使該內容適應壓縮步驟，輸入圖像首先被從基本圖像轉換成子圖像（將所有角度信息收集在一個唯一圖像中），並且然後該圖像被重新採樣以使得其尺度能夠被壓縮算法所使用的塊尺寸除盡。該方法改進壓縮性能；然而，它是僅為基於塊的壓縮方法定製的並且不利用不同視角之間的冗餘。

在參考文獻[1]中，通過編碼且僅將光場信息的子集傳輸給顯示器來實現壓縮。3D壓縮成像系統接收輸入數據並且利用所傳輸的深度信息連同紋理一起來重建整個光場。選擇要被傳輸的圖像的過程取決於場景元素的位置和內容，並且其被稱為可見度測試。根據對象相對於相機位置表面的定位來選擇參考成像元素，並且按照每個對象離該表面的距離的順序來處理每個對象並且在處理更遠的對象之前處理較近的對象。可見度測試程序使用針對對象的平面表示並且將3D場景對象組織在有序列表中。因為全視差經過壓縮的光場3D程序系統根據可包含高級信息（諸如對象描述）或低級信息（諸如簡單的點雲）的輸入3D資料庫渲染並顯示對象，所以輸入數據的預處理需要被執行來提取由可見度測試所使用的信息。

因此，本發明的目的是引入數據預處理方法來改進全視差經過壓縮的光場3D成像系統中使用的光場壓縮階段。根據參考附圖進行的其優選實施例的下面的詳細描述，本發明的附加目的和優點將變得明顯。

附圖說明

在以下描述中，即使在不同的圖中，相同的附圖標記用於相同的元件。提供在描述中定義的諸如詳細的構造和元件之類的事項，以協助全面理解示例性實施例。然而，可以在沒有那些特別定義的事項的情況下實踐本發明。並且，未詳細描述公知的功能或構造，由於它們會以不必要的細節模糊本發明。為了理解本發明並且看到可如何在實踐中執行它，現在將僅僅通過非限制性示例的方式、參照附圖描述它的幾個實施例，在附圖中：

圖1圖示所顯示的光場與場景的關係。

圖2圖示用於光場顯示器的現有技術的壓縮方法。

圖3圖示本發明的高效光場壓縮方法。

圖4A和圖4B圖示預處理與高效全視差光場顯示系統操作的各個階段的關係。

圖5圖示預處理數據類型以及為高效全視差光場顯示系統劃分數據的預處理方法。

圖6圖示本發明在參考文獻[1]的全視差經過壓縮的光場3D光場成像系統的經過壓縮的渲染元素的背景內的光場輸入數據預處理。

圖7圖示本發明的光場輸入數據預處理方法是如何從對象坐標獲得光場內的3D對象的軸對齊邊界框。

圖8圖示全視差經過壓縮的光場3D顯示系統和被調製的對象的頂視圖，其示出所選作參考成像元素801的平截頭體（frusta）。

圖9圖示包含兩個3D對象以及它們各自的軸對齊邊界框的光場。

圖10圖示在光場包含多個對象的情況下本發明的光場預處理所使用的成像元件參考選擇程序。

圖11圖示本發明的在其中3D光場場景結合由點雲表示的對象的一個實施例。

圖12圖示本發明的光場數據被傳感器捕獲的各種實施例。

圖13圖示本發明的將預處理應用於2D相機陣列所捕獲的數據的一個實施例。

圖14圖示本發明的將預處理應用於3D相機陣列所捕獲的數據的一個實施例。

具體實施方式

在以下描述中，闡述許多具體細節。然而，要理解，可以在沒有這些具體細節的情況下實踐本發明的實施例。在其他實例中，為了不模糊對該描述的理解，尚未詳細示出公知電路、結構和技術。

在以下描述中，參考圖示本發明的若干實施例的附圖。要理解，可以利用其他實施例，並且可以在不偏離本公開的精神和範圍的情況下作出機械組成、結構、電氣和操作改變。不要以限制意義來理解以下詳細描述，並且僅通過發布專利的權利要求來限定本發明的實施例的範圍。

這裡使用的術語僅為了描述特定實施例並且不意圖限制本發明。可以在這裡使用諸如「在…之下」、「在…下面」、「低於」、「高於」、 「在…上面」等等的空間上的相對術語來便於描述如圖中所圖示的那樣一個元件或特徵與另外的（一個或多個）元件或（一個或多個）特徵的關係。將理解，空間上的相對術語意圖包括除了在圖中描繪的取向之外的設備在使用或操作中的不同取向。例如，如果圖中的設備被翻轉，則被描述為在其他元件或特徵「下面」或「以下」的元件則取向為在其他元件或特徵「上面」。因此，示例性術語「在…下面」可以包括上面和下面的兩個取向。設備可以以其他方式取向（例如旋轉90度或處於其他取向）並且相應地解釋在這裡使用的空間上的相對描述符。

如這裡所使用的，單數形式「一」、「一個」和「該」意圖也包括複數形式，除非上下文以其他方式指示。還將要理解，術語「包括」和/或「包含」指定所陳述的特徵、步驟、操作、元件和/或部件的存在，但是不排除一個或多個其他特徵、步驟、操作、元件、部件和/或其組群的存在或添加。

如圖1中所示，對象101反射無窮多數目的光線102。通過觀察者的眼睛來捕獲這些光線的子集並且由大腦處理它們以創建該對象的視覺感知。光場顯示器103試圖通過顯示從環境中可得的數據採樣的經過數位化的光線陣列104來重新創建被觀察環境的現實感知。該經過數位化的光線陣列104對應於由顯示器生成的光場。如圖2中所示，現有技術光場顯示系統首先捕獲或渲染202表示對象101的場景3D數據或光場輸入數據201。該數據被壓縮203以用於傳輸，被解壓縮204，並且然後被顯示205。

如圖3中所示，最近引入的光場顯示系統使用高效全視差光場壓縮方法來降低要被捕獲的數據量，其通過確定哪些基本圖像（或全息元件「微元（hogel）」）最相關來重建表示對象101的光場。在這些系統中，經由壓縮捕獲方法301來捕獲場景3D數據201。壓縮捕獲301通常包括壓縮渲染302和顯示匹配的（display-matched）編碼303的組合，以便以壓縮方式來捕獲可以被格式化成光場顯示器的能力的數據。最後，顯示器可以接收和顯示經過壓縮的數據。如參考文獻[1]中描述的高效壓縮算法依賴於供應所需的先驗信息的預處理方法。該先驗信息通常處於但不限於場景中的對象位置、邊界框、相機傳感器信息、目標顯示信息和運動向量信息的形式。

用於在本發明中描述的高效全視差經過壓縮的光場3D顯示系統403的預處理方法401可以收集、分析、創建、格式化、存儲和提供要在壓縮操作的具體階段處使用的光場輸入數據201，見圖4A和圖4B。可以在信息的顯示之前使用這些預處理方法（包括但不限於全視差經過壓縮的光場3D顯示系統的壓縮操作的渲染302、編碼303或解碼和顯示304階段）以便進一步增強壓縮性能、降低處理要求、實現實時性能和降低功率消耗。這些預處理方法還利用在用戶與由顯示器304生成的光場交互時生成的用戶交互數據402。

預處理401可以將光場輸入數據201從數據空間轉換到光場顯示硬體的顯示空間。光場輸入數據從數據空間到顯示空間的轉換是能夠示出遵守光場顯示特性和用戶（觀看者）偏好的光場信息的顯示器所需要的。當光場輸入數據201基於相機輸入時，光場捕獲空間（或坐標）以及相機空間（坐標）通常是不相同的並且需要預處理器能夠將來自任何相機的（捕獲）數據空間轉換到顯示空間。當使用多個相機來捕獲光場並且被捕獲的光場的僅一部分被包括在觀看者偏好空間中時，情況尤其如此。。

該數據空間到顯示空間轉換是由預處理器401通過分析光場顯示硬體以及在一些實施例中用戶（觀看者）偏好的特性來完成的。光場顯示硬體的特性包括但不限於圖像處理能力、刷新率、微元和微角（anglet）的數目、色域和亮度。觀看者偏好包括但不限於對象觀看偏好、交互偏好和顯示偏好。

預處理器401考慮顯示特性和用戶偏好並且將光場輸入數據從數據空間轉換到顯示空間。例如，如果光場輸入數據包括網格對象，則預處理分析顯示特性（諸如微元的數目、微角的數目和FOV），然後分析用戶偏好（諸如對象放置和觀看偏好），然後計算邊界線、運動矢量等等，並且將該信息報告給壓縮和顯示系統。數據空間到顯示空間轉換除了坐標變換之外還包括數據格式轉換和運動分析。數據空間到顯示空間轉換除了從經過壓縮的渲染學習到關於如由用戶觀看的光場的最高效（經過壓縮的）表示的那些之外還涉及考慮光調製表面（顯示表面）的位置以及對象相對於顯示表面的位置。

當預處理方法401與經過壓縮的渲染302交互時，預處理401通常涉及準備和提供數據以幫助經過壓縮的渲染的可見度測試601階段。

當預處理方法401與顯示匹配的編碼303交互時，顯示操作可以繞過壓縮渲染階段302，或者提供數據來幫助來自壓縮渲染階段的信息的處理。在當壓縮渲染階段302被繞過時的情況下，預處理401可以將通常被預留用於壓縮渲染302的所有信息提供給顯示匹配的編碼303，除此之外還包括關於顯示系統、需要再顯示匹配的編碼303處執行的編碼的設置和類型的其他信息。在當壓縮渲染階段302沒有被繞過時的情況下，預處理可以提供處於預期孔和殘留數據最佳集合的形式以增加圖像質量的其他信息、要在顯示匹配編碼303中使用的關於顯示、環境和編碼方法的其他信息。

當預處理方法401與經過壓縮的數據304的顯示直接交互時，預處理可以影響顯示的操作模式，包括但不限於：調整視場（FOV）、微角的數目、微元的數目、活動面積、亮度、對比度、顏色、刷新率、解碼方法和顯示器中的圖像處理方法。如果存在已經以顯示器的優選輸入格式存儲的經過預處理的數據，則該數據可以繞過壓縮渲染302和顯示匹配的編碼303，並且被直接顯示304，或者可以根據可用光場輸入數據的格式以及目前通過用戶交互402在顯示器上執行的操作來繞過壓縮渲染和/或顯示匹配的編碼階段。

如圖4A和圖4B中示出的預處理401與成像系統中的任何子系統的交互是雙向的並且將至少需要通信中的握手。對預處理401的反饋可以來自於壓縮渲染302、顯示匹配的編碼303、光場顯示304和用戶交互402。預處理401在使用反饋的情況下適用於光場顯示系統304和用戶（觀看者）偏好402的需要。預處理401根據它從光場顯示系統304接收到的反饋來確定顯示空間是什麼樣的。預處理401在數據空間到顯示空間轉換中使用該反饋。

如之前陳述的，反饋是由光場輸入401的預處理使用的光場顯示和用戶（觀看者）偏好的整合部分。作為反饋的另一示例，壓縮渲染302可以發布使預處理401將所選參考微元轉移給更快的存儲裝置505（圖5）的請求。在反饋的另一示例中，顯示匹配的編碼303可以分析場景中孔的數目並向預處理401發布對用於除去孔的其他數據的請求。預處理框401可以將這解譯為將圖像分割成較小的塊的請求，以便處理由對象自己創建的自遮擋區。顯示匹配的編碼303可以向預處理401提供目前壓縮模式。從光場顯示304到預處理401的示例性反饋可以包括顯示特性和目前操作模式。從用戶交互402到預處理401的示例性反饋可以包括對象的運動矢量、縮放信息和顯示模式變化。用於下一幀的經過預處理的數據基於在前一幀中獲得的反饋來改變。例如，在預測算法中使用運動矢量數據來確定哪些對象將在下一幀中出現，以及預處理401可以從光場輸入數據201搶先訪問該信息以降低轉移時間並且增加處理速度。

光場輸入數據的預處理方法可以被用於利用來自三種類型的來源的輸入圖像的全視差光場顯示系統，見圖5：

計算機生成的數據501：這種類型的光場輸入數據通常由計算機生成，它們包括但不限於：經過專用硬體圖形處理單元（GPU）渲染的圖像、計算機模擬、在計算機模擬中進行的數據計算的結果；

傳感器生成的數據502：這種類型的光場輸入數據一般是使用傳感器從現實世界捕獲的，包括但不限於：利用相機（單個相機、相機陣列、光場相機、3D相機、範圍相機、手機相機等）、測量世界並創建其之外的數據的其他傳感器（諸如光檢測和測距（LIDAR）、無線電檢測和測距（RADAR）和合成孔徑雷達（SAR）系統以及更多）拍攝的圖像；

計算機生成的和傳感器生成的數據的混合503：這種類型的光場輸入數據是通過將上面兩種數據類型組合而創建的。例如，對圖像進行圖像編輯處理以創建新圖像，對傳感器數據進行計算以創建新結果，使用交互設備來與計算機生成的圖像交互等等。

光場輸入數據的預處理方法可以被應用於靜態或動態光場並且通常將在專門設計的專用硬體上執行。在本發明的一個實施例中，應用預處理401來將光場數據201從一種形式（諸如LIDAR）轉換成另一種形式（諸如網格數據）並且將結果儲存在慢速存儲介質504（諸如具有旋轉盤的硬碟驅動器）中。然後預處理401將慢速存儲裝置504中的該經過轉換的信息的子集移動到快速存儲裝置505（諸如固態硬體驅動器）中。505中的該信息可以被壓縮渲染302和顯示匹配的編碼303使用，並且其通常將具有比可以在光場顯示器上顯示的那些更大的數據量。可以直接顯示在光場顯示器上的數據被存儲在光場顯示器304的板載存儲器506中。預處理還可以與板載存儲器506交互以接收關於顯示器的信息並且將可能與顯示操作模式和應用有關的命令發送給顯示器。預處理401利用用戶交互數據來準備顯示並與存儲在不同存儲介質中的數據交互。例如，如果用戶想放大，則預處理通常將新的數據集合從慢速存儲裝置504移動到快速存儲裝置505，並且然後向板載存儲器506發送命令來調整顯示器刷新速率、數據顯示方法（諸如解壓縮的方法）。

歸因於利用不同速度的存儲設備的預處理的系統性能改進的其他示例包括：用戶交互性能改進和壓縮操作速度改進。在本發明的一個實施例中，如果用戶與點雲數據形式的大陸的高海拔光場圖像交互並且目前對檢查具體城市（或感興趣區域）的光場圖像感興趣，則關於城市的該光場數據將被存儲在顯示系統的板載存儲器506中。預測用戶可能對檢查鄰近城市的光場圖像感興趣，預處理可以通過從慢速存儲系統504轉移該數據來將關於這些鄰近城市的信息加載到快速存儲系統505中。在本發明的另一實施例中，該預處理可以將慢速存儲系統504中的該數據轉換成顯示系統優選的數據格式，例如從點雲數據轉換成網格數據，並且將它保存回到慢速存儲系統504中，可以離線地或實時地執行該轉換。在本發明的另一實施例中，預處理系統可以保存對於同一光場數據的不同等級的細節以便實現更快速地縮放。例如，可以創建1x、2x、4x和8x縮放數據並且將它們存儲在慢速存儲設備504中，並且然後被移動到快速存儲裝置505和板載存儲器506以便顯示。在這些情形中，將通過檢查用戶交互402來決定存儲在快速存儲裝置上的數據。在本發明的另一實施例中，預處理將實現對更靠近顯示表面103的對象的光場輸入數據201的優先訪問以使可見度測試601加速，因為更靠近顯示表面的對象可能需要更多參考微元，並且因此在可見度測試中首先處理它們。

用於計算機生成的（CG）光場數據的預處理方法。

在計算機生成的（CG）捕獲環境中，其中計算機生成的3D模型用於捕獲和壓縮全視差光場圖像，在開始渲染過程之前一些信息將是已知的。該信息包括模型的位置、模型的大小、模型的邊界框、模型和目標顯示信息的捕獲相機信息（CG相機）運動矢量。此類信息是有益的並且如在專利申請參考文獻[1]中描述的那樣可以在全視差經過壓縮的光場3D顯示系統的經過壓縮的渲染操作中將此類信息用作先驗信息。

在一個預處理方法中，可以從計算機圖形卡輪詢先驗信息，或者可以通過測量結果或用戶交互設備通過有線或無線裝置401捕獲該先驗信息。

在另一預處理方法中，先驗信息可以作為命令的一部分、作為來自充當分層成像系統中的主機或從機的另一子系統的通信分組或指令來供給。它將是輸入圖像的一部分，就像關於如何在報頭信息中處理該圖像的指令一樣。

在另一預處理方法中，在3D成像系統內該預處理方法可以被執行為在光場渲染或壓縮操作之前通過專用圖形處理單元（GPU）或專用圖像處理設備的批處理。在這種類型的預處理中，經過預處理的輸入數據將被保存在文件或存儲器中以便在以後的階段使用。

在另一預處理方法中，當新輸入信息變得可用時還可以在每個渲染或壓縮階段之前使用具有足夠處理資源的專用硬體系統來實時執行預處理。例如，在交互式全視差光場顯示中，當交互信息402變得可用時，可以將其作為運動矢量提供給預處理階段401。在這種類型的預處理中，經過預處理的數據可以被立即實時使用或者可以被保存在存儲器或文件中以便將來使用。

參考文獻[1]中描述的全視差光場壓縮方法將渲染和壓縮階段組合到一個階段中，其被稱為壓縮渲染302。壓縮渲染302通過使用關於光場的先驗已知信息來實現其效率。一般來說，此類先驗信息將包括3D場景中的對象位置和邊界框。在參考文獻[1]中描述的全視差光場壓縮系統的壓縮渲染方法中，可見度測試利用關於3D場景中的對象的此類先驗信息來選擇要被用作參考的成像元素（或微元）的最佳集合。

為了執行可見度測試，光場輸入數據必須被格式化成表示對象的3D平面列表，按照它們到全視差經過壓縮的光場3D顯示系統的光場調製表面的距離來排序。圖6圖示本發明在參考文獻[1]的全視差經過壓縮的光場3D成像系統的經過壓縮的渲染元素302的背景內的光場輸入數據預處理。

預處理框401接收光場輸入數據201，並且提取參考文獻[1]的可見度測試601所必需的信息。然後該可見度測試601將通過利用從預處理框401提取的信息來選擇要被用作參考的成像元素（或微元）列表。渲染框602將訪問光場輸入數據並且僅渲染可見度測試601所選的基本圖像（或微元）。由渲染框602來生成參考紋理603和深度604，並且然後由自適應紋理濾波器605來進一步對紋理濾波並且該深度被轉換成差異（disparity）606。基於多參考深度圖像的渲染（MR-DIBR）607利用該差異和經過濾波的紋理來重建整個光場紋理608和差異609。

光場輸入數據201可以具有若干不同數據格式，從高級對象指令到低級點雲數據。然而，可見度測試601僅利用光場輸入數據201的高級表示。可見度測試601所使用的輸入通常將是光場顯示體積內的3D對象的有序列表。在該實施例中，此類3D對象的有序列表將參考最靠近光場調製（或顯示）表面的軸對齊邊界框的表面。3D對象的有序列表是表示3D對象的3D平面的列表，按照它們到全視差經過壓縮的光場3D顯示系統的光場調製表面的距離來排序。3D對象可以與觀看者的光場調製表面在同一側上或者在觀看者和3D對象之間的光場調製表面的相對側上。列表的排序是按照到光場調製表面的距離的，而不管3D對象在光場調製表面的哪一側上。在一些實施例中，到光場調製表面的距離可以用指示3D對象在光場調製表面的哪一側上的帶符號的數字來表示。在這些實施例中，列表的排序是通過帶有符號的距離值的絕對值。

如圖7中所圖示的，可以通過光場輸入數據201的坐標的分析來獲得與光場顯示器103的軸對齊的軸對齊邊界框。在源光場輸入數據201中，3D場景對象101通常將由頂點集合來表示。將由光場輸入數據預處理框401來分析此類頂點的坐標的最大和最小值，以便為對象101確定軸對齊的邊界框702。邊界框702的一個拐角703具有對於在表示3D場景對象101的所有頂點之中找到的三個坐標中的每一個的最小值。邊界框702的斜對面拐角704具有對於來自表示3D場景對象101的所有頂點的三個坐標中的每一個的最大值。

圖8圖示全視差經過壓縮的光場3D顯示系統和被調製的對象的頂視圖，其示出所選參考成像元素801的平截頭體。成像元素801被選取以使得它們的平截頭體以最小重疊覆蓋整個對象101。這種情況選擇彼此間隔開幾個單元的參考微元。用微元的尺寸來歸一化該距離，以使得整數數目的微元可以從一個參考微元跳到另一個。各參考之間的距離取決於邊界框702和捕獲表面802之間的距離。剩餘的微元的紋理是冗餘的並且可以從鄰近參考微元獲得它們，且因此它們不被選為參考。應該注意的是，邊界框的表面也與顯示系統的光場調製表面對準。可見度測試601將使用最靠近光場調製表面的邊界框的表面來表示光場體積內的3D對象，因為該表面將確定各參考成像元素801之間的最小距離。在本發明的另一實施例中，本發明的光場預處理方法所使用的第一邊界框的表面可能不與調製表面對齊；在該實施例中與顯示系統的光場調製表面對齊的第二邊界框被計算為針對第一邊界框的邊界框。

對於諸如圖9的圖示之類的包含多個對象的3D場景的情況，將需要確定用於每個分開的對象的邊界框。圖9圖示包含兩個對象（龍對象101和兔子對象901）的光場。將由預處理框401以與上面針對龍702所描述的相似的方式來獲得與圖9中圖示的兔子902的邊界框軸對齊的顯示系統。

圖10圖示在包含多個對象的場景的情況下本發明的光場預處理所使用的參考成像元件的選擇程序。在該實施例中，最靠近顯示器的對象（在這種情況下，兔子對象901）將被首先分析，並且將以與上面對於龍702描述相類似的方式來確定參考成像元素集合1001。因為要被處理的下一對象（龍對象101）在兔子後面，所以額外的成像元素1002被添加到參考成像元素的列表，以考慮龍對象101被兔子對象901的遮擋。額外的成像對象1002被添加在臨界區，在那裡來自更遠的龍對象101的紋理僅對於某些視野被兔子901遮擋，但對於其他視野未被兔子901遮擋。該區被標識為更靠近的對象的邊界，並且參考微元被放置成使得它們的平截頭體覆蓋背景的紋理一直到更靠近捕獲表面的對象的邊界。這意味著額外的微元1002將被添加以覆蓋該過渡區，其包含被更靠近對象遮擋的背景紋理。當處理更遠離3D場景中的光場調製表面103的對象（在這種情況下是龍對象101）的光場輸入數據201時，針對龍對象101的參考成像元素可能與已經為更靠近光場調製表面103的對象（在這種情況下是兔子對象901）選取的參考成像元素重疊。當對於更遠處對象的參考成像元素與已經針對更近對象選取的參考成像元素重疊時，不將新的參考成像元素添加到列表。在更遠處對象之前的更近對象的處理使得在開始時參考成像元素的選擇更密集，因此增大了再使用參考成像元素的機會。

圖11圖示本發明的在其中3D光場場景結合由點雲1101表示的對象（諸如兔子對象901）的另一個實施例。為了在有序列表中標識表示兔子對象901的深度，兔子對象901的點被分類，在這種情況下標識對於所有軸的兔子對象901中的所有點的最大和最小坐標以在點雲數據內創建對於3D對象的有序列表中的兔子對象901的邊界框。可替代地，點雲1101的邊界框被標識並且與調製表面103平行的邊界框的最靠近表面1102將被選擇成在點雲數據內表示3D對象的有序列表中的3D對象901。

針對傳感器捕獲的內容的預處理。

為了由2D相機的陣列1202、由3D相機的陣列1203（包括雷射測距、IR深度捕獲或構造的光深度感測）或由光場相機的陣列1204（見圖12）顯示動態光場102，如在顯示正由任一個光場相機1201捕獲的現場場景的情況下，本發明的光場輸入數據預處理方法401和有關光場輸入數據將包括但不限於精確的或近似的對象大小、在場景及其邊界框中的對象的位置和取向、用於每個目標顯示的目標顯示信息、相對於3D場景全局坐標的所有相機的位置和取向。

在本發明的一個預處理方法401中，其中單個光場相機1201被用於捕獲光場，經過預處理的光場輸入數據可以包括要捕獲的像素的最大數目、針對相機傳感器上的某些像素區域的具體指令、對於相機透鏡中的某些微透鏡或小透鏡組群以及相機透鏡下面的像素的具體指令。可以計算經過預處理的光場輸入數據並且在圖像捕獲之前存儲它們，或者可以剛好在圖像捕獲之前或與其同時地捕獲經過預處理的光場輸入數據。在當就在捕獲之前執行光場輸入數據的預處理的情況下，相機像素的子採樣可以被用來確定用於可見度測試算法的粗略場景信息，諸如深度、位置、差異和微元相關性。

在本發明的另一實施例中，見圖13，多個2D相機被用來捕獲光場，預處理401將包括用於具體目的的相機的劃分，例如每個相機可以捕獲不同的顏色（位置1302中的相機可以捕獲第一顏色，位置1303中的相機可以捕獲第二顏色，等等）。而且不同位置中的相機可以捕獲對於不同方向的深度圖信息（位置1304和位置1305中的相機可以捕獲針對第一方向1306和第二方向1307的深度圖信息，等等），見圖13。相機可以使用所有它們的像素或者可以僅使用它們的像素的子集來捕獲所需的信息。某些相機可以被用來捕獲預處理信息，而其他被用來捕獲光場數據。例如，在某些相機1303正通過分析場景深度來確定哪些相機應該被用來捕獲龍對象101場景的同時，其他相機1302、1304、1305可以捕獲場景。

在本發明的另一實施例中，見圖14，3D相機陣列1204被用來捕獲光場，預處理401將包括用於具體目的的相機的劃分。例如第一相機1402可以捕獲第一顏色，第二相機1403可以捕獲第二顏色，等等。而且附加的相機1404、1405可以捕獲對於方向1406、1407的深度圖信息，在其中使相機瞄準。在該實施例中，預處理401將利用來自該陣列內的相機子集的光場輸入數據，該陣列內的相機子集使用所有它們的像素或僅使用它們像素的子集來捕獲所需光場輸入信息。利用該方法，陣列內的某些相機可以被用來在任何時刻捕獲和提供預處理所需的光場數據，而其他相機被用來隨著光場場景改變而動態地在不同時刻捕獲光場輸入數據。在預處理的該實施例中，圖4中的預處理元件401的輸出將被用來為相機陣列提供實時反饋以限制由每個相機記錄的像素的數目，或者降低隨著場景改變記錄光場的相機的數目。

在本發明的另一實施例中，在參考文獻[2]的網絡化光場攝影系統的上下文內使用本發明的預處理方法以實現對用來捕獲光場的相機的捕獲反饋。參考文獻[2]描述使用多個光場和/或傳統相機來同時或在一段時間內捕獲3D場景的網絡化光場攝影方法。來自時間上較早捕獲場景的網絡化光場攝影系統中的相機的數據可以被用來為後面的相機生成經過預處理的數據。該經過預處理的光場數據可以降低捕獲場景的相機的數目或降低由每個相機捕獲的像素，由此降低來自每個相機的所需接口帶寬。類似於之前討論的2D和3D陣列捕獲方法，網絡化光場相機還可以被分開以實現不同功能。

儘管已經描述並且在附圖中示出某些示例性實施例，但是要理解此類實施例僅僅是說明性的並且不約束寬泛的發明，並且本發明不限於示出和描述的具體構造和布置，因為本領域普通技術人員可想到各種其他修改。因此該描述被視為說明性的而不是限制性的。