用於捕捉全景立體視頻的系統的製作方法
2023-12-10 18:43:07
專利名稱：用於捕捉全景立體視頻的系統的製作方法
技術領域：
本發明涉及圖像處理，尤其涉及用於捕捉全景立體視頻的系統。
背景技術：
人類視覺使用了各種線索來感知真實世界中的三維(3D)深度。這些線索之一是視網膜像差，其中瞳孔間距導致左眼和右眼接收到關於世界的略微不同的投影。立體成像嘗試通過向每個眼睛呈現略微不同的圖像來創建人為的3D深度感知。從不同的有利位置捕捉兩個圖像，所述不同的有利位置彼此隔開一個距離，該距離近似於人眼的瞳孔間距。假定圖像被正確地同步且有利位置近似瞳孔間距，則大腦以創建圖像中深度的幻象的方式來處理這些圖像。
常規的3D相機包括用於生成一個場景的兩個視圖的一對隔開的圖像傳感器。儘管適用於場景的正視圖或場景的某一其他部分，但是常規的3D相機不能獲得場景的全景 360度視圖。這點的原因至少在於在圍繞360度全景的某一視角，第一圖像傳感器會捕捉第二圖像傳感器的視圖，反之亦然，導致了 360度視圖內的遮擋。另一選項是旋轉這對圖像傳感器以便在沒有任何相機遮擋的情況下捕捉完全的360度視圖，但該技術將不能正確地捕捉動態場景。發明內容
這裡公開了通過在獨立的凸面鏡下定位多個相機來捕捉全景視頻圖像的系統和方法。視頻圖像被解除變形以形成柱形視頻。柱形視頻彼此組合以形成用於左眼視圖和右眼視圖的各個視頻流-這是通過選擇每個全景視頻中的未被其他相機/鏡遮擋的部分來完成的。然後將左眼和右眼柱形視頻打包以便以各種立體查看格式進行回放。
在一個實施例，本發明的技術涉及一種用於提供立體圖像數據的系統，包括用於提供被處理成全景的立體視圖的圖像數據的三個或更多圖像傳感器。
在進一步的實施例中，本發明的技術涉及用於提供立體圖像數據的系統，包括用於捕捉全景的圖像數據的三個或更多圖像傳感器；以及用於將來自三個或更多圖像傳感器的圖像數據處理成不包括三個或更多圖像傳感器的圖像的立體圖像數據的處理器。
在另一實施例中，本發明的技術涉及一種提供立體圖像數據的方法，包括(a)從全景的至少180度捕捉視頻圖像數據；以及(b)將所述步驟(a)中捕捉的視頻圖像數據處理成這樣的立體圖像數據，該立體圖像數據不包括用於在所述步驟(a)中捕捉視頻圖像數據的任何設備的圖像。
提供本發明內容以便以簡化形式介紹在以下詳細描述中進一步描述的概念精選。 本發明內容不旨在標識所要求保護主題的關鍵或必要特徵，也不旨在用於幫助確定所要求保護主題的範圍。此外，所要求保護的主題並不受限於解決在本公開任何部分提到的任何或全部缺點的實現。
圖I是包括反折射底架組件和計算系統的本發明系統的圖。
圖2是反折射底架組件的透視圖。
圖3是反折射底架的透視圖。
圖4是移除了凸面鏡的反折射底架組件的一部分的透視圖。
圖5是在反折射底架組件的圖像傳感器內使用的鏡的俯視圖。
圖6是反折射底架組件的圖像傳感器的截面側視圖。
圖7是捕捉全景的視圖的反折射底架組件的俯視圖。
圖8是捕捉圖7的全景的不同部分的視圖的反折射底架部件的俯視圖。
圖8A是示出了遮擋角計算的圖7的反折射底架組件的圖示。
圖9是示出圖8的反折射底架組件的圖像傳感器的左視圖、右視圖和被遮擋視圖的圖表。
圖10-12是根據本發明的替代實施例的反折射底架組件的俯視圖。
圖13是本發明系統的一實施例的操作流程圖。
圖14是捕捉反折射圖像的凸面鏡的仰視圖。
圖15是從圖14的反折射圖像變形的柱形圖像的透視圖。
圖16是示出凸面鏡的各參數的圖14的凸面鏡的仰視圖。
圖17是圖15的柱形圖像的展平視圖。
圖18-20是由三個圖像傳感器捕捉的柱形圖像，並且示出可以為校準目的而在不同的圖像間匹配的線索。
圖21是示出圖13的步驟208的進一步細節的流程圖。
圖22是示出圖13的步驟212的進一步細節的流程圖。
圖23是來自不同圖像傳感器的柱形圖像被分成左視圖和右視圖的視圖。
圖24和25是在從全景的不同部分接收到圖像數據時區分瞳孔間視距的兩個例子。
圖26是左圖像被合成為全景左圖像且右圖像被合成為全景右圖像的視圖。
圖27是示出圖13的步驟218的進一步細節的流程圖。
圖28是示出圖27的步驟274的進一步細節的流程圖。
圖29是左圖像或右圖像的對要被合成的視圖。
圖30是圖29的圖像被合成為帶有重疊區域的視圖。
圖31是示出圖30的圖像在重疊區域中以第一方向通道變形的視圖。
圖32是示出圖30的圖像在重疊區域中以第二方向通道變形的視圖。
圖33是可在其上實現本發明系統的各實施例的示例計算設備的框圖。
具體實施方式
現在將參考附圖1-33來描述本發明的技術的一般涉及用於生成全景立體圖像的系統和方法的各實施例。在各實施例中，本發明系統包括硬體和軟體組件。硬體組件包括計算設備以及在底架中彼此固定的三個或更多反折射圖像傳感器的組件。每個圖像傳感器生成全景的圖像，諸如場景的360度視圖。軟體組件將反折射圖像處理成全景的柱形圖像，在空間上校準來自不同圖像傳感器的柱形圖像並且在時間上將它們彼此同步，將柱形圖像分割成用於左眼的圖像和用於右眼的圖像，然後將來自不同傳感器的左眼圖像以及來自不同傳感器的右眼圖像縫合在一起。結果是可以被顯示給用戶以便提供例如360度全景的3D 立體視圖的全景左視圖和右視圖。
在各例子中，系統中所使用的圖像可以是真實事件、人物、地點或事物的圖像。僅作為一些非限制性的例子，圖像可以是體育事件或音樂會的圖像，其中用戶能夠從競技場、 舞臺或者圖像收集設備所位於的任何地方來觀看該事件。下面說明用於生成場景的立體全景圖的硬體和軟體組件。
圖1-4示出用於捕捉全景立體圖像的系統100的一個例子。系統100包括能夠與計算系統110通信的反折射底架組件104。下面參照圖33更詳細地說明了計算系統110的實施例，但通常，計算系統110可以是一個或多個臺式機、可攜式計算機、伺服器、多處理器系統、大型計算機、分布式計算環境或其他處理系統。反折射底架組件104可以經由物理連接或者無線地與計算系統110通信。在各實施例中，計算系統110可以是來自組件104的單獨組件。在這樣的實施例中，計算系統110可以直接連到組件104，或者計算系統110和組件104可以經由例如LAN或網際網路這樣的網絡連接相連。在進一步的實施例中，計算系統可以作為反折射底架組件104的一部分集成，以形成單個組件。
在圖1-4的示例實施例中，反折射底架組件104包括三個反折射圖像傳感器112、 114和116。每個反折射圖像傳感器可以在底架120中安裝在一起以便將圖像傳感器保持為相對固定關係。圖3是沒有圖像傳感器112、114、116的底架120的視圖。底架120可以包括各插孔，基本上是柱形的圖像傳感器112、114、116的每一個可以被容納和固定在插孔中，例如通過一個或多個螺絲釘或其他扣件。一旦被固定，圖像傳感器112、114和116就相對於彼此保持基本上固定。在所示的實施例中，底架120被配置成容納三個反折射圖像傳感器。如下面說明的，底架120可以被配置成容納大於三個圖像傳感器。底架120例如可以安裝在三腳架122上。
每個圖像傳感器112、114、116包括中心軸，每個中心軸在此稱為傳感器112、114、 116的光軸。傳感器112、114、116固定在底架120內，使得光軸一起限定了等邊三角形的頂點。在其他實施例中，各個傳感器的軸可以形成具有其他配置的三角形。底架120可由金屬、塑料或其他剛性材料形成。在包括多於三個圖像傳感器的實施例中，會相應地配置底架 120，以便將組件內的每一個圖像傳感器保持為彼此固定關係。
由於每一個反折射圖像傳感器112、114、116彼此相同，以下對一個反折射圖像傳感器的說明適用於陣列104中的每一個反折射圖像傳感器。如圖1-2和4-6所示，每個反折射圖像傳感器可以包括相機124以及通過杆132和環133固定安裝至相機124的凸面鏡 130。鏡130包括和杆132相鄰的頂部130a和底部130b。杆132可以是關於反折射圖像傳感器的光軸同軸的，並且可以支撐鏡，使得鏡130b的底部距離相機約為7英寸，然而在其他實施例中也可以更大或更小。杆132可以是直徑為四分之一英寸到二分之一英寸的圓形， 然而在其他實施例中，它也可以具有其他直徑並且可以是其他截面形狀。
鏡130和杆132可以通過一環133相對於相機124而固定，環133可以固定到底架120的插孔。鏡130和杆132可以通過各種其他固定方法來固定到底架120和/或相機 124。一種這樣的方法在2008年7月15日公告的第7399095號美國專利中公開，該專利題為「Apparatus For Mount ing a Panoramic Mirror (用於安裝全景鏡的裝置)」,該專利全體結合於此。構想了其他安裝結構，用於以使安裝結構在反折射圖像傳感器所捕捉的圖像中的出現最小化的方式將鏡安裝到相機。相機124可以是用於捕捉圖像並將圖像數位化為像素數據的已知數字相機。在一個例子中，相機可以是具有IEEE-1394接口的IIDC數字相機。可使用其它類型的數字相機。
凸面鏡130可以是關於光軸對稱的，並且通常可用來捕捉來自360度全景的圖像數據並將該圖像數據向下引導至相機124。特別是，如圖5和6所示，提供鏡130的表面，使得鏡130的各部分上入射的光線LR被引導至相機124內的透鏡134上。透鏡又將光線聚焦到圖像傳感設備138上，圖像傳感設備138可以例如是圖6示意性地示出的CCD或CMOS 傳感器。在下面描述的實施例中，每個反折射圖像傳感器112、114、116所捕捉的全景可以是360度全景。然而，圖像傳感器所產生的全景可以小於360度，諸如在90度和360度之間，然而在其他實施例中也可以小於90度。
在各實施例中，鏡130的表面是關於圖像傳感器的光軸對稱的。可以使用在與攝像機光學結合時真正等角的鏡形狀。在這一等角的鏡/相機系統中，圖像中的每個像素可以跨越相等的角度，而不考慮它離開反折射圖像傳感器112、114、116所創建的圓形圖像中心的距離。由此，圖像的徑向變形是統一的。可以修改鏡的形狀，以便補償在與鏡結合時相機透鏡增加的透視效應，從而提供改進的高解析度全景圖像。和凸面鏡130的形狀的一個例子有關的進一步細節在2006年6月6日公告的Singh等人的第7058239號美國專利中提出，該專利題為「System and Method for Panoramic Imaging(用於全景成像的系統和方法)」，該專利通過引用全部結合於此。下面提供了鏡130的形狀的一些細節。
圖5和6示出等角鏡130的例子的幾何形狀。所反射的光線LR被放大一個常數增益a，而不管沿著鏡130的垂直剖面的位置。這些鏡的通式在等式(I)中給出
權利要求
1.一種用於提供立體圖像數據的系統(100)，包括三個或更多個圖像傳感器(112、114、116)，用於提供被處理成全景的立體視圖的圖像數據。
2.如權利要求I所述的用於提供立體圖像數據的系統，其特徵在於，還包括一計算設備，所述計算設備用於從所述三個或更多個圖像傳感器接收圖像數據、並且將來自每個圖像傳感器的圖像數據分成全景的左視圖和右視圖。
3.如權利要求I所述的用於提供立體圖像數據的系統，其特徵在於，所述計算設備還將來自每個圖像傳感器的左視圖組合成全景的單個左視圖、並且將來自每個圖像傳感器的右視圖組合成全景的單個右視圖。
4.如權利要求I所述的用於提供立體圖像數據的系統，其特徵在於，所述系統生成圍繞360度全景的視頻圖像數據。
5.如權利要求4所述的用於提供立體圖像數據的系統，其特徵在於，所述360度全景的視頻圖像數據不包括所述三個或更多個圖像傳感器的圖像數據。
6.一種用於提供立體圖像數據的系統(100)，包括三個或更多個圖像傳感器(112、114、116)，用於捕捉全景的圖像數據；以及處理器(110)，用於將來自所述三個或更多個圖像傳感器(112、114、116)的圖像數據處理成不包括所述三個或更多個圖像傳感器(112、114、116)的圖像的立體圖像數據。
7.如權利要求6所述的用於提供立體圖像數據的系統，其特徵在於，每個圖像傳感器捕捉被處理成用於用戶左眼的數據的全景的第一部分，其中，每個圖像傳感器捕捉被處理成用於用戶右眼的數據的全景的第二部分。
8.如權利要求6所述的用於提供立體圖像數據的系統，其特徵在於，每個圖像傳感器捕捉全景的第三部分，所述第三部分被處理成未在向用戶提供的立體圖像中使用的數據。
9.如權利要求6所述的用於提供立體圖像數據的系統，其特徵在於，每個圖像傳感器包括用於提供反折射圖像的相機和凸面鏡。
10.一種提供立體圖像數據的方法，包括(a)從全景的至少180度捕捉(步驟200)視頻圖像數據；以及(b)將在所述步驟(a)中捕捉的視頻圖像數據處理(步驟202、204、208、212、214、218) 成這樣的立體圖像數據，所述立體圖像數據不包括用於在所述步驟(a)中 捕捉視頻圖像數據的任何設備的圖像。
全文摘要
本發明涉及用於捕捉全景立體視頻的系統。公開了用於生成全景立體圖像的系統和方法。該系統包括具有在底架中彼此固定的三個或更多個反折射圖像傳感器的組件。每個圖像傳感器生成全景的反折射圖像，該圖像可以例如是場景的360度視圖。軟體組件將反折射圖像處理成全景的三維立體視圖。
文檔編號H04N13/02GK102547357SQ20111044351
公開日2012年7月4日 申請日期2011年12月16日 優先權日2010年12月17日
發明者A·加登, B·沃特, H·扎爾加波, M·龍迪內利, 江勝明 申請人:微軟公司