用單個相機提供全景立體圖像的設備的製作方法
2023-10-05 09:45:14 1
專利名稱：用單個相機提供全景立體圖像的設備的製作方法
技術領域：
本發明涉及使用單個相機提供所需要的表示三維(3D)信息的全景立體圖像的設備，且更具體地說，涉及用單個相機提供全景立體圖像的設備，其提供一寬立體基線，減少其尺寸，且便於立體圖像中的對應搜索。
背景技術：
使用相機的立體視覺系統用於由兩個圖像推測出三維(3D)信息。具體地說，全景立體系統提供36 0度全景的3D信息。所述系統可用於3D圖形測量、虛擬實境、智能機械手(intelligent robot)的環境識別、監視和監測系統、軍事偵察系統等領域。
在全景立體系統中，通過識別在兩不同視點處所獲得的兩個全景圖像之間的視差實現3D恢復。所述兩個全景圖像可使用兩個相機或單個相機和反射鏡(mirror)獲得。當使用兩個相機時，由於兩個相機系統之間的物理特徵差異，例如焦距的差異和諸如電荷耦合元件(CCD)和反射鏡等成像元件的未對準，在3D恢復期間，可能出現誤差。因此，已知在各種條件下使用單個相機立體系統是比較有效的。
為容易地實施使用反射鏡的立體視覺系統，所述反射鏡的形狀和反射鏡與相機之間的相對位置關係應滿足單個視點條件。當不滿足所述條件時，從兩個圖像中提取3D信息就變得困難。具體地說，平面反射鏡、橢圓反射鏡，雙曲面反射鏡和拋物面反射鏡可滿足單個視點條件且支持全景系統。
圖1為系統的概念圖，其為單個相機全景的單系統中使用滿足單個視點的採用雙曲面反射鏡100的系統。由所述雙曲面反射鏡100反射的3D空間物體110的圖像，例如通過相機的有效針孔120投影於CCD的圖像平面130上。由雙曲面反射鏡100反射的圖像與從有效視點140所觀察到的圖像相同。
同時，傳統的單個相機全景立體系統通過將雙瓣反射鏡放置於相機前面來實施。然而，反射鏡中的有效視點之間的距離極短，因此，深度解析度極低。此外，諸如需要單個相機全景立體系統的機械手的設備是被要求要具有小體積的。因此，需要適合緊密性的單個相機全景立體系統。另外，因為在傳統的單個相機全景立體系統中所獲得的兩個圖像在對應點之間具有解析度差異，所以當所獲得的圖像的解析度低時，在兩個圖像中找出對應點的能力可能降低。因此，需要一個補償兩個圖像之間的解析度差異的程序。
發明內容
本發明提供用單個相機提供全景立體圖像的設備，通過所述設備增加有效視點之間的距離，使得三維恢復解析度增加。
本發明還提供用單個相機和摺疊反射鏡提供全景立體圖像以實現緊密性的設備。
本發明還提供用單個相機提供全景立體圖像的設備，甚至當分別在兩個有效視點處所獲得的圖像之間存在解析度差異時，通過所述設備可容易地檢測對應點。
根據本發明的一方面，提供用單個相機提供全景立體圖像的設備。所述設備包括第一反射器，其反射從第一視點觀察到的全景環境；第二反射器，其與所述第一反射器同軸安置且與第一反射器分離以反射從第二視點所觀察到的全景環境；和圖像傳感器，其與第一和第二反射器同軸安置以捕獲分別由第一和第二反射器所反射的圖像且輸出第一圖像和第二圖像。
根據本發明的另一方面，提供用單個相機提供全景立體圖像的設備。所述設備包括第一反射器，其反射從第一視點觀察到的全景環境；第二反射器，其與第一反射器同軸安置且與所述第一反射器分離以反射從第二視點觀察到的全景環境；第三反射器，其與第一和第二反射器同軸安置以反射由第二反射器所反射的圖像；和圖像傳感器，其與第一、第二和第三反射器同軸安置以捕獲分別由第一和第三反射器所反射的圖像且輸出第一圖像和第二圖像。
所述設備可進一步包括全景圖像轉換器，其轉換由所述圖像傳感器提供的第一圖像和第二圖像以產生第一全景圖像和第二全景圖像；和三維位置信息提取器，其搜索第一和第二全景圖像中的對應點，且從搜索到的對應點之間的位置差異中提取三維位置信息。
通過參看附圖詳細描述本發明得示範性實施例，本發明的上述及其它特徵和優點將變得更顯而易見，其中圖1為使用滿足單個視點條件的雙曲面反射鏡的傳統全景單個系統的概念圖。
圖2為根據本發明實施例的用單個相機提供全景立體圖像的設備的方框圖。
圖3A和3B為根據本發明實施例的相機和反射鏡的配置的概念圖。
圖4A到4I為在滿足單個視點條件的摺疊全景單系統中的反射鏡的配置的概念圖。
圖5A到5D為根據本發明實施例的用單個相機提供全景立體圖像的摺疊型的設備中的相機和反射鏡的配置的概念圖。
圖6A和6B為在本發明的實施例中所獲得的圖像的概念圖。
圖7為根據本發明實施例來實施的用單個相機提供全景立體圖像的設備的照片。
圖8說明根據本發明實施例的所捕獲的環境的全方位立體圖像的實例，所述立體圖像從用單個相機提供全景立體圖像的設備中獲得。
圖9A到9C分別說明較高視圖的全景圖像、較低視圖的全景圖像和差異圖，是圖8所說明的全景立體圖像轉換成的。
圖10A到10C說明包括三維信息的圖像，其從圖9A到9C所說明的圖像中恢復得到。
具體實施例方式
下文，將參看附圖詳細描述本發明的示範性實施例。
圖2為根據本發明實施例的用單個相機提供全景立體圖像的設備的方框圖。所述設備包括第一視圖提供器200、第二視圖提供器210、圖像傳感器220、全景圖像轉換器230和三維(3D)位置信息提取器240。
第一視圖提供器200和第二視圖提供器210中每一者反射從有效視點所觀察到的360度環境以向圖像傳感器220傳送所反射的圖像，其中圖像傳感器220類似於相機的電荷耦合元件(CCD)。當所述第二視圖提供器210包括一個或兩個反射器時，所述第一視圖提供器200可包括單個反射器。稍後描述反射器的形狀和配置。在本說明書中所使用的術語「反射器」是指反射圖像或圖形的物體，且通常是指反射鏡，但在本發明中不限於此。
分別從第一和第二視圖提供器200和210所反射的兩個圖像投影於圖像傳感器220上。所述圖像傳感器220向全景圖像轉換器230傳輸一投影的圖像。投影的圖像包括中心圖像和具有圓形的外圍圖像，稍後將描述。
全景圖像轉換器230將從圖像傳感器220接收的中心圖像和外圍圖像分別轉換成全景圖像。在轉換方面，對圓形圖像中對應於全景圖像中每一位置的對應位置進行取樣並將其映射到全景圖像中的所述位置。具體來說，對應於全景圖像中的位置的圓形圖像中的位置可預置在查找表中。所述查找表可通過分析相機-反射鏡系統的結構來實施，在查找表中圓形輸入圖像中的位置分別映射到全景圖像中的位置。
同時，當中心圖像的解析度與外圍圖像的解析度不同時，全景圖像轉換器230可包括解析度補償功能，稍後將描述，以便利於搜索兩個全景圖像之間的對應點。
3D位置信息提取器240搜索由全景圖像轉換器230提供的兩個全景圖像之間的對應點，且提取諸如每一物體的距離信息的3D位置信息。包括基於視窗的相關搜索方法的各種方法可用於搜索對應點。另外，包括三角測量的各種傳統技術可用於提取3D信息。
圖3A和3B為根據本發明的實施例的相機和反射鏡的配置的概念圖。
在圖3A所說明的配置中，使用不具有孔的反射鏡。第一反射器300和第二反射器310分別具有有效視點F1和F2，且反射3D空間中的物體。換句話說，所述第一反射器300向相機的圖像傳感器220傳送從有效視點F1所觀察到的全景圖像，且所述第二反射器310向圖像傳感器220傳送從有效視點F2所觀察到的全景圖像。第一反射器300和第二反射器310分別對應於圖2所說明的第一視圖提供器200和第二視圖提供器210。同時，為了要獲得外圍圖像和中心圖像，第一反射器300的反射表面必須小於第二反射器310的反射表面。
在圖3B所說明的配置中，使用具有孔的反射鏡。第一反射器320和第二反射器330的功能與圖3A所說明的第一和第二反射器300和310相同。然而，其中圖像投影於圖3B所說明的配置中的圖像傳感器220上的路徑與在圖3A中所說明的配置中的路徑不同，且外圍圖像和中心圖像與在圖3A中所說明的配置中的所獲得的圖像相反。換句話說，中心圖像從圖3A所說明的配置中的第一反射器300中獲得，且外圍圖像從圖3A所說明的配置中的第二反射器310中獲得。相反，中心圖像從圖3B所說明的配置中的第二反射器330中獲得，且外圍圖像從圖3B所說明的配置中的第一反射器320中獲得。同時，第一反射器320的孔直徑的定義是考慮到其曲面以獲得平衡的外圍圖像和中心圖像。
通過相機和反射鏡的所述配置(即，通過配置使兩個反射鏡分離)及所述反射鏡的形狀，可增加兩個有效視點F1與F2之間的距離。結果，還可增加深度解析度。
如果第一反射器300和320的每一者和第二反射器310和330的每一者為凹鏡或凸鏡且彼此同軸，那麼將令人滿意。另外，優選滿足單個視點條件以便於提取3D信息。換句話說，第一反射器和第二反射器可分別具有雙曲面或橢圓面，且具有有效視點F1和F2。另外，如圖3B所說明，第一反射器可具有孔。結果，存在滿足單個視點條件的8個類型的反射鏡的配置和形狀。
或者，在相同立體基線(兩個有效視點之間的距離)的條件下，可使用減少反射鏡與有效視點、之間的實際距離的摺疊型反射鏡。換句話說，當將反射鏡添加到圖3A和3B所說明的配置時，有效視點F2與有效針孔P之間的距離可減少到所述相同的有效視點距離(即，有效視點F1與F2之間的相同距離)以下。結果，可實現設備的緊密性。當使用額外反射鏡時，所述設備可通過將上部反射鏡摺疊到透鏡的高度附近而變得更小。
圖4A到4I為在滿足單個視點條件的摺疊全景單系統中的反射鏡的配置的概念圖。在圖中，PL、HYP、ELL和PAR分別表示平面反射鏡、雙曲面反射鏡、橢圓體反射鏡和拋物面反射鏡。3D空間中的物體圖像由第一反射鏡和第二反射鏡順序地反射，且接著投影於圖像平面上。換句話說，即使使用兩個反射鏡，兩個反射鏡中的一者僅反射從另一反射鏡所反射的圖像。結果，圖像傳感器220僅獲得一個圖像(從有效視點F1所觀察到的)。兩個反射鏡之間的關係稱作摺疊關係。具體來說，圖4A至4I說明兩個反射鏡呈滿足單個視點條件的摺疊關係的的形狀和配置。所述系統將摺疊反射鏡用作第二反射鏡，使得可減少有效針孔P與有效視點F1之間的距離。
圖5A到5D為根據本發明實施例的用單個相機提供全景立體圖像的摺疊型設備中的相機和反射鏡的配置的概念圖。圖5A到5D說明第二反射器505、525、545和565中的每一者與第三反射器510、530、550和570中的每一者之間的摺疊關係的拓撲。圖5A到5D所說明的拓撲共同使用圖4A所說明的拓撲，但雙曲面反射鏡用於圖5A和5C所說明的第一反射器500和540中的每一者，且橢圓反射鏡用於圖5B和5D所說明的第一反射器520和560中的每一者。此外，所述第一反射器500和520安置於圖5A和5B所說明的拓撲的中心位置處，而第一反射器540和560安置於圖5C和5D所說明的拓撲中的外部位置處。換句話說，第一反射器500、520、540和560中的每一者對應於圖2所說明的第一視圖提供器200，且第二反射器505、525、545和565中的每一者和第三反射器510、530、550和570中的每一者形成對應於圖2所說明的第二視圖提供器210的一集合。同時，反射器的孔直徑的定義是考慮到其曲面以獲得彼此平衡的外圍圖像和中心圖像。
關於圖4A到4I分別說明的九個拓撲中的每一者，可呈現圖5A到5D所說明的四個類型的拓撲。結果，在根據本發明的用單個相機提供全景立體圖像的摺疊型設備中存在36個類型的反射器的配置和形狀。
為了清晰描述起見，在圖5A到5D中，第一反射器500、520、540和560以分別與第三反射器510、530、550和570相同的高度放置，但本發明不受限於此。第一反射器500、520、540和560可分別放置於與第三反射器510、530、550和570不同的高度處。
圖6A和6B為在本發明實施例中所獲得的圖像的概念圖。具有單個相機和彼此同軸的至少一個反射器的任何全景立體系統經由中心區域和外圍區域接收立體圖像，如圖6A所說明。所述系統最有利，在於因為所有核線(epipolar line)僅以輻射形狀來放置，具有圖6A所說明的形式的圖像可易於轉換成具有平行核線的全景圖像。
參看圖6A，ri和ro對應於φ。當具有對應於作為原點(origin)的中心圖像的有效視點的環境以球形坐標(r，θ，φ)表示時，ri和φ具有由ri＝f(φ)定義的關係。同樣地，當具有對應於作為原點的外圍圖像的有效視點的環境以球形坐標(r，θ，φ)表示時，ro和φ具有由ro＝g(φ)定義的關係。函數f和g可從反射器(即，反射鏡)的形狀得到。
在所述立體系統中，分別在兩個有效視點處所獲得的兩個圖像具有不同的解析度。因此，當輸入到全景圖像轉換器230的圖像解析度不高時，可能會降低搜索兩個圖像中的對應點的3D信息提取器240的性能。例如，圓周方向上的解析度從圓的外部半逕往圓的中心線性降低。另外，徑向方向上的解析度還可能會根據反射鏡的橫截面的形狀不同而不同。
為了克服所述問題，全景圖像轉換器230可使用尺度-空間取樣策略(scale-space sampling strategy)補償解析度差異。當沿著繪示於正交坐標系統的圖像的x軸和y軸的高斯函數G(sσ)使用適當的尺度因子「s」來應用到原始圖像時，可完成解析度補償。此處，G表示高斯函數，且「σ」為高斯函數的參考標準偏差並設定為用於減少混疊和噪聲的最小值。當使用s＝2時所獲得的圖像具有當s＝4時所獲得的圖像的雙倍解析度。在使用所述原理的本發明的實施例中，適當的尺度因子應用到中心圖像和外圍圖像中的每一者中的每一位置(ri或ro，θ)，藉此完成解析度補償。
在本發明的實施例中，由圖像傳感器220以圓形提供的第一圖像和第二圖像中的每一者被識別為中心圖像或外圍圖像。接著，G(sirσ)和G(sicσ)分別在徑向方向和圓周方向上應用到中心圖像。另外，G(sorσ)和G(socσ)分別在徑向方向和圓周方向上應用到所述外圍圖像。此處，sir、sor、sic和soc分別定義為 1和 且「σ」設定為用於減少混疊和噪聲的最小值。換句話說，將應用到高斯函數的圖像以圓周方向(θ)和徑向方向(ri或ro)表示，且因此，當給定緯度φ時，尺度因子相對於變量ri、ro和θ來定義。在此處，下標「i」和「o」分別指示「內部」和「外部」部分，且上標「r」和「c」分別指示「徑向」和「圓周」方向。位置(ri或φ，θ)和(ro或φ，θ))中的每一者的高斯函數通過獲得sir、sor、和soc來獲得。
上述的解析度補償由全景圖像轉換器230執行。換句話說，全景圖像轉換器230基本上將圖6A聽說明的兩個圓形圖像轉換成圖6B所說明的兩個全景圖像，為了轉換可使用相對於對應的全景圖像中的每一位置在每一圓形圖像中取樣的方法。要使用上述解析度補償功能，可首先使用下列方案。兩個圓形圖像分別識別為中心圖像和外圍圖像。在徑向方向上具有標準偏差 且在圓周方向上具有標準偏差σ的高斯函數被應用到中心圖像中的一位置，此位置是對應於全景圖像中的一位置，且所述應用結果映射到所述全景圖像中的所述位置。同樣地，在徑向方向上具有標準偏差 且在圓周方向上具有標準偏差 的高斯函數應用到外圍圖像中的一位置，此位置是對應於另一全景圖像中的一位置，且所述應用結果映射到全景圖像中的所述位置。當上述操作在兩個全景圖像中的所有位置上被完全地執行時，全景圖像轉換結束。在此處，高斯函數如下應用。基於對應於全景圖像中的位置的圓形圖像中的位置(或像素)，中心像素和鄰近像素分別乘以對應於各自像素的高斯函數的權值，且對相乘的結果求和。所述求和的結果為關於全景圖像中的位置的強度(亮度)信息值。同時，從圓形圖像到全景圖像的坐標轉換在圓柱形坐標系統及球形坐標系統中是可能的。換句話說，除了在球形坐標系統中的φ改變為圓柱形坐標系統中的「z」，在球形坐標系統和圓柱形坐標系統中以相同的方式執行坐標轉換。
圖7為根據本發明的實施例來實施的用單個相機提供全景立體圖像的設備的照片。在此處，相機位於下部反射鏡的內部，其根據圖5C所說明的拓撲來實施。
圖8說明根據本發明實施例的所捕獲的環境的全方位立體圖像的實例，所述立體圖像從用單個相機提供全景立體圖像的設備中獲得。在設備附近的桌子和機械手與遠離設備的書桌和書架投影於中心部分和外圍部分上。參看圖8，在中心部分與外圍部分之間的每一對對應點存在於相同徑向線上，且因此其核線也存在於相同徑向線上。
圖9A到9C分別說明較高的視圖全景圖像、較低的視圖全景圖像和差異圖，其是從圖8所說明的全景立體圖像轉換成的。圖9C所說明的差異圖展示兩個全景圖像中對應點的位置之間的差異。在差異圖中，亮度值與每一差異的量值成比例給定。在設備附近的物體根據視點具有較大的位置差異且因此表示為明亮。遠離設備的物體具有較小的位置差異且因此表示為黑暗。3D信息可從差異圖中提取。
圖10A到10C說明包括三維信息的圖像，其從圖9A到9C所說明的圖像中恢復得到。圖10A所說明的圖像在高於圖10B所說明的圖像的視點16度的視點處獲得，且圖10C所說明的圖像在低於圖10B所說明的圖像的視點16度的視點處獲得。圖10A到10C所說明的所有三個圖像均可基於從圖9A和9B所說明的全景圖像中所提取的3D位置信息獲得。
根據本發明，因為使用單個相機，可減少由多個相機之間的物理特徵中的差異所導致的恢復誤差。另外，因為使用與相機同軸的多個反射鏡，所以兩個圖像之間的核線位於相同線上。結果，簡化在兩個圖像中搜索對應點的過程。此外，確定3D恢復的準確性的有效視點之間的距離可通過分離多個反射鏡來增加。本發明使用單個相機和摺疊型的系統，藉此實現緊密性。由於外圍圖像與中心圖像之間的解析度差異而引起的誤差可通過使用尺度-空間理論來補償。
儘管已參考本發明的示範性實施例特定展示和描述本發明，但是所屬領域的技術人員應了解在不偏離由所附權利要求書所限定的本發明的精神和範疇的情況下，可在形式和細節上做出各種改變。
權利要求
1.一種用單個相機提供全景立體圖像的設備，其特徵在於所述設備包括第一反射器，其反射從第一視點所觀察到的全景環境；第二反射器，其與所述第一反射器同軸安置且與所述第一反射器分離以反射從第二視點所觀察到的全景環境；和圖像傳感器，其與所述第一和第二反射器同軸安置以捕獲分別由所述第一和第二反射器所反射的圖像且輸出含有第一視圖和第二視圖的圖像。
2.根據權利要求1所述的用單個相機提供全景立體圖像的設備，其特徵在於其中所述第一反射器包括作為反射表面的雙曲面或橢圓面，且所述第二反射器包括作為反射表面的帶有具有預定直徑的孔的雙曲面或橢圓面，所述第二反射器與所述第一反射器同軸。
3.根據權利要求1所述的用單個相機提供全景立體圖像的設備，其特徵在於其中所述第二反射器包括作為反射表面的雙曲面或橢圓面，且所述第一反射器包括作為反射表面的小於所述第二反射器的所述反射表面的雙曲面或橢圓面。
4.根據權利要求1所述的用單個相機提供全景立體圖像的設備，其特徵在於其進一步包括全景圖像轉換器，其轉換由所述圖像傳感器提供的所述第一圖像和所述第二圖像以產生第一全景圖像和第二全景圖像；和三維位置信息提取器，其搜索所述第一和第二全景圖像中對應點，且從所述搜索到的對應點之間的位置差異中提取三維位置信息。
5.根據權利要求4所述的用單個相機提供全景立體圖像的設備，其特徵在於其中所述全景圖像轉換器將在徑向方向上具有標準偏差 且在圓周方向上具有標準偏差σ的高斯函數應用於中心圖像中的每一位置，且將所述應用結果映射到所述第一全景圖像中的位置，藉此產生所述第一全景圖像，且所述全景圖像轉換器將在徑向方向上具有標準偏差 且在圓周方向上具有標準偏差 的高斯函數應用於外圍圖像中的每一位置，且將所述應用結果映射到所述第二全景圖像中的對應位置，藉此產生所述第二全景圖像。
6.一種用單個相機提供全景立體圖像的設備，其特徵在於所述設備包括第一反射器，其反射從第一視點所觀察到的全景環境；第二反射器，其與所述第一反射器同軸安置且與所述第一反射器分離以反射從第二視點所觀察到的全景環境；第三反射器，其與所述第一和第二反射器同軸安置以反射由所述第二反射器所反射的圖像；和圖像傳感器，其與所述第一、第二和第三反射器同軸安置以捕獲分別由所述第一和第三反射器所反射的圖像且輸出含有第一視圖和第二視圖的圖像。
7.根據權利要求6所述的用單個相機提供全景立體圖像的設備，其特徵在於其中所述第一反射器包括作為反射表面的帶有在同軸線處具有預定直徑的孔的雙曲面或橢圓面，且所述第二反射器和所述第三反射器具有滿足單個視點的摺疊關係。
8.根據權利要求6所述的用單個相機提供全景立體圖像的設備，其特徵在於其中所述第一反射器包括作為反射表面的雙曲面或橢圓面，所述第二反射器和所述第三反射器具有滿足單個視點的摺疊關係，且所述第三反射器在所述同軸線處帶有具有預定直徑的孔。
9.根據權利要求6所述的用單個相機提供全景立體圖像的設備，其特徵在於其進一步包括全景圖像轉換器，其轉換由所述圖像傳感器提供的所述第一圖像和所述第二圖像以產生第一全景圖像和第二全景圖像；和三維位置信息提取器，其搜索所述第一和第二全景圖像中的對應點，且從所述搜索到的對應點之間的位置差異中提取三維位置信息。
10.根據權利要求9所述的用單個相機提供全景立體圖像的設備，其特徵在於其中所述全景圖像轉換器將在徑向方向上具有標準偏差 且在圓周方向上具有標準偏差σ的高斯函數應用於中心圖像中的每一位置，且將所述應用結果映射到所述第一全景圖像中的位置，藉此產生所述第一全景圖像，且所述全景圖像轉換器將在徑向方向上具有標準偏差 且在圓周方向上具有標準偏差 的高斯函數應用於外圍圖像中的每一位置，且將所述應用結果映射到所述第二全景圖像中的位置，藉此產生所述第二全景圖像。
全文摘要
本發明提供一種用單個相機提供全景立體圖像的設備。所述設備包括第一反射器，其反射從第一視點所觀察到的全景環境；第二反射器，其與所述第一反射器同軸安置且與所述第一反射器分離以反射從第二視點所觀察到的全景環境；和圖像傳感器，其與所述第一和第二反射器同軸安置以捕獲分別由所述第一和第二反射器所反射的圖像且輸出含有第一視圖和第二視圖的圖像。所述設備提供較高的三維恢復解析度，實現緊密性，且便於搜索兩個圖像中的對應點。
文檔編號H04N15/00GK1870759SQ20061007845
公開日2006年11月29日 申請日期2006年5月26日 優先權日2005年5月26日
發明者權仁昭, 張錤正 申請人:韓國科學技術院