一種基於兩張魚眼圖像的智能型全景生成方法

2023-11-09 10:12:02 1

專利名稱：一種基於兩張魚眼圖像的智能型全景生成方法
技術領域：
本發明涉及一種基於兩張魚眼圖像的全景生成方法。通過本方法，用戶只需使用帶魚眼鏡頭的數位相機拍攝兩張魚眼圖片作為原始素材，即可以快速生成整球形全景圖像。
根據全景圖像數據映射的空間模型不同，可以把全景分為柱模型全景、球模型全景、立方體模型全景。顧名思義，柱模型全景是指在播放時把圖像數據映射在以視點位置為中心的柱面上的全景，球模型全景是指在播放時把圖像數據映射在以視點為中心的球面上的全景，立方體全景則是在播放時把圖像數據映射在以視點為中心的立方體面上的全景。整球形全景是指視角範圍達到水平方向360度，豎直方向180度無觀察死角的全景圖像。可以知道，只有球模型全景和立方體模型全景可以製作整球形全景。通常把柱模型全景稱為柱形全景，而把球模型全景和立方體模型全景統稱為球形全景。
目前全景圖像的製作方法較多，比如柱形全景的製作，用戶在同一位置不同角度拍攝多張水平方向有大量重疊的圖像，通過拼合軟體合成全景圖像，其拍攝過程複雜，拼合難度高，效果差。也有的全景圖像製作是基於兩張可視範圍為183度的魚眼圖像的，拼合時通過人為的反覆設定拼合界線和各種拼合參數，其自動化程度不高，拼合效率低下，且由於人為因素的過多參與，生成全景圖像質量沒有保證。還有的拼合工具通過在不同的圖像上景物重疊部分選取控制點，但一般都極難使用。
關於兩魚眼圖像拼合現有的專利內容可參見美國專利U.S.Patent June 26，2001 6252603和December 25，2001 6333826。
整體來說，目前的全景圖像生成方法存在著原始圖像拍攝複雜、拼合過程自動化程度低、耗時長等缺點。
為達到上述目的，本發明所述的一種基於兩張魚眼圖像的智能型全景生成方法，包括下述幾個步驟a.進行魚眼圖像預處理、b.建立空間模型、c.拼合參數尋優、d.生成全景圖像；其中圖像預處理是根據魚眼圖像在邊界圓處亮度變化計算魚眼圖像有效圓區域，建立空間模型是根據有效圓區域與實際場景之間的映射關係建立兩個魚眼圖像拼合的空間模型，包括魚眼鏡頭的有效視角、旋轉、搖擺、俯仰四個自由度，是一個理論上完備的模型，拼合參數尋優採用窮舉方法對兩個大球缺模型中地景物重疊部分進行匹配搜索，得到兩個魚眼圖像之間的最佳拼合參數，分別針對模型的四個自由度進行窮舉式優化探測，理論上能夠搜索到最優的拼合參數，生成全景圖像是根據兩個魚眼圖像之間的最佳拼合參數，拼合生成全景圖像，它採用了拼縫處圖像平滑過渡技術，能夠輸出生成無縫的球模型、柱模型、立方體模型等多種全景圖像格式全景。
由於本發明採用了理論上完備的空間模型，在拼合參數尋優過程中把模型的自由度由8個降為4個，且使用了可以避免陷入局部極小值的窮舉搜索算法，因此它能夠快速找到模型的最佳拼合參數，具有拼合速度快、拼合精度高、圖像質量好的優點。再加上全自動的魚眼圖像預處理過程，整個拼合過程自動化程度非常高，且能用於大批量魚眼圖像的全自動拼合處理。除此之外，本發明還具有所需樣本圖像少，拍攝方便等特點。


圖1是魚眼圖像的拍攝示意圖；圖2是原始魚眼圖像示意圖；圖3是相機與大球缺模型的旋轉、搖擺、俯仰自由度示意圖；圖4是由圖2所示兩個魚眼圖像拼合所得的全景圖像。
圖5是本發明實施例中所述的拼合程序主界面；圖6是本發明全景圖像生成方法流程圖。
建立空間模型602有效圓區域與實際場景之間的映射關係是以該圓區域圓心為中心的徑向映射，它的通用表達式為r＝α*sin(βθ)其中r為感興趣點到魚眼有效圓202區域圓心的距離，θ為魚眼鏡頭中心軸和從魚眼鏡頭中心點到該感興趣點在實際景物中所對應點連線的夾角，α是一個縮放因子，從而實現實際場景與魚眼圖像平面上點的一一映射，β為徑向映射參數。(應該指出的是β對α的影響非常大。)當β＝0時，該公式即為理想的魚眼鏡頭映射公式r＝αθ。我們通過把有效圓202區域內的圖像數據向視點空間中的球面上映射，得到與原場景對應的兩個球缺空間模型。由魚眼鏡頭的有效視角大於180度及它們是在同一個視點位置拍攝可知兩個球缺所對應的景物將有部分重疊。考慮到相機架設位置固定的情況下，相機仍具有旋轉、搖擺、俯仰三個自由度，加上魚眼鏡頭的有效視角不可知，本發明建立的球缺模型具有效視角、旋轉、搖擺、俯仰四個自由度，兩個球缺模型所組成的系統共有八個自由度，參見圖3。其中301是大球缺模型的旋轉自由度方向，302是大球缺模型的俯仰自由度方向，303是大球缺模型的搖擺自由度方向。由於通常兩個魚眼圖像都是用同一個魚眼外接鏡頭拍攝的，因此它們的有效視角可以用同一個參數表示，考慮到兩個球缺模型之間的對稱關係，旋轉、搖擺、俯仰也可以分別只用一個參數表示。假設第一個大球缺的四個參數分別為fov1，roll1，pitch1，yaw1，第二個大球缺的四個參數分別為fov2，roll2，pitch2，yaw2，它們之間有如下對應關係fov1＝fov2，roll1＝roll2，pitch1＝pitch2，yaw1＝-yaw2。令fov＝fov1＝fov2，rol1＝roll1＝roll2，pitch＝pitch1＝pitch2，yaw＝yaw1＝-yaw2，則兩個球缺模型之間的相對位置可以用fov，roll，pitch，yaw四個參數表示，這樣兩個球缺模型所組成系統的自由度數由8個降為4個，從而大大降低了拼合參數優化時的運算量。
拼合參數尋優603通過對兩個球缺模型之間景物重疊部分進行匹配搜索，我們可以得到他們之間的最佳拼合參數。為了避免尋優時陷入局部極小值，我們使用窮舉搜索對拼合參數進行優化分別使這四個參數以固定的步長變化，計算兩球缺之間景物的匹配誤差，對各個不同參數位置時的匹配誤差進行組合式搜索，誤差值最小時的拼合參數作為最優拼合參數。在實際使用過程中我們還會設定每一個自由度的變化範圍，以減少搜索時的計算量。
生成全景圖像604經過四自由度的拼合參數尋優，我們得到兩個大球缺模型的最佳拼合參數，同時也把它們轉換到統一的坐標系中。我們把兩個大球缺模型求併集，從而得到包含整個場景圖像數據的整球模型。根據所需生成全景類型不同，我們可以分別得到柱模型全景、球模型全景、立方體全景等多種格式的全景圖像。考慮到拼縫位置景物的平滑過渡，我們對拼縫位置的圖像生成採用漸變策略，即在拼縫位置由前一幅圖像慢慢過渡到第二幅圖像。設漸變因子為d(0＜d＜1)，對應的前後兩幅圖像重疊部分像素值分別為color1，color2，結果為color，則color＝d*color1+(1-d)*color2；其中d由1慢慢變化到0，它與圖像之間水平方向重疊距離相關。
圖4為拼合生成的全景圖像，圖像尺寸為1400*700。整個拼合過程除原始圖像需要手工指定外其他部分均自動完成，在PIII800MHZ機器上耗時少於一分鐘，生成全景質量高，拼合位置準確，縫線區域圖像過渡自然。圖5是根據本發明所述的方法實現了一個圖形化的拼合軟體的拼合界面。和其它全景圖像生成方法相比，本發明具有所需圖像樣本少、拼合時智能化程度高、拼合速度快、拼合位置準確、生成全景圖像質量高等一系列優點。
權利要求
1.一種基於兩張魚眼圖像的智能型全景生成方法，其特徵在於包括以下四個步驟1)進行魚眼圖像預處理，根據魚眼圖像在邊界圓處亮度發生變化計算魚眼圖像有效圓區域；2)建立空間模型，根據有效圓區域與實際場景之間的映射關係建立兩個魚眼圖像拼合的空間模型；3)拼合參數優化，採用窮舉方法對兩個大球缺模型中地景物重疊部分進行匹配搜索，得到兩個魚眼圖像之間的最佳拼合參數；4)生成全景圖像，根據兩個魚眼圖像之間的最佳拼合參數，拼合生成全景圖像。
2.如權利要求1中所述的一種基於兩張魚眼圖像的智能型全景生成方法，其特徵在於所述的進行魚眼圖像預處理，計算魚眼圖像邊界圓的步驟是1)通過檢測魚眼圖像中亮度變化劇烈的點構造一個可能的魚眼圖像邊界圓上的點的集合；2)通過最小二乘原理對該集合內的點作圓曲線擬合；3)如果該圓曲線誤差較大則刪除點集合中誤差最大的部分點轉ii繼續執行；4)擬合出來的圓的圓心和半徑即為該魚眼圖像邊界圓的圓心和半徑；同時也為有效圓區域的圓心和半徑。
3.如權利要求1中所述的一種基於兩張魚眼圖像的智能型全景生成方法，其特徵在於所述有效圓區域與實際場景之間的映射關係表達式為r＝α*sin(βθ)，其中r為感興趣點到魚眼有效圓區域圓心的距離，θ為魚眼鏡頭中心軸和從魚眼鏡頭中心點到該感興趣點在實際景物中所對應點連線的夾角，α是一個縮放因子，從而實現實際場景與魚眼圖像平面上點的一一映射，β為徑向映射參數；當β＝0時，該公式即為理想的魚眼鏡頭映射公式r＝αθ。
4.如權利要求1所述的一種基於兩張魚眼圖像的智能型全景生成方法，其特徵在於所述空間模型是指由兩個空間大球缺模型組成的系統，具有視角、旋轉、搖擺、俯仰四個參數。
全文摘要
本發明涉及一種基於兩張魚眼圖像的智能型全景生成方法。該方法包括魚眼圖像預處理、建立空間模型、拼合參數尋優、生成全景圖像四個部分。由於本發明採用了理論上完備的空間模型，在拼合參數尋優過程中把模型的自由度由8個降為4個，且使用了可以避免陷入局部極小值的窮舉搜索算法，因此它能夠快速找到模型的最佳拼合參數，具有拼合速度快、拼合精度高、圖像質量好的優點。再加上全自動的魚眼圖像預處理過程，整個拼合過程自動化程度非常高，且能用於大批量魚眼圖像的全自動拼合處理。除此之外，本發明還具有所需樣本圖像少，拍攝方便等特點。
文檔編號G06T17/05GK1437165SQ03115149
公開日2003年8月20日 申請日期2003年1月24日 優先權日2003年1月24日
發明者肖騰飛 申請人:上海傑圖軟體技術有限公司