一種高清多相機全景立體成像系統的製作方法

2023-04-26 19:05:31 3

本實用新型涉及圖像通信技術領域，具體是一種高清多相機全景立體成像系統及方法。

背景技術：

隨著相機技術的不斷發展，傳統的視頻監控只能採用單相機對特定的方向進行監視，這樣很容易存在監控死角，帶來較大的安全隱患。採用全景相機，對周圍環境進行全向無死角監視，大大的提高了監控範圍，減小安全隱患，是下一代安防監控的趨勢。

現有的全向視覺產品主要包括以下幾類：魚眼式、折反式、旋轉拼接式和多相機拼接式。其中，魚眼式和折反式全向視覺系統拍攝的圖像存在極大的幾何畸變，一方面導致圖像理解困難，另一方面導致圖像解析度不一致，中間解析度高、邊緣處解析度大幅降低；旋轉拼接式拍攝的全向圖像質量最高，但是由於其機械結構複雜，獲取一景圖像所需拍攝和幾何校正時間較長，難以適應移動機器人實時的要求。多相機拼接方式獲取全景圖像，雖然能避免畸變，大大提高全景圖像解析度，但會存在多幅圖像拼縫問題，並且由於多相機拍攝圖像帶來的數據量大，給視頻的壓縮和傳輸帶來巨大負擔，並且相機成本較高。

現有的全景相機基本上都只是獲取圖像，進行簡單視頻監控，不能對周圍環境進行三維建模及三維量測，對環境建圖，實現對機器人的定位與導航。

技術實現要素：

本實用新型為了克服現有技術中存在的上述缺陷，提供了一種高清多相機全景立體成像系統及方法，採用6相機環形排列構架，採用高清模擬相機，配備6路圖像採集卡，採集以環形框架為中心的360°環境圖像，並對圖像進行壓縮傳輸，實現遠端實時對周圍環境無死角監控。另一方面主要是利用相機之間拍攝圖像的重疊區域以及聯合每兩幀圖像之間的重疊區域基於SFM的三維重建，以實現全景相機的周圍環境的三維重建功能。

為解決上述問題，本實用新型提出的高清多相機全景立體成像系統，包括：六個模擬相機模組、相機固定架、六路圖像採集卡、六個鏡頭、電源、主機、伺服器、客戶端，所述模擬相機模組呈環形排列構架在所述相機固定架上，所述圖像採集卡分別與所述模擬相機模組電性相連，所述鏡頭分別固定在所述模擬相機模組上，所述電源與模擬相機模組均電性相連，所述主機上安裝有圖像採集卡驅動，採用圖像採集卡配套的SDK開發接口，編程同步獲取六個模擬相機模組的採集圖像，所述主機與伺服器相連，所述伺服器與客戶端相連。

上述技術方案中，所述模擬相機模組採用索尼super hard 1/3英寸CCD，額定電壓為12V，額定電流為50mA，有效像素為720(H)*576(V)。

上述技術方案中，所述電源的輸出電壓為12V，輸出電流為1A。

上述技術方案中，所述主機的CPU為酷睿雙核或以上，內存等於或大於2G，硬碟等於或大於256G，主機的系統為Windows 10、windows7以及windows xp中的任意一種。

上述技術方案中，所述相機固定架包括六個環形分布的固定板，相鄰固定板之間呈120°固定相連，所述固定板的中心均設置有一相機安裝孔。

上述技術方案中，所述相機固定架採用3D印表機列印。

上述技術方案中，所述主機採用快速的jpeg壓縮編碼庫JPEG-turbo編碼，對獲取的圖像幀進行壓縮編碼，所述伺服器採用boost asio TCP進行圖像傳輸，將壓縮後的圖像傳輸到客戶端，所述客戶端採用對應的boost asio TCP接收壓縮圖像，並採用JPEG-turbo解碼顯示，boost asio TC是指boost庫中的TCP網絡通信接口。

本實用新型提出的基於高清多相機全景立體成像系統的高清多相機全景立體成像方法，包括以下步驟：

步驟一、通過全景相機獲取以環形框架為中心的360°環境圖像，並對圖像進行壓縮傳輸；

步驟二、採用SFM算法對多相機從不同角度拍攝的圖像重疊區域進行單幀全景圖像三維重建；

步驟三、對相鄰兩幀全景圖像進行特徵點匹配，獲得同名點，採用SFM算法進行多幀全景圖像的三維重建，獲得多幀全景圖像的三維點雲；

步驟四、根據單幀全景圖像中各個相機匹配獲得的同名點與多幀全景圖像匹配獲得的同名點進行比較，進而獲得單幀全景圖像的同名點對應的到多幀全景圖像的同名點，找出同名點對應的三維坐標，解出單幀三維點雲與多幀三維點雲坐標系之間的轉換關係，實現單幀三維點雲與多幀三維點雲的點雲融合；

步驟五、將全局的表面二維圖像分割成一個個較小的連續而不重疊的三角片面，貼到三維模型表面，實現全景圖像的三維模型表面渲染。

所述步驟二具體包括以下子步驟：

子步驟S21、首先採用SIFT算法對六個相機拍攝的六幅圖像提取出SIFT特徵點，並對SIFT特徵點採用SIFT特徵描述，用於下一步的特徵匹配；

子步驟S22、找出第一幅圖像中的特徵點與第二幅圖像中對應特徵向量歐式距離最近的兩個特徵點，計算最近距離與次近距離的比值，將所述比值與設定的比例閾值進行對比，如果這個比值小於比例閾值，則這一對點為一對匹配點，否則不視為匹配點；

子步驟S23、利用同名像對的像素坐標，根據公式x'T Fx＝0求解出基礎矩陣F，再根據正規化係數矩陣還原基礎矩陣F；

子步驟S24、根據公式E＝K'T FK以及事先標定出的相機的內部參數矩陣K和K』計算出本質矩陣E；

子步驟S25、根據公式E＝T×R，利用本質矩陣分解得到旋轉參數R和平移參數T，根據P＝K[I|0]，P'＝K[R|T]得到相機的投影矩陣；

子步驟S26、獲得準確的投影矩陣後，聯立方程x＝PX和x'＝P'X求解出X；其中x＝λ[ui,vi,1]T，x'＝λ[ui',vi',1]T，λ為比例係數。

所述子步驟S22中SIFT算法特徵點匹配時使用KD樹加快匹配計算速度，並且採用RANSAC算法進行優化，去除粗匹配，精確匹配結果。

本實用新型與現有技術方案相比具有以下有益效果和優點：

本實用新型不僅能夠獲取實時的高清全景圖像，實現基本的全景監控功能，並且利用對相機之間的重疊區域進行基於單幀全景圖像基於SFM算法的三維重建，進而聯合相鄰兩幀或多幀圖像的重疊區域基於SFM算法的三維重建，實現對周圍環境全景立體感知，全景相機拍攝的圖像具有更高的解析度，多幀之間重疊度極高，能獲取稠密點雲，表面紋理渲染效果更加精細。

附圖說明

圖1是本實用新型中相機固定架的結構示意圖。

圖2是本實用新型中由本質矩陣分解得到的四種可能相機投影位姿示意圖。

圖中編號說明：1、固定板；2、安裝孔。

具體實施方式

以下結合附圖和具體實施例對本實用新型作進一步的詳細描述：

本實施例中，本實用新型提出的高清多相機全景立體成像系統，包括：六個模擬相機模組、相機固定架、六路圖像採集卡、六個鏡頭、電源、主機、伺服器、客戶端，模擬相機模組呈環形排列構架在相機固定架上，圖像採集卡分別與模擬相機模組電性相連，鏡頭分別固定在模擬相機模組上，電源與模擬相機模組均電性相連，主機上安裝有圖像採集卡驅動，採用圖像採集卡配套的SDK開發接口，編程同步獲取六個模擬相機模組的採集圖像，主機與伺服器相連，伺服器與客戶端相連。

模擬相機模組採用索尼super hard 1/3英寸CCD，額定電壓為12V，額定電流為50mA，有效像素為720(H)*576(V)。

電源的輸出電壓為12V，輸出電流為1A。

主機的CPU為酷睿雙核或以上，內存等於或大於2G，硬碟等於或大於256G，主機的系統為Windows 10、windows7以及windows xp中的任意一種。

相機固定架包括六個環形分布的固定板1，相鄰固定板1之間呈120°固定相連，固定板1的中心均設置有一相機安裝孔2。

相機固定架採用3D印表機列印。

主機採用快速的jpeg壓縮編碼庫JPEG-turbo編碼，對獲取的圖像幀進行壓縮編碼，伺服器採用boost asio TCP進行圖像傳輸，將壓縮後的圖像傳輸到客戶端，客戶端採用對應的boost asio TCP接收壓縮圖像，並採用JPEG-turbo解碼顯示。

本實用新型提出的基於高清多相機全景立體成像系統的高清多相機全景立體成像方法，包括以下步驟：

步驟一、通過全景相機獲取以環形框架為中心的360°環境圖像，並對圖像進行壓縮傳輸；

步驟二、採用SFM算法對多相機從不同角度拍攝的圖像重疊區域進行單幀全景圖像三維重建；

步驟三、對相鄰兩幀全景圖像進行特徵點匹配，獲得同名點，採用SFM算法進行多幀全景圖像的三維重建，獲得多幀全景圖像的三維點雲；

步驟四、根據單幀全景圖像中各個相機匹配獲得的同名點與多幀全景圖像匹配獲得的同名點進行比較，進而獲得單幀全景圖像的同名點對應的到多幀全景圖像的同名點，找出同名點對應的三維坐標，解出單幀三維點雲與多幀三維點雲坐標系之間的轉換關係，實現單幀三維點雲與多幀三維點雲的點雲融合；

步驟五、將全局的表面二維圖像分割成一個個較小的連續而不重疊的三角片面，貼到三維模型表面，實現全景圖像的三維模型表面渲染。

步驟二具體包括以下子步驟：

子步驟S21、因六個相機拍攝的圖像之間具有較明顯的角度變化，需要採用具有旋轉不變形的特徵，所以本實用新型採用的圖像特徵提取方法是SIFT算法，首先採用SIFT算法對六個相機拍攝的六幅圖像提取出SIFT特徵點，並對SIFT特徵點採用SIFT特徵描述，用於下一步的特徵匹配；

子步驟S22、找出第一幅圖像中的特徵點與第二幅圖像中對應特徵向量歐式距離最近的兩個特徵點，計算最近距離與次近距離的比值，將所述比值與設定的比例閾值進行對比，如果這個比值小於比例閾值，則這一對點為一對匹配點，否則不視為匹配點，降低這個閾值，SIFT算法提取出的匹配點會越來越少，但匹配點會更加穩定。另外SIFT算法特徵點匹配時使用KD樹加快匹配計算速度，並且採用RANSAC算法進行優化，去除粗匹配，精確匹配結果；

子步驟S23、利用同名像對的像素坐標，根據公式x'T Fx＝0求解出基礎矩陣F，再根據正規化係數矩陣還原基礎矩陣F，八點法計算基礎矩陣具體描述如下：

給定匹配點x(u,v,1)和x'(u',v',1)，均已轉換為其次坐標。令則依據公式x'T Fx＝0，可得：u'uf1+u'vf2+u'f3+v'uf4+v'vf5+v'f6+uf7+vf8+f9＝0，其中f1、f2、f3、f4、f5、f6、f7、f8、f9均為未知數，令fx＝[f1,f2,f3,f4,f5,f6,f7,f8,f9]T為未知數矩陣，令A＝[u'u,u'v,u',v'u,v'v,v',u,v,1]為係數矩陣，即是解方程A*fx＝0。當匹配點數目大於或等於8時，即對係數矩陣A進行奇異值分解A＝USVT，取出V矩陣的最後一列，即令fv＝V(:,9)，利用列向量fv中的九個元素構造一個3*3矩陣，令對矩陣Fv進行奇異值分解，即Fv＝UvSvVvT，令列正交矩陣Sv的最後一個元素為零，以保證計算出的基礎矩陣行列式的值為零，即Sv(3,3)＝0。則可由獲得的Uv、Sv、Vv計算出基礎矩陣F，F＝UvSvVvT。

通常首先需對匹配點x和x』(至少包含8對匹配點)進行歸一化處理：首先對點集去中心化，將點集中心平移至原點；對點集進行縮放處理，使其到遠點的平均距離為分別對x和x』進行歸一化處理，由此歸一化得到的歸一化矩陣TD和TD'，如公式

和

根據歸一化後的x和x』計算基礎矩陣F，最終需要將F去歸一化得到最終的基礎矩陣FT＝TD'*F*TD。

通過歸一化八點法計算基礎矩陣通常會引入RANSAC算法來求得較準確地基礎矩陣。

子步驟S24、根據公式E＝K'T FK以及事先標定出的相機的內部參數矩陣K和K』計算出本質矩陣E；

子步驟S25、根據公式E＝T×R，利用本質矩陣分解得到旋轉參數R和平移參數T，根據P＝K[I|0]，P'＝K[R|T]得到相機的投影矩陣，在採用E進行奇異值分解求解旋轉和平移參數時，採用的是SVD分解,分解公式為E＝T×R和E＝USVT，其中

由於是進行的SVD分解所以無法判斷平移矩陣的正負，並且旋轉矩陣只是獲得的一種相對的旋轉量，旋轉方向亦無法確定，所以旋轉矩陣和平移矩陣均會產生兩種不同的分解結果：T＝U(:,3)或T＝-U(:,3)，R＝UWVT或R＝UWTVT，其中

在獲得旋轉和平移參數後，通常是以其中最開始拍攝時相機的像空間輔助坐標係為全局的世界坐標系，將後來拍攝時相機的像空間輔助坐標系轉換到最先拍攝時的像空間輔助坐標系，其旋轉和平移量即為估計出的相對於最先拍攝時相機的旋轉和平移位姿變化參數。所以在獲得位姿參數後，令P＝K[I|0]，P'＝K[R|T]，而有E分解得到的旋轉和平移矩陣分別有兩種可能取值，所以構造的投影矩陣就有四種可能，如圖2所示，其中只有(a)中的結果才能保證計算出來的三維點在相機C和C』的前方，才是正確的結果，所以通常依此來判斷計算出來的四種結果中那種結果是正確的。判斷方法通常是將同名點代入依次計算四種結果對應的三維坐標的Z值(深度值)，然後判斷在兩次拍攝中是否均大於0；

子步驟S26、獲得準確的投影矩陣後，聯立方程x＝PX和x'＝P'X求解出X；其中x＝λ[ui,vi,1]T，x'＝λ[ui',vi',1]T，λ為比例係數，令P＝[p1,p2,p3]T，P'＝[p1',p2',p3']T，則有：和經化簡可得：次方程中只有三個未知數，但有四個方程，即可用最小二乘法來求解X。令A為係數矩陣，即對A進行歸一化處理，即利用每行除以該行的模，得到Anorm，將公式的求解問題轉化為求解歸一化係數矩陣AnormTAnorm的最小特徵值和特徵向量，對Anorm進行奇異值分解，Anorm＝USVT，則：X＝V(:,4)，至此我們已經可以實現利用兩個不同視角拍攝圖像計算同名點的三維坐標，三維坐標是以第一次拍攝時相機的像空間輔助坐標係為基準的，要實現多幅序列圖的三維重建，即SFM算法，需要經過迭代過程，迭代過程中不斷引入新的圖像，並且可引入RANSAC和相應的優化函數，排除錯誤匹配點，求得更精確的三維模型。其具體算法如下：計算第一幅圖像與第二幅圖像的同名點M1,2，第二幅圖像的投影矩陣P2，同名點M1,2對應的的三維坐標X1,2；當i大於等於3時，計算第i幅圖像與第i+1幅圖像的同名點Mi,i+1，找出Mi-1,i與Mi,i+1中圖像i共同的特徵點Si及Si在Xi-1,i中對應的三維坐標XSi，找出Mi,i+1中與Si對應的第i+1幅圖像的特徵點MSi+1，採用RANSAC計算XSi投影成MSi+1的投影矩陣Pi+1，即為第i+1幅圖像的投影矩陣，由第i幅圖像的投影矩陣Pi，即可計算出Mi,i+1中剩餘的匹配點的三維坐標Xi,i+1，更新三維點雲，以此循環，直至所有圖像均已處理完畢。

由以上SFM算法可以由不同視角拍攝的圖像序列，得到重疊區域匹配點的三維點雲，迭代過程中加入RANSAC可有效剔除誤匹配點的幹擾，提高三維重建精度。

最後說明的是，以上實施例僅用以說明本實用新型的技術方案而非限制，儘管參照較佳實施例對本實用新型進行了詳細說明，本領域的普通技術人員應當理解，可以對本實用新型的技術方案進行修改或者等同替換，而不脫離本實用新型技術方案的宗旨和範圍，其均應涵蓋在本實用新型的權利要求範圍中。