一種基於圖像及立體視覺的閃電三維圖像重建方法

2023-05-31 03:25:26 1

專利名稱：一種基於圖像及立體視覺的閃電三維圖像重建方法
技術領域：
本發明涉及一種基於圖像及立體視覺的閃電三維圖像重建方法，適用於對空間中的自由曲線狀物體進行空間定位並進行三維重建。
背景技術：
雷電產生巨大的破壞作用，而且目前人類還無法控制和阻止它的產生。雷電災害被聯合國有關部門列為「最嚴重的十種自然災害之一」。雷電探測設備主要是利用閃電回擊輻射的聲、光、電磁場特性來遙測閃電回擊放電參數，因此在探測技術上，雷電監測定位方法可分為聲學法、光學法和電磁場法。地基和空基雷電探測的目的是確定雷電的空間發生位置及主要特徵參數，為雷電定位和預測提供數據，並不能提供雷電物理基礎研究所需要的雷電產生、發展過程信息。自然雷電的發生具有很大的隨機性和瞬時性，只有通過加深對雷電放電時空演變特徵、複雜形態的認識，才能揭示閃電放電的發生發展過程。目前雷電定位主要採用VLF和LF進行雲閃及地閃的定位，用於監測閃電發生的區域，難以獲得閃電的發生、發展過程。

發明內容
本發明要解決的是提供一種一整套的基於圖像及立體視覺的閃電三維圖像重建方法，可通過同一時刻不同地點獲得的多幅閃電圖像獲取閃電的三維空間信息，為研究閃電的產生、發展過程提供信息。本發明的技術構思在於如何實現相距較遠的兩臺或多臺攝像機的完整標定方法， 從背景複雜的圖像中分割出閃電部分，和如何實現對這些攝像機拍攝的閃電圖片的匹配， 並且利用立體視覺系統計算出空間點的坐標，以實現三維立體定位。為了達到上述發明目的，本發明提供了完整的解決方案，包括以下步驟SI :對兩臺或多臺相機進行遠距離的統一世界坐標系的標定，求出每臺相機的內參數矩陣和每臺相機相對於世界坐標系的旋轉矩陣和平移矩陣；S2 :用兩臺或多臺相機同時拍下天空中閃電的圖像；S3:去除圖像中背景信息，得到閃電部分，對閃電部分的雙輪廓抽取出只包含一個像素的中心曲線，作為最終的輪廓曲線；S4 :對閃電輪廓利用極線約束和斜率互相關進行圖像匹配；S5 :利用雙目立體視覺測量數學模型求出空間三維點的坐標。所述相機標定包括，將靶標鉛直放置於相機前方，以其中一臺相機所在地建立世界坐標系，其它相機所在地放置靶標的位置建立相應的偽世界坐標系；世界坐標系和偽世界坐標系均以水平面為基準，且其X軸、Y軸、Z軸的朝向完全相同。所述閃電輪廓抽取包括，對圖像灰度用K均值聚類法將圖像分割成1，2，. .，η層圖像，第η層為閃電的部分；同時對傳統的K均值聚類法進行改進考慮第η-I層中每個點對聚類貢獻的權重，設定權重閾值，取出權重大於閾值的點；第11-1層圖像中，圖像矩陣(i，j) 處的點的權重d(i，j)的定義如下d(i,j)= 1 ~
I(IJ)-Cn-I其中，Clri為第η-i層聚類中心的灰度值，I (i，j)為圖像矩陣(i，j)處的灰度值。所述閃電輪廓抽取還包括利用差分算子計算圖像的橫向梯fji，j)和縱向梯度f2(i，j);在每一行中，對單獨這一行的所有的像素的梯度值構成的離散序列求出其中梯度為極值的像素；若這一行中兩個極值像素點滿足下列條件列號小的像素是極大值，列號大的像素是極小值，並且兩個像素之間沒有其他極值點；則這兩個極值像素點之間的所有像素均為閃電點；在每一列中，對單獨這一列的所有的像素的梯度構成的離散序列求出其中梯度為極值的像素；若這一列中兩個極值像素點滿足下列條件行號小的像素是極大值，行號大的像素是極小值，並且兩個像素之間沒有其他極值點；則這兩個極值像素點之間的所有像素均為閃電點；對得到的閃電部分，抽取出閃電部分的雙輪廓中心曲線，得到每幅圖像中用輪廓曲線序列點E(m, k)表示的點；E(m, k)表示圖像中第m條閃電分支輪廓曲線上的第k個順序點，E1 (m, k) > Er (m, k)分別表示左、右圖像上的點；用XE(m，k)表示這個點在像素坐標系下的橫坐標，用YE(m， k)表示這個點在像素坐標系下的縱坐標，BE(m, k)表示這個點的灰度；橫向梯fji, j)和縱向梯f2(i，j)的計算公式如下fi(i, j) = I (i，j)_I (i，j_l)f2(i, j) = I (i，j)_I (i_l，j)其中I(i，j)為圖像矩陣(i，j)位置處的像素灰度值。所述的步驟S4還包括S4-1 :獲取極線約束方程多臺攝像機是兩兩分為一組，每一組中的相機分別稱作左相機和右相機，左相機拍攝的圖像稱為左圖像，右相機拍攝到的圖像稱為右圖像；對左圖像中得到的閃電的邊緣曲線上的每一點利用基本矩陣F求出其在右圖像上的極線方程；記待匹配象素點Cl1為左圖像矩陣(i，j)位置處的點在像素坐標系下的齊次坐標， dl = [j，i，I] 』，記Q為這個點在右圖像上對應的極線方程，則Q的表達式如下Q = F · (I1得到的Q是一個包含三個元素的列向量；圖像像素坐標系下，Q可表示y = ax+b的形式，記Q(i) (i = 1,2,3)代表Q的第i 個元素，則a = -Q (I)/Q (2)b = -Q ⑶ /Q (2)若極線垂直於X軸，則應把Q表示為X = c的形式C =-Q (3)/Q (I)S4-2 :對右圖像極線約束得到候選匹配點；將左圖像中待匹配閃電點Pltl表示成如權利4所描述的輪廓曲線序列點的形式，P10 = El(m, k);在右圖像中極線與閃電輪廓曲線相交得到至少一個交點，與右圖像第η條閃電分支相交於點Pm，將交點表示成輪廓曲線序列點的形式Pm = E>，g);經過極線約束後，候選匹配點SPm所在的曲線上WPm為中心
5的總數目為 h 的點序列 Er(n, g+i) (-(h-l)/2 < i < (h_l)/2)；S4-3 :獲得最終匹配點為了建立Pltl和如S4-2中所述的候選匹配點的匹配關係， 將以Pltl為中心的的鄰域曲線與以候選匹配點為中心的領域曲線進行相似度比較，相似度是根據斜率互相關方式計算，所有候選匹配點中鄰域曲線與Pltl的鄰域曲線相似度最大的點Prmax，且相似度滿足閾值要求的點就是最終匹配點；左圖像上的點E1 (P，a)的領域曲線和和右圖像上的點Ejq，b)的領域曲線相似度的計算公式如下
CC= ( )2 [IQXEAp,a+i)JElQp,a+i))_T(XEr(q,b+i),YEr(q,b+i))]2
/=-(w-l)/2其中I(x，y)為左圖像在像素坐標系下坐標為(X，y)的點與曲線上的前一像素點相連得到的直線在像素坐標系中的斜率，I (XE1 (p，a+i)，YE1 (p，a+i))的計算公式如下I (XE1 (p, a+i), YE1 (p, a+i)) = (YE1 (p, a+i)-YE1 (p, a+i I))/ (XE1 (p, a+i)-XE1 (p, a+i-1))T(x, y)為右圖像在像素坐標系下坐標為(X，y)的點與曲線上的前一像素點相連得到的直線在像素坐標系中的斜率。本發明通過同一時刻不同地點獲得的多幅閃電圖像獲取閃電的三維空間信息，重構閃電的三維圖像，為研究閃電的產生、發展過程提供支持。


下面結合附圖和具體實施方式
對本發明的技術方案作進一步具體說明。圖I是基於立體視覺的閃電三維信息採樣示意圖。圖2為像素坐標系和圖像坐標系的說明圖。圖3為閃電輪廓曲線抽取流程圖。圖4為閃電點匹配示意圖。圖5為閃電點匹配流程圖。
具體實施例方式本發明具體實時方式包括以下步驟SI :對兩臺或多臺相機進行遠距離的統一世界坐標系的標定，求出每臺相機的內參數矩陣和每臺相機相對於世界坐標系的旋轉矩陣和平移矩陣；S2 :用兩臺或多臺相機同時拍下天空中閃電的圖像；S3:去除圖像中背景信息，得到閃電部分，對閃電部分的雙輪廓抽取出只包含一個像素的中心曲線，作為最終的輪廓曲線；S4 :對閃電輪廓利用極線約束和斜率互相關進行圖像匹配；S5 :利用雙目立體視覺測量數學模型求出空間三維點的坐標。其中所述步驟SI包括Sl-I :為了節約靶標的成本，在其中一臺相機所在地將黑白方格的靶標鉛直放置於相機前方，並且把在此靶標上建立一個三維坐標系，靶標平面的平面坐標系的兩個坐標軸作為三維坐標系其中兩個坐標軸，垂直於靶標平面的直線作為第三個坐標軸，然後把這個三維坐標系豎直平移到水平面上，作為公共的世界坐標系；在其他的相機所在地都建立一個偽世界坐標系，這些偽世界坐標系的位置就是稍後我們放置靶標的位置。世界坐標系和偽世界坐標系均以水平面為基準，且其X軸、Y軸、Z軸的朝向完全相同。S1-2 :測量出世界坐標系和偽世界坐標系的水平距離，測量出黑白靶標中心點在世界坐標系和各偽世界坐標系下的三維坐標。S1-3 :每一臺相機拍攝數量大於或等於3的靶標的照片，拍攝的時候靶標不動， 每拍一幅照片，相機移動一次，但是相機不能只作平移運動，而應該有遠近和拍攝角度的變化。S1-4 :對得到的η幅圖像求出其黑白相間的角點在各自圖像坐標系下的坐標。S1-5 :對每一臺相機而言，由S1-2中測得的靶標的黑白相間的角點的三維坐標和 S1-4中得到的η幅圖像中黑白相間的角點在各自圖像坐標系下的坐標求出內參數矩陣，並且求出每一次相機的位置相機坐標系相對於世界坐標系下的旋轉矩陣和平移矩陣，這裡我們取相機最後一次位置時的旋轉矩陣和平移矩陣，並且我們就此固定下相機的位置。其中所述步驟S3包括S3-1 :對圖像作灰度閾值預處理，灰度閾值結合分割閃電圖像的需要，設為120 ； 用K均值聚類法把預處理後的圖像分割成1，2，..，η層圖像，第η層為閃電的部分；同時對傳統的K均值聚類法進行改進考慮第η-I層中每個點對聚類的貢獻的權重，設定權重閾值，取出權重大於閾值的點。最後得到包含一部分無法去掉的背景和閃電部分的圖像。第 η-I層圖像中，圖像矩陣(i，j)處的點的權重d(i，j)的定義如下d(i,j)= I ~
I(IJ)-Cn-I其中，Clri為第n-l層聚類中心的灰度值，I (i，j)為圖像矩陣(i，j)處的灰度值。S3-2 :對S3-1中得到的圖像作如下處理對權利3中所述得到的圖像作如下處理利用差分算子計算圖像的橫向梯A(Ij)和縱向梯度f2(i，j)。在每一行中，單獨這一行的所有的像素的梯度值構成的離散序列求出其中梯度為極值的像素，若這一行中的兩個極值像素點滿足下列條件列號小的像素是極大值，列號大的像素是極小值，並且兩個像素之間沒有其他極值點。則這兩個極值像素點之間的所有像素均為閃電點。在每一列中，單獨這一列的所有的像素的梯度構成的離散序列求出其中梯度為極值的像素，若這一列中兩個極值像素點滿足下列條件行號小的像素是極大值，行號大的像素是極小值，並且兩個像素之間沒有其他極值點。則這兩個極值像素點之間的所有像素均為閃電點。記下所有滿足條件的極值像素點對的位置信息，用於提取閃電部分雙輪廓曲線的中心輪廓曲線。橫向梯f\(i，j)和縱向梯f2(i，j)的計算公式如下fi(i, j) = I (i，j)_I (i，j_l)f2(i, j) = I (i，j)_I (i_l，j)其中I(i，j)為圖像矩陣(i，j)位置處的像素灰度值。S3-3 :建立一個輪廓曲線圖像矩陣，矩陣初始時元素全為O。對S3-2中所描述的滿足條件的一對極值像素點若這對像素的行數相同，記這對像素的所在行數為i，這對像素所在的列數分別為lj，rj，則把輪廓曲線圖像(i，(lj+rj)/2)處的像素賦值為255 ;若這對像素的列數相同，記像素段的所在列數為j，這對像素所在行數分別為ui，di，則把輪廓曲線圖像矩陣中((ui+di)/2，j)處的像素賦值為255。最後，得到的輪廓曲線圖像矩陣中的元素值不為O的所有點構成的曲線就是閃電部分的雙輪廓曲線的中心曲線。S3-4 :將中心輪廓曲線上的點表示成輪廓曲線序列點的形式第m條閃電分支輪廓曲線上第k個順序點為E (m，k)。用XE(m，k)表示這個點在像素坐標系下的橫坐標，用 YE(m，k)表示這個點在像素坐標系下的縱坐標，像素坐標系的說明如圖2所示。E1Oiuk)表示左圖像上的點，Er(m, k)表示右圖像上的點。XE1 (m, k) > YE1 (m, k)分別為E1Oii, k)在像素坐標系下的橫坐標、縱坐標。XE,(m，k)、YE,(m，k)分別為E,(m，k)在像素坐標系下的橫坐標、縱坐標。其中所述步驟S4包括S4-1 :對左相機(多臺攝像機也是兩兩分為一組，每一組中的相機分別稱作左相機和右相機，以後不再贅述)拍攝的左圖像(與此相對右圖像就是右相機拍攝到的圖像) 中得到的閃電的邊緣曲線上的每一點利用基本矩陣F求出其在右圖像上的極線方程。記待匹配象素點Cl1為左圖像矩陣(i，j)位置處的點在像素坐標系下的齊次坐標， dl = [j，i，I] 』，記Q為這個點在右圖像上對應的極線方程，則Q的表達式如下Q = FXd1得到的Q是一個包含三個元素的列向量。圖像像素坐標系下，Q可表示y = ax+b的形式，記Q (i) (i = 1,2,3)代表Q的第i 個元素，則a = -Q (I)/Q (2)b = -Q (3)/Q (2)若極線垂直於X軸，則應把Q表示為X = c的形式C =-Q (3)/Q (I)S4-2 :對右圖像極線約束得到候選匹配點。將左圖像中待匹配閃電點PlO表示成如步驟S3-4所描述的輪廓曲線序列點的形式，PlO = E1 (m, k)。在右圖像中極線與閃電輪廓曲線相交得到至少一個交點，與右圖像第η條閃電分支相交於點Pm，將交點表示成輪廓曲線序列點的形式Pm = E>，g)。經過極線約束後，候選匹配點SPm所在的曲線上WPm 為中心的總數目為h的點序列Er(n, g+i) (-(h-l)/2 < i < (h-1/2)。S4-3 :最終匹配點。為了建立Pltl和如S4-2中所述的候選匹配點的匹配關係，將以 Plc^中心的的鄰域曲線與以候選匹配點為中心的鄰域曲線進行相似度比較，相似度是根據斜率互相關方式計算，所有候選匹配點中鄰域曲線與Pltl的鄰域曲線相似度最大的點P1Jnax 就是最終匹配點。左圖像上的點E1(Pj)的領域曲線和右圖像上的點Er(q，b)的領域曲線相似度的計算公式如下
權利要求
1.一種基於多幅圖像及立體視覺的閃電三維圖像重建方法，其特徵在於，所述方法包括以下步驟Si:複數個相機標定靶標位置固定，改變相機相對於靶標的距離及拍攝角度，確定相機內外參數；52:閃電圖像獲取獲取不同位置、同一時刻的多幅閃電圖像；53:閃電輪廓抽取去除圖像中背景信息，抽取閃電部分，對閃電部分的雙輪廓抽取出其中心曲線作為最終的輪廓曲線；54:閃電匹配以其中一幅圖像中的閃電點作為待匹配點在另一幅圖像中進行極性約束得到候選匹配點，然後利用閃電曲線斜率互相關進行最終匹配；55:匹配點空間定位根據立體視覺數學模型計算出空間點在世界坐標系下的坐標， 完成閃電三維重建。
2.根據權利要求I所述的基於多幅圖像及立體視覺的閃電三維圖像重建方法，其特徵在於，所述相機標定包括，將靶標鉛直放置於相機前方，以其中一臺相機所在地建立世界坐標系，其它相機所在地放置靶標的位置建立相應的偽世界坐標系；世界坐標系和偽世界坐標系均以水平面為基準，且其X軸、Y軸、Z軸的朝向完全相同。
3.根據權利要求I或2所述的基於多幅圖像及立體視覺的閃電三維圖像重建方法，其特徵在於，所述閃電輪廓抽取包括，對圖像灰度用K均值聚類法將圖像分割成1，2，. .，η層圖像，第η層為閃電的部分；同時對傳統的K均值聚類法進行改進考慮第η-i層中每個點對聚類貢獻的權重，設定權重閾值，取出權重大於閾值的點；第11-1層圖像中，圖像矩陣(i， j)處的點的權重d(i，j)的定義如下j) = (. .Nγ;其中，Clri為第n-1層聚類中心的灰度值，I (i，j)為圖像矩陣(i，j)處的灰度值。
4.根據權利要求3所述的基於多幅圖像及立體視覺的閃電三維圖像重建方法，其特徵在於，所述閃電輪廓抽取還包括利用差分算子計算圖像的橫向梯fji，j)和縱向梯度 f2(i，j);在每一行中，對單獨這一行的所有的像素的梯度值構成的離散序列求出其中梯度為極值的像素；若這一行中兩個極值像素點滿足下列條件列號小的像素是極大值，列號大的像素是極小值，並且兩個像素之間沒有其他極值點；則這兩個極值像素點之間的所有像素均為閃電點；在每一列中，對單獨這一列的所有的像素的梯度構成的離散序列求出其中梯度為極值的像素；若這一列中兩個極值像素點滿足下列條件行號小的像素是極大值，行號大的像素是極小值，並且兩個像素之間沒有其他極值點；則這兩個極值像素點之間的所有像素均為閃電點；對得到的閃電部分，抽取出閃電部分的雙輪廓中心曲線，得到每幅圖像中用輪廓曲線序列點E(m, k)表示的點；E(m, k)表示圖像中第m條閃電分支輪廓曲線上的第k個順序點，E1Oii, k) > Er(m, k)分別表示左、右圖像上的點；用XE(m, k)表示這個點在像素坐標系下的橫坐標,用YE(m, k)表示這個點在像素坐標系下的縱坐標，BE(m, k)表示這個點的灰度；橫向梯f\(i，j)和縱向梯f2(i，j)的計算公式如下fi (i，j) = I (i，j)-I (i，j-1)f2(i j) = I (i，j)-I (i-1，j)其中I(i，j)為圖像矩陣(i，j)位置處的像素灰度值。
5.根據權利要求4所述的基於多幅圖像及立體視覺的閃電三維重建方法，其特徵在於，所述的步驟S4還包括S4-1 :獲取極線約束方程多臺攝像機是兩兩分為一組，每一組中的相機分別稱作左相機和右相機，左相機拍攝的圖像稱為左圖像，右相機拍攝到的圖像稱為右圖像；對左圖像中得到的閃電的邊緣曲線上的每一點利用基本矩陣F求出其在右圖像上的極線方程； 記待匹配象素點Cl1為左圖像矩陣(i，j)位置處的點在像素坐標系下的齊次坐標，dl = [j，i，I] 』，記Q為這個點在右圖像上對應的極線方程，則Q的表達式如下Q = F · (I1得到的Q是一個包含三個元素的列向量；圖像像素坐標系下，Q可表示y = ax+b的形式，記Q(i) (i = 1,2,3)代表Q的第i個元素，則a = -Q⑴/Q⑵ b = -Q (3)/Q (2)若極線垂直於X軸，則應把Q表示為X = c的形式 c = -Q (3)/Q (I)S4-2 :對右圖像極線約束得到候選匹配點；將左圖像中待匹配閃電點Pltl表示成如權利 4所描述的輪廓曲線序列點的形式，Pltl = El (m, k);在右圖像中極線與閃電輪廓曲線相交得到至少一個交點，與右圖像第η條閃電分支相交於點Pm，將交點表示成輪廓曲線序列點的形式Pm = E>，g);經過極線約束後，候選匹配點SPm所在的曲線上WPm為中心的總數目為 h 的點序列 Er(n, g+i) (-(h-l)/2 < i < (h-1/2)；S4-3 :獲得最終匹配點為了建立Pltl和如S4-2中所述的候選匹配點的匹配關係，將以Pltl為中心的的鄰域曲線與以候選匹配點為中心的領域曲線進行相似度比較，相似度是根據斜率互相關方式計算，所有候選匹配點中鄰域曲線與Pltl的鄰域曲線相似度最大的點 Praxm，且相似度滿足閾值要求的點就是最終匹配點；左圖像上的點E1 (p，s)的領域曲線和和右圖像上的點Ejq，b)的領域曲線相似度的計算公式如下CC= ( )2 [IQXEAp』a+i)JElQp,a+i))_T(XEr(q,b+i),YEr(q,b+i))]2/=-(w-l)/2其中I(x,y)為左圖像在像素坐標系下坐標為(X，y)的點與曲線上的前一像素點相連得到的直線在像素坐標系中的斜率，I (XE1 (p，a+i)，YE1 (p，a+i))的計算公式如下I (XE1 (p, a+i), YE1 (p, a+i)) = (YE1 (p, a+i) -YE1 (p, a+i-1))/(XE1 (p, a+i)-XE1 (p, a+i-1))T(x, y)為右圖像在像素坐標系下坐標為U，y)的點與曲線上的前一像素點相連得到的直線在像素坐標系中的斜率。
全文摘要
本發明提出一種基於圖像及立體視覺的閃電三維圖像重建方法，通過對多個站點、同一時刻獲得的閃電圖像進行處理得到閃電的三維空間信息。該方法具體包括通過對相距較遠的複數個相機進行同一世界坐標系下的標定，得到相機的內參數矩陣和外參數矩陣；對於多個站點獲取閃電圖像，採用改進的K均值聚類法從圖像中提取閃電部分，採用閃電灰度梯度特徵進一步提取閃電輪廓；利用極線約束和閃電輪廓曲線斜率互相關進行圖像匹配；利用雙目立體視覺測量數學模型計算閃電匹配點的空間坐標，完成閃電圖像的三維圖像重建，為研究閃電的產生、發展過程提供支持。
文檔編號G06T17/00GK102609983SQ20121001985
公開日2012年7月25日 申請日期2012年1月20日 優先權日2012年1月20日
發明者劉德明, 劉輝龍, 劉陳 申請人:華中科技大學