基於視頻中太陽影子軌跡的經緯度估計方法
2023-08-09 14:39:16 3
專利名稱：基於視頻中太陽影子軌跡的經緯度估計方法
技術領域：
本發明屬於圖像處理和地理信息系統技術領域，具體涉及一種經緯度估計方法。
背景技術：
經緯度的估計在軍事和民用中都有廣泛的應用，在法醫學，安全領域，以及航海等領域也有著巨大的應用潛力。本發明使用未進行相機校準的視頻中的影子軌跡來估計照片採集位置的經緯度信息。其輸入是用固定的針孔相機拍攝的含有真實世界垂直關係且在同一場景中含有兩個影子軌跡的視頻幀，如圖1所示。本發明技術的輸出是採集照片位置的經緯度信息。
本發明中使用到的背景技術有(1)日晷的原理。投影日晷1是觀測日影記時的儀器。投影日晷不設置指時針，僅在地平面依地理緯度的不同繪製不同扁率的橢圓，在其上刻劃時間線，並將長軸指向正東西方向，南北向的短軸上則需刻上日期，指示立竿測量時刻的正確方向。(2)Fei Lu和操曉春等2提出的從影子軌跡恢復出地平線的原理。
目前基於圖像的經緯度估計方法主要有James Hays和Alexei A.Efros2提出的基於單個圖像的經緯度估計方法。該技術採用了一種純數據驅動的場景匹配技術。首先建立一個有地理標誌的圖像信息資料庫，對於測試圖像集手動的移除黑白圖像，藝術圖像，受噪音影響特別大的圖像和涉及隱私等的圖像，然後運用顏色直方圖，紋理直方圖，線性特徵等技術進行場景匹配，最後基於數據驅動的地理信息估計。該方法需要超過600百萬張有地理標記的GPS圖像，收集比較困難，而且這600百萬不能代表整個地球上的圖像樣本。該方法計算複雜度較高，在允許200km以內定位精度時只有約16％的查全率和查準率。Sunkavalli4提出一種基於顏色變化的經緯度估計方法。該技術通過對場景進行光度分析，間接的得到太陽位置，進而在不需要衛星數據和太陽在相機視場內不可見的情況下，通過使用一般幾何限制得到經緯度信息。但是這種方法限制條件很多，例如要求線性傳感器，要求朗伯平面，不考慮屏幕像素點上光的相互作用，僅僅考慮太陽光和環境光，而且建模複雜，誤差較大。
主要參考文獻 1http://en.wikipedia.org/wiki/Sundial. 2Fei Lu and Xiaochun Cao.Camera Calibration from Two Shadow Trajectories.Proceedings of the18th International Conference on Pattern Recognition，2006.(Fei Lu和操曉春，基於兩條影子軌跡的相機校準，2006年第18屆模式識別國際會議) 3James Hays and Alexei A.Efros.Estimating geographic information from a single image.ProcIEEE Int.Conf.on Computer Vision and Pattern Recognition(CVPR)，Florida，USA，June，2008.(James Hays和Alexei A.Efros，基於單張圖片的地理信息估計，2008年美國福羅裡達州，IEEE計算機視覺與模式識別國際會議) 4Kalyan Sunkavalli and Fabiano Romeiro.What do color changes reveal about an outdoor scene.Proc IEEE Int.Conf.on Computer Vision and Pattern Recognition(CVPR)，Florida，USA，June，2008.(Kalyan Sunkavalli和Fabiano Romeiro.戶外場景的顏色變化可以揭示什麼，2008年美國福羅裡達州，IEEE計算機視覺與模式識別國際會議)
發明內容
本發明的目的在於克服現有技術的上述不足，提供一種計算複雜度較低，精度較高，是一種利用自然圖像序列或視頻幀實現經緯度估計的方法，利用該方法，能夠根據未經過校準的影子的位置，得出所拍攝圖像的經緯度信息。
為此，本發明採用如下的技術方案 一種基於視頻中太陽影子軌跡的經緯度估計方法，包括下列步驟 (1)獲取同一場景中含有至少兩個影子軌跡的自然圖像序列或視頻幀； (2)對每一幀圖像，檢測影子軌跡； (3)同一個影子軌跡裡不同的兩個點的所確定的直線與對應時刻另一個影子軌跡中的兩個點所確定的直線的交點即是一個滅點，計算滅點； (4)由各個滅點擬合出地平線； (5)在圖像中沿著有垂直關係的物體畫出兩條直線，計算出這兩條直線分別與地平線的交點坐標，這兩個坐標就是兩個互相垂直的滅點vx，vy坐標； (6)根據公式計算焦距f，式中，u0，v0為相機主點即圖像中心點的坐標，根據公式計算ω； (7)在地平線上找到另一對滿足限制的點vp，vvertical； (8)按照下列方法實現從圖像到經過度量糾正的世界坐標的轉換 1)任意取兩個點M，N，直線vxM，vyM，vpN，vverticalN的斜率分別記做k1，k2，k3，k4。
2)以
為半徑，以
為圓心得到一個圓其中
為直線vxM，vyM的夾角； 3)以
為半徑，以
為圓心得到另一個圓其中
為直線vpN，vverticalN的夾角； 4)計算上述兩個圓的交點α，β。
5)計算H＝AP，其中，(l1，l2，l3是地平線L∞的三個分量)， (9)根據公式X＝Hx還原出經過度量糾正的世界坐標，其中X是經過度量糾正的世界坐標中的點，x是圖像坐標中的點； (10)擬合影子軌跡； (11)基於日晷原理，計算緯度φ； (12)按照下列方法計算經度以太陽時間12點所對應的視頻幀為中心，在步驟(10)所擬合的影子軌跡上尋找到極值點，並且記錄下該點所對應的時刻t，通過以下公式來計算時間差值TT＝|t-12|+teot-tdst，其中，teot是時差，tdst是夏令時，如果t大於12點，那麼經度L為L＝Lmeridian-T/4，如果如果t小於12點，那麼經度L為L＝Lmeridian+T/4，其中，Lmeridian是該時區中央經線。
作為優選實施方式，上述的步驟(2)中運用基於最大流算法的圖分割方法，得到影子區域的二進位掩膜，對這個區域求主軸，主軸與二進位掩膜邊緣的交點即是影子的軌跡點；步驟(4)中採用隨機採樣一致性算法擬合地平線；步驟(11)中按照下列方法計算緯度φ設日晷上X軸指向東西方向，Y軸指向南北方向，水平距離X和垂直距離Y分別定義為X＝sinh和
其中，h是時角，其大小為h＝(T24-12)×15，T24是以24小時表示的標準時間，φ是所要估算的緯度值，根據方程計算φ，其中，δ是太陽的傾角，A是太陽的方位角。
本發明提供一種自然圖像序列或視頻幀中基於影子軌跡的經緯度估計方法，從影子的軌跡來恢復出地平線，進而用恢復出來的地平線來消除透視畸變。本發明採用逆轉日晷設計，輸入是未經過校準的影子的位置，輸出是所拍攝圖像的經緯度信息。Sunkavalli的方法的輸入之一要求提供三個互相正交的滅點，而本發明的方法從影子的軌跡本身恢復出幾何限制，而且本發明僅僅需要採集影子的軌跡。
本發明將經緯度的估計應用到視頻幀中。僅僅從影子的軌跡來恢復出地平線，進而用恢復出來的地平線來消除透視變形，並不要求投影的物體在圖像中可見。本發明相比James Hays和Alexei A.Efros提出的基於單個圖像的經緯度估計方法，不需要收集大量的有地理標記的GPS圖像。相比Sunkavalli提出的基於顏色變化的經緯度估計方法，不需要提供三個互相正交的滅點，不需要非線性最小化，因此計算複雜度較低，但卻有較高的精度，且比他們的方法簡單。
圖1含有影子軌跡的視頻幀序列。
圖2本發明的經緯度估計方法的總流程圖。
圖3標註了經過追蹤得到的不同時間的影子點的圖像，圖中，白色實線為擬合的兩個物體陰影的主軸，白色的星號標記為計算的影子點。
圖4滅點的計算原理圖。
圖5(a)為經過隨機採樣一致性算法擬合出來的地平線，其上的黑色十字號表示的點為滅點。
圖5(b)標註了影子點的視頻圖像，圖中，黑色的點為圖像中觀測的影子點。
圖6通過日晷計算經度原理圖。
圖7標註了隨時間不斷變化的影子軌跡點以擬合出來的二次曲線的圖像，圖中白色的十字號表示的是隨時間不斷變化的影子軌跡點，白色的曲線是由軌跡點擬合出來的二次曲線。
具體實施例方式 本發明的技術方案如下首先獲取自然圖像序列或者視頻幀，並且對每一幀圖像運用基於最大流(MAX FLOW)算法的圖分割(graph cut)技術檢測出陰影區域的二進位掩膜，然後找到影子區域二進位掩膜的主軸，主軸與二進位掩膜區域邊緣的交點，就是所要求的影子的軌跡點。
然後，同一個影子軌跡裡不同的兩個點的所確定的直線與對應時刻另一個影子軌跡中的兩個點所確定的直線的交點就是一個滅點，這樣可以確定多個滅點。運用隨機採樣一致性算法，剔除掉異常值點後擬合出地平線。擬合互相垂直的滅點vx，vy，計算出仿射糾正和投影糾正矩陣從而得到只經過相似變換的單應矩陣。進而可以還原出經過度量糾正的世界坐標。
最後，利用最小二乘法實現二次曲線的擬合，擬合出經過度量糾正世界坐標中的影子點的軌跡，並且參考日晷設計，利用相似關係估計出緯度。利用二次曲線的極值點計算時差，從而有效地恢復出所拍攝圖像的經緯度信息。
下面結合附圖和實施例對本發明做進一步詳述。
參見圖1，本發明的基於影子軌跡的經緯度估計方法，包括下列步驟 步驟1獲取視頻幀 獲取同一場景中含有至少兩個影子軌跡的自然圖像序列或者同一場景中含有至少兩個影子軌跡的視頻幀。圖1為含有影子軌跡的視頻幀序列。
步驟2檢測影子軌跡 本實施例使用如下半自動的檢測方法對每一幀圖像，運用基於最大流(MAXFLOW)算法的graph cut(圖分割)技術，得到影子區域的二進位掩膜，對這個區域求主軸，主軸與二進位掩膜邊緣的交點就是所要的影子的軌跡點。還可以採用現有的圖像處理技術中常見的基於閾值的圖像分割方法檢測影子軌跡。本實施例採用全局最優的方法檢測影子軌跡，因而檢測效果要更好些。
圖3為經過追蹤得到的不同時間的影子點。圖中，白色實線為擬合的兩個物體陰影的主軸，白色的星號標記為計算的影子點。
步驟3計算滅點 由於太陽光是平行的，同一個影子軌跡裡不同的兩個點的所確定的直線與對應時刻另一個影子軌跡中的兩個點所確定的直線的交點就是一個滅點。圖4為滅點的計算原理圖。圖中，3D點ti在不同時刻j在地面上的投影為Sij。
如圖4，影子軌跡1上任何兩個時刻所收集到的影子點所確定的直線與影子軌跡2上對應時刻所收集到的影子點所確定的直線是平行的，因此我們可以求得滅點。原理是這樣的圖4中ti是世界坐標中的點，bi是ti距離地面最近的點，即tibi與地面垂直。而Sij表示不同時刻j影子點的位置。於是在3D世界坐標中有由於太陽距離地球大約1.52*1012米，我們可以假設太陽光是平行的，故b1S11和b2S21平行，b1S12和b2S22是平行的。垂直地面的兩個物體t1b1和t2b2也是平行的。因此可以得到Δb1s11s12和Δb2s21s22相似，進而有直線S11S12和S21S22平行。可見bi在此步的計算當中並不需要，因此，在圖像中不要求物體一定可見，並且同一個影子軌跡裡不同的兩個點所確定的直線與對應時刻另一個影子軌跡中的兩個點所確定的直線的交點就是一個滅點。
步驟4計算地平線L∞ 假設每條影子的軌跡上都有n個時刻對應的n個點，那麼用步驟3我們可以求出Cn2個滅點，但是由於噪音的影響這些點中可能有異常值點，會影響擬合出來的地平線。因此，我們對所得到的Cn2個滅點運用隨機採樣一致性算法，剔除掉異常值點後再擬合地平線。其中隨機採樣一致性算法的思想如下 1.隨機的選擇2個點。
2.實例化一條直線。
3.計算出滿足直線模型的內點的個數，記為ni。
4.如果ni的值大於閾值，則程序終止，返回所得到的模型。閾值通常是依據經驗值取得。在本發明中，我們閾值取的是5。
5.重複N次測試，直到所得到的模型的ni的值最大，N可以靈活定義。本發明中N取的是100。
因此從隨著時間變化的影子軌跡中我們可以還原出由各個滅點所擬合出的直線，即地平線L∞。計算結果如圖5(a)所示。
圖5(b)為標註了影子點的視頻圖像，圖中，黑色的點為圖像中觀測的影子點。
步驟5計算滅點vx，vy 3D世界中有垂直關係的物體在圖像中是隨處可見的，例如圖像中的兩面互相垂直的牆，圖像中與地面垂直的杆等。在圖像中沿著在3D世界中有垂直關係的物體畫出兩條直線。計算出這兩條直線分別與地平線的交點坐標，這兩個坐標就是兩個互相垂直的滅點vx，vy。
步驟6計算焦距f 步驟5計算的vx，vy為一對正交滅點，對絕對二次曲線的圖像ω提供了一個線性的約束由於ω＝K-TK-1，其中為相機內部參數矩陣，f為相機焦距，λ為縱橫比，u0，v0為相機主點即圖像中心點的坐標，γ為偏斜係數。通常情況下，常用相機內部參數K的縱橫比λ取值為1，偏斜係數γ為0。絕對二次曲線的圖像ω只依賴於變量f。因此，通過vx，vy我們可以計算焦距f和絕對二次曲線的圖像ω如下 步驟7在地平線上找到另一對滿足限制的點 找到這樣點的求解方式有很多，其中一種求解方式如下 1.求解第一個點。因為vx，vy都在地平線上，所以滿足如下線性約束 由(1)(2)可以得出 令vp＝vx+vy，由(3)式可知vp是在地平線上的。vp為所求的第一個點。
2.求解滿足約束的第二個點。首先求出一條與vp垂直的直線Lp，Lp滿足約束Lp＝ωvp。Lp與地平線L∞的交點就是另一個滿足條件的點vvertical。
步驟8從圖像到經過度量糾正的世界坐標的轉換 1.任意取兩個點M，N。直線vxM，vyM，vpN，vverticalN的斜率分別記做k1，k2，k3，k4。
2.以
為半徑，以
為圓心可以在虛平面內得到一個圓。其中
為直線vxM，vyM的夾角，本發明中為90°。第一個圓的方程為 3.以
為半徑，以
為圓心可以在虛平面內得到另一個圓。其中
為直線vpN，vverticalN的夾角，本發明中為90°。第二個圓的方程為 4.解兩個方程(1)(2)得到虛平面內兩個圓的交點α，β。
5.H＝AP。
其中，(l1，l2，l3是地平線L∞的三個分量)， 步驟9還原出經過度量糾正的世界坐標 根據公式X＝Hx，其中X是經過度量糾正的世界坐標中的點，x是圖像坐標中的點。
步驟10利用最小二乘法實現影子軌跡的擬合以及緯度的估計 參見圖6，圖中的F點是靜態物體距離地面最近的點即腳點，S是影子軌跡點，P是影子軌跡點在過F點與X軸平行的直線上的投影點。顯然，ΔFSP和ΔFMN相似。於是根據三角形相似的比例關係可以推導出經度。
根據天文知識，一天當中靜態物體影子軌跡近似一個二次曲線。利用最小二乘法擬合出影子軌跡的二次曲線。而投影日晷通過觀測投影方向來計時，其影子軌跡是一個橢圓。如圖6所示通過日晷計算經度原理圖日晷上X軸指向東西方向，Y軸指向南北方向。水平距離X和垂直距離Y分別定義為 X＝sinh(8)
其中，h是時角，其大小為h＝(T24-12)×15，T24是以24小時表示的標準時間。φ是所要估算的緯度值。投影物體腳點的位置跟投影日晷中心的關係為E＝tanδcosφ，其中δ是太陽的傾角。由於ΔFSP和ΔFMN相似，所以可以得 其中A是太陽的方位角。式子(10)中，只有一個未知數φ，它就是所要估算的緯度值。
步驟11計算經度 以太陽時間12點所對應的視頻幀為中心，在步驟10所擬合的二次曲線上找到極值點，並且記錄下該點所對應的時刻t。因此時間差值T可以通過以下公式來計算 T＝|t-12|+teot-tdst(11) 其中，teot是時差，tdst是夏令時。由於經度每隔15度，地方時相差1小時。因此，如果t大於12點，那麼經度L為 L＝Lmeridian-T/4(12) 如果如果t小於12點，那麼經度L為 L＝Lmeridian+T/4(13) 其中，Lmeridian是該時區中央經線。
圖7標註了隨時間不斷變化的影子軌跡點以擬合出來的二次曲線的圖像，圖中白色的十字號表示的是隨時間不斷變化的影子軌跡點，白色的曲線是由軌跡點擬合出來的二次曲線。
權利要求
1.一種基於視頻中太陽影子軌跡的經緯度估計方法，包括下列步驟
(1)獲取同一場景中含有至少兩個影子軌跡的自然圖像序列或視頻幀；
(2)對每一幀圖像，檢測影子軌跡；
(3)同一個影子軌跡裡不同的兩個點的所確定的直線與對應時刻另一個影子軌跡中的兩個點所確定的直線的交點即是一個滅點，計算滅點；
(4)由各個滅點擬合出地平線；
(5)在圖像中沿著有垂直關係的物體畫出兩條直線，計算出這兩條直線分別與地平線的交點坐標，這兩個坐標就是兩個互相垂直的滅點vx，vy坐標；
(6)根據公式計算焦距f，式中，u0，v0為相機主點即圖像中心點的坐標，根據公式計算ω；
(7)在地平線上找到另一對滿足限制的點vp，vvertical；
(8)按照下列方法實現從圖像到經過度量糾正的世界坐標的轉換
1)任意取兩個點M，N，直線vxM，vyM，vpN，vverticalN的斜率分別記做k1，k2，k3，k4。
2)以
為半徑，以
為圓心得到一個圓其中
為直線vxM，vyM的夾角；
3)以
為半徑，以
為圓心得到另一個圓其中
為直線vpN，vverticalN的夾角；
4)計算上述兩個圓的交點α，β。
5)計算H＝AP，其中，(l1，l2，l3是地平線L∞的三個分量)，
(9)根據公式X＝Hx還原出經過度量糾正的世界坐標，其中X是經過度量糾正的世界坐標中的點，x是圖像坐標中的點；
(10)擬合影子軌跡；
(11)基於日晷原理，計算緯度φ；
(12)按照下列方法計算經度以太陽時間12點所對應的視頻幀為中心，在步驟(10)所擬合的影子軌跡上尋找到極值點，並且記錄下該點所對應的時刻t，通過以下公式來計算時間差值TT＝|t-12|+teot-tdst，其中，teot是時差，tdst是夏令時，如果t大於12點，那麼經度L為L＝Lmeridian-T/4，如果如果t小於12點，那麼經度L為L＝Lmeridian+T/4，其中，Lmeridian是該時區中央經線。
2.根據權利要求1所述的基於視頻中太陽影子軌跡的經緯度估計方法，其特徵在於，步驟(2)中運用基於最大流算法的圖分割方法，得到影子區域的二進位掩膜，對這個區域求主軸，主軸與二進位掩膜邊緣的交點即是影子的軌跡點。
3.根據權利要求1所述的基於視頻中太陽影子軌跡的經緯度估計方法，其特徵在於，步驟(4)中採用隨機採樣一致性算法擬合地平線。
4.根據權利要求1所述的基於視頻中太陽影子軌跡的經緯度估計方法，其特徵在於，步驟(11)中按照下列方法計算緯度φ設日晷上X軸指向東西方向，Y軸指向南北方向，水平距離X和垂直距離Y分別定義為X＝sinh和
其中，h是時角，其大小為h＝(T24-12)×15，T24是以24小時表示的標準時間，φ是所要估算的緯度值，根據方程計算φ，其中，δ是太陽的傾角，A是太陽的方位角。
全文摘要
本發明屬於圖像處理和地理信息系統技術領域，涉及一種基於視頻中太陽影子軌跡的經緯度估計方法先獲取自然圖像序列或者視頻幀，並且對每一幀圖像檢測出影子的軌跡點；然後確定多個滅點，並擬合出地平線；擬合互相垂直的滅點，計算出仿射糾正和投影糾正矩陣；進而還原出經過度量糾正的世界坐標；再擬合出經過度量糾正世界坐標中的影子點的軌跡，並且參考日晷設計，利用相似關係估計出緯度；利用二次曲線的極值點計算時差，從而有效地恢復出所拍攝圖像的經緯度信息。本發明複雜度較低，精度較高，是一種利用自然圖像序列或視頻幀實現經緯度估計的方法，能夠根據未經過校準的影子的位置，得出所拍攝圖像的經緯度信息。
文檔編號G01C1/00GK101493322SQ20091006781
公開日2009年7月29日 申請日期2009年2月4日 優先權日2009年2月4日
發明者操曉春, 曲彥齡, 孫濟洲, 琳 武, 郭曉傑, 煒 張 申請人:天津大學